düğümküme.org | tekno-kültürel üretim eleştirisi

Arama motoru pazarında başarılı olmak öncelikle teknolojik altyapının dağıtımlı çalışmasından geçiyor. Yani bütün arama, depolama, ve indeksleme gibi işleri birden fazla bilgisayara dağıtarak yapmak. Hatta böyle bir altyapısı olduğu için Google’dan aslında bir dağıtımlı bilgisayar şirketi diye bahsedilir. Yani herkes internetten bilgileri toplayıp depolayabilir ama bunu yüksek performansta yapmak yükü bir bilgisayar tarlasına dağıtabilmekten geçiyor. Bilgisayarlar arasındaki bu iş bölümünü Google kendi geliştirdiği MapReduce denilen bir yazılım platformu ile yapıyor. Ancak MapReduce ile aynı işi yapan ve açık kaynaklı olan bir yazılım platformu daha var: Hadoop.

Hadoop’un Google’un MapReduce’undan en büyük farkı tabii ki açık kaynaklı olması (Hadoop nasıl çalışıyor). Dolayısıyla Hadoop kullanarak isteyen herkes Google kadar hızlı çalışabilen bir arama motoru yapabilir, tabii bir miktar bütçeyle bir bilgisayar tarlası kurabiliyorsanız. Burada durup bir kere daha düşünün. Hadoop açık kaynaklı olduğundan Google’a bir değil binlerce rakip çıkabilir.

MapReduce işlemleri küçük parçalara bölüyor ve farklı bilgisayarlara dağıtıyor, sonra işlenenleri toplayıp sonucu veriyor.

Hadoop giderek bir endüstri standardı olmaya başlıyor. Mesela Facebook Hadoop kullanarak kullanıcı davranışlarının analizini yapıyor (50 milyon kişi ve ilişkileri) ve sosyal reklamların etkisini ölçüyor. Geçtiğimiz aylarda New York Times bilgi işlem ekibi Hadoop kullanarak 150 yıllık arşivindeki 11 milyon makaleyi dijitalleştirdi ve aranabilir hale getirdi. Normalde aylar sürebilecek bilgi işleme bir kaç günde bitirildi. Amazon ile Hadoop kullanarak EC2 (dağııtmlı işlemci) ve S3 (dağıtımlı depolama) servislerinden faydalanabilirsiniz.

Hadoop projesini başlatan Doug Cutting aynı zamanda Yahoo ArGe bölümünde çalışmaya başladı, haliyle Yahoo içinde arama dahil bir çok başka bilgi işleme sisteminin performansını geliştiriyor. Daha fazla geliştiricinin katılmasıyla Hadoop giderek daha da iyileşiyor ve tabii üniversitelerde de yayılmaya başlıyor. Hadoop kullanabilmek / programlayabilmek önemli bir beceri haline geliyor. Sonuçta Hadoop kullanabilen yeni mezunlar piyasaya çıktıkça sadece Google gibi şirketler değil daha fazla kişi veya şirket yüksek performanslı iş yapabilecek.

Bir zamanlar dağıtımlı bilgisayar sistemlerine bilgisayar tarlası denilmekteydi, bugünlerde ise bilgisayar bulutu (”cloud computing“) diyoruz. Çok daha dinamik bir dünyanın tasviri bu. Nasıl bugün herkesin kişisel bilgisayarı varsa yakında hepimiz günlük hayatımızdaki bilgileri düzenleyebilmek için bilgisayar bulutu kullanıyor olabiliriz. Aslında yaptığımız her Google aramasında kullanıyoruz bile.

İlgili Bağlantılar:

• Hadoop Sunumları (PDFler)
• Doug Cutting ile Röportaj 1
• Doug Cutting ile Röportaj 2
• Nutch Açık Kaynaklı Arama Motoru
• Lucene Açık Kaynaklı Bilgi Toplama Kütüphanesi
• MapReduce ve Dağıtımlı Programlamaya Giriş
• Dağıtımlı Sistem Tasarımına Giriş

Düğümküme'yi zamanında takip edebilmek için öncelikle RSS'den abone olun. Ayrıca bkz RSS nedir, nasıl kullanabilirim?

Web uygulamaları geliştirme iskeleti Ruby on Rails’in 2.0 sürümü çıktı. Biz web tabanlı projelerimizde Ruby on Rails kullanıyoruz. 2005 yılında Openstudio Rails’in ilk versiyonuyla yapılmıştı, daha sonra Manevi Emek Borsası, Bağcık, ve Meta-Markets projelerinde kullandık. Henüz açmadığımız deneysel projeleri ve bu sırada geçimimizi sağlamak için yaptığımız bir kaç ticari projeyi Ruby on Rails’in 1.2.3 sürümü ile geliştirdik. Bütün bunlar olurken Rails etrafında oluşan topluluklardan öğrendik ve elimizden geldiğince katkıda bulunmaya çalıştık. Ruby on Rails açık kaynaklı bir proje, bu yeni 2.0 sürümü de dünyanın pek çok yerinden programcının katkısıyla geliştirildi.

http://rubyonrails.org/

Rails 2.0 bir çok yenilik içeriyor, ilk gözüme çarpanlar şunlar:

• Sessionlar Cookie’de Saklanabiliyor (sunucu yüküne dağıtık bir alternatif)
• RESTful route yapmak artık daha temiz
• to_xml ve to_json daha fazla özelleştirlebiliyor
• SQL sorguların cache’lenmesi
• Eklenti sıralaması (birbirine bağlı eklentierin önce veya sonra yüklenmesi için)
• .rhtml ve .rxml kalkıyor

Rails 2.0 PDF dökümanında yeni özellikler derinlemesine anlatılıyor. Ayrıca Mike Clark tarafından yazılan yeni Gelişmiş Rails Tarifeleri kitabı da Rails 2.0 içeriyor. Bir de son zamanlarda çok faydasını gördüğüm Rails screencast‘leri var, Rails Casts arşivi oldukça detaylı. Sizin de dikkatinizi çeken yeni Rails 2.0 özellikleri varsa bu yazıya yorum yazarak paylaşın, ne varmış beraber öğrenelim. Ayrıca Bağcık’da Ruby on Rails ile ilgili faydalı bağlantıları biriktiriyoruz.

http://bagcik.com/etiketler/rails

Hazır söz robotlardan açılmışken, Wordpress bloglarına otomatik yorum yazabilen küçük bir “robot” yapalım. Böyle bir robotu binlerce bloga bir anda “yorum yazmak” için kullanabilirsiniz.

Bu robot bir Ruby programı. Önce Ruby için Scrubyt kütüphanesini yükleyin(adım adım yükleme klavuzu). Scrubyt kütüphanesini programlanabilir bir web tarayıcı gibi düşünebilirsiniz, yani otomatik olarak istediğiniz siteye gider, bağlantıdan bağlantıya altlayarak sizin için tüm web’i dolaşabilir. Bu tür programları genelde arama motorları ve spamciler kullanır. Scrubyt yükledikten sonra sadece şu kodu çalıştırın.


require 'rubygems'
require 'scrubyt'
post_comment = Scrubyt::Extractor.define do
fetch 'http://www.dugumkume.org/esra-robot-ile-sohbetler/'
fill_textfield 'author', 'arikan'
fill_textfield 'email', 'arikan@dugumkume.org'
fill_textarea 'comment', 'Otomatik yorum yaziyorum.'
submit
end


Kodda gördüğünüz Düğümküme adresi bir önceki Esra Robot ile Sohbetler yazısı. Robot o yazıya gidiyor, kutucuklara adımı, email adresimi, ve yorumu giriyor, sonra da düğmeye basıyor. Bu programla otomatik yazdığım yorumu önceki yazının altında görebilirsiniz. Bu bilgileri değiştirip istediğiniz sitelere otomatik yorum yazabilirsiniz.

Bir bloga bir kaç defa otomatik yorum yazarsanız muhtemelen IP adresinizden yakalanır ve bloklanırsınız. Mesela Wordpress Aksimet spam filtresi Düğümküme’den hergün yüzlerce spam yorum temizliyor.

Bu tür önlemler yaratıcılığınızı engelleyemez tabi. Bunun gibi ağda dolaşabilen programlar çok çeşitli şekillerde kullanılabilir. Mesela bir yanda sizin için otomatik araştırma yapıp bilgi toplayan bir araç yapabilirken, diğer yandan canınızı sıkan sistemleri yoran bir program oluşturabilirsiniz.

Eric Tan mimarlıkta modernizmin oluşumunu bir mimarlar ağı olarak göstermiş. Dinamik güçlerden bahsettiğimiz bir alanda böyle statik görselleştirmeleri yetersiz bulsam da, bu görseller genelde tarihde sıralı bir gelişme gibi düşünülen paradigma değişimlerinin (modernizmin gelişimi) çok daha karmaşık bir yapıda oluştuğunun altını çiziyor.

Junk Jet yeni bir tekno-kültürel üretim fanzini. Hem online hem baskı olarak yayınlanıyor. İlk sayısı şu anda Stuttgart’da yapılan bir etkinlikle tanıtılıyor. Etkinlikte 2/5BZ Serhat Köksal da görsel-işitsel bir şov yapıyor.

http://junkjet.net/

Junk Jet elektronik medya sanatçılarını, medya teorisyenlerini, radyodan bilgisayara sibernetik sistemleri estetik arayışlarla kurcalayanları, teknolojiyi amacından saptırarak kullananları, teknolojik hakimeyete verili kurallar üzerinden kafa tutanları, kendi deyimleriyle medya Don Kişotlarını birbirlerine türlü türlü bağlayan bir yayın oluşturuyor.

Bu ilk sayı için benden bir kaç iş istediklerinde ilk dikkatimi çeken şey Junk Jet’in retro web stili ve sibernetik kavramları bir kapta karıştırmasıydı. Micro Fashion Network ve Open I/O işlerinden malzemeler gönderdim. Tekrar bir özetlemek gerekirse Micro Fashion Network moda sisteminden düşük çözünürlüklü sample alan hibrid bir program. Bir kamera ve özel bir yazılım sokaktaki insanların kıyafetlerinden renkler alıyor ve yakın renkleri zamanla birbirine bağlıyor. Open I/O Internet üzerinden algılayıcı (”sensor”) verisi paylaşarak ağlı fiziksel / elektronik medya kompozisyonları yapmayı sağlayan bir platform.

Junk Net’in bu ilk sayısına katılanlar arasında Olia Lialina, Future Farmers, Matthew Fuller, Amy Alexander, ve Jan Jalinek var.

Her ne kadar son yıllarda hemen her kelimenin sonuna bir “2.0″ ibaresinin eklenmesi can sıkıcı olmaya başladıysa da, dün gördüğüm bir haber “işte futbol 2.0” dedirtti bana…

Haberin hikayesi şöyle: İsrailli girişimci, Web2Sport.com‘un yöneticisi Moshe Hogeg, geçen sene FIFA Dünya Kupası Almanya-Arjantin maçında Lionel Messi’nin ilk 11′de olmadığını görüp hayal kırıklığına uğruyor. Birçok kişi maçtan sonra teknik direktörü suçluyor ve bir kişinin kararının milyonlarca taraftarın hayallerini yıkmasından yakınıyor. Hogeg, bunun üzerine bir şeyler yapmaya karar veriyor ve ilk iş olarak İsrail amatör kümesinde oynayan Hapoel Kiryat Shalom takımını 350.000 € ödeyerek satın alıyor. Sonrasında, web sitesinin ziyaretçilerinin ilk 11′e taktiklere, dizilişlere, hatta web sitesinden yapılan yayın ile anında oyuncu değişiklikleri için oy vermelerini sağlıyor. Sistem kısaca şöyle işliyor:

• Takımında söz sahibi olmak isteyen kişi web2sport.com sitesine üye oluyor. (yakın zamanda sitenin İngilizce versiyonunun hazır olacağı söylenmiş)
• Sitedeki istatistiklere göre saha içi diziliş ve taktik seçiyor
• ‘Yardımcı antrenör’, takımı çalıştırıyor ve en popüler seçimlere göre organize ediyor.
• Maç esnasında üyeler siteye bağlanıyorlar, oyunu seyrediyorlar ve taktiksel değişiklikler için oy veriyorlar. Yardımcı antrenör, elinde laptop’u ile kullanıcı-taraftarların isteklerini yerine getiriyor.

Normalde 100 kadar izleyicisi olan takım, iki hafta içine Internet’te 8000 kişi tarafından izlenir hale gelmiş. Takımın antrenörü, Internet sörfçülerinin isteklerini yerine getirmek zorunda olmaktan fazla memnun olmasa da böyle bir yeniliğin parçası olmayı ilginç bulduğunu ifade ediyor. “Hapoel Play65 Kiryat Shalom” takımı, son iki maçını kaybetmiş de olsa ilgi gitgide artıyor.

Hogeg, gelecek sene bu fikri ile İngiltere’de yatırım yapmayı, sonraki senelerde de bu işi iyice yaygınlaştırmayı düşünüp milli takımların ileriki yıllarda bu şekilde yönetilebileceğini hayal ederken, biz de aklımızdan acaba başarılı olabilirler mi diye geçiriyor, aynı zamanda da, bu merkezi olmayan, dağıtımlı yönetim modelinin herhangi bir tür topluluğa uygulanmasının verimli olup olamayacağı sorusuyla karşı karşıya kalıyoruz.

Harun Farocki’nin documenta 12′de sergilenen, “Deep Play” isimli enstalasyonundan bir kesit

Düğümküme’de konu ile ilgili yazılmış yazılar:

Biri Bu Adamı Durdursun, Etkin Çiftçi
http://www.dugumkume.org/biri-bu-adami-durdursun

Youtube’a Türkiye’den erişim, Türk Mahkemesi Tarafından Engellendi!, Dara Kılıçoğlu
http://www.dugumkume.org/youtube-turk-mahkemesi-tarafindan-engellendi

Mahkeme Kararıyla Internet Sitesi Kapattırma Formu, Burak Arıkan
http://www.dugumkume.org/mahkeme-karariyla-internet-sitesi-kapattirma-formu

İfade Özgürlüğü Yazılımları, Ali Miharbi
http://www.dugumkume.org/ifade-ozgurlugu-yazilimlari

Sıkıysa gerekçelerinizi uluslararası platformlarda tartışın ve galip gelin, sahipleri değil biz kullanıcılar yakalım o sunucuları törenle. Her sene de kutlayalım, evet çok doğru bir karar vermişiz bilgi uzayından malum verileri atmış olmakla diyerek halay çekelim…

Ağa Türkiye topraklarından erişen arkadaşlar, aslında bu tür engellemeleri (Bu siteyi göremezsin kardeşim) ufak bir yazılım ayarı sayesinde aşabiliriz.

Şu adrese bir göz atın: http://publicproxyservers.com/

Sol tarafta gördüğünüz ‘proxy server 1′ bağına tıklayın. Karşınızda ücretsiz olarak kullanabileceğiniz, hergün güncellenen sunucular listesi var. Hem yurdumuza yakın hem de teknolojik olarak gelişkin olması muhtemel ülkelerden birini seçin.

Şimdi tek yapmanız gereken, uygun bir sunucu seçip tarayıcınızda (browser) gerekli ayarlamaları yapmak.

Firefox’da bu ayar şöyle yapılıyor:

Preferences / Advanced / Network / Settings / Http Proxy kısmına Ip adresini ve port numarasını yazacaksınız. Şimdi herhangi bir siteyi açıp kontrol edin, çalışıyorsa tamamdır.

Notlar:

• Ücretsiz bir çözüm
• Bu sitelerden bazıları listenin tazelenme periodu ile alakalı olarak çalışmayabilir. Başkasını deneyiverin
• Ayarları her zaman ‘Direct Connection to the Internet’ ya da ‘Auto-Detect’ seçimleriyle geri almak mümkündür
• Kullandığınız bir proxy bir süre sonra hizmet dışı kalabilir, kapanabilir, herşey olabilir. Başkasına geçersiniz. Bir gün Internet çalışmıyor diye paniklemeyin
• Proxy Kullanırken anonim gezinti yaparsınız
• Http proxy im ve benzeri uygulamaları etkilemez

Hepimize özgür gezintiler!

Bir siteyi kapattırmak istiyorsanız karmaşık savcılık işleriyle uğraşmadan kendiniz mahkemeye kapattırma başvurusunda bulunabilirsiniz. Evrensel Alan Adı Kapattırma Formu‘nu doldurun herhangi bir ekstra işleme gerek kalmadan mahkemeye başvurmuş oluyorsunuz. Bu formu doldurup gönderdikten sonra IPNIC sunucusunda bir mahkeme kararı yaratılıyor. Sonra basılabilir PDF formatındaki bu karar,

• sitenin kayıtlı olduğu DNS servisine,
• site sahibine,
• ve yasal ve kamusal işlemler için avukatlara ve gazetecilere

gönderiliyor. Tek yapmanız gereken bu forma site bilgilerini ve kapattırma gerekçenizi yazıp göndermek. Site kapatılırsa IPNIC size mesaj gönderiyor. Daha önce bu formla kapatılmış örnekler için şu ve şu mahkeme kararlarına bakın.

IPNIC Servisi (”Internet Partnership for No Internet Content”) ve Evrensel Alan Adı Kapattırma Formu Viyanalı aktivist sanatçı grubu Ubermorgen tarafından 2003 yılında başlatıldı. Amaç sadece devletin ve paralı kişilerin (Adnan Hoca gibi) değil herkesin Internet üzerinde kontrol sahibi olabilmesi.

Mum ışığından elektiriğe geçmek yerel ağdan Internet’e geçmeye benziyor. 2000lerde internet’le tanışmış kişilere anlamsız gelebilir bu benzerlik ancak çok bsaitçe Internet servisini sağlayan hat kesilmişse (TTnet, Superonline, Ekolay v.s) dünyayla veri alışverişi yapamazsınız. Internet iletişimimizin kesilmesi bizi bir anda karanlığa iter. Tarayıcıyı kapat, email programını kapat, IMleri kapat yapacak bir şey yok. Bu bilgisayar bir işe yaramıyor, dışarı çıkıp top oynayalım.

Elektrik bağlantısı enerji, Internet bağlantısı bilgi taşıyor. Mum ışığında kitap okumaya devam etmek gibi yerel ağda başka bilgisayarlardaki bilgilere tarayıcınızdan ulaşıp okumaya devam edebilirsiniz. Ancak yerel ağdan başka makinalara ulaşıp bir şey okumak pek de eğlenceli bir şey değil, bir şey yok ki diğer makianlarda, her şey Internet’te. Quake, War Craft gibi oyun partileri çevirmek dışında yerel ağlar bir işe yaramıyor. Bir de büyük şirketler Intranet diye bir şey kullanıyor, sadece yerel ağdan bağlanabildiğiniz dosya alış verişinde bulunduğunuz, şirket içi raporlama yaptığınız arada derede şizofrenik bir sistem. Ne Internet ne yerel ağ. Küresel gibi ama yerel. Hem özel hem genel. Gizli saklı korkuluklarla ve duvarlarla çevrili (firewall var mı? hah o zaman güvendeyiz) bir karanlık ortam.

Aynı endüstrileşme ile mum ışığıyla aydınlanmış bir gündelik hayat için tasarım yapmayı bırakmış olmamız gibi Internet’le beraber yerel ağ için hayat tasarlamayı bıraktık. Internet bağlantısı verili, ucuz, her zaman her yerde bulunan bir şey oldukça aynı mum ışığı gibi yerel ağ geride kalmış romantik bir ortam olmaya başladı. E napalım şimdi? Bu metforlardan çıkarılacak tek şey var: ağlı bağlı hayat verilmiş değil zamanla inşa edilmiştir.

Resimler yukardan aşağı:
1. 1965 Aralık: Amerika’da üniversiteler arası başlayan ARPA bilgisayar ağı.
2. 1965 ARPA’sından 1987deki nerdeyse bilgisayar çipini andıran ağ şemaları.
3. 2005 Internet.

Açık Toplum Partisi gibi bir siyasi parti olsaydı seçimlerde, oy vermeyi düşünürdüm. Açık toplum açık teknoloji gerektirir. Teknoloji dedğimizde artık sadece LAZER anlamıyoruz tabi. Özellikle iletişim ve Internet teknolojisindeki gelişmeler –telekom altyapısından bloglara, arama motorlarından sosyal web 2.0 servislerine– şu anda içinde olduğumuz toplumu tarihte hiç olmadığı hızda dönüştürüyor. Bu dönüşümde yazılan her kod parçası, her işlem, her hesap, sisteme gömülen her kural toplumun kodu olarak belirir. Açık kod açık toplum demektir.

Türkiye’de toplum dönüştürücü teknolojilerden ikisi, yeni Blograzzi girişimi ve oldukça yaygın kullanılan Pilli Network, ortak bir özelliğe sahip: verdikleri servislerde açıklık göstermiyorlar.

Blograzzi’nin “bir formülü”

Yeni açılan blog sıralama sitesi Blograzzi Türkiye’nin “en iyi” bloglarını sıralandırıyor. Blogların sıralaması bir kaç farklı puanın birlikte hesaplanmasıyla yapılıyor. Puanların nasıl harmanladığı sitede şöyle açıklanmış:

Blograzzi Puanı, Blograzzi’nin blogla ilgili Internetten derlediği tüm istatistikleri [Technorati ve Alexa Türkiye], kullanıcı oylamaları, favorileri ve yorumları ile birlikte kullanarak ağırlıklı olarak hesapladığı bir formüle dayanır.

Bir formül? Türkçe’de gizli kapalı bir şeyi kibarca ifade etmek için önüne “bir” koyarız. Bir köşe yazarı, bir kaynağa göre, bir söylentiye göre, bir televizyon kanalı gibi… Blograzzi’yi geliştirmeye devam eden sitenin kurucusu Arda Kutsal‘dan bu bahsedilen “bir formülü” herkese açık bir şekilde ifade etmesini istiyoruz.

Pilli Network’ün “karmaşık algoritması”

Gelir dağılımı blog yazma ağı Pilli Network yazarlara kısa yazılarına olan ilgiye göre reklam gelirlerini dağıtıyor. Herkese örnek olması gereken bir sistem. Ancak açıklık konusunda bir problem var. Pilli gelir paylaşmayı nasıl hesaplıyor? Pilli.com’da şöyle açıklanmış:

Okunma oranlarını yorumlayan, olası yanlışlıkları gideren karmaşık bir algoritmamız var. Biz bir sitenin günlük gelirini giriyoruz, o bize kimin hesabına ne kadar para ekleyeceğimizi söylüyor.

Karmaşık bir algoritma? Biz soruyoruz o söylüyor? Kim? O kadar karmaşık ki size gösteremeyiz. Pilli ekibinden bu “karmaşık algoritmayı” herkese açmasını istiyoruz.

Pilli Network ve Blograzzi sistemlerindeki bu gizli hesaplarını açarlarsa sadece şu andaki kullanıcılarına adaletli davranmış olmayacaklar aynı zamanda Türkiye’de hızla gelmekte olan yeni nesil sistem tasarımcılarını da olumlu etkileyecekler.