Arama Motorlarının Tarihi – 1945’den Günümüze

321
Arama Motorlarının Tarihi
Arama Motorlarının Tarihi

Arama Motorlarının Tarihi

Arama motoru denildiğinde aklımıza Google gelse de aslında arama motoru sadece internette web sitesi aramaya yarayan web siteleri değildir. Arama motorlarının tarihi bilgisayarın gelişmeye başladığı 2. Dünya savaşı ile başlamaktadır. Şimdi bu konuyu derinlemesine inceleyerek SEO bilgimize katkı sağlayalım. Makale oldukça uzun olsa da vakit ayırıp okumanızı fazlasıyla tavsiye ediyorum.

Düşündüğümüz Gibi (1945)

“Gelecekte bir kişinin tüm kitaplarını, kayıtlarını, iletişimini depoladığı, hız ve esnekliği aşarak bir araya getirebilen bir cihaz düşünün.” İşte geçmişte arama motorlarının tarihi bu cümleleri söyleyen Dr. Vannevar Bush ile başladı olarak kabul edilebilir.

2. Dünya Savaşı’nın etkilerinden biride bilimsel açıdan yaşanan gelişmeler olmuştur. O zamana kadar insanlık tarihinde gerçekleşen tüm gelişmeler ve buluşlar aslında tamamen fiziksel gücü arttırmak için yapılan icatlardı. Taki Bilimsel Araştırma ve Geliştirme Ofisi Direktörü olarak Dr. Vannevar Bush “The Atlantic” dergisinde yazmış olduğu “Düşündüğümüz Gibi” makalesine kadar. Atlantik Öyküleri dergisinde yayınlanan Düşündüğümüz Gibi (1945) makalesinin temelinde artık fiziki gücü değil insan bilgiyi, tecrübeyi arttıracak buluşların yapılması gerektiği bunun için farklı disiplinlerde olsa bile bilim adamlarının bir araya gelebilmesi, bilgi alışverişi yapması gerekliliği gibi konuların üzerinde durmuştur.

Düşündüğümüz Gibi

Düşündüğümüz gibi, bilim insanlarını tüm insanlığın bilgi birikimi için birlikte çalışmaya çağırdı. İşte bu makaleden bir kaç örnek cümle;

  • İlerleme için uzmanlaşma giderek daha gerekli hale geliyor ve disiplinler arasında köprü kurma çabası buna bağlı olarak yüzeysel kalıyor.
  • Bilime yararlı olacaksa, sürekli olarak genişletilmeli, saklanmalı ve her şeyden önce danışılmalıdır.
Vannevar Bush, Life dergisinin kapağında , Eylül 1945
Vannevar Bush, Time dergisinin kapağında , Eylül 1945

Dr. Vannevar Bush, sadece veri depolanması değil bununla birlikte bu verilerin insan beynine faydası olacak şekilde işlenmesi gerektiğine inanıyordu. O yıllarda veri depolama zaten oldukça zorlu ve yetersizken, verinin depolamasından sonra bu verinin işlenmesi, sonrasında sadece gerekli bölümlerin sorgulanması bulmak imkansızdı. Sorunun temek kaynağı ise tabiki veri depolamada kullanılan sistemlerin yapaylığından kaynaklanıyordu. Halbuki insan beyni ise bu şekilde çalışmıyordu. İnsan beyni göreceli kalıcılığa sahipti ve ufak bir bilgiyi hafızada bulunan tüm bilgiler için bulup süzebilyordu.

Memex

Dr. Vannevar Bush, bilgiler arasında gezinmenin ve birinin arama nedenlerine özgü tüm belgeleri veya bölümleri bulmanın kolay bir yolu olmadığını fark etti. Bu sorunun çözümünü ise geliştirdiği “Memex” adındaki sistem ile çözdü. Memex, depolanmış olan büyük boyutlardaki veriye yani bilgiye erişim sağlayarak insanların hayatlarını iyileştirmelerine yardımcı olmayı amaçlamaktaydı. Neredeyse sınırsız, hızlı, güvenilir ve genişletilebilir olması sayesinde günümüz internet ağının temeliydi.

Orijinal illüstrasyon MEMEX
Orijinal illüstrasyon MEMEX “Düşündüğümüz Gibi” nin baskı’dan

Memex’in konumuzla alakası ise burada başlıyor çünkü bu sistem internetin temelinde yatmaktadır ve Ted Nelson, Douglas Engelbart başta olmak üzere internetin gelişimindeki  birçok kişiye ilham kaynağı olmuştur.

Memex asla inşa edilmedi, ancak teorik olarak makinenin orijinal ekranları ve kullanıcı tarafından yapılan eklemeleri saklamak için görüntüleme ekranları, klavyesi, alım seçicileri ve mikrofilm depolaması vardı.

Gerard Salton (1960’lar – 1990’lar)

A Theory of Indexing
A Theory of Indexing

Harvard ve Cornell merkezli bir matematikçi olan Gerard Salton’a sıklıkla dijital aramanın babası denir. 28 Ağustos 1995’te ölen Gerard Salton, 1960’ların sonunda SMART adında bilgi alma sistemini geliştirmiştir. Bu sistem ilk dijital arama motoru olarak nitelendirilmiş ve tarihe geçmiştir.

Modern arama teknolojisinin babası Gerard Salton’un SMART sistemi günümüz arama motorlarının kullandığı sihirli otomatik metin alıcısı, vektör uzay modeli, ters belge frekansı (IDF), terim Frekansı (TF), terim ayrımcılık değerleri ve alaka düzeyi geri bildirim mekanizmaları gibi önemli kavramları içeriyordu.

Gerars Salton arama teknolojisinin dayandığı testlerinin çoğunu açıklayan Endeksleme Teorisi (A Theory of Indexing) adlı 56 sayfalık bir kitap yazdı.

Ted Nelson

Ted Nelson, 1960’da Xanadu Projesi‘ni yarattı ve 1963’te köprü metni terimini kullandı. Xanadu Projesi ile hedefi, atıf gibi birçok sosyal problemi çözen basit bir kullanıcı arayüzüne sahip bir bilgisayar ağı oluşturmaktı.

Ted karmaşık biçimlendirme koduna, kırık bağlantılara ve WWW’deki geleneksel HTML ile ilişkili diğer sorunlara karşıyken, WWW’yi oluşturma ilhamının çoğu Ted’in çalışmalarından alınmıştır.

Xanadu Projesi farklı nedenlerden dolayı başlayamamıştır.

Internetin Başlangıcı ARPANet

Internetin başlangıcı ARPANET, Amerika Birleşik Devletleri Savunma Bakanlığı Gelişmiş Araştırma Projeleri Ajansı (ARPA) tarafından kurulmuştur. ARPANET’te kullanılan paket değiştirme metodolojisi Leonard Kleinrock, Paul Baran, Donald Davies ve Lawrence Roberts’ın konseptlerine ve tasarımlarına dayanıyordu.

TCP / IP iletişim protokolleri, ARPANET bilgisayar bilimcileri Robert Kahn ve Vint Cerf tarafından geliştirilmiştir. Louis Pouzin tarafından yönetilen Fransız CYCLADES projesinden konseptler içermektedir .

Proje ilerledikçe, internetin temel işleyiş mantığı olan birden fazla bilgisayar ağının bir arada kullanılabilmesi şeklinde gelişmiştir. 1982’de, ARPANET’te standart ağ protokolü olarak İnternet protokol takımı (TCP / IP) tanıtıldı.

ARPANet’in kullanıma açılmasından sonra asıl konumuz olan arama motorlarının tarihi konusuna ilk arama motoru kabul edilen Archie ile başlayabiliriz…

Archie (1990-1993) İlk Arama Motoru

Arama motorlarının tarihinde tüm arama motorlarının dedesi olarak kabul edilen, 1990 yılında Montreal’deki McGill Üniversitesi’nde bir öğrenci olan Alan Emtage tarafından yaratılan Archie’di. Bu ilk arama motoru olan archie aslında arşiv kelimesinin kısaltması olarak kullanılmıştı. Tabiki gerçek anlamda bildiğimiz arama motorları kadar kabiliyetli değildi hatta kimi göre yararsızdı. Ancak o zaman göre internet sunucuları arasında arama yapabilmeye yarayan tek arama motoruydu. 

Archie İlk Arama Motoru
Archie İlk Arama Motoru

Archie ilk başladığında indexleme yapmıyordu bir dosyanın adını biliyorsanız arama yapabilirdiniz ancak o dosyanın içinde geçen bir metni arama kabiliyeti tabiki bulunmuyordu. Ancak 1993 yılında Alan Emtage yaptığı güncelleme ile ağ üzerinde serbestçe kullanılabilen veya kamu belgeleri, görüntüler, sesler ve hizmetleri indekslemeye yardımcı olacak bir şablon indeksleme yöntemi de açıkladı. Bu güncelleme bazı açılardan bugünün Google Site Haritası’ndan çok farklı değildir.

Archie, internete bağlı sunucular içinde dosya arama işlemi yapan ilk arama motorudur. Archie’den önce arama işlemi yapan farklı programlar vardır ama onlar internet ağı üzerinde arama yapmaz. Örneğin Whois, Archie’den önce de vardı, ancak internette ağ numaraları (IP adresi) ve etki alanlarına hakkında bilgi veriyordu. Yani internette dosya bulmanın bir yolundan ziyade, aranabilecek ağ hakkında bilgi veren dizindi.

Veronica ve Jughead 

Archie’nin yayılması ve duyulmaya başlamasından sonra Nevada Üniversitesi Bilgisayar Bilişim Hizmetleri grubu bu arama motoru konusuna el atarak Veronica‘yı geliştirmeye başladı. Veronica’da Archie ile aynı amaca hizmet etti ancak dosya adları dışında düz metinler üzerinde çalıştılar. Veronica’dan kısa süre sonra farklı bir arayüze sahip ancak Veronica ile aynı şekilde çalışan Jughead ortaya çıktı.

İnternetin Başlangıcı WWW

Buraya kadar olanlar ARPANet’te yaşanan gelişmelerdi. Ancak bizim internet diye bildiğimiz World Wide Web (WWW) yani http protokolü ve 1991 yılında Tim Berners-Lee tarafından ilk web sitesi yayına alındıktan sonra kurulmuş oldu.

World Wide Web kurulana kadar insanlar dosya paylaşımını FTP (Dosya Aktarım Protokolü) üzerinden yapmaktaydı. Paylaşmak istediğiniz bir dosyanız varsa, bir FTP sunucusu kurarsınız,  birisi veriyi almakla ilgileniyorsa FTP istemcisi kullanarak bu dosyayı indirirdi. Bu küçük gruplarda etkili bir şekilde çalışıyordu ancak kullanıcılar artmaya başladığında yetersiz kalıyordu.

1980 yılında yani daha geriye gittiğimizde CERN’de bağımsız bir mühendis olarak görev yapan Burners-Lee araştırmacılar arasında bilgi paylaşımını ve güncellemesini kolaylaştırmak için köprü metin kavramına dayanan bir proje önerdi. Hatta Robert Cailliau ile bu konuda Inquire adında bir prototip sistemde kurdular. Sürekli gelişen bu prototip sonunda kişisel ve teknik bazı nedenler sebebiyle 1991 yılında tamamlandı ve ilk web sitesi yayına geçti.

6 Ağustos 1991 yılında yayına geçen ilk web sitesi http://info.cern.ch’dir. 

Konumuzla alakası ise http://info.cern.ch ‘nin dünyanın ilk web sitesi olması yanında ayrıca dünyanın ilk web dizini olmasıdır. Çünkü Barners-Lee bu sitede World Wide Web’in ne olduğunu, nasıl bir tarayıcı kullanılması gerektiği, web sunucunun nasıl kurulacağı gibi bilgiler dışında diğer açılan web sitelerinin listesi de bulunmaktaydı. Arama motorlarının tarihi söz konusuyken ilk web sitesi ayrıca ilk web dizini olarakta kabul edilir.

İlerleyen yıllarda (1994) Berners-Lee Massachusetts Institute of Technology’de World Wide Web Konsorsiyumu’nu (W3C) kurdu. W3C ile internet sitelerini oluşturan kodlara belli standartlar getirmeyi amaçladılar.

İlk Arama Motoru Botu

Arama motorlarının tarihi konusunda günümüz arama motorlarının sürekli durmadan çalışam ve milyarlarca siteyi inceleyen botlarına bakmadan geçmek tabiki de olmazdı. 1993 yılının Haziran ayında Matthew Gray, World Wide Web Wanderer‘ı tanıttı. Bu aslında internetin büyümesini ölçmek için hazırlanan ve web sunucularını ölçmeyi hedefleyen bir yazılımdı. Daha sonrasında sunucuları değil web sitesi url’lerini sayacak şekilde güncelledi. Bu Wanderer’i ilk arama motoru botu haline getirdi. İlk zamanlarda insanlara bir çözüm gibi gelse de tahmin edilmeyen bir problem olan sunucuları yavaşlatma sorunu ortaya çıktı. Bot çalışırken aynı sayfayı yüzlerce kez ziyaret ederek sunucular üzerine yük oluyor ve sistemlerin yavaşlamasına sebep oluyordu. Bunun düzeltilmesi de fazla sürmedi ancak düzeltmek kötü geçmişi yüzünden insanların botlara olumsuz bakmalarına sebep olmuştu bile.

Aliweb

1993 yılının Ekim ayında Martin Kojter, Wanderer’a rakip olan ve Archie benzeri bir indeksleme yapan Aliweb‘i oluşturdu. Bunun zamanına göre güzelliği indekslenmesi istenen sitenin site sahipleri tarafından eklenmesiydi. Yani sitenizi Aliweb’e siz kayıt ediyordunuz. Buda Wanderer gibi sunucu yükü, aşırı bant genişliği gibi sıkıntıların yaşanmaması anlamına geliyordu. Yalnız Aliweb’in büyük bir dezavantajı vardı. Kayıt sitelerin meta etiketleri okunarak yapılıyordu ve maalesef site sahipleri sitelerini Aliweb’e nasıl kayıt edeceklerini bilmiyorlardı.

Martijn Kojer sonrasında arama motorlarının içeriği indekslemesi veya indekslememesi için standartlar oluşturan web robotları sayfasını da oluşturdu. Robots.txt’nin temeli diyebiliriz.

İlkel Web Araması

Arama motorlarının tarihi konusunda günümüz arama motorları gibi çalışan ilk arama motoru 1993 yılında yayına başladı. 1993 yılı sonunda Aralık ayında bir arama motorunun 3 temel görevini yerine getiren yani bot ile bulan, dizinine ekleyen ve kullanıcılar için listeleyen ilk ilkel arama motoru yayına başladı. JumpStation, WWW Solucanı ve RBSE (Depo tabanlı yazılım mühendisliği) bir arada kullanılıyordu. JumpStation web sayfalarının başlıklarını topluyordu ki bunu basit ve doğrusal bir arama yaparak gerçekleştiriyordu. Bu günümüze göre ilkel kalan arama motoru yeteri kadar analiz yapamadığından, sadece başlıkları alıp sayfaların içeriklerini indekslemediğinden malesef aradığınızı bulmakta çok zorlanıyordu. Yine de bir başlangıçtı…

Excite

6 Stanford lisans öğrencisinin Şubat 1993 yılında başlattığı bir proje olan Architext duyuldu. Architext internet aramalarını daha verimli hale getirmek için kelime ilişkilerinin istatistiksel analinizi kullanma fikri ile doğmuştu. Bu fikir tuttu ve yatırım alıp finans edilerek 1993 ortalarında yayılmaya başladılar. Excite 1999 yılında Home adında bir internet servis sağlayıcı tarafından 6.5 milyar dolara satın alındı ve adını Excite @ Home olarak değiştirdi. Sonrasında işler istedikleri gibi gitmedi ve 2001 Ekim ayında iflas başvurusunda bulundular. İflas mahkemesinde 10 milyon dolara InfoSpace tarafından satın alınarak internet okyanusunda kayboldular.

Web Dizinleri

Web dizinleri internetin ilk yıllarında kullanıcıların aradıklarını bulmaları için başvurdukları en önemli kaynaklardı. Dizinler içinde bir çok kategoride binlerce web sitesini listeleyen web siteleridir.

VLib

Tim Berners-Lee interneti kurduğunda, yayına giren web sitelerini listeleyen Sanal Kütüphane adında basit bir dizin kurmuştu. Burada yeni açılan web siteleri listeleniyordu ve günümüz dizinlerine göre oldukça basitti. Halen yayında olan Vlib için tıklayınız.

Global Network Navigator (GNN)

O’Reilly Media Mayıs 1993’te GNN projesine başladı ve resmi olarak Ağustos 1993’te yayına geçti. Tüm internet kataloğuna dayanan bir dizinde ve reklamlar içeren ilk web sitesiydi. İlk reklam verenleri Heller, Ehrman, White ve McAuliffe adında bir hukuk firmasıydı.

GNN, 1995 yılında AOL tarafından satın alındı ​​ve 1996’da kapatıldı.

EINet Galaxy

EINet Galaxy
EINet Galaxy

EINet Galaxy adındaki web dizini 1994 yılının Ocak ayında doğdu. Bugünün web dizinlerine benzer şekilde düzenlendi ve açıkça başarılıda oldular. EINet Galaxy’nin başarılı olmasının en büyük nedeni, web arama özelliğine ek olarak Gopher ve Telnet arama özelliklerini de içermesiydi.

Yahoo Rehber

Yahoo Directory
Yahoo Directory

Nisan 1994’te David Filo ve Jerry Yang tarafından sık kullandıkları web sitelerinin bir listesini yayınlamak amacıyla kurulan Yahoo, zamanla artan bağlantı sayısını bir düzene sokabilmek için dizin haline dönüştürülmek zorunda kaldı. Yahoo’nun zamanına göre diğer dizinlerden farkı eklenen sitelenin URL’leri dışında insanlar tarafından yapılan yorumlarını da yayınlamasıydı. Zaman geçtikçe ticari sitelerin Yahoo’ya eklenme sayısı artmıştır. Bunu fırsat bilen Yahoo ticari sitelerden kayıt için ücret almaya başladı bu sayede hatırı sayılır bir gelir elde etti.

DMOZ (Açık Dizin Projesi)

DMOZ (Açık Dizin Projesi)
DMOZ (Açık Dizin Projesi)

1998’de Rich Skrenta ve küçük bir arkadaş grubu, herkesin tamamen veya kısmen indirip kullanabileceği bir dizin olan DMOZ’u (Açık Dizin Projesi) yarattı. DMOZ kısa sürede neredeyse tamamen bir grup gönüllü editör tarafından yönetilen en büyük internet rehberi haline geldi.  DMOZ editörleri sayesinde kalitesiz sitelerin eklenmesi engellediğinden bir çok arama motoru sitelerin güvenirliği konusunda bu dizinden faydalanmıştır. Bu arama motorlarından biride Google’dır. Google dışında Netscape Search, AOL Search, Lycos, HotBot, DirectHit’te verilerini DMOZ’dan almaktaydı.

DMOZ 17.03.2017 tarihinde kapandı. Rehber kapatıldığında, 90 dilde 3.861.210 aktif listeye sahipti.

Librarians Internet Index (LII)

Google, kütüphanecilerin ve diğer web editörlerinin bilgilere daha kolay erişebilmesi için bir bülten sunar. İkinci Google kütüphanecisi bülteni, Kütüphanecilerin İnternet Dizini direktörü olan Karen G. Schneider’den geldi. LII kütüphanecileri hedef alan yüksek kaliteli bir rehberdi. LII 20 yıllık hizmetten sonra yalnızca arşiv moduna giren web sitelerinin bir başka bakımlı dizisi olan İnternet Halk Kütüphanesi (Internet Public Library) ile birleştirildi.

Business.com

Yeni dizinlerdeki kayıtlı siteler belli bir sayıya ulaşana kadar yönetmek kolay gibi gözükebilir ancak kayıtlı site sayısı arttıkça dizin sitelerinin yönetimi ve kalitesini belli standartlarda tutmak oldukça zordur. Üstelik yerel veya genel bir çok kategori ve bunlara bağlı alt kategorilerde oldukça fazla sayıdadır. Bu sebeple belli bir kategoriye veya yerele yönelmek kalite ve yönetilebilir olma açısından oldukça faydalı olacaktır.

Bu mantıkla yola çıkan Business.com dizin siteleri içinde oldukça iyi yerlere geldi. Fakat Google Panda algoritma güncellemesi oldukça sert vurdu. Organik arama sonuçlarında kaybettiği sıralar, sitenin hitlerindeki ciddi düşüşler bu dizinin yok olmasına kadar giden bir süreç oldu. Son olarak 2016 Haziran ayında Pruch Group tarafından satın alındı.

Looksmart

1995 yılında kurulan Looksmart, dizinindeki sitelerin sayısı bakımından Yahoo ile sürekli yarışacak seviyelerdeydi. 1998 yılında ticari olmayan Zeal dizinini 20 milyon dolara satın alarak kendini genişletmeye çalıştı. Yalnız tıklama başı ücfret almaya başlaması yüzünden sadık ziyaretçilerinin büyük çoğunluğunu kaçırdı. Bu tıklama ücret aldığı siteleri MSN gibi bazı büyük portallara eşitleyerek onlarında kar etmelerine sebep oldu. Zamanla MSN’e bağımlılığı çok fazla arttı. Bu bağımlılığa karşı 2003 yılında Microsoft’un işletme modelini değiştirip Looksmart’tan vazgeçitklerini açıklaması dizin için çok büyük bir yıkım oldu.

Aslında bunun olabileceğini düşünüp B planı olarak WiseNut adında bir arama motoru satın alan Looksmart bu arama motoru ile istediği çıkışı yakalayamadı. Çok büyük bir içerik ve makale veritabanına sahip olsada arama sonuçlarındaki alaka düzeyinin düşüklüğü yüzünden bir türlü istediği momentuma sahip olamadı.

2004 yılında kullanıcıların Web’deki herhangi bir sayfanın tam metin kopyasını kaydetmelerini ve ardından bu verileri aramasını ve paylaşmalarını sağlayan yenilikçi bir hizmet olan Furl.net’i satın aldığını duyurdu. 28 Mart 2006’da Zeal dizinini tamamen kapatarak sadece Furl.net ile yoluna devam etti. Looksmart günümüzde bir arama motoru ve arama motoru reklamcılığıyla yoluna devam ediyor.

Dizinlerden Arama Motorlarına Geçiş

Görüntüde aynı işlevi görüyor gibi olsalar bile dizin ve arama motoru farkı bulunur. En büyük fark ise veritabanlarına kayıt işleminde ortaya çıkmaktadır.

Büyük arama motorlarının yeni site bulma işlemleri kesintisiz çalışan botları tarafından yapılmaktadır. Bu sitelerin editoryal olarak hiç incelenmediği veya çok az incelendiği anlamına gelir. Buna karşın dizin sitelerinde bu işlem bir editör tarafından gerçekleştirilir. Editör siteyi ve site bilgilerini inceler ve onay verirse site dizinde yayınlanmaya başlar. Bu açıdan bakıldığında dizin sitelerinde yayınlanan siteler daha güvenlidir sonucuna varılabilir. Ancak arama motorlarının sürekli iyileşen teknolojileri ile paralel gelişen alaka düzeyi başarısı sayesinde dizinlerden daha güven verici hale gelmelerine sebep olmuştur.

WebCrawler

Washington Üniversitesi’nden Brian Pinkerton 20 Nisan 1994’te WebCrawler’ı piyasaya sürdü. Tüm sayfaları endeksleyen ilk arama motoru diyeceğimiz WebCrawler, kısa sürede o kadar popüler oldu ki, bazı günler trafik yoğunluğundan gündüz saatlerinde erişilemiyordu. Bu başarıdan sonra AOL, WebCrawler’ı satın alarak kendi ağlarında kullanmaya başladılar.  1997 yılında ise Excite WebCrawler’ı satın aldı. WebCrawler’ın başarısı birçok benzer sitenin ortaya çıkmasına sebep oldu. WebCrawler’dan sonra 1 yıl içinde Lycos, Infoseek ve OpenText geldi.

WebCrawler
WebCrawler

Lycos

Lycos, ar-ge çalışmaları Carnegie Mellon Üniversitesi tarafından yapılan bir projeydi. 54.000 belge indeksi ile 20 Temmuz 1994 tarihinde yayın hayatına başladı. Bu arama motorunun sorumlusu Michale Mauldin’di ve günümüzde de Lycos’un baş bilim insanı olmaya devam etmektedir.

Arama motorları tarihçesinde Lycos, bir çok ilkle gelmekteydi. Alaka düzeyi başarısının yanı sıra, ön ek ekleme, yakın kelimeleri önerme özellikleri gelmekteydi. Bunların dışındaki en büyük farkı ise diğer arama motorları ile kıyaslandığında indekslediği sayfa sayısının büyüklüğü geliyordu. Lycos ayrıca çok hızlı bir şekilde siteleri indeksleme kabiliyetine sahipti. Öyleki 54bin indeks ile başladığı Temmuz ayından Ağustos’a geldiğimizde bile 394bin indeks olmuştu bile. 1995 Ocak ayında 1.5 milyon, 1996 Kasım ayında ise 60 milyon indeks ile tüm arama motorlarını geride bırakmıştı.

InfoSeek

Infoseek, Ocak 1994’te yayın hayatına başladı. Bilinen arama motorlarından pekte farklı bir özellik veya yenilik getirmediler. Yinede bir kaç patent aldılar. Infoseek’in başarısı ise Aralık 1995’te Netscape’in varsayılan arama motoru olmasından sonra geldi. Infoseek’in popüler özelliklerinden biri, web yöneticilerinin arama dizinine gerçek zamanlı olarak bir sayfa göndermelerini sağlamaktı.

AltaVista

1995 yılına geldiğimizde bir zamanların en iyi arama motoru sahneye çıktı. AltaVista, 1995 yılında, sadece ‘Dijital’ olarak bilinen Digital Equipment Corporation tarafından resmen başlatıldı. Google şu anda büyük bir farkla lider arama motoru olsada AltaVista’ya çok şey borçlu olduğu bir gerçektir. Altavista arama motorlarının bugün hala kullandığı birçok tekniğe öncülük etti ve web sayfalarının tam metin içeriğini indeksleyen ilk arama motoru olarak tarihteki yerini aldı.

Ülkemizde de çok sık kullanılan AltaVista, web sahnesine birçok önemli özellik getirdi. Neredeyse sınırsız bant genişliğine sahiplerdi (o zaman için), doğal dil sorgularına, gelişmiş arama tekniklerine izin veren ilk arama motoruydu. Kullanıcıların 24 saat içinde kendi URL’lerini eklemelerine ya da silmelerine izin verdiler. Hatta gelen bağlantı kontrolüne bile izin verdiler. AltaVista ayrıca sayısız arama ipuçları ve gelişmiş arama özellikleri de sağlamıştır. Web siteleri dışında resim, video ve ses aramaları yapılabilen ilk arama motoruydu.

1995’te günlük 300bin ziyaretçi alırken sadece 1 yıl sonra 1996’da günlük 19 milyon ziyaretçiye ulaştılar. 1998’de ise 80 milyon ziyaretçiye hizmet veriyorlardı.

Bu kadar popülerlik ve ziyaretçiye karşın kötü yönetim ve yanlış hedefler yüzünden kapandılar. Öncelikle en büyük hataları Yahoo’ya rakip olup temiz ve sade arayüzlerini portal şekline çevirmeleri oldu. Ana sayfasındaki bu kargaşa ziyaretçilerinin yeni bir arama motoru olan Google’a geçmelerine sebep oldu.

Altavista-1998
Altavista’nın 1998 yılındaki arayüzü kargaşası ziyaretçilerinin Google’a kaçmasına sebep oldu.

1999’da, AltaVista’nın %83’ü Lycos arama motorunun sahibi olan CMGI tarafından satın alındı. Bu zaman zarfında Google’ın popülerliği AltaVista’nın önüne geçti ve Google ilk kez rakiplerinden daha fazla arama sorgusu yaptı. AltaVista portal yerleşimi denemesinden eski düzenine dönmeye çalışsa da kendi kendine büyük zararı vermişti.

Kötü AltaVista markası Şubat 2003’te Overture tarafından sadece 140 milyon dolar karşılığında satın alındı. Daha sonra Yahoo, 4 ay sonra Overture’yi aldı ve bu da AltaVista adı için sonun başlangıcını işaretledi. AltaVista markası altında oluşturulan tüm arama teknolojisi, arama sonuçları 2011’de Yahoo aramasına dahil edildi. Yahoo 2013 yılında AltaVista’yı sessizce kapattı.

Altavista modern arama motorlarının önünü açtı ve tek bir web sitesinin tüm web’i endekslemesinin (Neredeyse) mümkün olduğunu kanıtladı.

Inktomi

Inktomi, 1996 yılının Şubat ayında California Üniversitesi’nde profesör olan Eric Brewer ve yüksek lisans öğrencilerinden Paul Gauthier tarafından kurulmuştur. Inktomi, arama motorları tarihinde önemli bir oyuncuydu. Ancak kendi markası altında bir arama motoru değil, perde arkasındaki en büyük veri sağlayıcıydı. Başta MSN, HotBot, Looksmart olmak üzere bir çok bölgesel arama motorunun sonuçları Inktomi tarafından sağlanmaktaydı. Ayrıca Yahoo’nun arama teknolojisinin gelişimindeki en büyük payda Inktomi’ye aittir.

Inktomi Diagram
Inktomi Verilerini Kullanan Arama Motorları

Piyasaya sunulduğu 1996 yılında 1.3 milyondan fazla belge ile en büyük web indeksine sahip olduğunu iddia ediyorlardı. Aradan geçen 4 yıl gibi kısa bir sürede yani 2000 yılında 25 milyar dolarlık bir piyasa değerine ulaşmıştı. Ancak tam olarak bir yıl sonra, hisse senetlerinin değeri yüzde 99,9 oranında düştü. Peki 1 yılda bu kadar büyük bir kayıp nasıl oldu?

Yahoo, Inktomi’nin en büyük müşterisiydi fakat memnun olmadıkları bir şey vardı. Yahoo’da “Yahoo” kelimesini aradığınızda 1. sırada Yahoo.com çıkmıyordu. Inktomi, Yahoo için bu sorunu çözse de diğer birçok işletme ve web sitesi için bu sorunu bir türlü çözemediler. Bu sebeple Yahoo ile anlaşmaları sona erdi. Buna karşın Google ise boş durmuyor ve “alaka düzeyi” sorununu çözüyordu. Google PageRank bir çok arama motoru gibi Inktomi’yi de geri bırakmıştı.

Inktomi PageRank gibi çalışan 1 ile 10 arası bir puanlamayı içeren, önceden hesaplanmış insan yargılarına dayanan algoritmik bir araç geliştirmeye çalıştı. Bunda da kısmen başarılı oldular ancak bununla uğraşırken Altavista gibi ziyaretçilerinin çoğunu Google’a kaptırmışlardı bile. Yani PageRank’ta Google’ı yakaladılar ancak kullanıcı deneyiminde geride kaldılar. Öyle ki Inktomi mühendisleri bile aramalarını Google’da yapmaya başlamışlardı.

Yahoo 2003 yılının Aralık ayında yaklaşık 235 milyon dolara Inktomiyi satın aldı ve zaman içinde sessiz sedasız kapattı.

Ask.COM

1996 yılında, Ask.com girişimci David Warthen ve Garrett Gruener arasında bir ortaklık olan Ask Jeeves olarak lanse edildi. Buradaki fikir, kullanıcıları anahtar kelimeler yerine doğal dillerinde sorular sormaya yönlendiren bir arama motoru oluşturmaktı.

Şirket ilk birkaç yılında hızla büyüdü ve 1999’da NASDAQ borsasına girdi. Aynı zamanda, iki teknoloji şirketi daha satın alarak büyümeye devam etti. Ask Jeeves her zaman en popüler arama motorları arasında yer almıştır.

1999’da, şirket bir halka arz gerçekleştirdi. Her şey yoluna giderken Google ortaya çıkmış ve çok hızlı bir şekilde büyümeye başlamıştı. Muhtemelen hikayenin geri kalanını tahmin ediyorsunuzdur. Ask.com, daha çevik bir rakip olan Google karşısında ziyaretçi dolayısıyla parasını kaybetmeye başladı. Buna paralel olarak hızlı bir şekilde ziyaretçilerinin ilgisini de kaybetti. 2005 yılında ise internet şirketlerinden InterActive Corp. tarafından 1.85 milyar $ karşılığında satın alındı. Günümüzde halen kullanımdadır.

AlltheWeb

AlltheWeb, 1999’un ortalarında ilk kez ortaya çıkmış ve 2011’de kapanmış olan bir İnternet arama motoruydu. Arama pazarında sıra dışı bir oyuncuydu. FAST şirketi tarafından geliştirilen AlltheWeb çok az tanınıyordu, ancak web’deki en büyük indekslerden biriydi. Üstelik arama sonuçları Google’a göre çok daha iyiydi. Yalnız Google’ın yakaladığı uluslararası başarıya karşın kendini pazarlayamadı.

Alltheweb
Alltheweb Arama Motoru

AlltheWeb 1997 yılında Norveç Bilim ve Teknoloji Üniversitesi’nden (NTNU) yapılan akademik araştırma ve geliştirme çalışmaları sonucunda kuruldu. Kullandığı arama teknolojisi bir çok uluslararası şirket yanında Lycos tarafından da kullanılmaktaydı. AlltheWeb 2002 yılında web araması dışında haber, görüntü, FTP, video ve MP3 gibi multimedya dosyaları da dahil olmak üzere bir dizi yeni arama seçeneği ekledi.

Şubat 2003’te Overture tarafından 100 milyon dolara satın alındı. Devamında Yahoo’nun Overture’ı satın almasıyla Yahoo’nun ürünü oldu. Günümüzde Yahoo’nun ile paralel çalışmaktadır ve Yahoo ile aynı arama sonuçlarını gösterir.

Meta Arama Motorları

Çoğu meta arama motoru, arama sonuçlarını birden çok arama motorundan alır. Ardından bu sonuçları birleştirir ve yeniden sıralar. Bu, arama motorlarının web’de gezinme konusunda daha az bilinçli olmaları ve her bir motorun oldukça benzersiz bir dizine sahip olması durumunda faydalı bir özellikti. Arama arttıkça meta arama motorlarına olan ihtiyaç azalmıştır. Genel olarak meta arama ile ilgili en büyük sorunlardan biri, meta arama motorlarının çoğunun, organik arama sonuçları ile reklamları karıştırma eğiliminde olmalarıdır.

Hotbot & Infospace

Hotbot, Wired’a aitti, hızlı sonuçlara ve kulağa hoş gelen güzel bir isme sahipti. Ancak Lycos’un satın alıp görmezden gelmesinden çok kısa bir süre sonra öldü. Yeniden doğuştan sonra meta arama motoru olarak doğdu. Çoğu meta arama motorunun aksine, Hotbot bir seferde yalnızca bir arama motorundan sonuçları alır, ancak arama yapanların web’deki daha popüler arama motorlarından birkaçını seçmesine izin verir. Infospace muhtemelen piyasadaki en popüler meta arama motoru, ancak diğer tüm meta arama motorları gibi, bu pazar payını sınırlıdır.

Google

Google’ın hikayesi 1995’te Stanford Üniversitesi’nde başladı. Larry Page ve Sergey Brin isimli 2 genç Stanford Üniversitesi’nde Backrub adlı bir arama motoru üzerinde işbirliği yaptılar. Yaptıkları arama motoru zamanın arama motorlarının aksine web sayfalarının birbiriyle olan alaka düzeylerini belirleyen geri bağlantıları (Backlinks) takip eden ve Pagerank olarak bilinen bir puanlama sistemi üzerine kuruluydu.

Google’ın ilk adı Backrub’tur. Backrub adı Google olarak değiştirildi.

Bağlantı analizi konusundaki benzersiz yaklaşımları, BackRub’a artan bir ün kazandırdı. Yeni arama teknolojisi hakkındaki kampüste dedikodular yayılmaya başlamıştı bile.

1998’de Sun’ın kurucu ortağı Andy Bechtolsheim, 100.000$’lık bir yatırım yapması sonucunda Google Inc. resmi olarak kurulup ilk resmi ofisine taşındı. Yani Google kurulmuş oldu.

Google hızlı bir şekilde neredeyse tüm dünyada hit oldu ve 2000 yılında dünyanın en büyük arama motoru haline geldi. Günümüzde de bu unvanını elinde bulundurmaktadır.

Google istatistikleri hakkındaki makalemde hem SEO hemde Google hakkında bir çok bilgiye ulaşabilirsiniz.

Google’ın Tarihi ve Gelişimini ayrı bir makale olarak Google Nedir? sayfasında bulabilirsiniz.

 

CEVAP VER

Please enter your comment!
Please enter your name here