Bot Nedir ? Arama Motoru Botları

259
Bot Nedir ? Arama Motoru Botları
Bot Nedir ? Arama Motoru Botları

Bot Nedir?

Bot, su üstüne genelde bir kaç yolcuyu taşımaya yarayan küçük gemilerdir. Birde kışın ayağımıza giydiğimiz ayakkabı çeşidi vardır. Ne alaka diyebilirsiniz ama aslında bu açıklamayı kullanıcı deneyimi örneği olması açısından yazdım. Google kullanıcılarınıza aradıkları konu hakkında gerçek ve açıklayıcı bilgi verin demiyor mu? Siz buraya belki arama motoru botları hakkında bilgi almaya geldiniz ama belki başka bir kullanıcı “Bot Nedir”‘in kelime anlamını arıyordur? Google bunu bilebilir mi? Tabi ki de bilemez zaten bu sebeple sayfalarınızın içeriklerinde konuyu derinlemesine anlatmanızı istiyor…

Bu kısa örnekten sonra biz asıl konumuz olan “Arama Motoru Botları“‘na dönelim.

Not: Ülkemizde internetin yaygınlaşmaya başladığı 2000’li yıllarda IRC dediğimiz chat uygulamaları çok popülerdi. Bunlar içinde en çok kullandığımız MIRC programıydı. MIRC içinde yazışarak sohbet edebileceğiniz bir çok kanal bulunurdu. Bu kanalların en ünlüsü Zurna’ydı. Bunu şundan anlattım Çünkü tanıştığım ilk bot aslında bu chat kanallarında kullanılan Chat Bot’lardı. Bu botlar hem kanalları kalabalık göstermek için hemde küfür vs edenleri otomatik olarak kanaldan atmaya yarardı. Sonrasında tanıştığım Bot ise Quake  oyunundaki botlardı.

MIRC
MIRC Programı Ekran Görüntüsü

 

Arama Motoru Botları

SEO firması veya SEO uzmanı olun eğer işiniz arama motoru optimizasyonu ise ve bir web sitesinin belli kelimelerde rakiplerinizden yukarıda çıkarmak istiyorsanız öncelikle tüm çalışmalarının temelinde Google gelir. Tabi yüzlerce arama motoru olsa bile insanların %94 gibi büyük bir kısmının aramalarını Google’da yaptığını bilince diğer arama motorlarının bir önemi kalmıyor. Tüm çalışmalar Google için yapılıyorsa gerçekten O’nu anlamalı ve kendinizi anlatmalısınız. Google’ı anladığınız zaman emin olun O’nunda sizi anladığını göreceksiniz. Arama motorları 3 ana bölümden oluşur. Tarama, indeksleme (Kataloglama) ve listeleme… Bu makalede tarama işlemini yapan botları öğreneceğiz.

Google’ı anlamaya vaktiniz varsa “Arama Motorlarının Tarihi” ile başlayabilirsiniz. 

Bot Nedir? Arama Motoru Botları Nedir?

Bot Nedir? Bot, bilgisayar robotu, internet botu, spider, örümcek, Google Bot gibi amacına uygun farklı isimleri olan, tekrarlayan görevleri ve komutları, insanların yetişemeyeceği inanılmaz hızlarda yapabilen programlara verilen isimdir. İnternet botları ise genellikle arama motorları tarafından kullanılan web siteleri hakkında bilgi ve içerikleri toplayan, örümcek veya spider olarak bilinen yazılımlardır. Örümcek denmesinin sebebi ise internet ağının çok büyük bir örümcek ağına benzemesinden ve botların bu ağı kesintisiz olarak sürekli taramalarından kaynaklanmaktadır. Bu arama motoru botları yani örümcekler bir web sitesine gelir erişebildiği tüm içeriği indeksler ve sonrasında site içerisindeki linkler yardımıyla diğer sitelere geçerler. Bu döngü sonsuz bir döngüdür ve hiç bitmez. Öyle ki tüm dünyanın internet trafiğinin yarısını arama motorları botları oluşturmaktadır. Umarım bot nedir sorusunun cevabını verebilmişimdir.

Arama Motoru Botları Nasıl Çalışır?

Bot nedir sorusunun çok geniş bir cevabı vardır. Fakat bizim işimiz arama motoru botları olduğu için bu makalede sadece arama motoru botlarından bahsedeceğim. Arama motoru veya internet botları aslında çok basit veri toplama programlarıdır. Web’te bilgi ve bağlantılar bulmak için seyahat ederler ve sadece okuyabildikleri içerikleri arama motorlarına gönderirler. Farklı amaçlar için farklı botlar olsa bile aslında yaptıkları sadece sayfa içindeki metinleri okumak, anlamaktır. Bunu yaparken izledikleri belli adımlar vardır ve içeriklerinizi onların rahatça anlayabileceği şekilde oluşturursanız sizi çok daha iyi anlamalarına yardımcı olmuş olursunuz. Zaten SEO stratejisinin ilk adımı arama motoru botlarının içeriğinize erişebilmesi, okuyabilmesini sağlayabilmek olmalıdır. Botların erişemediği bir içeriğin kimseye faydası olmaz.

Arama Motoruna Ekleme

Basit bir şekilde sıfırdan yapılmış ve yeni alınmış bir alan adına kurduğunuz web sitenizin arama motorlarına eklenme aşamaları şu şekilde olur. Arama motorlarının SİTE ekle veya URL ekle sayfasından, URL’nizi eklersiniz. Bu ekleme işlemi sonrasında arama motoru sitenizi incelenecek siteler sırasına alır. Sıra size geldiğinde arama motoru botu yazdığınız URL’den sitenize ulaşmaya çalışır. Ulaştıktan sonra ilk baktığı robots.txt dosyanız olup olmadığıdır. Bu dosya bildiğiniz gibi botlara sitenizin hangi bölümlerini okuyup dikkate alması gerektiğini gösterir. Bazı botlar bu dosyayı dikkate almaz ama çoğunluk için bu dosya bir yol göstericidir. (Sitenizde mutlaka olsun)

Devamında sitenizdeki linkleri takip ederek tüm sayfalarınızın listesini çıkarırlar. Bir nevi kendine göre bir site haritası oluşturur. Sonraki adım ise botun asıl becerisi yani sayfaları okumak ve derlemek gelir. Bot bir sayfanın içeriğini okur, düzenler, kategorilendirir ve arama motoru dizinine eklenmesi için arama motoruna gönderir. Bot sitenizde erişebildiği tüm sayfalarınızı gezdikten sonra eğer sitenizden başka sitelere verdiğiniz linkler varsa onlara doğru yoluna devam eder. Dışarıya verilen link yoksa kaynağa geri dönerek kaynağından incelenecek yeni bir URL alarak işine hiç ara vermez.

Arama Motorunda Listelenme

Bir arama motoru botunun sitenize gelip indekslemesi sitenizin arama motoru sonuçlarında  listelenmesinin garantisi değildir. Çünkü bu adımdan sonrası siteniz ayrıca arama motoru mühendislerinin oluşturduğu algoritmaya göre belli kontrollerden ve aşamalardan geçer. En basiti olarak oluşturduğunuz içeriğin kopya olup olmadığına bakılır. Eğer kopya içerik varsa bu sitenizin genel anlamda kalite puanını (Örnek, Google Pagerank) etkiler ve o içerik arama sonuçlarında listelenmez veya alt sıralarda listelenir. Arama motoru algoritması hem genel siteniz için hemde tek tek sayfalarının içeriği konusunda bir puanlama yapar ve puanınıza göre arama sonuçlarında o kadar yukarıda çıkarsınız.

Arama motoru bot bir web sitesini ziyaret ettiğinde, web sayfasındaki tüm görünür metni, kaynak koddaki çeşitli etiketlerin içeriğini (başlık etiketi, meta etiketleri, yorum etiketleri, alt etiketleri, özellik etiketleri, içerik, vb.) ve web sayfasındaki linklerin içindeki metinleri okur. Bunlara göre okuduğu sayfanın ve genel olarak web sitesinin ne olduğuna karar verir. Sayfada neyin önemli ve değerli olduğu bulmak için kullanılan birçok faktör vardır ve bu faktörler arama motorlarına göre değişiklik gösterir.

İşte SEO uzmanı yukarıdaki bu bilgileri bilir ve sitenin genel yapısı ve içeriklerin odak anahtar kelimelerini botların anlayabileceği şekilde organize eder.

Botların Siteyi Ziyaret Sıklığı

Arama motoru veritabanları değişik zamanlarda güncellenir. Bir web sitesi arama motoru veritabanına girdikten sonra, web siteleri sayfalarında yapılan değişiklikleri almak ve en güncel verilere sahip olmalarını sağlamak için botlar düzenli olarak ziyaret etmeye devam edecektir. Bir web sitesinin ziyaret edilme sayısı, aktif bir web sitesi olup olmadığı gibi kriterler botların siteleri ziyaret etme süresini belirler. Yani bir web sitesi çok fazla trafik çekiyorsa ve çok sık güncelleniyorsa botlar siteye daha sık uğrar.

Yani botların sitenizi ziyaret sıklığı tamamen içerik ve sitenin istikrarı ile alakalı bir durumdur.

En Ünlü 5 Bot

1. Googlebot

Googlebot, Google’ın web tarama botudur ve genelde örümcek olarak da bilinir. Googlebot ünlü Google algoritmasını kullanır ve botlar içinde en ünlüsü bu bottur. Googlebot sayfamızda daha detaylı bilgiyi bulabilirsiniz.

2. Baiduspider

Baiduspider, Baidu ayni Çin arama motorunun botudur. Baidu web siteleri, ses dosyaları ve resimler için Çin’in önde gelen arama motorudur.

3. MSN Bot / Bingbot

MSN Bot Ekim 2010’da emekli oldu ve yerini Bingbot’a bıraktı. Aslına bakarsanız Microsoft tarafından yeniden markalaştılar. Bingbot, Bing arama motoru için çalışır ve web sitelerini indeksler. Bing indeksi Yahoo tarafından da kullanıldığı için Bing tarafından indekslenmek Yahoo arama sonuçlarında da çıkacağınız anlamına gelir. Bing nasıl çalışır hangi SEO kurallarını dikkate almanız gerekir öğrenmek isterseniz Bing Kuralları sayfamızı inceleyebilirsiniz.

4. Yandex Bot

Yandex Bot,  Yandex’in arama motorunun botudur. Yandex, Rusya’daki en büyük arama motorunu işleten ve Rusya’da yaklaşık %60’lık bir pazar payına sahip şirkettir. Yandex, Nisan 2012 itibariyle günde 150 milyondan fazla arama ve 25,5 milyondan fazla ziyaretçi ile dünya çapında beşinci en büyük arama motoru olarak yer almıştır. Ülkemizde de Google’dan sonra en çok kullanılan arama motorları arasındadır. Büyük futbol takımlarımızın formalarında reklamlarını görebilirsiniz.

5. Soso Örümcek

Soso.com , Tencent Holdings Limited şirketine ait olan ve iyi bilinen bir Çinli arama motorudur. 13 Mayıs 2012 tarihi itibariyle Soso, Alexa verilerine göre, dünyada en çok ziyaret edilen 36. ve Çin’de en çok ziyaret edilen 13. web sitesi olarak sıralanmaktaydı. Günlük ortalama 21.064.490 sayfa görüntülenmesi almaktadır. Burada Badiu gibi Soso’nunda en büyük artısı aslında Çin’in dışarıya kapalı internet alt yapısı ve nüfusudur.

SEO sektöründe kullanılan terimlerini açıkladığım SEO Sözlüğü sayfamı incelediniz mi?

CEVAP VER

Please enter your comment!
Please enter your name here