Googlebot Nedir? Ne işe yarar?

Googlebot, Google’nin kullandığı bir arama bot’udur. Bu bot’un temel amacı internet ortamındaki verileri toplayarak google’nin kullanabileceği bir içeriğe dönüştürmekle görevlidir. Buna bir çeşit indexleme diyebiliriz. İndexlme (tarama işlemi), Googlebot’un Google dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan bir olaydır. Googlebot, oldukça gelişmiş bir algoritmaya dayalı bir yöntem kullanır. Hangi sitelerin ne zaman taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından saptanır.

Googlebot‘un tarama işlemi, önceki tarama işlemlerinde oluşturulan web sayfası URL’lerinin listesiyle başlar ve web yöneticileri tarafından sağlanan Site haritası verileriyle artar. Genellikle web sitelerinin Google bot tarafından indexlenmesini istemeyen webmasterler sitelerinin dizin kısmınayazarak sitelerinin Google tarafından indexlenmesini engelleyebilirler.

Google Bot’un indexleme işlemini gerçekleştirebilmesi için serverlarda googlebot.com bulunduran web sitesi ve içinde Google Bot kelimesinin geçtiği user-agent ile kodlanmış bir metne gereksinim vardır. Örneğin: robot.txt Googlebot’un ikiye ayrılmaktadır. Bunlar “Derinbot” (deepbot) ve “yenileyici bot” (fresh bot).

1-Deepbot ya da Derinbot internet ortamında bulunan bağlantıları inceler ve takip ederi. Web sayfalarını googlenin indexleme platformuna indirir. Genellikle bu işlem ayda 1 kez yapılarak sağlanır.
2-Freshbot yada Yenileyicibot internet ortamında yenilenmiş içerikleri taramakla görevlidir. Bunu yaparken sıklıkla değişen yenilenen sayfaları önceliğe alır. Googlebot HREF ve SRC linkleri kontrol eder.

Daha ayrıntılı ve detaylı bilgiyi Google’nin Webmaster Tools Platformundan öğrenebilirsiniz.

İnternet sayfanıza gelen bir web tarayıcısının Googlebot veya başka bir şey olup olmadığını doğrulamanız sizi sayfanızı ziyaret eden botlar hakkında bilgi sahibi yapar. Özellikle spam yapanların veya kötü amaçlı kişilerin sitenize Googlebot gibi eriştiğinden şüpheleniyorsanız bu faydalı bir yöntemdir. Bunu yapmak için;

https://support.google.com/webmasters/answer/80553?hl=tr