SEO

Google Bot Nedir?

Google Bot, Google tarafından web’deki tüm sayfaları ziyaret etmesi ve taraması için oluşturulan bir web gezginidir. Tüm web sayfalarını, ziyaret eder, bağlantıları tarar, listeleme yapar, sayfanın içeriğinde oluşturulan kelime, kod ve kaynakları alır. Bilgiler toplar, topladığı bilgileri arama dizini güncellemesi için Google’a iletir. 

İçindekiler

Google Bot Çeşitleri Nelerdir?

Google Botun farklı görevler için farklı tarama işlemleri sağlayan türleri bulunmaktadır. Tüm çeşitler için Google Bot ismi kullanılsa da farklılık göstermektedir. Google Botta Google araması, Google Haber vb. çeşitler bulunmaktadır. Google Botların türlerine aşağıdan ulaşabilirsiniz. 

  • Googlebot Image: Google’da resim aramalarında kullanılan bir bottur.  
  • Googlebot videos: Video aramalarında kullanılan bir bottur.
  • Googlebot News:Google’da aranan haberler için kullanılan bir bottur.
  • Googlebot Feedfetcher: Google’da web sitelerinin feedlerini taramak için kullanılan bir bottur. 
  • Googlebot Favicon: Google’da küçük resim olarak adlandırılan ikonlar taranması için kullanılan bir bottur. 

Google Bot Nasıl Çalışır?

Web sitesindeki tüm sayfaları ziyaret eder. Link giden sayfaların tamamını tarar ve listeleme yapar. Web sitelerinde bulunan içeriklerin linkleri Googlebot tarafından takip edilir. Bununla birlikte yeni içerikler ve yeni siteler sıralama almak için dizine alınır. Google’da yer alan içeriklerin üst sıralarda yer almasını ve taranma hızını bu yapı kontrol eder. 

Unutmayın ki sadece Google sizin web sitenizi taramamaktadır. Webte bulunan tüm web siteleri taranmaktadır. Bundan dolayı botların yaptığı işler oldukça zaman almakta ve maliyetlidir. Google’da bundan dolayı web sitelerinin taramalarını kolaylaştıran siteleri daha üst sıralarda çıkmasını sağlamaktadır. Google Bot’un yaptığı işini kolaylaştırmak için bazı ipuçları aşağıdadır.

  • Web sitesinin Google tarafından görülebilir ve ulaşılabilir olduğunu kontrol etmek
  • Web sitesi için arama motorları tarafından rahatlıkla anlaşılabilir bir site haritası düzenlenilmeli. 
  • Web sitesinde bulunan sayfaları “nofollow” bağlantıları kontrol edilmelidir.
  • Google Search Console kullanarak, web sitesinde var olan hatalar tespit edilmeli ve düzeltilmelidir. 

Web sitelerinde tüm sayfalar tarandıktan sonra  dizine eklenir. Google bu dizine bakarak web sitelerinin sıralamalarına karar vermektedir. Google Botun dizin oluşturma süreci aşağıdaki gibidir. 

  1. Bot,  keşfedilen sayfaların içeriklerini indirir.
  2. Web sitesini ziyaret edecek olan ilgili botların içerikleri önbelleğine alır.
  3. Ön belleğin içerisinde site kaynaklarını derler ve ilgili botlar tarafından sınıflandırma için kullanılır.
  4. Sınıflandırma işlemi yapılan sayfalar etiketlere ve başlıklara göre dizine eklenir.
  5. Botun tarama yapabilmesi için sayfalara HTML istegi gönderilir.
  6. HTML istegi gönderilen sayfalaran HTML yanıt kodu alınır.
  7. Alınan HTML koduna göre sayfada olan kaynaklar taranır.
  8. Sayfadan HTML kodu “200” alınan sayfalar Google Bota iletilir.
  9. User-agent (web sitesi ile son kullanıcı birleştiren yazılım) Google Bot olarak iletilir.
  10. İstenilen erişim sunucu tarafından kabul edilir ve işlenir.

Google Botu Kontrol Etmenin Yolları Nelerdir?

Google botları kontrol edebilme şansınız olsa ne dersiniz? Web sitenizi dizine ekleme ve sıralama almada büyük önemi olan botları kontrol edebilirsiniz. Google Botları, kontrol etmenin birçok yolu vardır. Bu yolları aşağıda bulabilirsiniz. 

  1. Robots.txt dosyası kullanarak kontrol edilebilir.
  2. Site haritası kullanarak kontrol edilebilir.
  3. Google Search Console kullanarak kontrol edilebilir.
  4. Başlık etiketlerine robot tailmatları ekleyerek kontrol edilebilir.
  5. Meta description verilerin robot talimatları ekleyerek kontrol edilebilir.

Google Bot Robots.txt Kullanır

Google Bot, web sitelerini tararken tarayıcılar üzerinde çalışmalar yapar. Bot, robots.txt  dosyasında bulunan komutlar ile birlikte işleme alır ve web sitesini dizine ekler. Web sayfasının dizine eklenmesi istenmediği zaman robots.txt dosyası üzerinden disallow komutu ile engellenebilir. 

Arama motoru Botu site üzerinde taramalar gerçekleştirirken Robots.txt dosyası içerisinde yer alan komutlara göre inceleme yapmaktadır. Web sayfalarının da “nofollow” etiketi yani web sayfasını tarama ibaresi varsa o sayfayı bot tarama yapmaz. Robots.txt dosyasının doğru oluşturulması gerekir.

Robots.txt dosyası ile ilgili daha fazla bilgi almak için https://www.eyupkaradayi.com/robots-txt-nedir/ içeriğime göz atabilirsiniz. 

Google Bot Site Haritalarını Kullanır

Site haritaları web sitesi içerisinde bulunan sayfalar ile ilgili açık ve detaylı bilgileri bulundurmaktadır. Web sitesi içerisindeki URL’lerin rahat bulunabilmesi için site haritaları önemlidir. Site haritası, Google Search Console ile birlikte arama motoru botlarına bildirilir. Böylelikle web sitesindeki sayfalara kolaylıkla botlar tarafından keşfedilebilir.

Site haritalarının link kullanımları ne kadar doğru olursa sayfaların keşfedilmesi o kadar kolaylaşır. Web sitesindeki URL’ler site haritasında doğru veya yanlış kullanılsa dahi aktif olarak dizine eklenecektir. Ama yanlış kullanımda Tarama Hızını ve Tarama Bütçesini olumsuz etkileyecektir.

Web sitesinde güncelleme yapıldığı zaman, Google Search Console üzerinden gönderilen Site haritasının son güncellenme tarihine göre yeniden dizine eklenir. Web sitenizde güncelleme yaptıktan sonra Google Search Console’u kontrol ederek, tekrar dizine eklenmesini sağlayın.

Site Haritası ile ilgili daha detaylı bilgi almak için https://www.eyupkaradayi.com/site-haritasi-nedir/ içeriğime göz atabilirsiniz. 

Google Search Console kullanımı nedir? Nasıl olmalıdır ile ilgili tüm sorularınızın cevapları https://www.eyupkaradayi.com/google-search-console-nedir/  içeriğime göz atarak bilgi alabilirsiniz.

Google Bot İndeksleme ve Taramada Meta Etiketi Kullanımı

Google Bot, Robots.txt dosyası ile birlikte web sitesini tarama işlemini yaparken “nofollow” etiketi bulunmayan sayfaları ziyaret eder. Bu sayfalar ziyaret edilmeden önce HTML içerisinde bulunan meta etiketlerinin kontrolü sağlanır. Meta açıklamalarında “contex=noindex” etiketi varsa sayfayı tarar ama dizine ekleme yapmaz.

Botlar, web sitesini robots.txt den tarama işleminden sonra web sitesinin kaynak kodundaki HTML bölümünden <head></head> içerisinde ki meta etiketlerinin kontrol ederek dizine ekler.

Robots.txt ile Engellenen Sayfalar İndeksleme

Botlar, Web sitesindeki bir sayfanın robots.txt dosyasında “disallow” komutu barındırmasına rağmen web sitesi dışından alınan bir link varsa Google sayfayı indeksleyebilir.  İlgili sayfada Robots.txt dosyasında Disallow komutu uygulanmış ise meta etiketini Google Bot göremez. 

Web sitenin Google Search Console üzerinden alınan raporların da sayfanın indekslenmesi engelli olmasına rağmen dizine eklenen sayfalar taramaya açık olmalı ve noindex etiketi görünür olmalıdır. URL kaldırma aracı ile arama silinebilir ama kalıcı çözüm sağlamadığı için tekrar edilmesi gerekebilir.

Google Botun Tarama Sıklığı Nedir?

Bir web sayfasının arama motoru botları tarafından ziyaret edilmesi sıklığı her sitede farklılık göstermektedir. Bir web sitesinin tarama sıklığını web sitenin otoritesi, iç ve dış bağlantı sayısı, sayfa otoritesi, SEO uyumlu menü yapısı gibi birçok metriğe bağlıdır. Bunların yanında en çok etkileyen Marka bilinirliği (sitenin popülerliği), site dışından gelen dış bağlantılar etkilemektedir. 

Web sitenizin Botlar tarafından daha sık taranması için  web sitesindeki teknik iyileştirmeler, kaliteli ve sıklıkla içerik üretimi, içeriklerin güncellenmesi web sitenin daha fazla taranmasını sağlar.  

Sahte Google Botlar Nedir?

Web sitesinde maalesef kötü niyetli yazılımlar tarafından, engellenen sayfalara erişim sağlayabilmektedir. Böyle durumlar ile karşılaşmamak için DNS aramasının yerine Botların algılayabileceği IP’ler kullanılabilir. IP kullanımında, IP’ler liste halinde bulunduğu için kötü niyetli yazılımlar ayırt edilebilir. Bunun dışında Google Search Console üzerinden “Tarama İstatistikleri”  bölümünden tarama süreçlerine göz atabilirsiniz.

Google Bot ile ilgili daha fazla bilgi almak için Google Search Central’ın üretmiş olduğu içeriğe buraya tıklayarak ulaşabilirsiniz.

SON

Web sitesinin tarama süreci ile ilgili bilgi aktarmaya çalıştım. Google Bot nedir? Nasıl çalışır?  doğru taranmayı nasıl yapılır? vb. soruların cevaplarını bu yazımda vermeye çalıştım. Bu konu veya başka konular üzerinde her zaman benimle iletişime geçebilirsiniz. 

eyup

Ben Eyüp Karadayı, Bandırma Onyedi Eylül Üniversitesi Maliye Bölümü mezunuyum. Üniversitede KGGT topluluğu kurucu başkanlığını yaptım. Üniversitede Earnadoda SEO stajyeri olarak çalıştım. Sonra BYT Dokuma firmasında e-ticaret uzmanı olarak çalıştıktım. Şimdi firmalara SEO danışmanlığı vermekteyim.

İlgili Makaleler

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu