İçindekiler
Robots Txt Nedir?
Robot.txt dosyası, arama motorları web sitenin hangi bölümleri taraması gerektiğini, hangi bölümleri taraması gerekmediğini gösteren bir dosyadır. Her web sitesinde olması gereken bir dosyadır. Birçok arama motoru web sitesini taramadan önce bu dosyayı okur ve bu dosyada yazan bilgilere göre web sitesini tarar.
Tüm arama motorları robots.txt dosyasını taramaz. Ama Google, Yandex, Bing gibi büyük arama motorları robots.txt dosyasını taramaktadır. Büyük arama motorları robots.txt dosyasını destekler. Web sitesini taramadan önce bu dosyaya bakarlar.
Robots.txt dosyasından web sitesine ait olan yönetim paneli ve arama motorlarının taranması istenilmeyen yerleri indekslenmemelidir. Bunun iki nedeni vardır. Birinci neden robots.txt dosyası herkes tarafından görüntülenmektedir. İkinci olarak arama motorlarının bir tarama bütçesi vardır. Bu tarama bütçesinde gereksiz kısımlar çıkarılarak, Arama motorlarının önemli sayfalara yönelmesi sağlanır.
Robots.txt Dosyası Neden Önemlidir?
Robotst.txt dosyası her web sayfasında olması gerekir. Bunun nedeni her web sitesi için arama motorları belirli bir kaynak ayırmaktadır. Tarama bütçesi, önemli sayfalar için harcanmalıdır. Yanlış bir robots.txt dosyası SEO çalışmalarına ciddi zarar verecektir.
Robots.txt dosyası neden önemli olduğu ile ilgili bilgiler aşağıda verilmiştir.
· Web sitesi yapım aşamasındayken veya web sitesi tasarım değiştirirken arama motorları tarafından taranmamasını sağlamak.
· Web sitesinde yinelenen içeriklerin görünmemesi için kullanılır.
· Web sitesi içinde yapılan arama sonuçlarının arama motorlarına görünmemesi için kullanılır.
· Henüz hazır olmayan içeriklerin arama motorlarından gizlemek için kullanılır.
· Arama motorların web sitesine aşırı yüklenmesini engellemek için kullanılır.
· Web sitesinde bulunan görsel ve dokümanları taraması için kullanılır.
· Site haritasının yerinin belirtilmesi için kullanılır
Robots.txt Dosyası ile İlgili Bilinmesi Gereken Kavramlar Nelerdir?
· User-agent: Türkçesi web tarayıcısı ismi demektir. Arama motorları tarama talimatları User agent (kullanıcı aracısı) sayesinde verilir.
1 User-agent: *
· Allow: Türkçesi izin vermek demektir. Arama motorlarının “Allow” ile erişebileceği yerler gösterilir.
1 User-agent: *
2 Allow:
· Disallow: Türkçesi izin vermemek demektir. Arama motorlarına “disallow” ile erişmemesi gerektiği yerler belirtilir.
1 User-agent: *
2 Disallow: /eyupkaradayikimdir/
· Crwly-delay: Türkçesi tarama gecikmesi demektir. Web sitesini 1 dakikadan fazla zamanda taranmaması için bu komut kullanılır.
Disallow: /*ctcompetiton/
· Sitemap: Türkçesi site haritası demektir. Site haritasına giden yolu göstermektedir.
sitemap: https://www.eyupkaradayi.com/sitemap.xml
· $: Robots.txt dosyasında satır sonu komutu anlamına gelmektedir.
· *: Robots.txt dosyasında herhangi bir sayıda karakter komutu anlamına gelmektedir.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak için 4 aşama vardır. Bu aşamalar aşağıda verilmiştir.
1. Robots.txt dosyası oluşturmak
2. Robtos.txt’e komut eklemek
3. Robots.txt dosyasını web siteye yüklemek
4. Robots.txt dosyasını kontrol etmek
Robots.txt Dosyası Oluşturmak
· Web sitesinde sadece bir tane robots.txt dosyası olmalıdır.
· Metin düzenleyicinin adı, robots.txt olarak kayıt edilmelidir.
· Robots.txt dosyası, ana URL’in kök dizininde bulunmalıdır. Örnek olarak https://www.eyupkaradayı.com için https://www.eyupkaradayi.com/robots.txt şeklinde olmalıdır. Her sayfa için robots.txt dosyası kullanmak gerekmez.
· Robots.txt dosyası UTF-8 olarak kodlanmalıdır. Google, UTF-8 dışındaki karakterleri kabul etmeyebilir. Bu durumda robots.txt dosyası geçersiz kabul edilir.
Robots.txt Dosyası Oluşturmak için Yapılması Gerekenler Nelerdir?
Robots.txt dosyası oluşturmak için not defteri kullanılabilir. Bir not defter açılmalıdır. Not defterine girilen komutlar ile robots.txt dosyası oluşturulmalıdır.
Google search console ile ilgili yazımı okumak için eyupkaradayi.com/search-console-nedir bağlantısına tıklayabilirsiniz.
Robots.txt Dosyasına Komut Eklemek
Robots.txt dosyasına komut eklemek, Tarayıcıların hangi bölümleri tarayacağını belirten komutlardır. Robots.txt dosyasına komut eklerken dikkat edilmesi gerekenler:
· Robots.txt dosyası, birden fazla veya bir tane gruptan oluşabilir
· Robots.txt klasöründeki her grup, satır başına bir yönergeden oluşur. Her grup, User-agent satırı ile başlamaktadır.
· Bir grupta verilen bilgiler:
§ Komutun kimin için geçerli olacağını belirtir.
§ Dosyanın, hangi dizin ve dosyalara erişebileceği belirtilir
§ Dosyanın, hangi dizine ve dosyalara erişemeyeceği belirtilir.
· Yorumun başlangıcı olarak # karakteri kullanılır
· Komutların hepsi küçük harf ile yapılmalıdır. Çünkü büyük harf ile yapıldığında geçersiz sayılmaktadır.
Robots.txt dosyasını yükleme
Robots.txt dosyası öncelikle web sitesine kayıt edilmelidir. Eğer ki wordpress altyapılı bir web sitesi varsa bilgisayara kayıt etmeye gerek yoktur. Bir eklenti ile robots.txt dosyası eklenebilir. WordPress eklentisi otomatik olarak robots.txt dosyası oluşturmaktadır. SEO eklentisinin oluşturduğu robots.txt dosyası doğru şekilde eklenmiş olur.
WordPresste en çok kullanılan 3 SEO eklentisinde robots.txt dosyasına gitmek için aşağıdaki yol takip edilebilir.
Yoast SEO
· Admin paneline giriş yapılmalı
· Kenar çubuğunda Yoast SEO eklentisinde araçlara tıklanmalı
· Eklenti içerisinde dosya düzenleyiciye gidilmeli
Rank Math
· Admin paneline giriş yapılmalı
· Kenar çubuğunda Rank Math eklentisinde genel ayarlara gidilmeli
· Eklenti içerisinde dosya düzenleyiciye gidilmeli
All İn One SEO
· Admin paneline giriş yapılmalı
· Kenar çubuğundan All İn One SEO eklentisinde Robots.txt seçeneğine gidilmeli
WordPress dışında farklı bir altyapı kullanıyorsa, c-panel üzerinden robots.txt dosyası bulunmalı ve o dosya silinerek yenisi eklenmelidir. C-panel üzerinden robots.txt dosyası bulunamazsa hosting firması veya geliştirici ile iletişime geçilebilir.
Robots.txt dosyası web sitesine eklendikten sonra Google’ın ayrıştırılabilir olup olmadığı test edilmelidir. https://www.eyupkaradayi.com/robot.txt şeklinde arama yaparak robots.txt dosyası olup olmadığı kontrol edilebilir.
Robots.txt dosyası olduğu kontrol edildikten sonra, herhangi bir işlem yapmak gerekmez. Arama botları web sitenin robot.txt dosyasını otomatik olarak inceler.
Robots.txt İle İlgili Mutlaka Bilinmesi Gerekenler Nelerdir?
Robots.txt ile ilgili bilinmesi gereken bilgiler madde madde aşağıda verilmektedir.
· Web sitesinde doğru yapılandırılmış bir robots.txt dosyası bulundurulmalıdır. Doğru olmayan robots.txt dosyası geçersiz olacaktır.
· Robots.txt düzenlerken web sitenin kök dizinde olmalıdır.
· Robots.txt dosyası içerisinde kesinlikle site haritası kullanılmalıdır.
· Web sitenin taranmasını istenilmeyen taraflarını robots.txt dosyası kullanarak taranması engellenmelidir.
· Ana domain dışında subdomain kullanılıyorsa, ana domaindeki robots.txt subdomaini etkilemez. Bundan dolayı subdomain için yeni bir robots.txt dosyası açılmalıdır.
· Robots.txt dosyaları büyük, küçük harfe duyarlıdır. Robots.txt dosyası küçük harfli olmalıdır. Robots.txt, robots.TXT şeklinde değil robots.txt şeklinde yazılmalıdır.
