Robots.txt Nedir? Nasıl Kullanılır?

“robots.txt” bir web sitesinin search engine robots (ya da “bots”) tarafından hangi sayfaların indexlenmesine izin verildiğini ve hangilerinin yasaklandığını belirleyen bir dosya formatıdır. Aynı zamanda, bu dosya tarayıcı tarafından okunabilir ve yönlendirilebilir ve normal bir web tarayıcısı tarafından da görülebilir.

Robots.txt Dosyası Nerede Barındırılır, Bulunur?

“robots.txt” dosyası, bir web sitesinin domain adresinin (örneğin, “http://www.example.com“) root dizininde barındırılır ve bulunur. Dosyanın tam adresi “http://www.example.com/robots.txt” şeklindedir. Tarayıcılar ve search engine robots bu dosyayı, web sitesine erişmeden önce ararlar ve içeriği doğrultusunda hangi sayfaların indexlenmesine izin verileceğine karar verirler.

Robots.txt Dosyasının Oluşturulması ve Kullanımı

“robots.txt” dosyası, bir web sitesi yöneticisi tarafından oluşturulabilir. Dosyanın içeriği, açık ve anlaşılır bir şekilde yazılmalı ve robots tarafından okunabilir olmalıdır. Genel bir “robots.txt” dosyası şu şekildedir:

User-agent: *
Disallow: /

Bu örnekte, tüm robots tarafından web sitesinin tüm sayfalarının indexlenmesi yasaklanmıştır.

Eğer sadece belirli sayfaların indexlenmesine izin vermek isterseniz, aşağıdaki gibi bir “robots.txt” dosyası oluşturabilirsiniz:

User-agent: *
Disallow: /private/
Allow: /public/

Bu örnekte, tüm robots tarafından “private” dizinindeki sayfaların indexlenmesi yasaklanmıştır, ancak “public” dizinindeki sayfaların indexlenmesine izin verilmiştir.

“robots.txt” dosyası sadece bir öneridir ve tüm robots tarafından uymaya zorunlu tutulamaz. Aynı zamanda, “robots.txt” dosyası güvenlik açıklarını önlemek için yeterli değildir ve web sitesinin güvenliği için diğer güvenlik önlemleri de alınmalıdır.

User-Agent Nedir? Nasıl Kullanılır?

“User-Agent” bir HTTP isteğinde sunulan bir başlıktır ve isteği yapan tarayıcı, robot veya araç hakkında bilgi içerir. Bu bilgi, web sitesi yöneticilerinin, isteği yapan tarayıcı veya robot hakkında bilgi edinmelerine ve belirli bir tarayıcı veya robot için özel içerik sunmalarına veya erişimi yasaklamalarına olanak tanır.

“robots.txt” dosyasında, “User-Agent” satır başlığı kullanılır ve isteği yapan tarayıcı veya robot hakkında bilgi verir. Örneğin, aşağıdaki örnekte, tüm robots tarafından web sitesinin tüm sayfalarının indexlenmesi yasaklanmıştır:

makefileCopy codeUser-agent: *
Disallow: /

Bu örnekte, “User-Agent: *” ifadesi tüm robots tarafından uygulanması gerektiğini belirtir. Eğer sadece belirli bir robot için yasaklamalar yapmak isterseniz, o robotun “User-Agent” değerini belirtebilirsiniz. Örneğin:

javascriptCopy codeUser-agent: GoogleBot
Disallow: /private/

Bu örnekte, sadece GoogleBot tarafından “private” dizinindeki sayfaların indexlenmesi yasaklanmıştır.

User agent Listesine git

Robots.txt Dosyası SEO için Neden Önemlidir?

“robots.txt” dosyası, SEO (Arama Motoru Optimizasyonu) için önemlidir çünkü bu dosya, search engine robots’un web sitesindeki sayfaları hangi sayfaların indexlenmesine izin verip vermeyeceğine karar vermelerine yardımcı olur. Eğer web sitesindeki belirli sayfaların indexlenmesine izin verilmezse, bu sayfalar arama sonuçlarında görüntülenmez ve bu da arama trafiği kaybına neden olabilir.

Ayrıca, “robots.txt” dosyası, gizli veya güvensiz içeriği olan sayfaların arama motorları tarafından taranmasını engelleyerek web sitesi güvenliğini de korur.

Sonuç olarak, “robots.txt” dosyası web sitesinin SEO performansını ve güvenliğini etkileyebilecek faktörleri yönetmenize olanak tanır ve search engine robots’un hangi sayfaların indexlenmesine izin verileceğini anlamalarına yardımcı olur.

Robots.txt Kullanırken Dikkat Edilmesi Gerekenler

“robots.txt” dosyası kullanırken dikkat edilmesi gereken bazı önemli noktalar şunlardır:

1. Dosya Adı ve Yerleşimi: “robots.txt” dosyası, web sitesinin root dizininde bulunmalı ve tam adı “robots.txt” olmalıdır.
2. Doğru Biçimlendirme: “robots.txt” dosyası, doğru biçimlendirilmeli ve belirtilen kurallar açık ve anlaşılır bir şekilde ifade edilmelidir.
3. Robots’un Uyması Zorunlu Değil: “robots.txt” dosyası bir kural değil, sadece bir öneridir. Robots, “robots.txt” dosyasındaki kuralları uymak zorunda değildir.
4. Yasaklanan Sayfalar Hala Ziyaret Edilebilir: “robots.txt” dosyasındaki kurallar sadece robots tarafından geçerlidir. Yasaklanan sayfalar hala insanlar tarafından ziyaret edilebilir.
5. İzin Verilen ve Yasaklanan Sayfaların İncelenmesi: “robots.txt” dosyasındaki kuralları doğru şekilde belirlemek, web sitesinin SEO performansı için önemlidir. İzin verilen ve yasaklanan sayfaların dikkatli bir şekilde incelenmesi ve gerekli açıklamaların yapılması önerilir.
6. Kural Değişikliklerinin Takibi: “robots.txt” dosyasındaki kurallar zamanla değişebilir. Bu nedenle, dosya sık sık kontrol edilmeli ve gerektiğinde güncellenmelidir.

Bu noktalar dikkate alındığında, “robots.txt” dosyası doğru ve etkili bir şekilde kullanılabilir ve web sitesinin SEO performansı ve güvenliği korunabilir.