robots.txt ve llms.txt nasıl yazılır? Arama motorları ve yapay zekâ botları için rehber

Sitenizin kök dizininde duran iki küçük metin dosyası, arama motorlarının ve yapay zekâ araçlarının sitenizle nasıl ilişki kuracağını büyük ölçüde belirler. robots.txt, 1990’lardan beri kullanılan ve bugün resmi bir standart (RFC 9309) olan tarama izinleri dosyasıdır. llms.txt ise 2024’te önerilen, büyük dil modellerine sitenizin kısa ve düzenli bir özetini sunmayı amaçlayan yeni bir öneridir. Bu rehberde ikisinin farkını, doğru yazımını ve sık yapılan hataları anlatıyoruz.

robots.txt ne yapar, ne yapmaz?

robots.txt, botlara “şu klasörleri tarama” diyen bir rica listesidir. İyi niyetli botlar (Googlebot, Bingbot, büyük yapay zekâ şirketlerinin botları) bu kurallara uyar; kötü niyetli botlar uymaz. Bu yüzden robots.txt bir güvenlik aracı değildir.

En sık karıştırılan nokta şudur: robots.txt ile engellenen bir sayfa yine de arama sonuçlarında görünebilir. Başka sitelerden bağlantı alan bir adresi Google, içeriğini okumadan da dizine ekleyebilir. Bir sayfanın sonuçlarda görünmesini istemiyorsanız doğru araç noindex meta etiketidir; ve Google’ın bu etiketi görebilmesi için sayfanın taranabilir olması, yani robots.txt ile engellenmemesi gerekir.

Temel robots.txt yapısı

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Allow: /

Sitemap: https://www.ornek.com/sitemap.xml

• User-agent kuralın hangi bot için geçerli olduğunu söyler; * tüm botlar demektir.
• Disallow taranmaması istenen yolu, Allow istisnayı belirtir.
• Sitemap satırı site haritanızın tam adresini gösterir ve tüm botlar için geçerlidir.
• Yollar büyük-küçük harfe duyarlıdır ve her zaman / ile başlar.

Yapay zekâ botları için kurallar

Yapay zekâ şirketleri farklı amaçlar için farklı botlar kullanır. Kabaca üç gruba ayrılırlar:

Bu ayrım önemlidir: bir işletme eğitimi engelleyip arama ve anlık okuma botlarına izin verebilir. Görünürlük istiyorsanız en azından ikinci ve üçüncü gruptaki botlara izin vermelisiniz. Bu konuyu yapay zekâ asistanlarının sitenizi nasıl okuduğunu anlatan yazımızda daha ayrıntılı ele aldık.

Bir uyarı: robots.txt’de izin verseniz bile barındırma firmanızın güvenlik duvarı veya CDN ayarı bu botları engelliyor olabilir. Kuralları yazdıktan sonra sunucu kayıtlarında ya da bir test aracıyla botların gerçekten 200 yanıtı aldığını doğrulayın.

llms.txt nedir ve nasıl yazılır?

llms.txt, sitenizin kökünde duran ve Markdown biçiminde yazılmış bir özet dosyasıdır. Amaç, bir dil modeline sitenizin ne olduğunu ve en önemli sayfalarınızın nerede olduğunu menü, reklam ve betiklerle uğraşmadan anlatmaktır. Henüz tüm asistanlar tarafından okunmuyor; bu yüzden onu tek başına bir çözüm değil, düşük maliyetli bir ek olarak görmek doğrudur.

Önerilen yapı şöyledir:

# Örnek Yazılım

> İstanbul merkezli, KOBİ’lere web sitesi ve e-ticaret çözümleri sunan yazılım ajansı.

## Hizmetler
- [Kurumsal web sitesi](https://www.ornek.com/kurumsal-web-sitesi/): Paket içeriği ve süreç
- [E-ticaret](https://www.ornek.com/e-ticaret/): Altyapı ve ödeme entegrasyonları

## Rehberler
- [Web sitesi teklifi alırken sorulacak sorular](https://www.ornek.com/blog/teklif-sorulari/)

İyi bir llms.txt için:

1. İlk satırda yalnız bir # başlığıyla site veya marka adını yazın.
2. Altına > ile bir iki cümlelik, gerçek ve somut bir özet ekleyin.
3. ## bölümleriyle en önemli sayfaları gruplayın; her bağlantıya kısa bir açıklama yazın.
4. Yalnız gerçekten yararlı sayfaları listeleyin. Site haritanızı buraya kopyalamayın.
5. Bilgileri güncel tutun; kapanmış bir hizmetin veya eski fiyatın burada kalması yanlış alıntıya yol açar.

Sık yapılan hatalar

• Disallow: / unutmak: Geliştirme ortamından kalan bu tek satır, tüm sitenin taranmasını engeller. Yeni bir site yayına alındığında ilk kontrol edilmesi gereken şeydir.
• CSS ve JavaScript klasörlerini engellemek: Google sayfayı doğru çizemez ve mobil uyumluluğu yanlış değerlendirir.
• Gizli sayfaları robots.txt’de listelemek: Dosya herkese açıktır; “gizli” adresi saldırganlara siz göstermiş olursunuz. Bu sayfaları parola ile koruyun.
• noindex ile Disallow’u birlikte kullanmak: Sayfa taranamadığı için noindex hiç okunmaz.
• Dosyayı yanlış yere koymak: robots.txt ve llms.txt yalnız alan adının kökünde (/robots.txt) geçerlidir.

Kontrol listesi

• /robots.txt adresi 200 yanıtı veriyor ve Disallow: / içermiyor.
• Yönetim paneli, sepet ve iç arama sonuçları gibi değersiz alanlar taramaya kapalı.
• CSS, JavaScript ve görsel klasörleri açık.
• Site haritası adresi dosyada yazıyor.
• Yapay zekâ botları için bilinçli bir karar verildi ve CDN ayarı bu kararla çelişmiyor.
• /llms.txt sitenin güncel özetini ve en önemli sayfaları içeriyor.

Örnek senaryo: yeni yayına alınan bir e-ticaret sitesi

Bir e-ticaret sitesi yeni yayına alındı ve iki hafta sonra Google’da hâlâ yalnız ana sayfa görünüyor olsun. Kontrol sırası şöyledir:

1. robots.txt dosyasını açın. Test ortamından kalan Disallow: / satırı varsa sorunun büyük kısmı budur; kaldırın ve Search Console’da robots.txt raporunu yenileyin.
2. Filtre adreslerini düzenleyin. Renk, beden ve fiyat filtreleri binlerce farklı adres üretiyorsa bunları taramaya kapatmak tarama bütçesini ürün sayfalarına yönlendirir. Örneğin Disallow: /*?filtre= gibi bir kural kullanılabilir; ancak kuralı yazmadan önce bu adreslerin gerçekten değersiz olduğundan emin olun.
3. Sepet, ödeme ve hesap sayfalarını kapatın. Bu sayfalar arama sonuçlarında işe yaramaz ve tarama bütçesini harcar.
4. Site haritasını ekleyin. Ürün ve kategori sayfalarını içeren site haritasının adresini robots.txt’ye ve Search Console’a ekleyin.
5. llms.txt’yi hazırlayın. Mağazanın ne sattığını, kargo ve iade koşullarının hangi sayfada olduğunu ve en önemli kategorileri kısa bir özetle listeleyin. Yapay zekâ asistanları “bu mağaza iade kabul ediyor mu?” gibi sorulara cevap ararken bu bilgiyi kolayca bulabilir.

Bu düzenlemelerden sonra yeni sayfaların dizine girmesi genellikle günler ile birkaç hafta arasında sürer; Search Console’daki “Sayfalar” raporundan ilerlemeyi takip edebilirsiniz.

Sonuç

robots.txt sitenizin kapılarını kime ve nasıl açtığınızı, llms.txt ise içeri giren yapay zekâya kendinizi nasıl tanıttığınızı belirler. İkisini de llms.txt, robots.txt ve şema üreticimizle birkaç dakikada hazırlayabilir, sonucu AI uyumluluk testimizle kontrol edebilirsiniz.