"GPTBot'u engelledim, artık ChatGPT'de hiç görünmem" diye düşünen çok işletme sahibi var. Aslında durum daha karmaşık: her AI şirketinin farklı amaçlarla çalışan birden fazla botu var, ve hangisini nasıl yönettiğiniz görünürlüğünüzü doğrudan belirliyor.
Üç Bot Ailesi
AI botlarını tek bir grup gibi düşünmek en sık yapılan hata. Aslında üç farklı aile var, ve her biri farklı bir amaca hizmet ediyor:
| Aile | Amaç | Örnek Botlar |
|---|---|---|
| Eğitim botları | Model eğitim veri setini besler, toplu ve yavaş tarar | GPTBot, ClaudeBot, Google-Extended |
| Canlı arama botları | Kullanıcı sorgularına anlık cevap üretmek için sürekli indeksler | OAI-SearchBot, PerplexityBot, Claude-SearchBot |
| Sohbet ajanları | Kullanıcı bir URL'yi doğrudan sorduğunda tetiklenir, tarayıcı gibi davranır | ChatGPT-User, Claude-User, Perplexity-User |
Bu ayrım önemli çünkü bir eğitim botunu engellemenin etkisi, bir arama botunu engellemenin etkisiyle aynı değil. GPTBot'u kapatmak sizi geleceğin model eğitiminden çıkarır, ama ChatGPT'nin bugünkü canlı arama sonuçlarından çıkarmaz; o, OAI-SearchBot ve ChatGPT-User'ın işi.
Bot Bot: Kim Ne Yapıyor?
| Bot | Şirket | Görevi |
|---|---|---|
| GPTBot | OpenAI | Model eğitim verisi toplar |
| OAI-SearchBot | OpenAI | ChatGPT arama sonuçlarını besler |
| ClaudeBot | Anthropic | Claude'un eğitim verisini toplar |
| Claude-SearchBot | Anthropic | Claude'un canlı arama sonuçlarını besler |
| PerplexityBot | Perplexity | Gerçek zamanlı indeksleme yapar, her sorguda aktif |
| Googlebot | Klasik arama indekslemesi yapar (AI Overview dahil) | |
| Google-Extended | Yalnızca Gemini'nin eğitim verisini kontrol eder | |
| Bingbot | Microsoft | Bing indeksler; bu indeks ChatGPT'nin canlı aramasının da temel kaynağı |
robots.txt Bir Rica, Bir Garanti Değil
robots.txt, sitenizin kök dizinindeki (/robots.txt) düz metin dosyasıdır ve hangi botların hangi yolları tarayabileceğini belirtir. Büyük botların çoğu (Googlebot, GPTBot, ClaudeBot, PerplexityBot) bu dosyaya uyduğunu resmi olarak belirtiyor ve gözlemlerde de genelde uyuyor. Ama üç önemli istisna var:
- Uyum isteğe bağlıdır. Bir direktif yalnızca bot onu okur ve uygularsa işe yarar; sahte bir user-agent adı her şeyi iddia edebilir.
- Kullanıcı tetiklemeli erişim gri alandır. Biri ChatGPT'ye veya Perplexity'ye belirli bir URL'yi özetlemesini söylediğinde, bu erişim "kullanıcı yönlendirmeli" sayılıyor ve robots.txt kurallarının aynı şekilde uygulanmayabileceği belirtiliyor.
- CDN katmanı sizi geçersiz kılabilir. robots.txt "izin ver" dese bile, CDN seviyesindeki güvenlik ayarları AI botlarını yanlışlıkla engelleyebiliyor; iki katmanın tutarlı olması gerekiyor.
JavaScript Render Sorunu
AI crawler'ların büyük çoğunluğu JavaScript render etmiyor. Bu, React, Vue veya Angular tabanlı bir tek sayfa uygulamasında (SPA) kritik bir sorun yaratıyor: içeriğiniz tarayıcıda mükemmel görünse bile, bot ham HTML'i gördüğünde boş bir sayfayla karşılaşabilir. Sunucu tarafında render (SSR) veya statik HTML çıktısı, bu botlar için neredeyse zorunlu hale geliyor.
Örnek Yapılandırma
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: /
Bu, tüm AI botlarına açık bir temel yapılandırma. Eğitim verisine dahil olmak istemediğiniz özel bir durumunuz varsa, ilgili botu tek tek Disallow: / ile kapatabilirsiniz; ama bunun ChatGPT veya Gemini'nin gelecekteki model bilgisinde markanızın hiç geçmemesi anlamına geldiğini unutmayın.
Bu botların hangi içeriği seçtiği ve nasıl değerlendirdiği konusunu ChatGPT'de İşletmeniz Nasıl Görünür? ve Google AI Overview Nasıl Çalışıyor? yazılarımızda ayrıntılı işledik.
Sıkça Sorulan Sorular
GPTBot'u engellersem ChatGPT'de hiç görünmez miyim?
Hayır. GPTBot yalnızca eğitim verisi topluyor; ChatGPT'nin canlı arama sonuçlarında görünmek için OAI-SearchBot ve ChatGPT-User botlarının açık olması yeterli olabilir.
Google-Extended'ı engellemek Google sıralamamı düşürür mü?
Hayır. Google-Extended yalnızca Gemini'nin eğitim verisini kontrol eder; arama indekslemesi ayrı bir bot olan Googlebot tarafından yapılır ve bu direktiften etkilenmez.
robots.txt'te izin versem bile bot gelmeyebilir mi?
Evet. robots.txt bir rica niteliğindedir, zorunluluk değil. Büyük botların çoğu buna uyar ama bazı botların geçmişte uymadığı belgelenmiştir.
İlgili yazılar: Schema Markup Rehberi · GEO Nedir? 2026 Rehberi · ChatGPT'de İşletmeniz Nasıl Görünür? · Google AI Overview Nasıl Çalışıyor? · SEO ve GEO Arasındaki 12 Temel Fark · OpenAI: GPTBot Dokümantasyonu (dış kaynak)