Robots.txt ve Sitemap.xml Hataları: Sitenizi Google'dan Görünmez Yapan 10 Yanlış

Robots.txt ve Sitemap.xml dosyaları, web sitenizin arama motorları ile iletişim kurduğu en temel dosyalardır. Küçük bir hata bile sitenizin Google tarafından taranmasını ve indekslenmesini tamamen engelleyebilir. Bu rehberde, en sık yapılan 10 hatayı ve çözümlerini adım adım öğrenin.

Robots.txt ve Sitemap.xml, SEO dünyasının görünmez kahramanlarıdır. Bir site sahibi olarak, bu dosyaları doğru yapılandırmak, arama motorlarının sitenizi nasıl gördüğünü doğrudan etkiler. Yanlış bir "Disallow" komutu, tüm sitenizi Google'dan gizleyebilir. Eksik veya hatalı bir site haritası, yeni içeriklerinizin haftalarca indekslenmemesine neden olabilir.

Bu kapsamlı rehberde, Robots.txt ve Sitemap.xml dosyalarında yapılan en yaygın 10 hatayı, bu hataların sonuçlarını ve nasıl düzeltileceğini adım adım anlatacağız.

Robots.txt Nedir ve Neden Önemlidir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru bot'larına (crawler) sitenizin hangi bölümlerini tarayabileceklerini veya tarayamayacaklarını söyleyen bir metin dosyasıdır. Bu dosya, bot'lar için bir "izin" veya "yasak" listesi gibi çalışır.

Doğru yapılandırılmış bir Robots.txt dosyası:

• Tarama bütçesini korur (bot'ların gereksiz sayfalarda vakit harcamasını engeller)
• Hassas veya yinelenen içeriklerin taranmasını engeller
• Önemli sayfaların (CSS, JS) bot'lar tarafından görülmesine izin verir

Sitemap.xml Nedir ve Neden Önemlidir?

Sitemap.xml, web sitenizdeki tüm önemli sayfaların URL'lerini listeleyen bir XML dosyasıdır. Arama motorlarına sitenizin yapısını ve hangi sayfaların indekslenmesi gerektiğini bildirir.

Doğru yapılandırılmış bir Sitemap.xml dosyası:

• Yeni sayfaların hızlı keşfedilmesini sağlar
• Derin sayfaların (ana sayfaya uzak) bulunmasına yardımcı olur
• Sayfaların önceliğini ve güncellenme sıklığını belirtir

Hata 1: Robots.txt ile Tüm Sitenin Engellenmesi

En kritik ve en sık yapılan hata, Robots.txt dosyasına yanlışlıkla "Disallow: /" komutunu eklemektir. Bu komut, tüm arama motoru bot'larının sitenizin tamamını taramasını engeller.

Örnek (YANLIŞ):

    User-agent: *
    Disallow: /
        

Sonuç: Siteniz Google ve diğer arama motorları tarafından tamamen görünmez hale gelir.

Çözüm: "Disallow: /" komutunu kaldırın veya sadece belirli klasörleri engelleyin.

    User-agent: *
    Disallow: /admin/
    Disallow: /kullanici-girisi/
        

Hata 2: CSS ve JS Dosyalarının Engellenmesi

Googlebot, sayfaları doğru şekilde işleyebilmek için CSS ve JavaScript dosyalarına erişmek zorundadır. Bu dosyalar engellenirse, Google sayfaları eksik veya bozuk görebilir.

Örnek (YANLIŞ):

    User-agent: *
    Disallow: /css/
    Disallow: /js/
        

Sonuç: Google, sayfalarınızı mobil uyumsuz veya yavaş olarak değerlendirebilir.

Çözüm: CSS ve JS dosyalarının taranmasına izin verin.

    User-agent: *
    Allow: /css/
    Allow: /js/
        

Hata 3: Eksik veya Güncel Olmayan Sitemap.xml

Sitemap.xml dosyası ya tamamen eksiktir ya da güncel değildir. Yeni sayfalar eklenmiş ancak site haritası güncellenmemiştir.

Sonuç: Yeni sayfalar keşfedilmez, eski sayfalar hala indekste kalır.

Çözüm: Sitemap.xml'i dinamik olarak oluşturun veya her içerik güncellemesinde manuel olarak güncelleyin. WordPress için Rank Math veya Yoast SEO eklentileri otomatik günceller.

Hata 4: 404 veya Yönlendirilmiş URL'lerin Sitemap'te Listelenmesi

Sitemap.xml dosyasında 404 (bulunamadı) veya 301/302 yönlendirilmiş URL'lerin listelenmesi.

Sonuç: Google bot'ları bu URL'leri taramaya çalışır, tarama bütçesi boşa harcanır.

Çözüm: Sitemap.xml'den 404 ve yönlendirilmiş URL'leri temizleyin. Sadece 200 durum kodlu sayfaları listeleyin.

Hata 5: Sitemap.xml'in Robots.txt'te Belirtilmemesi

Sitemap.xml dosyasının konumu Robots.txt dosyasında belirtilmemiştir. Bu, arama motorlarının site haritasını bulmasını zorlaştırır.

Çözüm: Robots.txt dosyasının en altına Sitemap.xml konumunu ekleyin.

    Sitemap: https://siteniz.com/sitemap.xml
        

Hata 6: Sitemap.xml'de Aynı URL'nin Tekrar Edilmesi

Bir URL'nin Sitemap.xml dosyasında birden fazla kez listelenmesi.

Sonuç: Google bot'ları gereksiz yere aynı sayfayı tekrar tekrar tarar, tarama bütçesi boşa harcanır.

Çözüm: Sitemap.xml'de her URL'nin yalnızca bir kez listelendiğinden emin olun.

Hata 7: Büyük Sitemap.xml Dosyaları

Tek bir Sitemap.xml dosyası 50.000 URL'den veya 50 MB boyuttan büyük olmamalıdır. Bu sınırları aşan dosyalar Google tarafından tam olarak okunamaz.

Çözüm: Büyük siteler için Sitemap Index dosyası kullanın.

    <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
      <sitemap>
        <loc>https://siteniz.com/sitemap1.xml</loc>
      </sitemap>
      <sitemap>
        <loc>https://siteniz.com/sitemap2.xml</loc>
      </sitemap>
    </sitemapindex>
        

Hata 8: Sitemap.xml'de Yanlış Değişiklik Sıklığı (Changefreq)

Sayfaların güncellenme sıklığının (changefreq) gerçekçi olmayan şekilde "hourly" (saatlik) veya "daily" (günlük) olarak belirtilmesi.

Sonuç: Google, Sitemap.xml'deki bilgilere güvenmez ve tarama sıklığını kendi belirler.

Çözüm: Changefreq değerlerini gerçekçi belirleyin. Genellikle "weekly" (haftalık) veya "monthly" (aylık) yeterlidir.

Hata 9: Robots.txt'de Sadece Googlebot'un Belirtilmesi

Robots.txt dosyasında sadece Googlebot (Google) için kurallar belirtilirken, diğer arama motorları (Bing, Yandex) unutulur.

Sonuç: Diğer arama motorları sitenizi gereksiz şekilde tarayabilir veya önemli sayfaları göremeyebilir.

Çözüm: Tüm önemli bot'lar için ayrı kurallar belirleyin.

    User-agent: Googlebot
    Disallow:
    
    User-agent: Bingbot
    Disallow:
    
    User-agent: *
    Disallow: /admin/
        

Hata 10: Sitemap.xml'de "noindex" Sayfaların Listelenmesi

Sitemap.xml dosyasında, "noindex" meta etiketi veya X-Robots-Tag ile indekslenmesi engellenmiş sayfalar listelenir.

Sonuç: Google çelişkili sinyaller alır. Sitemap'te "bu sayfayı indeksle" derken, sayfada "bu sayfayı indeksleme" der. Bu, Google'ın kafasını karıştırır ve indeksleme sorunlarına yol açar.

Çözüm: "noindex" sayfaları Sitemap.xml'den tamamen çıkarın. Sadece indekslenmesini istediğiniz sayfaları listeleyin.

Hataları Kontrol Etmek İçin Kullanılacak Araçlar

• Google Search Console: Kapsam (Coverage) raporu, Sitemap raporu ve Robots.txt test aracı
• Screaming Frog: Sitemap.xml'deki URL'leri doğrulamak için
• Robots.txt Test Aracı: Google Search Console içinde bulunan araç
• XML Sitemap Validator: Sitemap.xml dosyasının geçerliliğini kontrol eder

Sonuç: Robots.txt ve Sitemap.xml Hatalarını Düzeltin, Görünürlüğünüzü Artırın

Robots.txt ve Sitemap.xml dosyaları, web sitenizin arama motorları ile iletişim kurduğu en temel dosyalardır. Küçük bir hata bile sitenizin Google tarafından taranmasını ve indekslenmesini tamamen engelleyebilir. Bu rehberdeki 10 yaygın hatayı kontrol edin, sitenizin bu dosyalarını doğrulayın ve düzeltin.

Unutmayın, bu dosyaları düzeltmek, sitenizin arama motorları tarafından doğru şekilde görülmesi ve sıralama potansiyelini yakalaması için atılacak en önemli adımlardan biridir. Teknik SEO'da doğru temel atmak, uzun vadeli başarının anahtarıdır.

Sitenizin Robots.txt ve Sitemap.xml dosyalarını denetlemek ve doğru yapılandırmak mı istiyorsunuz? UlexFlow Inc olarak, teknik SEO ve dijital büyüme sistemleri alanında uzmanlaşmış bir stüdyoyuz. Sitenizin teknik altyapısını denetliyor, Robots.txt ve Sitemap.xml dosyalarını doğru yapılandırıyor ve sürdürülebilir büyüme için gerekli sistemleri kuruyoruz. Size özel bir büyüme analizi planlamak ve mevcut performans durumunuzu değerlendirmek için ücretsiz strateji görüşmesi talep edin.