Robots.txt’i anlayın: Neden önemli ve nasıl kullanılacağı

Arama Motoru (SERP) sayfasında iyi bir sıralama ile siteniz için görünürlük elde etmek, takip edilmeye değer bir hedeftir. Ancak, sitenizde performans alanı veya çoğaltma gibi trafiği yönlendirmek istemeyen birkaç sayfa olabilir. Neyse ki, bunu WordPress sitenizde yapmanın basit bir yolu var. Robots.txt dosyalarını kullanmak, arama motorunu (ve ziyaretçileri) gizlemek istediğiniz içerikten uzaklaştırır ve hatta arama motoru optimizasyonu (SEO) çabalarınızı artırmaya yardımcı olabilir. Bu yazıda, robots.txt dosyasının ne olduğunu ve sitenizin SEO’su ile nasıl ilişkili olduğunu anlamanıza yardımcı olacağız. Ardından, Yoast SEO eklentisini kullanarak bu dosyayı WordPress’te nasıl hızlı ve kolay bir şekilde oluşturacağınızı ve düzenleyeceğinizi göstereceğiz. Bölünelim!
Robots.txt’e Giriş Kısacası, robots.txt, web sitesinin ana dizininde saklanan sıradan bir metin dosyasıdır. İşlevi, web sitesi sayfalarınızı keşfetmeden ve dizine eklemeden önce arama motoru tarayıcılarına talimatlar vermektir. Robots.txt’i anlamak için arama motoru ticareti hakkında biraz bilgi sahibi olmanız gerekir. Bu, içeriklerini öğrenmek için web sitesini ziyaret eden bir programdır (veya ‘bot’). Site Sayfanızı Nasıl Dizine Kaldırıyor Sayfanın SERP’de bitip bitmediğini (ve ne kadar yüksek olduğunu) belirler. Bir arama motoru tarayıcısı bir web sitesine geldiğinde, yapılacak ilk şey, sitenin ana dizinindeki robots.txt dosyasını kontrol etmektir. Eğer bulursanız, içinde listelenen talimatları kaydeder ve siteyi keşfederken takip eder.
Robots.txt dosyaları yoksa, bot yalnızca tüm siteleri tarar ve dizine ekler (veya birçok site bulunabilir). Bu her zaman bir sorun değildir, ancak siteniz ve SEO için tehlikeli olabileceği bazı durumlar vardır. Robots.txt neden SEO için önemlidir Robots.txt’in en yaygın kullanımlarından biri, web sitelerinin içeriğini arama motorlarından gizlemektir. Buna, belirli sayfaları sürünen ‘yasaklama’ botları olarak da adlandırılır. Bunu yapmak isteyebileceğiniz birkaç neden var. İlk neden SERP sıralamanızı korumaktır. Yinelenen içerik arama motorlarını karıştırma eğilimindedir, çünkü SERP’deki tüm kopyaları içeremezler ve bu nedenle hangi sürüme öncelik verileceğini seçmek zorundadırlar. Bu, en üst sıralamayı elde etmek için içeriğinizin kendisiyle rekabet etmesine neden olabilir, bu da verimsizdir. Arama makinelerinin içeriğini gizlemek istemenizin bir başka nedeni, web sitenizin gizli tutmak istediğiniz kısmını göstermemeleridir – böyle Kişisel üyeler için evreleme alanı veya özel forum olarak. Bu sayfa yüzleşmek kullanıcıları karıştırabilir ve diğer sitelerinizden trafik çekebilir. Sitenizdeki belirli alanları araştıran botları yasaklamanın yanı sıra, robots.txt dosyanızdaki ‘tarama gecikmesi’ de belirleyebilirsiniz. Bu, sitenizde birkaç sayfa yükleyen ve sürünen botların neden olduğu sunucuların avantajlarını önleyecektir. Ayrıca, bağlantı süresinin tükenme süresini azaltabilir, bu da kullanıcınızı gerçekten hayal kırıklığına uğratabilir.
WordPress’te Robots.txt Nasıl Oluşturulur ve Düzenir (3 adımda) Neyse ki, Yoast SEO eklentisi robots.txt dosyasını oluşturmayı ve düzenlemenizi kolaylaştırır. Aşağıdaki adımlar, sitenizde Yoast SEO’yu yüklediğinizi ve etkinleştirdiğinizi varsayacaktır. Adım 1: SEO YOAST DOSYA DÜZENDEYİNE ACCESS Robots.txt dosyasını oluşturmanın veya düzenlemenin bir yoludur. Erişmek için WordPress yönetici kontrol panelinizi ziyaret edin ve kenar çubuğundaki Yoast SEO> Araçlara gidin: Üretilen ekranda, araç listesinden dosya düzenleyicisini seçin:
Zaten bir robots.txt dosyanız varsa, bu, değiştirebileceğiniz metin düzenleyicisini açacaktır. Robots.txt dosyanız yoksa, bunun yerine bu düğmeyi göreceksiniz:

Robots.txt dosyasını otomatik olarak üretmek için tıklayın ve web sitenizin ana dizinine kaydedin. Robots.txt dosyalarını bu şekilde hazırlamanın iki avantajı vardır.

İlk olarak, dosyanın doğru yerde saklandığından emin olabilirsiniz, bu da arama motorlarının onu bulabilmesini sağlamak için önemlidir. Dosya ayrıca tüm küçük harflerle doğru şekilde adlandırılacaktır. Bu önemlidir çünkü izleme makinesi izleme hassas/küçük harftir ve robots.txt gibi adlarla dosyaları tanımaz.

Adım 2: Robots.txt Dosya Biçimi Bir arama motoru izleme ile etkili bir şekilde iletişim kurmak için, robots.txt dosyanızın doğru şekilde biçimlendirildiğinden emin olmalısınız. Tüm robots.txt dosyaları ‘kullanıcı ajanı’ ve ardından aracı tarafından takip edilecek ‘direktif’ bulunur. Kullanıcı aracısı, talimat vermek istediğiniz belirli bir arama makinesi gezgindir. Bazıları arasında: Bingbot, Googlebot, Slurp (Yahoo) ve Yandex. Talimatlar, Arama Motoru Gezginleri tarafından takip edilmek istediğiniz talimatlardır. Bu yazıda iki tür talimat tartıştık: Gecikmeye izin ver ve tarama. Bu iki öğeyi birleştirdiğinizde, tam bir robots.txt dosyası alırsınız. Bu sadece iki satır kadar kısa olabilir. Örneğin kendi robotlarımız.txt dosyalarımız:

Sadece site URL’sini ve ardından /robots.txt yazarak daha fazla örnek bulabilirsiniz (örneğin, örnek.com/robots.txt). Bir başka önemli biçimlendirme öğesi ‘joker kart’. Bu, aynı anda bazı izleme makine geçişlerini göstermek için kullanılan bir semboldür. Yukarıdaki robots.txt dosyamızda, yıldız işareti ( *) tüm kullanıcı aracılarını temsil eder, bu nedenle onu takip eden yön, okumanın herhangi bir botuna uygulanır.
Yaygın olarak kullanılan bir başka joker kartın ($) sembolüdür. URL’nin ucunu değiştirebilir ve tüm sayfalara belirli URL sonekleriyle uygulanması gereken talimatlar sağlamak için kullanılabilir. Aşağıdaki robots.txt BuzzFeed Dosyası Örneğin:
Burada, tüm .xml dosyalarından arama motorlarını engellemek için $ Wild Cards kullanır. Kendi Robots.txt dosyanızda, ihtiyaçlarınıza en uygun herhangi bir kombinasyonda mümkün olduğunca çok yön, kullanıcı aracıları ve joker kartlar girebilirsiniz. Adım 3: Robots.txt dosyalarını nasıl oluşturacağınızı ve biçimlendireceğinizi bildikten sonra, arama motoru taramasını yönlendirmek için robots.txt komutunu kullanın, aslında arama motoru botuna talimatlar vermeye başlayabilirsiniz. Robots.txt dosyasına ekleyebileceğiniz dört genel yön vardır: Yasağı. Arama motoru ticaretine belirli bir sayfayı veya sayfayı keşfetmemesini ve dizine eklememesini söyleyin.

İzin ver. Önceki talimatlara izin verilmeyen alt klasörlerin taramasını ve endekslenmesini etkinleştirin. Bu komut yalnızca GoogleBot ile çalışır.
Neden olma gecikmeleri. Söz konusu sayfayı yüklemeden önce arama motoru ticaretinin belirli bir süre beklemesini bildirin.

Site haritası. Botların sitenizi daha etkili bir şekilde sürünmesine yardımcı olacak ek bilgiler sağlayan arama motoru ticaret konumları site haritaları sağlayın. Bu yönergeyi kullanmayı seçerseniz, dosyanızın sonuna yerleştirilmelidir.
Robots.txt dosyanız için bu yönün hiçbiri gerçekten gerekli değildir. Aslında, bunlardan birini kullanarak bir argüman bulabilirsiniz veya karşı çıkabilirsiniz.
En azından, SERP’de hiç istemediğiniz botların sürünme sayfalarını yasaklamanın ve site haritanızı gösterin.Bu görevlerin bazılarını işlemek için başka araçlar kullanacak olsanız bile, robots.txt dosyanız, yönün çalıştırıldığından emin olmak için yedekleme sağlayabilir.Sonuç Arama motorlarına talimat vermek isteyebileceğiniz birçok neden vardır.Sitenizin belirli alanlarını SERP’den gizlemeniz, tarama gecikmesini ayarlamanız veya site haritanızın yerini göstermeniz gerekiyor mu, robots.txt dosyanız işi tamamlayabilir.Yoast SEO ile robots.txt dosyanızı oluşturmak ve düzenlemek için: Yoast SEO dosyasının editörüne erişim düzenleyebilirsiniz.
Robots.txt dosya biçiminiz.
Arama motoru taramasını yönlendirmek için robots.txt komutunu kullanın.
SEO’nuzu geliştirmek için robots.txt kullanımı hakkında sorularınız var mı?Aşağıdaki yorumlar bölümünde sorun!Kredi görüntüsü: Pexels.

Robots.txt'i anlayın: Neden önemli ve nasıl kullanılacağı