SEO için robotlarınızı nasıl optimize edersiniz.

Son zamanlarda okuyucularımızdan biri, SEO’yu geliştirmek için robots.txt dosyalarını nasıl optimize edeceğinize dair ipuçları istedi. Robots.txt dosyası, arama motoruna web sitenizi nasıl tarayacağınızı söyler, bu da onu çok güçlü bir SEO aracı haline getirir. Bu makalede, SEO için mükemmel bir robots.txt dosyası nasıl oluşturulacağını göstereceğiz.

Robots.txt dosyası nedir? Robots.txt, web sitesi sahipleri tarafından, sitelerindeki sayfaları nasıl tarama ve dizin yapılır hakkında bilgi vermek için oluşturulabilen bir metin dosyasıdır. Genellikle ana klasör olarak da bilinen kök dizinde saklanır, web siteniz. Robots.txt dosyası için temel format şöyle görünüyor:
Kullanıcı ajanı: [Kullanıcı ajanı adı]
İzin vermeyin: [url dizesi taranmamalı]
Kullanıcı ajanı: [Kullanıcı ajanı adı]
İzin Ver: [URL Dizesi taranacak]
Site haritası: [XML Site Haritanızın URL’si]
Belirli URL’lere izin vermek veya yasaklamak ve bazı site haritaları eklemek için birkaç satır talimatınız olabilir. URL’leri yasaklamıyorsanız, arama motoru botları onu sürünmelerine izin verildiğini varsayar. İşte Robots.txt’in görüntülenmesi: Kullanıcı-Ajan Örnek Dosyası: *
İzin Ver:/WP-Concent/Yükleme/
İzin:/WP-Concent/Eklentiler/
İzin Verme: /WP-Admin /
Sitemap: https://example.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama makinelerinin WordPress yükleme klasörümüzdeki dosyaları taramasına ve dizinlerini dizinine bıraktık.
Bundan sonra, arama botlarının WordPress yönetici eklentisini ve klasörünü taramasını ve dizine eklemesini yasaklıyoruz. Son olarak, XML site harita URL’mizi sağladık. WordPress siteniz için bir robots.txt dosyasına mı ihtiyacınız var? Robots.txt dosyalarınız yoksa, arama makineleri yine de web sitenizi tarar ve dizine ekler. Ancak, sayfa arama motoruna veya hangi klasörün taranmaması gerektiğini söyleyemezsiniz. Bir blog başlattığınızda ve fazla içeriğiniz olmadığında bunun çok fazla etkisi olmayacaktır. Ancak web sitenizi büyüttüğünüzde ve çok fazla içeriğiniz varken, web sitenizin nasıl tarandığı ve dizine eklendiği üzerinde daha iyi bir kontrole sahip olmak isteyebilirsiniz. Bunun nedeni budur. Arama botunda her web sitesi için bir balıkçılık kotası vardır. Bu, TRAMING oturumu sırasında belirli sayıda sayfa için süründükleri anlamına gelir. Sitenizdeki tüm sayfaları sürünmeyi bitirmezlerse, bir sonraki oturumda geri dönecek ve sürünmeye devam edecekler. Bu, web sitenizin endeksleme seviyesini yavaşlatabilir. WordPress yönetici sayfası, eklenti dosyası ve tema klasörü gibi gereksiz sayfaları taramaya çalışan arama botlarını yasaklayarak düzeltebilirsiniz. Gereksiz sayfaları yasaklayarak balıkçılık kotasından tasarruf edersiniz. Bu, arama motorlarının sitenizde daha fazla sayfa taramasına ve mümkün olduğunca çabuk dizine eklemesine yardımcı olur.
Robots.txt dosyasını kullanmak için bir başka iyi nedeni, web sitenizdeki yayınları veya sayfaları dizine ekleme makinelerini aramayı bırakmak istediğiniz zamandır. Bu, içeriği genel halktan gizlemenin en güvenli yolu değildir, ancak bu, arama sonuçlarında görünmesini önlemenize yardımcı olacaktır. İdeal robots.txt dosyası nedir? Birçok popüler blog çok basit robots.txt dosyaları kullanır. İçerikleri belirli sitelerin ihtiyaçlarına bağlı olarak değişebilir: Kullanıcı Ajanı: *İzin Ver:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği dizine eklemesine ve XML web sitesi haritası web sitesine bir bağlantı vermesine olanak tanır.
WordPress sitesi için, robots.txt dosyasında aşağıdaki kuralları öneririz: Kullanıcı Ajanı: *
İzin Ver:/WP-Concent/Yükleme/
İzin:/WP-Concent/Eklentiler/
İzin Verme: /WP-Admin /
İzin: /Readme.html
İzin Ver: /Yöne /
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Bu, arama botuna tüm WordPress görüntülerini ve dosyalarını dizine eklemesini söyler. WordPress eklentisi dizinleme dosyasından, WordPress yönetici alanından, WordPress ReadMe dosyasından ve bağlı kuruluştan arama botunu yasaklar. Robots.txt dosyasına bir site haritası ekleyerek, Google Bots’un sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
Şimdi ideal robots.txt dosyasının ne olduğunu bildikten sonra, WordPress’te bir robots.txt dosyası nasıl oluşturabileceğinize bakalım. WordPress’te nasıl bir robots.txt dosyası oluştururum? WordPress’te robots.txt dosyaları oluşturmanın iki yolu vardır. Sizin için en uygun yöntemi seçebilirsiniz. Yöntem 1: Robots.txt dosyalarını bir SEO’da kullanan bir SEO’da tüm SEO’da kullanma AIOSO olarak da bilinir. Kullanımı kolay ve robots.txt dosya üreticileri ile donatılmıştır. AIOSEO eklentisini yüklemediyseniz, WordPress eklentisinin nasıl yükleneceğine dair adım -adım kılavuzumuzu görebilirsiniz. Not: Ücretsiz aioseo sürümü de kullanılabilir ve bu özelliğe sahip. Eklenti yüklendikten ve etkinleştirildikten sonra, robots.txt dosyanızı doğrudan WordPress yönetici alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz. Robots.txt dosyanızı düzenlemek için tüm SEO »araçlarını açmanız yeterlidir.
İlk olarak, ‘Robots.txt Özel Anahtarını Etkinleştirme’ ‘ye tıklayarak düzenleme seçeneğini etkinleştirmelisiniz. Bunu etkinleştirerek WordPress’te özel bir robots.txt dosyası oluşturabilirsiniz.
Hepsi bir SEO, ekranınızın altındaki ‘pratinisi robots.txt’ bölümünde robots.txt dosyanızı görüntüler.
Bu sürüm, WordPress tarafından eklenen varsayılan kuralları görüntüler.

Bu varsayılan kural, arama motoruna WordPress çekirdek dosyanızı taramamasını söyler ve botun tüm içeriği dizine eklemesine izin verir ve onlara XML site haritanıza bir bağlantı verir. Şimdi, Robots.txt’inizi SEO’ya artırmak için kendi özel kurallarınızı ekleyebilirsiniz. Kural eklemek için kullanıcı aracısını ‘kullanıcı aracısı’ alanına girin. * Kullanmak tüm kullanıcı aracılarına kurallar uygular. Ardından, arama makinelerinin taranmasını ‘izin ver’ veya ‘yasaklamak’ isteyip istemediğinizi seçin. Ardından, ‘dizin yolu’ alanına dosya adını veya dizin yolunu girin.

Kurallar Robots.txt’inize otomatik olarak uygulanacaktır. Diğer kuralları eklemek için ‘Kurallar Ekle’ düğmesini tıklayın. Yukarıda paylaştığımız ideal robots.txt formatını oluşturana kadar kuralları eklemenizi öneririz. Özel kurallarınız böyle görünecektir.
İşiniz bittiğinde, değişikliklerinizi kaydetmek için ‘Değiştir’i Kaydet’ düğmesine tıklamayı unutmayın. Yöntem 2. Robots.txt Dosyasını Düzenle Bu yöntem için FTP’yi kullanarak Robots.txt dosyalarını düzenlemek için bir FTP istemcisi kullanmanız gerekir.

FTP istemcisini kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir. Girdikten sonra, web sitenizin kök klasöründe robots.txt dosyasını görebileceksiniz.
Görmüyorsanız, bir robots.txt dosyanız olmayabilir. Bu durumda, devam edebilir ve yapabilirsiniz.

Robots.txt, sıradan bir metin dosyasıdır, yani bilgisayara indirebilir ve Notepad veya Textedit gibi sıradan metin editörlerini kullanarak düzenleyebilirsiniz.Değişiklik kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.Robots.txt dosyanızı nasıl test edersiniz?Bir robots.txt dosyası oluşturduktan sonra, bir robots.txt testi kullanarak test etmelisiniz.Orada birçok robot var.İlk olarak, web sitenizi Google Arama Konsolu’na bağlamanız gerekir.Bunu yapmadıysanız, WordPress sitenizi Google Arama Konsolu’na nasıl ekleyeceğiniz konusunda kılavuzumuza bakın.Ardından, Google Search Console Robot Test Aracını kullanabilirsiniz. Yeter, özelliğinizi açılır listeden seçin.Bu araç otomatik olarak robots.txt dosyasını alacaktır.