Robots.txt WordPress optimizasyonu için tam kılavuz
Yeni WordPress siteleri oluşturmak, site tasarımından içerik stratejilerine kadar birçok şeye dikkat gerektirir. Ancak, SEO için doğru bir şekilde optimize etmezseniz, web sitesine dahil olan tüm çabalarınız başarısız olacaktır. En önemli SEO faktörlerinden biri robots.txt. Bu, içeriğinizin arama motorunda hızlı bir şekilde sıralanabilmesi için bir arama motorunun WordPress sitenizi taraması için yönlendirmeye yardımcı olur. WordPress, her sayfa ve yayınınız için otomatik olarak robots.txt dosyasını oluştursa da, web sitenizi SEO’yu geliştirmek için optimize etmeniz gerekir. Aslında, robots.txt WordPress’i optimize etmek düşündüğünüz kadar kolay değildir. Dosyalarda çok fazla değişiklik yapmak, sitenizi SEO’yu tehlikeye atabilir.
Bugün makalemiz size robots.txt wordPress dosyasını oluşturmanın 2 yolunu gösterecek ve bunları etkili bir şekilde nasıl optimize edeceğinizi gösterecektir. Ancak adım adım kılavuz çalışmadan önce, tam olarak robots.txt dosyalarını, siteniz için neden ihtiyacınız olduğunu ve bazı robots.txt WordPress örneklerini tartışalım.
Robots.txt WordPress dosyası nedir?
WordPress sitesinde robots.txt dosyalarının önemi
Hangi İçerik Yasak veya Noindex
WordPress’te robots.txt dosyaları nasıl oluşturulur ve gönderilir
Robots.txt WordPress dosyanızı nasıl optimize edersiniz
Örnek Robots.txt WordPress
Robots.txt WordPress dosyanızı nasıl test edersiniz?
Robots.txt WordPress dosyası nedir? Robots.txt, arama motoru botlarına, taranabilen ve dizine eklenemeyen/bulamayan WordPress site içeriğiniz hakkında bilgi vermek için oluşturulan metin dosyalarını ifade eder. Belirli WordPress dosyalarına ve klasörlerine arama motoru erişimini engellemek için kullanabilirsiniz.
Robots.txt dosyası kök WordPress dizininizde bulunur. Arama motoruna ‘Domain.com/robots.txt’ yazarak herhangi bir web sitesinden robots.txt dosyalarını bulabilirsiniz. Ajan]
İzin ver: [Crypure to Crypure to Crypure] Kullanıcı ajanı, robots.txt dosyanızı okuyabilen arama motoru anlamına gelir. Bir yıldız işareti ile işaretlenirse, dosyanız tüm arama motorları tarafından okunabilir. Google, Bing veya Ask.com gibi bazı arama motorlarını belirleyebilirsiniz. Sitenizi taramak ve dizine eklemek için bir arama motorundan belirli bir bot bile seçebilirsiniz. Örneğin, Google’ın Googlebot-News, GoogleBot-Image, Googlebot-Video dahil olmak üzere farklı haberleri, resimleri ve videoları var.
Hangi içerik botlarının taranabileceğini ve taranamayacağını söylemeye izin verin ve yasaklayın. Sitenizdeki tüm içeriği taramak için bir arama makinesi istiyorsanız, ‘izin ver’ sonra bir eğik çizgi (/) ekleyin. Robots.txt dosyalarının robots.txt dosyaları olmadan WordPress sitesinde önemi, arama motorları hala tarar ve WordPress sitenizi dizine ekler. Ancak, yalnızca bazı isimler için kamuoyundan gizlenmesi gereken sayfaları, teşekkür sayfası, yönetici giriş sayfası veya yazar arşiv sayfası içerir. İyi yapılandırılmış robots.txt dosyaları, arama motoru gezginlerinin kaynaklarını optimize etmenize yardımcı olur. Bunları, endekslenmemesi gereken sayfalarda zaman kaybetmek yerine işletmeniz için daha fazla değer sağlayan önemli sayfalara odaklanmaya yönlendirebilirsiniz.
Optimize edilmiş robots.txt sayesinde izleme kotasında da tasarruf edebilirsiniz. Balıkçılık kotası, yani tarama bütçesi, bir oturumda arama botu tarafından taranabilecek sayfaların sayısını belirler. Bot tarafından taranmaması gereken hangi sayfaları ve dosyaları eklemezseniz, bot taramaya ve arama sonuçlarında göstermeye devam edecektir. İçeriği gizlemek için robots.txt kullanmalı mısınız? Cevap hayır. Robots.txt, dizin sayfalarını kontrol etmek için ideal çözüm değildir. Sayfaları veya yayınları yasaklarsanız, içeriğin sonuçlar sayfasında tekrar görünmeyeceğini düşünebilirsiniz. Arama motoruna içeriğinizi dizine eklememesini söylemek yerine, botun yalnızca dizine girmesini engeller. Sonuç olarak, içeriğiniz diğer sitelere bağlandığında hala dizine eklenir. Robots.txt WordPress dosyalarıyla ilgili diğer efsanelere bakın. Arama makinelerinin içeriğinizi dizine eklemesini önlemek için başka bir yöntem kullanmanızı öneririz. HTML sayfasına dizin olmadan meta etiketler veya PPWP Pro eklentisi ile şifrelerle korunan içerik ekleyebilirsiniz. Ayrıca, arama motorlarının kişisel medya dosyalarınızı dizine eklemesini önlemek için PDA altın eklentisini de kullanmanız gerekir. Web yöneticisi olarak hangi içerik Yasak veya Noindex, ROOTME.html Dosya Blok Tehlikeli Saldırıları gizlemek için robots.txt kullanabilirsiniz. WordPress sürümünüz orada mevcuttur, bu da bilgisayar korsanlarının güvenlik açığı delikleri bulmasını ve sitenize saldırmasını kolaylaştırır.
Blogunuzdaki kategori sayfaları ve etiketler gibi düşük kaliteli içeriği gizlemek için robots.txt kullanmayı düşünebilirsiniz. Yine de bu akıllı bir karar değil. Ayrıca, WordPress oturum açma sayfasını, yönetici dizinini veya kayıt sayfamızı yasaklamaya çalışmayın. WordPress otomatik olarak dizin olmadan etiketler yaptı. WordPress’te robots.txt dosyaları nasıl oluşturulur ve gönderilir. WordPress siteniz için robots.txt dosyaları üretmek için iki farklı yol izleyebilirsiniz. FTP kullanarak veya WordPress eklentisini kullanarak manuel olarak ekleyebilirsiniz. Önce daha basit bir yöntemle başlayalım.#1 Şüphesiz, yoast SEO Yoast eklentisini kullanarak robots.txt dosyasını düzenleyin, mevcut WordPress sitesi için en popüler SEO eklentisidir. 5 milyondan fazla aktif enstalasyonla SEO nişinde ilk pozisyonu kazandı. Kanonik URL, XML site haritası ve SEO analizi gibi ana SEO’yu geliştirme görevine ek olarak, bu aynı zamanda siteniz için robots.txt dosyaları oluşturulmasına yardımcı olur. Kurulum ve aktivasyondan sonra, yönetici menünüzde SEO → Araçlar’a gidebilirsiniz. Şimdi aşağı kaydırın ve ‘Dosya Düzenleyici’ seçeneğini bulun. Buraya tıklayın ve robots.txt dosyanızı ayarlamak için ‘Robots.txt’i oluştur’ düğmesini göreceksiniz.
Kuralları ekleyerek veya silerek robots.txt dosyasını değiştirebilirsiniz. İşiniz bittiğinde, tüm değişikliklerinizi kaydetmeyi unutmayın. #2 robots.txt dosyasını manuel olarak düzenle FTP’nizi kullanarak Robots.txt WordPress dosyalarını FTP aracılığıyla kolayca oluşturabilirsiniz. Tek yapmanız gereken FTP istemcilerini kullanarak WordPress barındırma hesabınıza bağlanmaktır. Bundan sonra, kök web sitesi klasöründeki robots.txt dosyalarını arayın. Sahip değilseniz, ‘Yeni Bir Dosya Oluştur’ sağlayarak ve seçerek bir dosya oluşturun. Ardından, dosyayı bilgisayarınıza indirin ve örneğin Notepad veya Textedit gibi sıradan bir metin düzenleyicisiyle düzenleyin. Şimdi, web sitenizin kök klasörüne yeniden ekleyin.
Robots.txtPress dosyanızın nasıl optimize edersiniz Robots.txt dosyasını çeşitli şekillerde ayarlayabilirsiniz. Arama motoru botlarının içeriğinizi kolayca tarayabilmesi için bir site haritası oluşturmalı ve robots.txt’e eklemelisiniz. Bazı site sahipleri belirli klasörleri veya dosyaları yasaklamak isterken, bazıları tüm sitelere erişimi engellemeyi tercih eder. Robots.txt dosyasına bir site haritası ekleyin. Site haritanız, izlemek ve keşfetmek istediğiniz tüm web sayfalarını içerecektir. Bu, arama motorlarında görünecek içeriğin önceliklendirilmesinde etkili olduğu kanıtlanmıştır. Web sitesi haritası ‘Domain.com//sitemap.xml’ adresinde bulunabilir. SEO’yu geliştirmek için WordPress site haritanızı nasıl optimize edeceğinizi öğrenin.
Site haritası hazır olduğunda, robots.txt dosyanıza ekleyin. Kullanıcı aracısı: * Site haritası: http://www.example.com/post-sitemap.xml Site haritası: http://www.example.com/page-sitemap.xml Tüm web sitelerinizi taramak için arama motoru botlarını engelleyen tüm sitelere erişim sınırını sınırlandırın. Ancak geliştirme siteleri için bu çok kullanışlıdır. Siteniz dizine eklenmeyecek ve arama sonuçlarında görünmeyecektir. Kullanıcı Aracısı: *Yasaklama: / ‘Kullanıcı ajanı: *’ Bu kuralı tüm arama motorlarına uygularken ‘Disallow: /’, aynı etki alanı altındaki tüm sayfalarınıza erişimini yasakladığınız anlamına gelir. Sitenizi sürünmeyi önlemek Bingbot’u engellemek istediğiniz sitenizi ve diğer bazı arama motoru botları sürünme bütçesini kurtarmak için önemli değildir. Bunu başarmak için, *yıldız işareti ‘bingbot’ ile değiştirin ve bitirin. Ajanlar: Bingbot
Yasak: / Belirli bir klasöre veya dosyaya erişim sağlayın veya izin verin istemci dosyalarından ve kimlik bilgisi bilgilerinden oluşan özel bir yükleme klasörüne sahip olursunuz, böylece bulmak istemezsiniz. Bir başka yaygın örnek, tüm WP-Admin veya WP-login.php klasörlerine erişimi engellemektir. Ardından, robots.txt dosyanız şöyle görünecektir: Kullanıcı Aracı: *
Yasak: /wp-admin /
Yasak: /wp-login.php
Yasak:/wp-content/uploads/_pda/* Ya klasörü sınırlamayı planlıyorsanız, ancak botların içinde belirli dosyaları sürünmesini istiyorsanız, bu robots.txt dosyasının örneğini kullanabilirsiniz. Kullanıcı aracısı: *
Yasak: /wp-admin /
İzin ver: /wp-admin/admin-ajax.php tek bir bot için farklı kurallar için “Bing’de klasör erişim engellemesini ayarlayabilir miyim, ancak yine de Google aramasında sürünmeye izin verebilir miyim?” Bu kadar basit bir görev! Her temsilciye yalnızca farklı bir kural kümesi eklemeniz gerekir. Kullanıcı aracısı: *
Yasak: /WP-Admin /Agent-User: Bingbot
Yasak: / Örnek Robots.txt WordPress Aşağıda, büyük web sitelerinin robots.txt dosyalarıyla ne yaptığını görmek için robots.txt dosyası örneğidir. WPBeginner, ReadMe.html dosyalarını, referans klasörlerini ve WP-Admin klasörlerini okumak için tüm arama motorlarını durdurur. Aynı zamanda bu, botun yükleme klasörlerini, sayfalarını, yayınlarını ve tekliflerini bulmasını sağlar. Web sitesi, sayfalar, yayınlar ve anlaşma türü için ayrı bir site haritası yapar. Robots.txt dosyasına dahil edilen bir barındırma site haritası da vardır.
Robots.txt TechCrunch biraz farklı. Bu, botun ‘Yasakları: /Ara /’ kurallarını ekleyerek arama sonuçları sayfasını taramasını engeller.
Robots.txt WordPress dosyanızı nasıl test edersiniz? Doğru çalıştığından emin olmak için robots.txt dosyasını kontrol etmeniz gerekir. Dosyalarınızı test etmek için Google Arama Konsolu aracını kullanabilirsiniz. Google arama konsoluna bağlı web sitenizi bağladıktan sonra, tarama bölümünün altındaki ‘Robots.txt’ testini Arama Konsolu menüsünde açın. Şimdi web sitenizi ‘Lütfen’ Mülk seçin ‘gergi menüsünden seçin.
