-Dürtlü SEO: Robots.txt WordPress’i anlayın ve optimize et
SEO söz konusu olduğunda, çoğu insan temelleri iyi anlar. Anahtar kelimeler ve içerikleri boyunca farklı yerlerde nasıl görünmeleri gerektiğini biliyorlar. SEO’yu sayfada duydular ve belki de WordPress SEO eklentisini denediler. Bununla birlikte, arama motorlarının optimize edilmesine dalıyorsanız, bulmacanın bazı kısımları vardır-bunlardan biri robots.txt dosyasıdır. Robots.txt dosyası ve kullanımı nedir? Robots.txt dosyası sunucunuzdaki bir metin dosyasıdır. Web sitenizi dizine eklemek için kurallar içerir ve doğrudan arama motorlarıyla iletişim kurmak için bir araçtır.
Temel olarak, dosya sitenizin hangi bölümünün Google tarafından dizine eklenmesine izin verildiğini ve hangi bölümlerin yalnız bırakılması gerektiğini söylüyor. Ancak, Google’a neden sitenizde bir şey taramamasını söylediniz? SEO perspektifinden bu tehlikeli değil mi? Aslında Google’a sitenizde bir şey taramamasını söylemenizin birçok nedeni vardır. Robots.txt’in en yaygın kullanımlarından biri, hala geliştirme aşamasında olan arama sonuçlarının web sitesini hariç tutmaktır. Aynı şey, doğrudan sürüme girmeden önce değiştirmeye çalıştığınız sitenizin performansının sürümü için de geçerlidir.
Veya, sadece sunucuda internette görünmek istemediğiniz birkaç dosyanız vardır, çünkü bu yalnızca kullanıcılarınız içindir. Robots.txt kesinlikle gerekli mi? Gerçekten robots.txt’e sahip olmanız gerekiyor mu? Hayır, WordPress siteniz dosya olmadan bile bir arama motoru tarafından dizine eklenecektir. Aslında, WordPress zaten robots.txt sanal içerir. Bu, hala sunucunuzda fiziksel kopya yapmanızı tavsiye edeceğim. Bu her şeyi kolaylaştıracaktır. Bununla birlikte, dikkat etmeniz gereken bir şey robots.txt’e uymaktır. Dosya ana arama motoru tarafından tanınacak ve saygı duyulacak, ancak tehlikeli gezgin ve düşük kaliteli arama gezginleri tam olarak görmezden gelebilir. Nasıl yapabilirim ve nereye koyarım? Kendi Robots.txt’inizi oluşturmak, seçim düzenleyicinizle metin dosyaları oluşturmak ve robots.txt adını vermek kadar kolaydır. Sadece tasarruf et ve bitir. Cidden, bu kadar kolay. Tamam, ikinci bir adım var: FTP üzerinden yükleme. WordPress’i kendi yönetmenlerine taşımış olsanız bile dosyalar genellikle kök klasörünüze yerleştirilir. İyi bir pratik kural, index.php’nizle aynı yere koymak, yüklemeyi beklemek ve tamamlamaktır. Sitenizin her bir alt alan alanı ve HTTPS gibi farklı protokoller için ayrı bir robots.txt dosyasına ihtiyacınız olacağını bilin.
Robots.txt’de kurallar nasıl ayarlanır
Şimdi içerik hakkında konuşmak için zaman ayıralım. Robots.txt, kuralları tanımlamak için kendi sözdizimi vardır. Bu kurallara “yön” de denir. Aşağıda, onu sürünmenin neler yapabileceğini ve sitenizde yapamayacaklarını söylemek için nasıl kullanabileceğinizi tartışacağız. Robots.txt Temel Sözdizimi Gözlerinizi “sözdizimi” kelimesine yuvarlarsanız, endişelenmeyin, yeni bir programlama dili öğrenmenize gerek yoktur. Komutlar küçük bir yön için kullanılabilir. Aslında, hedeflerin çoğu için sadece ikisinin yeterli olduğunu bilmek: Kullanıcı-Ajan tanımlar Arama Motorları Gezginler
Farklı gezginler veya arama makineleri için farklı kurallar belirlemeyecekseniz, herkes için evrensel yönü belirlemek için yıldız işareti (*) kullanılabilir. Örneğin, tüm web sitelerinizden herkesi engellemek için robots.txt’i şu şekilde yapılandıracaksınız: Kullanıcı aracısı: *
Yasak: / Bu temel olarak tüm arama motorları için tüm yasak dizin olduğunu söyler. Dikkat edilmesi gereken önemli olan, dosyanın göreceli bir yol kullanmasıdır (ve mutlak değil). Robots.txt kök dizininizde olduğundan, eğimli çizgi bu konumun ve içindeki her şeyi yasaklamayı gösterir. Yasak olarak medya klasörünüz gibi tek bir dizin belirlemek için/wp-concent/uploads/gibi bir şey yazmalısınız. Ayrıca yolun büyük harflere duyarlı olduğunu da unutmayın.
Sizin için mantıklısa, site parçalarınıza belirli botlar için izin verebilir ve yasaklayabilirsiniz. Örneğin, robots.txt’teki aşağıdaki kod yalnızca Google’a web sitenize tam erişim sağlayacaksınız: Başkalarının Dışarı: Agents: GoogleBot şöyle: Şöyle:
Kullanıcı aracısı: *
Yasak: / Belirli travers kurallarının robots.txt dosyasının başında belirlenmesi gerektiğini bilin. Bundan sonra, vahşi bir kullanıcı ajanı kartı ekleyebilirsiniz:* Açık kuralları olmayan tüm örümcekler için bir yakalama direktifi olarak. Ajanların önemli isimleri şunlardır:
GoogleBot – Google
Googlebot-Drawing-Google Resim
Googlebot-News-Google Haberleri
Bingbot – Bing
Yahoo! Slurp – Yahoo (İyi İsim Seçimleri, Yahoo!)
Daha fazlası burada bulunabilir:
UserAgentString.com
User-angents.org
Bir kez daha, Google, Yahoo, Bing ve benzerlerinin genellikle dosyanızdaki yöne saygı duyacağını hatırlatmama izin verin, ancak dışarıdaki tüm gezginler bunu yapmayacak. Ek sözdizimi izin verilmesi ve kullanıcı aracısı mevcut tek kural değildir. İşte birkaç tane daha:
İzin Ver – Sunucunuzdaki varlıklara açıkça izin verin
Site Haritası – Site haritanızın bulunduğu Candomet’e söyleyin
Ana Bilgisayar – Çok fazla aynaya sahip siteler için etki alanı seçiminizi belirleyin
Time Motor Zamanı Aralığı, Sunucunuza İstek arasında beklemelidir.
Önce izin ver hakkında konuşalım. Yaygın yanlış anlaşılma, bu kuralın arama motorlarına sitenizi kontrol etmesini söylemek için kullanılması ve bu nedenle SEO nedenleriyle önemli olmasıdır. Bu nedenle, bazı robots.txt dosyalarında aşağıdakileri bulacaksınız:
Kullanıcı aracısı: *
İzin Ver: / Bu yön aşırı. Neden? Niye? Çünkü arama motorları, sitenizde özellikle yasaklanmayan her şeyi adil bir oyun olarak değerlendirir. Onlara, tüm sitenizin bu kadar değişmemesi için taranmasına izin verdiğinizi söyleyin. Direktiflerin izin vermemekle mücadele etmesine izin vermek yerine. Bu, tüm dizinin tamamını engellemek istiyorsanız, ancak içinde bir veya daha fazla özel dosyaya bir arama motoru erişimi vermek istiyorsanız, şu şekilde: *İzin: /Directory–eya/file-eya.php
Yasaklama: / Dizin-I / Arama Motorları genel olarak benim-file.php’ye erişecektir. Ancak, bu işlev görecek şekilde önce izin vermeniz gerektiğini belirtmek önemlidir.
Bazı travers, site haritasının yönünü destekler. Web sitenizin haritalarını nerede bulacağınızı söylemek için kullanabilirsiniz ve şuna benzer: site haritası: http://situssaya.com/sitemap_index.xml
Site haritası: http://mysite.com/post-sitemap.xml
Site haritası: http://mysite.com/page-sitemap.xml
Site haritası: http://mysite.com/category-sitemap.xml
Site haritası: http://situssaya.com/post_tag-sitemap.xml yön robots.txt dosyasında herhangi bir yerde olabilir. Genellikle web sitesi sahipleri bunu başlangıçta veya sonuna yerleştirmeyi seçer. Ancak yararlılığı hala tartışılabilir. Örneğin, Yoast’ın bu konuda aşağıdaki düşünceleri var:
“Her zaman robots.txt’den XML sitenizin haritasına bağlı olduğunu hissediyorum. Google ve Bing Web Yöneticisi araçlarınıza manuel olarak eklemelisiniz ve XML site haritanızla ilgili geri bildirimlerini gördüğünüzden emin olmalısınız. ” – Joost de Valk bu nedenle, dosyanıza ekleyip eklememeniz size kalmıştır. Ev sahibi ve tarama gecikmesi hiç kullanmadığım iki yön. Sitenizden bir aynanız varsa, hangi etki alanı arama motorunun favoriniz olduğunu söyleyen ilk kişi. Sonuncusu, süpürme arasında beklenmesi gereken saniye sayısını belirler. Her ikisi de çok yaygın olmadığı için, çok derin tartışmayacağım, ama tamamlama uğruna koymak istiyorum. Sofistike mallar hala benimle mi? İyi yapıldı. Şimdi biraz daha karmaşık hale geliyor. Kullanıcı ajanı için Yıldız İşareti aracılığıyla joker kartı ayarlayabileceğimizi zaten biliyoruz. Ancak, aynı şey diğer yönler için de geçerlidir. Örneğin, WP- ile başlayan tüm klasörleri engellemek istiyorsanız, şu şekilde olabilirsiniz: kullanıcı aracısı: *
Yasak: / wp-* / mantıklı, değil mi? Aynı şey dosyalarla da çalışır. Örneğin, amacım medya klasörümdeki tüm PDF dosyalarını SERP’de görünmeyecek şekilde hariç tutmaksa, bu kodu kullanacağım: kullanıcı aracısı: *
Yasak: /wp-content/uploads/*/*/*.pdf, WordPress tarafından otomatik olarak düzenlenen ay ve gün dizini değiştirdiğimi unutmayın ve bu sonucu olan tüm dosyaların tutuklanmasını sağlamak için. yüklenir. Bu teknik birçok durumda iyi işler yaparken, bazen ipi başlangıçta değil uçlarından tanımlamak gerekir. Bu, joker karakter yararlı dolar işaretidir: Kullanıcı aracısı: *Yasak: /page.php @ Kuralların üstünde, yalnızca Page.php’nin bloke edilmesini ve sayfa.php? İd = 12 de engellenmesini sağlar. Dolar işareti arama motoruna sayfa.php’nin dizenin sonu olduğunu söyler. Düzgün, ha? Güzel, ama şimdi robots.txt dosyama ne koymalıyım?!
Seni sabırsız olmaya başladığını görebiliyorum. Kod nerede? Burada kopyalayabileceğiniz ve yapıştırabileceğiniz ve bu konuyu bitirebileceğiniz optimize edilmiş birkaç yön yok mu? İstediğim kadar, cevap maalesef değil. Neden? Niye? Bunun nedenlerinden biri, Robots.txt içeriğinizin sitenize çok bağlı olmasıdır. Başkaları tarafından bakılmayan arama motorlarından uzak durmak istediğiniz birkaç şeyiniz olabilir. İkincisi ve daha da önemlisi, en iyi uygulama için kararlaştırılmış bir standart ve robotlarınızı SEO açısından hazırlamanın en uygun yolu yoktur. Tüm konu küçük bir tartışmadır. Örneğin, örneğin uzmanlar nelerdir.
Yasaklama: / Out / Gördüğünüz gibi, yasakladıkları tek şey, bağlı kuruluş bağlantılarını barındıran “çıkış” dizinidir. Diğer her şey adil bir oyun. Bunun nedeni şudur: “Google artık sadece sitenizi HTML alan ve stilinizi ve JavaScript’inizi görmezden gelen aptal bir çocuk değil. Bu her şeyi alır ve sayfanızı tamamen yapar. Bu, Google’ın CSS veya JavaScript dosyalarınıza erişimini reddettiğinizde, bunun hiç olmadığı anlamına gelir. ” – Şimdi Google sitenizi bir bütün olarak görüyor. Düzenleme bileşenini engellerseniz, sitenizin çöp gibi görünmesini ve sizi cezalandırmasını düşünecektir, çünkü bu yok edici bir etkiye sahiptir. Google’ın sitenizi nasıl gördüğünü kontrol etmek için “Google Olarak Al” ve ardından Google Web Yöneticisi trafik ekipmanında “Al ve Render” kullanın. Robots.txt çok sınırlıysa, siteniz istediğiniz gibi görünmeyebilir ve bazı ayarlamalar yapmanız gerekir. Yoast ayrıca kategoriler, tarihler ve diğer arşivler gibi düşük kaliteli içeriği gizlemek için robots.txt talimatlarını kullanmamayı şiddetle tavsiye etti, ancak Noindex ile çalışın, bunun yerine etiket meta. Ayrıca, yukarıda belirtilen nedenlerden dolayı dosyalarındaki site haritasına başvurulmadığını unutmayın. WordPress’in kurucusu Matt Mullenweg Minimalist bir yaklaşım benimser: Kullanıcı aracısı: *Yasaklar:
Ajan kullanıcısı: mediaPartners-Google*
TAVSİYE:
Kullanıcı aracısı: *
Yasak: /Dropbox
LARANG: /blog/wp-login.php
Yasak: /Blog /WP-ADMIN Yalnızca Dropbox ve Contact Klasörü Plus Yönetici Dosyaları ve Klasörlerini Engellediğini ve WordPress için önemli oturum açtığını görebilirsiniz. Bazı insanlar güvenlik nedenleriyle sonuncuyu yaparken, WP-Admin klasörünü gizlemek aslında önerilmeyen bir şeydir. Bir sonraki örneğimiz WPBeginner’dan geliyor: Kullanıcı Aracı: *İzin: /? Display = genişlik
İzin Ver:/WP-Concent/Yükleme/
Yasak:/WP-Concent/Eklentiler/
Yasak: /readme.html
Yasak: /referans /
Site haritası: http://www.wpbeginner.com/post-sitemap.xml
Site haritası: http://www.wpbeginner.com/page-sitemap.xml
Site haritası: http://www.wpbeginner.com/deals-sitemap.xml
Site haritası: http://www.wpbeginner.com/hosting-sitemap.xml Bağlı kuruluş bağlantılarını engellediklerini (bkz. “Klasöre başvur”) ve eklentiler ve Readme.html dosyaları görebilirsiniz. Bu makalede açıklandığı gibi, ikincisi belirli WordPress sürümlerini hedefleyen tehlikeli sorgulardan kaçındı. Dosyayı yasaklayarak, kendinizi toplu saldırılardan koruyabilirsiniz. Eklentiler klasörünün bloke edilmesi, korsanları savunmasız eklentiler aracılığıyla önlemeyi de amaçlamaktadır. Burada yoast’tan farklı bir yaklaşım benimsiyorlar, bu da son zamanlarda değiştirerek eklenti klasöründeki düzenlemenin kaybolmaması için. WPBeginner’ın diğer iki örnekten farklı yaptığı bir şey, WP-Concent/yüklemeleri açıkça “izin ver” olarak ayarlamaktır.
, diğer yönler tarafından engellenmemesine rağmen. Bunun tüm arama motorlarının aramalarında bu klasöre girmesini sağlamak olduğunu belirttiler. Ancak, varsayılan arama motoru yaklaşımı alabilecekleri her şeyi dizine eklemektir çünkü bu durumda gerçekten görmedim. Bu nedenle, özellikle bir şeyi sürünmelerinin çok fazla yardımcı olmayacağını düşünmüyorum. Yoast’ı robots.txt yapılandırma açısından kullanma kararım. SEO perspektifinden bakıldığında, sitenizi anlayabilmeleri için Google’a olabildiğince çok şey vermek mantıklıdır. Ancak, kendinizi kurtarmak istediğiniz parçalar varsa (bağlı kuruluş bağlantıları gibi), bu bölümü istediğiniz gibi yasaklayın. Bu aynı zamanda Codex WordPress’teki ilgili parçalarla aynı uyumludur: “SEO’ya yardımcı olmak için robots.txt’e bir giriş ekleyin popüler bir yanlış anlama. Google, sitenizin kısımlarını engellemek için robots.txt kullanmaya davet edildiğinizi söylüyor, ancak bugün bunu yapmamayı tercih ediyorsunuz. Düşük kaliteli sitenizi işlemek için sayfa seviyesindeki NoindEx etiketini kullanın. 2009 yılından bu yana Google, JS & CSS dosyalarını engellemekten kaçınmak için daha vokal haline geldi ve Google’ın arama kalitesi ekibi, Google’ın “sars” olmadığımızı doğrulamaya yardımcı olmak için Web Yöneticisi tarafından şeffaflık politikalarını tanıtmada giderek daha aktif.
Veya engellenen sayfalarda görülecek hoş olmayan spamlerin bağlantısı.Bu nedenle, ideal robotlar hiçbir şeyi yasaklamaz ve doğru olanı yapıldıysa XML site haritasına bağlanabilir (kendisi nadir olmasına rağmen!).WordPress varsayılan olarak yalnızca birkaç JS dosyasını engelledi, ancak neredeyse Google’ın kılavuzuna göre. “Yeterince net, değil mi?Site haritasına bağlanmaya karar verirseniz, arama motoruna doğrudan Web Yöneticisi Suite aracılığıyla da göndermeniz gerektiğini unutmayın.Ne yapmaya karar verirseniz verin, site haritanızı test etmeyi unutmayın!Bu aşağıdaki yollarla yapılabilir: görünüp görünmediğini görmek için youTyite.com/robots.txt’i açın
Sözdizimi hataları bulmak için bir denetçiden geçin (örneğin bu)
Google’ın görmek istediğinizi görüp görmediğini kontrol etmek için al ve oluşturun
Google’ın Web Yöneticisi aracından bir hata mesajı olasılığını arayın
