SEO için Robots.txt WordPress nasıl optimize edilir Örneklerle
SEO, web sitesi sahipleri için en önemli öncelik haline geldi. İlk beşin sonuçları% 75 tıklama ile daha yüksek bir rütbe yarışı zor oldu. Oynayan çeşitli sayfa dışı ve sayfa içi SEO teknikleri vardır. Robot.txt dosyalarını optimize etmek, siteniz için SEO’yu güçlendirebilecek bir numaradır. Ancak, yeni başlayanların çoğu SEO için WordPress robots.txt’in nasıl optimize edileceğini bilmiyor. Bazıları robots.txt dosyasının ne olduğunu bile bilmiyor olabilir. Neyse ki, bu makale size yardımcı olur. Burada robots.txt dosyasının ne olduğunu, robots.txt dosyasının nasıl oluşturulacağını ve SEO için robots.txt dosyalarının nasıl optimize edileceğini açıklayacağız. Sonuna birkaç SSS ekledik. Bu yüzden sonuna kadar bizimle olduğunuzdan emin olun.
Şimdi başlayalım!
İçindekiler
Robots.txt dosyası nedir?
Robots.txt dosyası neye benziyor?
WordPress’te neden robots.txt dosyalarına ihtiyacınız var?
Web siteniz için robots.txt nasıl yapılır?
Yöntem 1: Robots.txt Dosyaları Oluşturma Eklenti Sıralaması Matematiği Kullanarak
Yöntem 2: FTP kullanarak robots.txt dosyaları oluşturma
Robots.txt dosyanızı nereye yerleştirebilirsiniz?
Robots.txt dosyaları nasıl test edilir?
Robots.txt dosyalarının güçlü yönleri
Robots.txt dosyalarının eksikliği
Sık Sorulan Sorular (SSS)
Web yolu nedir?
Dizin oluşturma nedir?
Tarama bütçesi nedir?
Çözüm
Robots.txt dosyası nedir? WordPress’teki robots.txt, sitenizdeki hangi sayfa arama motoru botlarının taranması ve dizine ekleneceğini bildiren sıradan bir metin dosyasıdır. Ayrıca sayfaları dizine eklemek için dosyaları biçimlendirebilirsiniz.
Robots.txt, kök WordPress dizininde saklanır. Bu dosya şuna benzeyen temel bir biçime sahiptir: kullanıcı ajanı: [kullanıcı-adı] intallow: [Dize’nin taranmaması için url] İzin Ver: [Dize URL’si taranacak] Site haritası: [WordPress’in URL’si XML Sitemap] Robots.txt dosyası neye benziyor? Robots.txt dosyaları, arama motorlarını sitenizde nasıl ve ne tarayacağınız konusunda yönlendiren birkaç metin satırıdır. Bu dosyada belirli sayfaların URL’sine izin vermek veya sınırlamak için birkaç satırınız var. Ayrıca birkaç site haritası da ekleyebilirsiniz. URL’yi yasaklarsanız, arama motoru botu sayfayı taramıyor. İşte robots.txt dosyalarına örnekler: Kullanıcı ajanı: * izin:/wp-content/uploads/izin ver:/wp-concent/eklenti/site haritası: https: // url/sitemap_index.xml Şimdi, robotlar dosyasında bulabileceğiniz dört ana terimi öğrenelim:
Kullanıcı ajanı: Kullanıcı ajanı, tarama talimatları verdiğiniz belirli bir web tarayıcısıdır. Genellikle arama motorları.
İzin Ver: İzin, GoogleBot’a alt klasör veya üst sayfaya izin verilmeyebilse bile sayfalara veya alt klasörlere erişebileceğini söyleyen bir komuttur.
İzin Ver: Isul Command, kullanıcı aracısına belirli URL’ler için taramamasını söyler. Her URL için yalnızca bir “Yasak:” satırı ekleyebilirsiniz.
Site haritası: Site haritası, bu URL ile ilgili herhangi bir XML site haritası konumunu aramak için kullanılır. Bu komut yalnızca Google, Bing, Ask ve Yahoo tarafından desteklenir.
Yukarıdaki örnekte, arama botunun yüklenen klasörleri taramasına ve dizine eklemesine izin veriyoruz, ancak eklentiler klasörünü sınırlandırıyoruz. Sonunda, XML site haritasının indekslenmesine izin veriyoruz.
Kullanıcı ajanından sonra yıldız işareti işareti, metnin tüm arama motoru botları için geçerli olduğu anlamına gelir. Her arama motorunun bir siteyi dizine eklemek için kullanıcı aracısı vardır. Birkaç popüler arama motorundan bazı kullanıcı aracıları: Google: Googlebot
GoogleBot Resmi: Googlebot Resim
Googlebot Haberleri: Googlebot News
GoogleBot Video: Googlebot-Video
Yahoo: Slurp Bot
Bing: Bingbot
Alexa Amazon: IA_archiver
DuckDuckgo: DuckDuckbot
Yandex: Yandexbot
Baidu: Baiduspider
Exalead: exabot
Bugün orada çok fazla kullanıcı ajanı var. Belirli bir arama motoruna odaklanmak istiyorsanız, robots.txt dosyasında bile belirleyebilirsiniz. Yani, GoogleBot için talimatlar hazırlamak için, robots.txt dosyasının ilk satırını şu şekilde yazabilirsiniz:
Agent-User: GoogleBot Neden WordPress’te robots.txt dosyalarına ihtiyacınız var? Arama botu, robots.txt dosyalarınız olmasa bile sitenizi tarar ve dizine ekler. Öyleyse neden gerçekten ihtiyacın var? Şimdi, robots.txt dosyasıyla, arama motorunu belirli bir sayfada indekslemeye öncelik vermek için yönlendirebilirsiniz. Ayrıca, dizin yapmak istemediğiniz sayfaları veya klasörleri hariç tutabilirsiniz. Bir bloga ilk başladığınızda ve çok fazla içeriğiniz olmadığında bunun daha büyük bir etkisi yoktur. Ancak, siteniz geliştikten ve çok fazla içeriğe sahip olduktan sonra, belirli sayfalarda/yayınlarda/klasörlerde dizine eklemeniz ve bunları reddetmeniz gerekebilir.
Görüyorsunuz, her web sitesi için her arama botu için bir kota var. Bu, botun belirli bir gezgin oturumunda belirli sayıda sayfayı sürüklediği anlamına gelir. Bot belirli bir oturumda taramayı bitirmezse, bot geri döner ve bir sonraki oturumda taramaya devam eder. Bu, web sitenizi dizine ekleme seviyesini yavaşlatır. Bu nedenle, robots.txt dosyalarını kullanarak arama botunu sayfalara, dosyalara ve hangi klasörleri dizine eklemek istediğiniz ve hangilerinin dahil edileceğini yönlendirebilirsiniz. Böylece balıkçılık kotasından tasarruf edersiniz. Bu, içeriğinizi halktan gizlemenin en güvenli yolu olmayabilir, ancak hariç tutulan içeriğin SERP’de görünmesini önleyin. Web siteniz için robots.txt nasıl yapılır? Robots.txt’i iki farklı şekilde yapabilirsiniz. Bu yöntemleri aşağıda açıklayacağız. Daha sonra sizin için en uygun olduğunu düşündüğünüz yöntemi takip edebilirsiniz. Yöntem 1: Robots.txt Dosyaları Oluşturma Matematik eklentisini kullanarak burada, popüler bir rütbe matematik eklentisini kullanarak bir robots.txt dosyası nasıl oluşturulacağını göstereceğiz. Rank Math, geniş çapta alınan en iyi uygulamalara dayalı olarak web sitesi içeriğinizi doğuştan gelen önerilerle optimize etmeyi kolaylaştıran bir WordPress SEO eklentisidir. Bu pratik aracı kullanarak, önemli SEO ayarlarını kolayca ayarlayabilir ve hangi sayfaların endekslenebileceğini kontrol edebilirsiniz.
Matematik eklentisini kullanarak bir robots.txt dosyası oluşturmak için, önce eklentileri eklentileri girerek eklentiyi indirin -> WordPress Yönetici Gösterge Tablonuzdan Yeni Ekleyin.
Şimdi, arama çubuğundaki sıralama matematiğini arayın ve şimdi yükleme düğmesini tıklayın ve eklentiyi bulduktan sonra etkinleştirin.
Eklentiyi etkinleştirdikten sonra, Rank Matemation -> Genel Ayarlar -> Robots.txt’i WordPress Dashboard’dan Düzenle. Şimdi, aşağıdaki kodu girin veya boş alanda önceki örnekte belirtilenlerden kopyalayın ve Kaydet’i tıklayın Değiştir düğmesi.
İşte burada! Matematik eklentisini kullanarak robots.txt dosyaları oluşturmayı başardınız.
Bu “robots.txt” dosya adı için bir zorunluluktur.
Base/alt küçük harfler dosya adı. Yani, doğru bir şekilde yapmalısınız veya başarılı olamazsınız.
Her yeni kurala yeni satırlar eklemeniz gerekir.Bir URL’nin sonunu belirtmek için “$” işaretini ekleyin.
Her kullanıcı aracısını yalnızca bir kez kullanın. Robots.txt dosyaları nasıl test edilir? Bir robots.txt dosyası oluşturduktan sonra Google Search Console kullanarak test edebilirsiniz. Burada açık bir robot.txt testi bulacaksınız.
Verilen açılır listeden mülkünüzü seçin.
Bu araç robots.txt dosyanızı alır ve bulunursa hataları ve uyarıları vurgular.
Not: Açılır Özellik seçeneği yalnızca WordPress sitenizi Google Arama Konsolu ile bağladıysanız görünür. Yapmadıysanız, sitenizi aşağıdaki gibi bağlayabilirsiniz:
Google Arama Konsoluna girin ve bir hesap oluşturun. Bir etki alanı veya URL öneki kullanarak bir hesap hazırlayabilirsiniz. Nispeten daha kolay olduğu için URL önekinin kullanılması önerilir.
Web Sitesi URL’nizi girin.
Şimdi “Devam Et” düğmesini tıklayın. Artık site sahipliğini doğrulamanız gerekiyor. Bunu verilen seçeneklerden birini kullanarak yapabilirsiniz. Ancak, HTML etiket seçeneğini kullanmalısınız. Verilen kodu kopyalayın ve ardından WordPress kontrol panelinize gidin.
Artık Kodu eklentileri ve altbilgi eklentisini kullanarak doğrulayabilirsiniz. Doğrulama için:
Eklentiyi açın -> WordPress Yönetici Gösterge Tablonuzdan Yeni Ekleyin.
Şimdi, arama çubuğuna ekleme başlıkları ve altbilgi eklentisini bulun ve ardından eklentiyi yükleyin ve etkinleştirin. Bundan sonra, WordPress kontrol panelinizden ayarlar -> üstbilgi ve altbilgiye yönlendirin ve ardından Kafa ve Altbilgi sekmesine kopyalanan kodu yapıştırın. İşiniz bittikten sonra Kaydet düğmesini tıklayın.
Tarayıcınızdaki Google Arama Konsolu sekmesine geri dönün. Ardından, Doğrulama düğmesini tıklayın. Google, mülkiyeti kontrol eder ve tamamlandıktan sonra tamamlanan mesajı görüntüler.
Google Arama Konsolu Gösterge Tablosuna erişmek için “Özelliğe Git” seçeneğini tıklayın. Şimdi, açık robot.txt test cihazınıza ve robots.txt testinize yukarıda belirtildiği gibi dönün. Robots.txt dosyalarının avantajları aşağıdakiler, SEO bağlamında robots.txt dosyalarını kullanmanın faydalarıdır:
Bu, botların taranmasını istemediğiniz sayfada endekslemeyi atlayarak arama motorunun tarama bütçesini optimize etmeye yardımcı olur. Bu, arama motorlarının yalnızca sizin için önemli olan sayfaları taramak için öncelik oluşturur. Bu, gereksiz kaynakları harcayan botları sınırlayarak web sunucusunu optimize etmeye yardımcı olur. Bu, oturum açma sayfasını, yön sayfasını, arama motoru tarafından dizine eklemeden teşekkür sayfasını gizlemeye yardımcı olur. Böylece, web sitesinin performansını optimize etmek.
Robots.txt dosyalarının eksikliği
Yukarıda açıkladığımız gibi robots.txt dosyaları yapmak oldukça kolaydır. Ancak, robots.txt dosyası ayrıca, giriş sayfası gibi menzilli bot tarafından dizine eklenmek istemeyen dahili sayfanıza URL’yi de içerir. Bu, web sitenizi güvenlik ihlallerine karşı savunmasız hale getirir.
Robots.txt dosyası yapmak kolay olsa da, basit bir hata bile tüm çabalarınızdan kurtulabilir. Örneğin, dosyaya bir karakter eklerseniz veya yanlış yerleştirirseniz, tüm SEO çabalarınızı bozar.
Sık Sorulan Sorular (SSS)
Web yolu nedir?
Arama motoru, web traverslerini (botlar veya örümcekler olarak da bilinir) web boyunca gönderir. Bu bot, yeni sayfalar, bağlantılar ve web siteleri bulmak için tüm web’de gezinen akıllı bir yazılımdır. Bu keşif süreci bir web taraması olarak bilinir.
Dizin oluşturma nedir?
Web Travers web sitenizi bulduğunda, sayfalarınızı kullanılabilecek veri yapılarına ayarlarlar. Bu organizasyon sürecine endeksleme denir. Kaç tane tarama bütçesi?
Tarama bütçesi, belirli oturumlardaki arama botları tarafından taranabilecek URL sayısının sınırıdır. Her sitede belirli bir balıkçılık bütçesi tahsisi vardır. Bu nedenle, siteniz için en kullanışlı bir şekilde harcadığınızdan emin olmanız gerekir. Örneğin, sitenizde birkaç sayfanız varsa, en değerli sayfaya tarama bütçesi tahsis etmeniz gerekir. Böylece, Robots.txt dosyanızdaki sayfa URL’sinden bahsedebilirsiniz.
Sonuç SEO web siteleri üzerinde çalışırken, çoğu kullanıcı site haritaları yapmaya, arka bağlantılar üzerinde çalışmaya, anahtar kelimeleri araştırmaya ve içeriği optimize etmeye odaklanır. Yalnızca birkaç web yöneticisi robots.txt dosyalarına dikkat eder. Robots.txt dosyaları bir siteyi başlattığınızda çok fazla oynamayabilir. Ancak, web sitenizin büyümesi olarak, robots.txt dosyalarına dikkat etmek daha iyi sonuçlar verecektir. Ayrıca, kategorilerin, arşiv sayfalarının ve etiketlerin engellenmesinin tarama ve daha hızlı dizinlerin teşvik edilmesi seviyesini artırdığı bir efsane vardır. Bu yanlış. Robots.txt dosyanızı oluşturmak için yukarıda bahsettiğimiz yöntemi izleyin. Bu makalenin Robots.txt WordPress’in SEO için nasıl oluşturulacağı ve optimize edileceğine dair kuyruğunuzu sıralamanıza yardımcı olacağını umuyoruz. WordPress ile ilgili daha kullanışlı makaleleri okumak istiyorsanız, aşağıdaki makaleyi okuyabilirsiniz:
WordPress’te bir site haritası nasıl yaparım?
Bir WordPress blogu nasıl başlatılır?
