Ana sayfa SEO Robots Txt Oluşturmak ve Robots.txt Ayarları

Robots Txt Oluşturmak ve Robots.txt Ayarları

62
2
PAYLAŞ

Merhaba arkadaşlar. Bu yazımızda kısaca robot txt oluşturmak hakında bilgi vereceğiz ve robot txt ayarları nasıl olmalıdır onu anlatacağız. Bir robots.txt dosyasının ne olduğunu, niçin ihtiyacınız olduğunu, SEO’yu nasıl optimize edeceğini ve nasıl test edeceğinizi ele alacağız.

Siteniz için arama motoru optimizasyonu üzerinde çalışırken kontrol etmeniz ve optimize etmeniz gereken ilk şeylerden biri robots.txt dosyasıdır. Robots.txt dosyanızdaki bir sorun veya yanlış yapılandırma, sıralamalarınızı ve trafiğinizi olumsuz etkileyebilecek kritik SEO sorunlarına neden olabilir.

Robots.txt nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve tarama ve dizine ekleme işlemi sırasında tarayıcılara talimat veren bir metin dosyasıdır. 

Bir robots.txt dosyanız yoksa ne olur? Robots.txt dosyası eksikse, arama motoru tarayıcıları, belirli web sitesinin herkes tarafından erişilebilen sayfalarının taranabileceğini ve hepsinin dizinlerine eklenebileceğini varsayar. O zaman hiç bir işe yaramayan, gereksiz indexlerle karşılaşırsınız. Tabiri caizse sitenize ait abuk subuk Google indexleri canınızı sıkabilir. Bu nedenle bir robots.txt dosyanızın olması gerekir. Robots.txt dosyasının en yaygın kullanım örnekleri şunlardır: Arama motorlarının web sitenizin belirli sayfalarına veya dizinlerine erişmesini engellemek için.

Büyük bir web siteniz olduğunda, tarama ve dizine ekleme işlemi çok yoğun kaynak gerektiren bir işlem olabilir. Çeşitli arama motorlarından gelen tarayıcılar sitenizin tamamını taramaya ve dizine eklemeye çalışacak ve bu da ciddi performans sorunlarını beraberinde getirecektir. Bu durumda, web sitenizin önemli olmayan kısımlarına erişimi kısıtlamak için robots.txt dosyasını kullanabilirsiniz. Bu şekilde, yalnızca sunucunuzdaki yükü azaltmakla kalmaz, aynı zamanda tüm indeksleme işlemini hızlandırmış olursunuz.

Robot txt dosyasına eklediğiniz kodlar, sadece öneridir. Uymak ya da uymamak, arama motorlarına kalmıştır. Genellikle uyarlar.

Robots.Txt Ayarları

User-agent: *- Tüm tarayıcıları içerir. 
User-agent: Googlebot- talimatlar sadece Google bot içindir.

Disallow: Bir URL’yi veya bir web sitesinin bir bölümünü taramaması için bildiren yönergedir. Disallow değeri belirli bir dosya, URL veya dizin olabilir.

Robot TXT dosyasınız içeriği şöyle olmalıdır:

User-agent: *
Disallow: /fotograflar
Allow: /fotograflar/bmw/

Burada fotoğraflar klasörünü engellerken, bmw’nin taranmasını istedik.

Robots.txt Nasıl Oluşturulur?

Tek ihtiyacınız olan bir metin editörü ve web sitenizin dosyalarına erişimdir. Bir robots dosyası oluşturma sürecine girmeden önce, yapmanız gereken ilk şeyin bir tane olup olmadığını kontrol etmektir. Bunu yapmanın en kolay yolu, yeni bir tarayıcı penceresi açmak ve https://www.siteadresi.com/robots.txt adresine gitmektir. 

Aşağıdakine benzer bir şey görürseniz, bir robots.txt dosyanız zaten var demektir ve varolan dosyayı yeni bir tane oluşturmak yerine düzenleyebilirsiniz. 

User-agent: *
Allow: /

Yeni bir robots.txt nasıl oluşturulur? Bir robots.txt dosyanız yoksa, bir metin düzenleyici kullanarak yeni bir .txt dosyası oluşturun, direktiflerinizi ekleyin, kaydedin ve web sitenizin kök dizinine yükleyin.

En uygun ayarlara göre robots.txt dosyanız aşağıdaki içeriğe sahip olmalıdır:

User-agent: *
Allow: /
Sitemap: https://website.com/sitemap.xml

Bu, tüm botların web sitenize herhangi bir engelleme olmadan erişmesine izin verir. Ayrıca, arama motorlarının onu bulmasını kolaylaştıracak site haritası konumunu da belirtir.

Robots Txt Oluşturmak ve Robots.txt Ayarları hakkında bilgi verdik. Sorularınızı 24 saat içerisinde cevaplandırmaya çalışıyoruz. Bu nedenle aklınıza takılanları yorum kısmından sorabilirsiniz…

2 YORUMLAR

  1. Bu konu hakkında pek bir bilgim yoktu genel olarak internet üzerinden örneklere bakıyordum, ellerinize sağlık teşekkürler.

  2. Robot txt nin hikayesi var mı? Neden robot koymuşlar merak ediyorum ismini.

BİR CEVAP BIRAK

Please enter your comment!
Please enter your name here