Robotstxt Dosyası Ve AyarlarıGoogle web tarama botlarından sitenizde yer alan klasörlerinizi korumak istiyorsanız robotstxt dosyasını kullanmalısınız Örneğin bir klasör (örnek olarak seo klasörü olsun) ve içerisinde yer alan tüm dosyalarınızı google botlarından bloklamak için yazmanız gereken

Dosya tiplerini bloklamak için : ( Bu kod ile gif dosyalarını indekslemesin diyoruz google botlarına)

Alıntı:

User-agent: Googlebot Disallow: /*gif$

Dinamik web sayfalarını bloklamak için :

Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini önleyebilirsiniz :

Önemli Not : robotstxt dosyanızı sadece root klasörünüze atmalısınız Alt klasörlere koymamalısınız! Tekil dosyalar için yukarıdaki metatagı kullanmanız faydalı olacaktır Eğer robotstxt kullanmazsanız google botları varsayılan olarak

Yazar: admin | Yorum Yok »

Ben bu siteyi ilk kesfettiğimde ismine bakınca bir program paylaşım yeri bekliyordum ama, sitenin sloganındanda anlaşılacağı üzere bir online dizi izleme sitesi.

Siteye www.paylasiyorum.net adresinden ulaşabilirsiniz.

Yazar: admin | Yorum Yok »