Robots.text Ayarları

Pek çok site sahibi robots.text dosyasını nasıl kullanacağını bilmez.. Hatta bazıları ne işe yaradığından bile bihaber durumda.. Oysa site içinde robots.text dosyası büyük önem taşır.. Özellikle arama motorları örümcekleri için çok aranan ve önemsenen bir dosyadır.. Robots.text dosyası nedir ve nasıl kullanılır anlatayım bildiğim kadarı ile..

Robot engelleme standardı, (aynı zamanda Robot engelleme protokolü veya robots.txt olarak da bilinir) web böceği (ing web spawler) veya web örümceği (ing. web spider) gibi yazılımların web sunucularının kamuya açık bölümlerinin tamamına veya bir kısmına erişimini engellemeye yarayan bir standarttır. Genelde web sitelerini sınıflandırmak ve arşivlemek amacı ile arama motorları ya da düzeltişmiş kaynak kodları için site yöneticileri robotları kullanırlar. Robotlar bu işlem sonucunda web siteleri için site haritaları oluştururlar.