Link copiato negli appunti
Il Robots Exclusion Standard (standard per l’esclusione dei robot, ovvero degli spiders dei motori di ricerca) è un sistema di controllo qualitativo e quantitativo rispetto a quali e quante pagine escludere alla visita e all’indicizzazione da parte di specifici spiders. Tale standard di esclusione si avvale di un file di testo, per l’appunto il file robots.txt. Non tutti i motori di ricerca hanno aderito allo standard. Coloro che lo hanno fatto, hanno istruito i propri spiders ogni qualvolta accedono al sito web, di verificare la presenza del file robots.txt e – se presente – seguirne le eventuali direttive di esclusione.