Script per analizzare il file Robots.txt di un sito web

RobotsTxt permette di analizzare il file Robots.txt di un determinato sito web e restituire, a schermata, le cartelle disponibile e non per il crawler dei motori di ricerca; così da rispettare le regole del webmaster sull’indicizzazione delle pagine web di tale sito.