Conoscere le regole per ottimizzare robots.txt e redirect 301 è fondamentale per un esperto SEO. E oggi con ChatGPT hai un valido aiutante al tuo fianco per ottenere le combinazioni ideali in ogni occasione. Proprio così, l'intelligenza artificiale può essere d'aiuto.
Soprattutto quando hai bisogno di generare una combinazione per il file robots.txt e bloccare l'indicizzazione dei contenuti. Lo stesso vale quando devi intervenire sull'htaccess per fare un reindirizzamento di una pagina Web, di una sezione del portale o del sito Internet.
Prima di proseguire un punto importante: stiamo operando su dei piani in cui gli errori possono costare caro. Prima di implementare le regole per robots.txt e redirect 301 create con ChatGPT devi sempre verificare e controllare cosa stai facendo. Nello specifico, puoi utilizzare il test di Google per controllare se ci sono contenuti bloccati con il robots.txt.
Crea un robots.txt con ChatGPT
Il primo modo per usare questo strumento nell'organizzazione del file da far leggere al motore di ricerca per gestire l'accesso dello spider: chiedere di realizzare una struttura base per User-agent e Disallow. Ad esempio, puoi chiedere di realizzare un robots.txt senza particolari esigenze, aperto a tutti i crawler dei motori di ricerca e senza sezioni in noindex.
Un prompt per realizzare un robots,txt di base.
Chiaramente, chiedere a ChatGPT di creare un robots.txt senza specifiche indicazioni non ha senso. Bisogna sempre dare dei parametri specifici come fatto sopra in cui chiediamo di indicizzare tutte le pagine Web. In alternativa, possiamo suggerire di indicare una serie di risorse da escludere. Qui hai un altro esempio in cui ci sono indicazioni precise.
Regole per creare un robots.txt con esclusioni specifiche.
In questa fase ho chiesto al robots.txt di consentire l'accesso a tutti gli user-agent (l'asterisco significa proprio questo) e di impedire la scansione di cartelle specifiche.
Calcola che puoi suggerire anche il blocco di singole pagine Web o di immagini. In questo caso puoi chiedere a ChatGPT di realizzare un file in cui si blocchi la scansione da parte del bot di Google Image. Ricorda sempre di verificare che siano state rispettate tutte le regole per consentire l'accesso agli spider sulle pagine che ti interessano, altrimenti rischi cali di traffico.
Realizza dei redirect 301 con ChatGPT
Altro aspetto fondamentale per sfruttare ChatGPT in chiave SEO: puoi chiedere di realizzare il codice per effettuare un redirect 301. Ovvero un reindirizzamento che porta da una pagina all'altra. Questo vale sia per i visitatori umani che per gli spider dei motori di ricerca.
Perché questo strumento è così importante? I redirect 301 sono essenziali per le attività di gestione dei contenuti, puoi cancellare pagine Web e accorpare contenuti che si cannibalizzano. Oppure puoi cambiare il nome dominio o la struttura permalink senza perdere traffico. L'importante è fare un buon redirect 301. Ecco cosa suggerisce ChatGPT.
Un modello di redirect 301 creato con ChatGPT.
L'aspetto interessante: ChatGPT ci suggerisce anche la procedura per implementare il lavoro svolto - apri il file htaccess, incolla il redirect, salva - facendo una prova per verificare se effettivamente il reindirizzamento funziona. Chiaramente puoi fare dei redirect meno impegnativi, come quelli che portano da una singola pagina Web a un'altra risorsa.
Come fare un reindirizzamento di singola pagina Web.
Possiamo lavorare anche su fronti più articolati. Ad esempio, se vuoi eliminare da tutte le URL delle pagine categoria la directory di riferimento (perché inutile sia in termini UX che SEO) puoi chiedere a ChatGPT di scrivere le regole del redirect 301 in modo da poter gestire questi aspetti in modo semplice e senza contraccolpi in termini SEO.
Un esempio di procedura per i redirect 301 delle categorie.
Ovviamente la chiusura di questo articolo deve, per forza, fare appello alla chiarezza: ChatGPT può sbagliare. E questo è un rischio sottolineato anche da OpenAI.
Possono confondersi anche i Webmaster che scrivono un prompt poco chiaro, generando delle regole di robots.txt e redirect 301 inadeguate. I danni possono essere decisivi, quindi prima di implementare delle modifiche suggerite dall'AI bisogna verificare. Soprattutto, si deve sapere cosa si sta facendo altrimenti c'è il rischio di perdere traffico importante.