Il caso OpenAI.
La documentazione distingue OAI-SearchBot, usato per la ricerca di ChatGPT, da GPTBot, relativo a contenuti che possono essere usati per addestrare i modelli. Le due impostazioni sono indipendenti.
Che cosa controllare.
Non basta leggere una singola riga di robots.txt: è utile verificare anche le regole di hosting, firewall e sistemi di protezione che possono bloccare gli accessi. Le scelte vanno concordate con il titolare del sito.
L’accesso non è una promessa.
Consentire il crawler di ricerca non garantisce citazioni. Il controllo elimina un possibile ostacolo, mentre il contenuto e le risposte osservate richiedono valutazioni separate. Le impostazioni degli altri fornitori vanno verificate nelle rispettive documentazioni.