Robots.txt, arriva un segnale condiviso per escludere i contenuti dall'addestramento AI

Il 30 ottobre 2026 Microsoft, Google e OpenAI hanno annunciato che supporteranno un segnale condiviso in robots.txt con cui un sito dice che i suoi contenuti non vanno usati per addestrare l'AI. Il dettaglio più completo viene da Microsoft: nel post Your content, your choice Krishna Madhavan, Principal Product Manager di Bing, spiega come funziona e dà un calendario.

Come si scrive il segnale per Bing#

Nel robots.txt si usa un gruppo con User-Agent: __usage_ai-training seguito da Disallow: / per tutto il sito, oppure da un percorso specifico. Allow è il valore predefinito. A livello di pagina Bing usa il meta tag robots con name "Bingbot" e content "ai-training:disallow", oppure l'intestazione X-Robots-Tag. La preferenza di pagina prevale su quella di robots.txt.

Per il grounding, cioè l'uso dei contenuti nelle risposte generate, per esempio in Copilot, Bing indica i valori ai-grounding:disallow e ai-grounding:disallowextended. Valgono solo a livello di pagina: Microsoft precisa che non c'è una preferenza di grounding valida per l'intero sito in robots.txt. Con disallowextended l'uso resta limitato ai prodotti Microsoft ed esclude i servizi di grounding che Microsoft offre a terzi. Microsoft scrive che le preferenze non cambiano l'idoneità ai risultati di ricerca Bing, ma che limitare il grounding riduce la visibilità del brand nelle esperienze AI.

Le date da segnare#

• 15 dicembre 2026: in Bing Webmaster Tools si aprono le preferenze temporanee di grounding, solo per i siti che a quella data usano NoArchive o NoCache.
• 1 febbraio 2027: Microsoft inizia a rispettare le nuove preferenze durante la scansione.
• 1 marzo 2027: NoArchive e NoCache non sono più letti come preferenze di addestramento o grounding. Senza una preferenza temporanea registrata in Bing Webmaster Tools, il grounding torna ad Allow fino alla nuova scansione della pagina.
• 30 settembre 2027: scadono le preferenze temporanee.

Cosa dicono Google, OpenAI e l'IETF#

Google ha pubblicato sul Search Central Blog Supporting a shared AI training control for websites. Google annuncia di voler supportare un controllo condiviso per l'addestramento AI in robots.txt, basato sul lavoro del gruppo AIPREF dell'IETF, che si aggiunge a Google-Extended, il controllo offerto dal 2023.

OpenAI, in Making it easier for websites to express AI training preferences, dice che rispetterà un segnale robots.txt condiviso per aiutare i gestori dei siti a comunicare le loro preferenze ai fornitori che partecipano. Per chi vuole capire come OpenAI scansiona il web c'è la nostra guida a GPTBot.

Il token è definito in una bozza dell'IETF, Machine-Readable Training Preference Signal, firmata da Kevin Kelley di Anthropic il 30 ottobre 2026. È un Internet-Draft individuale, non uno standard. Il token __usage_ai-training è un token di politica, non l'identità di un crawler. I gruppi User-Agent: * non valgono per il token, e il token non è una direttiva di scansione: per limitare la scansione servono i gruppi dei singoli crawler.