llms.txt: la proposta, la promessa e la realtà misurata

llms.txt è una convenzione proposta: un file markdown servito su /llms.txt che dà ai modelli linguistici una mappa curata dei contenuti più utili di un sito. Non è uno standard, e nessun motore importante lo ha adottato. Questo non ha impedito a una piccola industria di vendere la generazione di llms.txt come leva di visibilità AI, quindi questa pagina verifica quell'affermazione contro la proposta stessa, la documentazione dei fornitori e i log dei server.

Da dove viene la proposta

La proposta è stata pubblicata da Jeremy Howard nel settembre 2024 su llmstxt.org. Il ragionamento è pratico. Le finestre di contesto dei modelli linguistici sono piccole rispetto a un intero sito web, e le pagine HTML portano con sé navigazione, script e markup che sprecano quello spazio. Un indice markdown curato permetterebbe a un modello o a un agente di trovare direttamente il materiale sostanziale.

La specifica è breve. Chiede un file markdown nel percorso radice con un H1 che nomina il sito, l'unico elemento obbligatorio, seguito da un riepilogo in blockquote, sezioni di prosa opzionali ed elenchi di link delimitati da H2 con brevi note. Una sezione intitolata "Optional" segnala i link che si possono saltare quando il contesto è stretto. La proposta consiglia inoltre di servire copie markdown pulite delle pagine importanti allo stesso URL con .md in coda. Niente di tutto questo è difficile da produrre, e niente di tutto questo è il problema. Il problema sta dal lato di chi dovrebbe consumarlo.

Chi dice di usarlo

Nessun motore importante documenta di rispettare llms.txt per il recupero. Google afferma direttamente nelle sue indicazioni sulle funzionalità AI che llms.txt viene ignorato da Google Search; il resto di quel documento è ripercorso in cosa dice davvero Google sull'ottimizzazione per la ricerca AI.

OpenAI, Anthropic e Perplexity pubblicano ciascuna una documentazione dettagliata per i propri crawler, trattata token per token in crawler AI e cosa controlla ogni token. Nessuna di quelle documentazioni menziona llms.txt. Non esiste alcuna dichiarazione di questi fornitori che impegni un sistema di risposta in produzione a leggere il file. Il supporto non è misto né emergente. Al momento in cui scriviamo, è assente.

Cosa mostrano i log

La documentazione potrebbe restare indietro rispetto alla pratica, quindi la prova più forte sono i log dei server. Se i motori usassero il file, lo preleverebbero. Due misurazioni dicono che non lo fanno.

Un esperimento di 90 giorni sui log dei crawler ha registrato 62.100 richieste di bot AI. Di queste, 84 hanno prelevato il file llms.txt, circa lo 0,1 per cento.

Uno studio su 137.000 siti ha misurato una finestra di un mese e ha rilevato che il 28 per cento dei domini pubblicava un file llms.txt valido, e che il 97 per cento di quei file non è mai stato prelevato da nulla, crawler AI o altro. Gli stessi dati mostrano l'altra faccia della medaglia: sui domini senza il file, i bot AI hanno fatto zero richieste per averlo. Non vanno a cercarlo.

Un file che non viene prelevato non può influenzare ciò che un motore dice di te. Qualunque cosa llms.txt possa diventare, l'affermazione che oggi migliori la visibilità AI non ha alcun sostegno misurato.

llms.txt non è robots.txt

I due file finiscono spesso nello stesso consiglio, e fanno lavori diversi. robots.txt è una convenzione di controllo degli accessi: i fornitori AI documentano i loro token di user agent per esso, lo richiedono di routine e dichiarano cosa governa ciascun token. llms.txt è una proposta di scoperta dei contenuti che quegli stessi fornitori non hanno adottato. Nulla di ciò che è scritto in un file llms.txt concede, limita o segnala qualcosa sull'accesso. Le decisioni su quali sistemi AI possano prelevare il tuo sito si prendono nel robots.txt, token per token, come trattato in crawler AI. Confondere i due file porta a decisioni sbagliate in entrambe le direzioni.

Una posizione ragionevole

Pubblicare un file llms.txt costa qualche minuto e nient'altro dopo. Google dice che il file non aiuta né danneggia. Se l'adozione dovesse mai arrivare, un file già pubblicato è già al suo posto, e i tuoi log del server ti mostreranno il giorno in cui i tassi di prelievo cambiano. Su questa base, averne uno è una copertura innocua.

Pagarlo è un'altra faccenda. Un file che i motori non leggono non può essere un'ottimizzazione, e i soldi spesi per generare, controllare o monitorare llms.txt sono soldi non spesi nel lavoro poco affascinante che è documentato come rilevante: pagine indicizzabili, contenuti che rispondono, affermazioni verificabili. Vupie genera un llms.txt per il proprio sito e per i siti dei clienti e non ne rivendica nulla, che è la posizione sostenuta dalle prove.