Claude e i 100.000 token: un libro intero in un solo prompt

L'11 maggio Anthropic ha annunciato che Claude può ora leggere 100.000 token in un colpo solo, circa 75.000 parole. Fino a pochi giorni fa il limite era di 9.000. Per capire la scala: è come passare da un lungo articolo a un romanzo intero, e cambia il modo in cui si può progettare un lavoro con l'AI.

Che cosa è successo?

Anthropic ha portato la finestra di contesto di Claude da 9.000 a 100.000 token. La finestra di contesto è tutto il testo che il modello riesce a considerare insieme: istruzioni, documenti, conversazione e risposta.

Per dimostrarlo, Anthropic ha caricato in Claude Instant l'intero testo de «Il grande Gatsby» (72.000 token), dopo aver modificato una sola riga: Nick Carraway diventava un ingegnere del software che lavora su strumenti di machine learning in Anthropic. Alla domanda «che cosa c'è di diverso?», il modello ha trovato la modifica in 22 secondi. Secondo l'azienda, una persona impiegherebbe più di cinque ore solo per leggere un testo di quella lunghezza.

Altri esempi citati: riassumere bilanci e articoli scientifici, analizzare i rischi di un'azienda a partire dalle relazioni annuali, valutare una proposta di legge, leggere centinaia di pagine di documentazione tecnica. 100.000 token corrispondono anche a circa sei ore di audio trascritto.

Va detto che per la maggior parte dei professionisti italiani Claude non è ancora un'app da aprire nel browser come ChatGPT: è un modello per aziende e sviluppatori, ancora in anteprima, accessibile via API su richiesta. Ma la direzione è chiara, e vale per tutti i modelli.

Perché conta per chi progetta prompt?

Finora chi lavorava con documenti lunghi doveva spezzarli: un capitolo alla volta, un riassunto per ogni parte, poi un riassunto dei riassunti. Ogni passaggio perdeva dettagli e collegamenti. In alternativa si usavano tecniche di ricerca per selezionare solo i brani rilevanti, l'approccio che va sotto il nome di RAG.

Con 100.000 token molti di questi compiti si possono fare in un unico passaggio. Anthropic sostiene che, per le domande complesse che richiedono di collegare parti diverse del testo, questa strada funziona probabilmente molto meglio della ricerca per similarità. È un'affermazione da verificare caso per caso, ma apre una possibilità concreta: dare al modello il quadro completo.

Questo però non rende il prompt meno importante. Lo rende più importante. Con un intero contratto davanti, il modello ha più materiale da cui trarre conclusioni sbagliate, e una domanda vaga produce una risposta vaga su 300 pagine invece che su 3.

Come si scrive un prompt per un documento lungo?

Alcune regole pratiche, valide oggi con Claude e domani con qualsiasi modello che allarghi la memoria:

• Separare bene i materiali. Ogni documento va delimitato con un'etichetta chiara (per esempio «DOCUMENTO 1: contratto quadro»), così le istruzioni non si confondono con il testo.
• Dire che cosa cercare prima di chiederlo. Spiegare lo scopo della lettura orienta il modello: un avvocato e un controller leggono lo stesso contratto in modi diversi.
• Chiedere le citazioni. Ogni affermazione deve indicare il passaggio da cui viene. È il modo più semplice per ridurre le allucinazioni e per controllare il risultato.
• Prevedere il «non trovato». Il modello deve sapere che può rispondere «il documento non lo dice».

Un esempio:

Di seguito trovi tre documenti, delimitati da DOCUMENTO 1, DOCUMENTO 2 e DOCUMENTO 3. Sono il contratto con un fornitore e due allegati. Il tuo compito è individuare tutte le clausole su penali, recesso e rinnovo automatico. Per ogni clausola riporta il testo esatto tra virgolette, il documento e la sezione in cui si trova, e una spiegazione in una frase. Se un tema non è trattato, scrivi «non presente». Non aggiungere interpretazioni non supportate dal testo.

Più contesto, più responsabilità

Una finestra più ampia sposta il lavoro del Prompt Architect. Meno tempo a spezzare documenti, più tempo a decidere quali documenti dare al modello, in che ordine e con quale domanda. Mettere tutto dentro «perché tanto ci sta» è la versione lunga del vecchio errore di chiedere «fai tutto».

E c'è un aspetto pratico da non dimenticare: più testo significa più token elaborati, quindi più costi e tempi di risposta. La finestra grande è uno strumento potente, non un'impostazione da tenere sempre al massimo.

Fonti

• Anthropic, Introducing Claude, 14 marzo 2023
• Anthropic, Introducing 100K context windows, 11 maggio 2023
• TechCrunch, Anthropic's latest model can take 'The Great Gatsby' as input, 11 maggio 2023