Finestra di contesto
Detto anche: context window, contesto
La finestra di contesto è la quantità massima di testo, misurata in token, che un modello linguistico può considerare in una volta: prompt, documenti allegati, conversazione precedente e risposta. Quello che sta fuori dalla finestra, il modello non lo vede.
In breve
- È il limite di testo che il modello vede in una volta.
- Si misura in token.
- Comprende prompt, conversazione, documenti e risposta.
- Nei modelli recenti arriva a centinaia di migliaia di token.
Cosa entra nella finestra di contesto?
Tutto quello che il modello deve tenere presente per rispondere: il prompt di sistema, i messaggi della conversazione, i file caricati e la risposta che sta scrivendo. In una chat lunga, i messaggi più vecchi possono essere riassunti o esclusi per fare spazio.
Quanto è grande?
Dipende dal modello: i modelli recenti arrivano a centinaia di migliaia di token, alcuni a un milione, abbastanza per interi libri o grandi raccolte di documenti.
Più contesto vuol dire risposte migliori?
Non sempre. Con testi molto lunghi il modello può dare meno peso alle informazioni nel mezzo; conviene mettere in evidenza le parti importanti e porre la domanda in modo esplicito, spesso alla fine dei documenti.
Esempio pratico
Allegando a una chat un contratto di 80 pagine e chiedendo «Quali penali sono previste?», il contratto deve stare tutto nella finestra di contesto; se è troppo lungo, l'applicazione ne userà solo una parte o lo dividerà in pezzi.
Differenze con Memoria
| Aspetto | Finestra di contesto | Memoria |
|---|---|---|
| Durata | Solo la conversazione in corso | Anche tra conversazioni diverse |
| Contenuto | Testo inviato in quel momento | Informazioni salvate dall'applicazione |
| Chi la gestisce | Il modello | L'applicazione intorno al modello |
Domande frequenti
Perché in una chat lunga l'AI «si dimentica» le prime istruzioni?
Perché la conversazione ha superato la finestra di contesto, o l'applicazione ha riassunto i messaggi più vecchi. Conviene ripetere le istruzioni importanti o aprire una nuova chat.
Fonti
Vedi anche
- LLM (Large Language Model): Un modello linguistico di grandi dimensioni (in inglese large language model, LLM) è un sistema di intelligenza artificiale addestrato su en...
- RAG (Retrieval-Augmented Generation): La generazione aumentata dal recupero (in inglese retrieval-augmented generation, RAG) è una tecnica in cui, prima di rispondere, il sistema...
- Token: Il token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola, un segno di p...