Token
Detto anche: gettone
Il token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola, un segno di punteggiatura o uno spazio. I limiti di lunghezza e i costi dei modelli AI si misurano in token.
In breve
- È l'unità di testo letta e scritta dal modello.
- Può essere una parola, una parte di parola o un simbolo.
- Limiti di lunghezza e costi si misurano in token.
- L'italiano usa in genere più token dell'inglese.
Perché i modelli usano i token e non le parole?
Dividere il testo in pezzi ricorrenti permette di gestire qualsiasi parola, anche nuova o scritta male, con un vocabolario limitato. Le parole comuni diventano un token solo; quelle rare si spezzano in più token.
Quante parole sono mille token?
Dipende dalla lingua e dal modello. In inglese un token vale in media circa tre quarti di parola; l'italiano, con parole più lunghe e flesse, richiede di solito qualche token in più per lo stesso testo.
Perché i token contano per chi scrive prompt?
Perché la finestra di contesto, la lunghezza massima delle risposte e il prezzo delle API sono espressi in token. Un prompt sovrabbondante consuma spazio e denaro senza migliorare la risposta.
Esempio pratico
Una parola comune come «casa» è spesso un solo token; una parola lunga come «sovraccaricamento» viene divisa in più pezzi. Gli strumenti dei fornitori di AI permettono di contare i token di un testo prima di inviarlo.
Differenze con Parola
| Aspetto | Token | Parola |
|---|---|---|
| Chi la definisce | Il tokenizzatore del modello | La lingua |
| Lunghezza | Da un carattere a una parola intera | Una parola |
| Uso | Misurare limiti e costi | Comunicare |
Domande frequenti
I token di input e di output costano uguale?
Di solito no: nelle API i token generati dal modello costano più di quelli inviati.
Anche le immagini consumano token?
Sì, i modelli che leggono immagini le convertono in token; il numero dipende dalle dimensioni dell'immagine.
Fonti
Vedi anche
- Finestra di contesto: La finestra di contesto è la quantità massima di testo, misurata in token, che un modello linguistico può considerare in una volta: prompt, ...
- LLM (Large Language Model): Un modello linguistico di grandi dimensioni (in inglese large language model, LLM) è un sistema di intelligenza artificiale addestrato su en...
- Temperatura: La temperatura è un parametro che regola quanto sono variabili le risposte di un modello linguistico: valori bassi danno risposte più preved...