Cos’è un token nell’AI? Spiegato per chi non è tecnico
Token Il pezzetto di testo con cui l’AI legge e scrive. A volte è una parola intera, a volte una sillaba o un segno. Limiti e costi dell’AI si misurano spesso in token.
Redazione SpaccioAI15 ottobre 20261 min di letturaLivello base
Un token è l’unità con cui un’AI legge e scrive. Non coincide con la parola. Una parola corta e comune è spesso un token solo. Una parola lunga o rara viene spezzata in più pezzi, e anche uno spazio o una virgola contano. L’assistente non vede le lettere una per una, vede una sequenza di token.
Tre cose si misurano in token. Una è quanto testo l’assistente riesce a tenere presente, cioè la finestra di contesto. Un’altra è quanto può essere lunga la sua risposta. La terza, se usi l’AI tramite API, è di solito quanto paghi.
Un esempio
Una segreteria vuole far riassumere un contratto di molte pagine. Se il documento supera il limite di token, lo strumento può rifiutarlo o leggerne solo una parte. Conviene mandarlo a capitoli, con una richiesta per ciascuno, e poi chiedere un riassunto dei riassunti.
Perché ti interessa
Quando un assistente sembra dimenticare l’inizio di un lavoro lungo, spesso i token sono finiti. Non è distrazione, è un limite tecnico.