Dal testo ai token: il tokenizzatore

Scriviamo «il gatto morde il cane» e vediamo una frase. Una rete neurale, invece, non può moltiplicare gatto per un peso né sommare cane a un altro numero. Prima che cominci il calcolo, il testo va diviso in unità, e ogni unità deve ricevere un numero.

Si riassume spesso tutto dicendo che il testo «diventa numeri», come se fosse un dettaglio di preparazione. Le unità di quella trasformazione hanno invece un nome che è ormai entrato nel lessico di chiunque usi questi modelli: token. Questo pezzo risponde alle tre domande che quel nome si porta dietro: a che cosa servono i token, come si usano, e come vengono ricavati dal testo - cioè chi decide dove un token finisce e dove comincia il successivo. Trasformare poi i numeri in vettori che la rete possa apprendere è il pezzo successivo, sull’embedding.

Un modello legge, scrive e conta in token

Finestra di contesto, listini a consumo e velocità di risposta si misurano tutti nella stessa unità, e la risposta di un modello nasce un token alla volta.

Chi ha usato un modello di linguaggio ha già incontrato i token, magari senza guardarli. La finestra di contesto - quanto testo il modello può tenere davanti in una volta - si dichiara in token; i listini dei servizi a consumo fatturano il token come unità di spesa, come racconta il pezzo sull’impatto computazionale della serie sugli agenti; la velocità di generazione si misura in token al secondo. Sono tre grandezze che chi compra o usa questi servizi maneggia ogni giorno, contate tutte nella stessa unità.

La ragione è che il modello non vede mai il testo com’è scritto. Vede token in ingresso e produce token in uscita: prima che una domanda arrivi al calcolo viene tokenizzata, e la risposta si costruisce un token alla volta - a ogni passo il modello pesa i candidati con le loro probabilità, il lavoro della softmax visto nel pezzo sulle reti multistrato, e ne sceglie uno. Tutto quello che un modello di linguaggio sa fare passa da qui: leggere una sequenza di token, allungarla di un token. E per tornare al testo non serve nulla di neurale: l’ultimo strato assegna una probabilità a ogni voce del vocabolario, se ne sceglie una, e quella voce è già testo - la stessa tabella che ha numerato i token, letta al contrario.

Chi scrive non deve tokenizzare niente: lo fa il servizio, in silenzio. Ma i confini dei token si sentono lo stesso. Si sentono quando un documento non entra nella finestra di contesto; quando la stessa domanda costa più in una lingua che in un’altra, e questo pezzo più avanti lo misura; quando un limite dichiarato «in token» non torna mai col conto delle parole scritte.

Resta la domanda da cui tutto dipende: chi decide dove finisce un token e dove comincia il successivo? Non la grammatica e non il dizionario. Lo decide uno strumento costruito prima del modello, con criteri suoi: il tokenizzatore.

Il token è una scelta del tokenizzatore

Lo stesso testo può diventare caratteri, parole o sottoparole: il token non è un pezzo naturale della lingua, ma l’unità scelta per il modello.

Il primo lavoro si chiama tokenizzazione. Un tokenizzatore prende il testo e restituisce una fila di unità discrete, i token. Non esiste un unico taglio corretto. La parola gatto può diventare:

• cinque caratteri: g | a | t | t | o;
• una parola intera: gatto;
• due sottoparole, per esempio gatt | o, se quelle sono le unità disponibili nel vocabolario del modello.

Il piccolo GPT di questa serie lavora a caratteri. Nel codice di preparazione di nanoGPT il vocabolario è l’insieme ordinato dei caratteri trovati nel corpus; due mappe convertono ogni carattere nel proprio numero e ogni numero nel carattere corrispondente. È una scelta limpida per un modello didattico: nessuna parola resta fuori, purché i suoi caratteri siano presenti nel testo di addestramento. Il prezzo è la lunghezza. Una parola di dieci lettere occupa dieci passi.

Un vocabolario di parole fa il contrario. Accorcia le sequenze, perché una parola intera vale un solo token, ma deve prevedere in anticipo ogni parola che il modello incontrerà. Nomi propri, forme flesse, refusi e parole nuove fanno crescere l’elenco oppure finiscono fra gli sconosciuti. Una lingua viva non si lascia chiudere comodamente in trentamila o cinquantamila voci.

Le sottoparole sono il compromesso: mantengono unite le sequenze frequenti e compongono quelle rare con pezzi più piccoli. Gatto può avere una voce propria, mentre una parola rara può essere composta da radice, suffisso e altri frammenti. Il tokenizzatore non sta facendo un’analisi grammaticale: cerca unità riutilizzabili secondo le frequenze del corpus.

Le fusioni del BPE si apprendono prima sul corpus

Il byte pair encoding costruisce una tabella sul corpus di addestramento; quando arriva un testo nuovo, applica quella tabella senza ricostruirla.

Uno dei metodi più importanti per costruire sottoparole è il byte pair encoding, abbreviato BPE. Philip Gage lo descrisse nel 1994 come algoritmo di compressione. Nel 2016 Rico Sennrich, Barry Haddow e Alexandra Birch lo adattarono alla traduzione neurale: si parte da unità piccole e si fonde, un passo alla volta, la coppia adiacente più frequente.

Perché prendersi la briga, se caratteri e parole sono già lì? Perché il BPE unisce i pregi di entrambi. Rispetto ai caratteri comprime: la stessa frase scende da decine di segni a una manciata di token, e ogni passo del modello lavora su un’unità che porta più informazione. Rispetto alle parole non lascia mai nulla fuori: la parola mai vista si scompone in pezzi noti, fino alle singole lettere se serve. E la taglia del vocabolario si sceglie: si fissa il numero di voci che si è disposti a pagare in righe di matrice, e le fusioni si fermano lì - «un vocabolario aperto attraverso un vocabolario di taglia fissa», nelle parole di Sennrich e colleghi.

Supponiamo che nel corpus ricorrano spesso g seguito da a. La prima fusione crea ga. Se in seguito ga compare spesso davanti a t, una nuova fusione crea gat; altre fusioni possono arrivare a gatto. Non è detto che il risultato coincida con una sillaba o con un morfema. Il criterio è statistico: vince la coppia più frequente fra quelle ancora disponibili.

Qui è decisiva la distinzione fra due momenti. L’addestramento BPE legge il corpus e produce una tabella delle fusioni BPE, ordinata. La codifica BPE prende poi una frase nuova e applica le fusioni già apprese. Se si costruisse una tabella diversa per ogni frase, la stessa parola potrebbe essere segmentata e numerata in modi diversi secondo il testo che la circonda; il modello perderebbe il proprio alfabeto.

Da quale corpus si impara, allora, decide tutto il resto. Il gioco qui sotto lo mette alla prova con un duello: da una parte un vocabolario BPE addestrato sull’apertura dei Promessi sposi, dall’altra quello dei modelli di OpenAI, imparato dal web di oggi. La stessa frase passa nei due, e i due conti quasi mai coincidono: è il modo più rapido per accorgersi che i token non sono né parole né lettere, e che a deciderne il numero è il testo su cui il vocabolario è nato.

I tagli mostrati sono misurati davvero, non simulati: quelli di OpenAI con la sua libreria ufficiale, quelli manzoniani con un BPE addestrato sul corpus del romanzo.

Il vocabolario del duello è una versione didattica: conserva la differenza fra maiuscole e minuscole, usa gli spazi come confini senza trasformarli in token, non fonde oltre i confini delle parole e tiene separata la punteggiatura. Le ricette vere cambiano due punti decisivi: da dove si parte, e con quale criterio si fonde.

BPE sui byte è la mossa di GPT-2. Il vocabolario di partenza contiene 256 simboli, uno per ciascun possibile valore di un byte: bastano a rappresentare senza perdita qualunque stringa Unicode, e con questa ricetta nessun segno resta sconosciuto, qualunque cosa si scriva. Il prezzo si vede a zero fusioni: la parola perché parte in sette byte e non in sei segni, dato che la é ne occupa due. GPT-2 aggiunge anche regole che impediscono molte fusioni fra categorie di caratteri diverse, per non consumare il vocabolario con varianti quasi uguali come dog., dog! e dog?.

La regola WordPiece cambia invece il criterio di scelta: vince la coppia più frequente in rapporto alla ricorrenza dei suoi due pezzi, così una coppia rara i cui pezzi compaiono quasi solo insieme batte una coppia di pezzi comunissimi.

Sulla stessa apertura del Manzoni la differenza si vede subito: il BPE comincia da er e on, la regola WordPiece ricompone per prime le rarità inseparabili

• il gruppo Hy di Hynojosa e gli anni delle gride, 1583 e 1593 - e con quattrocento fusioni ha già saldato Quel in un token unico, perché la Q non vive quasi mai lontana dalla u, mentre tiene ancora in lettere parole frequentissime come del e lago, che il BPE ha ricomposto in un pezzo solo. E per saldare l’intero corpus in parole intere paga di più: le servono 3.626 fusioni dove al BPE ne bastano 2.059, perché i suoi gradini rari si riusano meno. È la ricetta dei «wordpieces» della sezione seguente, qui ridotta al solo criterio di scelta.

La differenza di criterio si legge meglio nella tabella delle fusioni, che è ordinata: il primo gradino è quello che la ricetta sceglie per primo. Sono i dieci gradini iniziali, imparati dallo stesso corpus.

Il punto mediano segna la fine della parola: e· è la e quando chiude una parola, e il BPE la salda per prima perché in italiano succede continuamente. Le due colonne dicono tutto: il BPE comincia dalle cose che ricorrono a centinaia, WordPiece da cose che il corpus contiene una volta sola - il gruppo Hy di Hynojosa e gli anni delle gride, 1583, 1593, 1598, 1600. Non è un capriccio: quei pezzi non compaiono mai separati, e per il criterio di WordPiece questo vale più della frequenza.

Unigram non ha una tabella da mostrare accanto a queste, e la ragione è la stessa che il diagramma qui sotto rende visibile: non salda niente, quindi non produce gradini in ordine. Il suo addestramento toglie unità da un vocabolario già ampio, e il risultato è un elenco di superstiti, non una scala.

Gli altri tokenizzatori e chi li adotta

Wordpieces, Unigram e SentencePiece cambiano la ricetta di scelta delle unità, ma il piatto resta uguale: un vocabolario costruito prima, su un corpus, e applicato poi a ogni testo nuovo.

Il BPE non è comunque l’unico attrezzo del mestiere. I «wordpieces» della traduzione neurale di Google dividono le parole «in un insieme limitato di sotto-unità comuni»: parenti stretti delle fusioni BPE, con una ricetta di scelta diversa. Il metodo Unigram rovescia la prospettiva: fra i tanti modi possibili di segmentare una parola sceglie il più probabile secondo un modello di linguaggio a unigrammi - e campionare anche le alternative, durante l’addestramento, rende il modello più robusto. Il suo addestramento è un procedimento iterativo di stima e potatura, lontano dalla semplicità delle fusioni. SentencePiece, infine, è la cassetta degli attrezzi che addestra questi vocabolari di sottoparole direttamente dal testo grezzo, spazi compresi, dichiaratamente indipendente dalla lingua. Ricette diverse, piatto uguale: un vocabolario costruito prima, su un corpus, e applicato poi a ogni testo nuovo.

E i modelli di larga diffusione? La famiglia GPT è rimasta al BPE sui byte: i vocabolari sono distribuiti col codice aperto tiktoken, dove la tabella che associa ogni modello alla sua codifica si legge in chiaro - dalla cl100k di GPT-4 alla o200k dei modelli successivi, GPT-5 compreso, coi nomi che dichiarano la taglia: centomila e duecentomila voci. La famiglia Llama dichiara nel lavoro del 2023 la stessa ricetta con la cassetta di Kudo: i dati tokenizzati «con l’algoritmo byte-pair encoding, usando l’implementazione di SentencePiece», coi numeri spezzati in cifre singole e i byte come ripiego per i caratteri sconosciuti.

GPT-2 · 50.257 VOCI · 10 TOKEN

Quel␣ramo␣del␣lago␣di␣Como

CL100K (GPT-4) · 100.277 VOCI · 9 TOKEN

Quel␣ramo␣del␣lago␣di␣Como

O200K (MODELLI SUCCESSIVI) · 200.019 VOCI · 6 TOKEN

Quel␣ramo␣del␣lago␣di␣Como

La scelta del tokenizzatore si paga tre volte

Compressione delle sequenze, righe di matrice spese bene, parole rare che ereditano statistica: sono le tre spese su cui i tokenizzatori si confrontano.

Si paga tre volte, e tutte e tre le spese restano aperte per tutta la vita del modello.

• La compressione. Meno token per lo stesso testo vuol dire sequenze più corte: meno calcolo per ogni esempio e più testo dentro la stessa finestra di contesto. Un tokenizzatore che spende token a caso accorcia ciò che il modello può vedere.
• La spesa del vocabolario. Ogni voce diventa una riga della prima matrice di pesi, e il modello la paga per sempre. Le voci sprecate in varianti quasi uguali - i dog., dog! e dog? di prima - sono capacità pagata e mai usata.
• Le parole rare. Coi pezzi condivisi, una parola mai vista eredita statistica dalle parole imparentate: è la differenza fra «non l’ho mai incontrata» e «assomiglia a queste, che conosco».

Fra le ricette affermate le differenze sono spesso di rifinitura; cambiare criterio a metà strada, invece, non si può.

La lezione comune non è che ogni tokenizzatore debba usare BPE: il vocabolario viene stabilito prima dell’uso e diventa parte del modello. Cambiare tokenizzatore significa cambiare gli identificativi, la lunghezza delle sequenze e la prima matrice di pesi.

L’italiano paga più token dell’inglese

Il vocabolario premia la lingua e l’argomento che dominano il suo corpus di addestramento: tutto il resto si scompone in più pezzi, e ogni pezzo in più si paga in denaro, tempo e contesto.

Le fusioni del BPE premiano le sequenze frequenti nel corpus di addestramento. Se quel corpus è in gran parte inglese, le parole inglesi conquistano voci intere del vocabolario, mentre le parole delle altre lingue si fermano più spesso a frammenti. Lo stesso contenuto, tradotto, produce sequenze di lunghezza diversa.

E quel che vale fra le lingue vale anche fra gli argomenti: un vocabolario cresciuto su testi di programmazione impara per intero le parole del codice, uno cresciuto su atti giudiziari impara le formule dei tribunali. Il vocabolario parla la lingua dei testi che ha letto; tutto il resto lo compone a pezzi.

Il duello qui sopra mostra lo stesso meccanismo a parti rovesciate. Il vocabolario nato dal Manzoni legge in cinque token «l’Illustrissimo ed Eccellentissimo Signore», che a OpenAI ne costa undici; ma davanti a «il modello di linguaggio produce token» il conto si capovolge, sedici contro sette, perché quelle parole nel romanzo non esistono. Un vocabolario è sempre lo specchio del testo su cui è nato.

Il conto si può fare anche nella direzione che interessa a chi scrive in italiano. Abbiamo preso il periodo d’apertura del corpus, «Quel ramo del lago di Como… dall’altra parte», e la sua traduzione inglese del 1834, e li abbiamo contati con le codifiche della famiglia GPT distribuite con tiktoken. L’italiano ha meno parole, 57 contro 61, e più token: 113 contro 75 con la codifica di GPT-2, 105 contro 73 con la cl100k di GPT-4, 93 contro 72 con la o200k dei modelli successivi. I vocabolari più grandi accorciano il divario, da una volta e mezza a quasi un terzo in più, ma la direzione non cambia: a parità di contenuto, l’italiano paga più token.

Su scala più ampia il fenomeno è stato misurato da Aleksandar Petrov, Emanuele La Malfa, Philip Torr e Adel Bibi: lo stesso testo, tradotto in lingue diverse, può costare fino a quindici volte più token secondo la coppia di lingue considerata, e la disparità non sparisce nei tokenizzatori addestrati apposta per il multilingue; perfino contando in caratteri o in byte, fra le lingue resta un divario di oltre quattro volte. Le conseguenze che il lavoro elenca sono concrete: il costo dei servizi a consumo, che contano il token come unità di spesa; i tempi di elaborazione; e la quantità di testo che entra nella finestra di contesto. Il tokenizzatore è il punto esatto in cui questi conti si decidono, molto prima che il modello cominci a calcolare.

Il vocabolario si prepara prima del modello

Per un modello nuovo la prima decisione è la miscela del corpus su cui addestrare il tokenizzatore; i vocabolari già costruiti si scaricano, e le famiglie maggiori dichiarano le loro scelte.

Chi addestra un modello nuovo comincia da qui. Prima dei pesi si prepara il vocabolario: si compone un corpus con le lingue e gli argomenti che il modello dovrà maneggiare, ci si addestra sopra il tokenizzatore, e soltanto dopo parte l’addestramento vero. Il calcolo della tabella è la parte facile, un procedimento automatico che in confronto ai costi del modello non costa quasi nulla. Il giudizio sta tutto nella miscela: le proporzioni fra lingue e argomenti decidono chi otterrà le voci intere, e il sovrapprezzo della sezione precedente si fissa qui, una volta per tutte - insieme alle voci speciali, che vanno riservate in anticipo.

Le famiglie maggiori questa miscela la dichiarano. Il lavoro di LLaMA del 2023 mette in tabella le proporzioni del suo corpus: due terzi di pagine web CommonCrawl in inglese, il 15% del corpus C4, il 4,5% di codice da GitHub, altrettanta Wikipedia in venti lingue, italiano compreso, e per il restante nove per cento libri, articoli scientifici e domande e risposte. Leggere quella tabella è leggere il destino di ogni lingua e di ogni argomento dentro il modello: le percentuali di là diventano i token in più o in meno di qua.

Non è obbligatorio partire da zero: i vocabolari già costruiti si scaricano. Le codifiche della famiglia GPT sono pubblicate con tiktoken, come s’è visto; i modelli a pesi aperti distribuiscono il tokenizzatore insieme ai pesi; i multilingui di ricerca come mT5 dichiarano vocabolari da 250.000 voci costruiti su un centinaio di lingue. Il riuso ha anche una forma intermedia, ed è la più istruttiva: Llama 3 dichiara un vocabolario da 128.000 voci fatto di 100.000 voci prese da tiktoken più 28.000 aggiunte apposta per le lingue diverse dall’inglese - si riusa la base, e con le voci nuove si ottiene lo sconto per le lingue che pagavano troppo.

La regola pratica è una sola: nella maggior parte dei progetti il vocabolario non si sceglie nemmeno - arriva col modello, e non ci si pensa più. Chi costruisce un assistente in italiano sopra un modello della famiglia GPT si ritrova la o200k senza averla mai nominata, paga il sovrapprezzo della lingua misurato qui sopra, e mette quel sovrappiù nel preventivo come qualunque altra spesa. Il tokenizzatore su misura è l’eccezione, non il primo passo.

Farsene uno proprio conviene quando la miscela è davvero diversa da quelle in circolazione: un modello per l’italiano giuridico, su un vocabolario anglocentrico, pagherebbe il sovrapprezzo a ogni frase. Gli attrezzi sono quelli già visti fra le ricette - SentencePiece, e librerie come i tokenizers di Hugging Face - e addestrano un vocabolario dal testo grezzo senza bisogno di macchine speciali. Riusare, invece, regala la compatibilità: un modello che condivide il vocabolario con la sua famiglia può scambiare pesi e rappresentazioni con lei, ed è la porta per gli adattamenti che il prossimo pezzo racconta.

L’identificativo del token è un indirizzo

Il numero assegnato a un token dice dove trovarlo nel vocabolario; non misura il suo significato.

Dopo la tokenizzazione ogni voce riceve un intero. In un vocabolario minuscolo potremmo avere gatto → 2, cane → 3, morde → 4. Il 4 di morde non è il doppio del 2 di gatto, e sottrarre i due numeri non rivela alcuna relazione linguistica. L’identificativo del token è un indirizzo: permette di ritrovare una voce, come il numero di uno scaffale.

Non tutte le voci del vocabolario vengono dal testo. Le codifiche reali riservano identificativi a segni di servizio che nessun corpus contiene: la codifica di GPT-2 chiude le sue 50.257 voci con <|endoftext|>, il segno che separa un documento dall’altro, e le codifiche successive ne aggiungono altri per i confini di un prompt o di un completamento. Sono token a tutti gli effetti: hanno un indirizzo, e il modello li incontra e li produce come gli altri.

Qui il testo è arrivato al confine di ciò che un tokenizzatore può fare. «Il gatto morde il cane» è diventato una fila di indirizzi, e gli indirizzi, per costruzione, non si somigliano: sanno soltanto distinguere. Perché gatto possa avvicinarsi a cane più che a mercoledì, il numero deve smettere di essere un indirizzo e diventare un vettore che l’addestramento può modificare. È l’embedding.

I concetti che questo articolo introduce

Otto voci coprono il taglio del testo, la costruzione del vocabolario e il numero che fa da indirizzo.

---

Fonti

I dati e le affermazioni portanti vengono dai lavori originali, dal codice dei tokenizzatori e da una misura fatta da noi sul Manzoni e sulla sua traduzione inglese.

• Improve and Manage, serie-machine-learning, GitHub, 2026 - il repository dei widget della serie: qui sta il duello dei vocabolari di questo pezzo (cartella segmentatrice/), insieme ai widget di tutti gli altri pezzi della serie.
• Rico Sennrich, Barry Haddow e Alexandra Birch, Neural Machine Translation of Rare Words with Subword Units, ACL 2016, primaria aperta e letta - l’adattamento del BPE alla segmentazione in sottoparole e la distinzione fra vocabolario chiuso e traduzione a vocabolario aperto.
• Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei e Ilya Sutskever, Language Models are Unsupervised Multitask Learners, OpenAI, 2019, rapporto tecnico aperto e letto - il byte-level BPE, i 256 possibili valori di un byte, i vincoli sulle fusioni e il vocabolario di 50.257 token.
• Andrej Karpathy, nanoGPT al commit 3adf61e154c3, licenza MIT, codice letto - la tokenizzazione a caratteri per il corpus piccolo, col vocabolario ricavato dai caratteri trovati nel testo, e il BPE di GPT-2 via tiktoken per il corpus grande.
• Yonghui Wu, Mike Schuster, Zhifeng Chen e colleghi, Google’s Neural Machine Translation System, 2016, primaria aperta, letto l’abstract - i «wordpieces»: le parole divise «in un insieme limitato di sotto-unità comuni».
• Taku Kudo, Subword Regularization, ACL 2018, primaria aperta, letto l’abstract - la segmentazione col modello a unigrammi e il campionamento di più segmentazioni durante l’addestramento.
• Taku Kudo e John Richardson, SentencePiece, EMNLP 2018, primaria aperta, letto l’abstract - l’addestramento dei vocabolari di sottoparole dal testo grezzo, indipendente dalla lingua.
• Hugo Touvron, Thibaut Lavril, Gautier Izacard e colleghi, LLaMA: Open and Efficient Foundation Language Models, 2023, primaria aperta e letta (sezioni 2.1-2.2) - il tokenizzatore: byte-pair encoding con l’implementazione di SentencePiece, i numeri in cifre singole, i byte come ripiego; e la tabella 1 con la miscela del corpus (CommonCrawl 67%, C4 15%, GitHub e Wikipedia in venti lingue al 4,5% ciascuno, libri al 4,5%, arXiv al 2,5% e Stack Exchange al 2%); traduzione nostra.
• Llama Team di Meta AI, The Llama 3 Herd of Models, 2024, primaria aperta, letta la parte sul tokenizzatore - il vocabolario da 128.000 voci: 100.000 prese da tiktoken più 28.000 aggiunte per le lingue diverse dall’inglese.
• Linting Xue, Noah Constant, Adam Roberts e colleghi, mT5: A massively multilingual pre-trained text-to-text transformer, 2021, primaria aperta, lette le parti su lingue e vocabolario - le 101 lingue del corpus e le 250.000 voci SentencePiece.
• OpenAI, tiktoken, GitHub, codice letto - la tabella che associa i modelli GPT alle loro codifiche BPE (r50k, cl100k, o200k), consultata il 17/8; con la stessa libreria (versione 0.13.0) è stata eseguita la misura dei token sul periodo d’apertura del Manzoni e sulla traduzione del 1834, e verificata la voce speciale <|endoftext|> in coda al vocabolario di GPT-2; sempre con tiktoken è stata ricostruita la segmentazione della frase d’esempio nelle tre codifiche, mostrata in figura.
• Aleksandar Petrov, Emanuele La Malfa, Philip H.S. Torr e Adel Bibi, Language Model Tokenizers Introduce Unfairness Between Languages, NeurIPS 2023, primaria aperta, letto l’abstract - le differenze di tokenizzazione fino a quindici volte fra lingue, il divario oltre le quattro volte anche contando in caratteri o byte, e le tre conseguenze: costo dei servizi, tempi, capienza del contesto.
• Alessandro Manzoni, I promessi sposi, edizione 1840, capitolo I, Wikisource, pubblico dominio - il corpus su cui è addestrato il vocabolario manzoniano del duello: l’apertura del capitolo, con apostrofi e virgolette normalizzati e la notazione di servizio della trascrizione rimossa. I tagli del vocabolario di OpenAI vengono da o200k_base, misurati con la libreria ufficiale tiktoken.
• Alessandro Manzoni, The Betrothed, traduzione inglese, Richard Bentley, 1834, Project Gutenberg, pubblico dominio - la prima frase del capitolo I, usata come termine di confronto nella misura dei token.