Si lega a
è usato dalla tokenizzazione; collega ogni voce al proprio identificativo del token; la sua dimensione dipende dall'addestramento BPE
Da qui ci si arriva
- Trapianto del vocabolario
La sostituzione del tokenizzatore in un modello già addestrato: si ricostruiscono le righe della matrice degli embedding e la testa di uscita, spesso la stessa matrice, e si riprende l'addestramento perché le righe nuove partono quasi casuali
- Tokenizzazione
La trasformazione del testo in una sequenza di token secondo un vocabolario; può operare a caratteri, parole, sottoparole o byte
- Byte pair encoding
Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte
- Miscela del corpus
Le proporzioni di lingue e argomenti nel corpus su cui si addestra il tokenizzatore: decidono quali parole ottengono voci intere e quali si compongono a pezzi
- Token
L'unità discreta in cui il tokenizzatore codifica il testo: può essere una parola intera, una sottoparola, un carattere, un byte, punteggiatura o un simbolo speciale; è anche l'unità su cui si misura la spesa a consumo
- Scheda del modello
Il documento che accompagna un modello: dichiara famiglia, taglia, parametri attivi, finestra di contesto, tokenizzatore e licenza - e a volte tace sull'architettura