Si lega a
usa la tabella delle fusioni BPE; produce il token
Da qui ci si arriva
- Tokenizzazione
La trasformazione del testo in una sequenza di token secondo un vocabolario; può operare a caratteri, parole, sottoparole o byte
- Byte pair encoding
Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte
- Addestramento BPE
La costruzione, su un corpus, della tabella ordinata delle fusioni e del vocabolario
- Tabella delle fusioni BPE
L'elenco ordinato delle coppie che il tokenizzatore può fondere, appreso sul corpus di addestramento