Addestramento BPE

Si lega a

produce la tabella delle fusioni BPE; precede la codifica BPE

Da qui ci si arriva

1. Vocabolario

   L'elenco finito dei token disponibili, con un identificativo assegnato a ciascuna voce

2. Byte pair encoding

   Famiglia di algoritmi che costruisce unità a lunghezza variabile fondendo ripetutamente coppie frequenti; la variante di Sennrich parte da caratteri, quella di GPT-2 dai byte

3. Miscela del corpus

   Le proporzioni di lingue e argomenti nel corpus su cui si addestra il tokenizzatore: decidono quali parole ottengono voci intere e quali si compongono a pezzi

4. Tabella delle fusioni BPE

   L'elenco ordinato delle coppie che il tokenizzatore può fondere, appreso sul corpus di addestramento

Dove se ne parla

1. Dal testo ai token: il tokenizzatore