Si lega a
segue la softmax; alimenta la generazione un token alla volta
Da qui ci si arriva
- Testa d'uscita
L'ultimo strato che riporta il vettore alla taglia del vocabolario, da cui la softmax produce le probabilità del prossimo token
Tema
La scelta del prossimo token secondo le probabilità - con la temperatura che le schiaccia o le appiattisce - invece di prendere il candidato più probabile
segue la softmax; alimenta la generazione un token alla volta
L'ultimo strato che riporta il vettore alla taglia del vocabolario, da cui la softmax produce le probabilità del prossimo token