Si lega a
derivano dall'embedding del token sommato all'embedding posizionale; il confronto fra domanda e chiavi produce i pesi di attenzione
Da qui ci si arriva
- Meccanismo di attenzione
Il calcolo che produce, per una posizione, una somma pesata dei valori delle altre posizioni, con pesi decisi dalla compatibilità fra domanda e chiavi
- Pesi di attenzione
I coefficienti, prodotti dalla softmax sui punteggi fra domanda e chiavi, con cui una posizione pesa le altre; sommano a 1