Si lega a
è un caso del meccanismo di attenzione; in nanoGPT è vincolata dalla maschera causale; produce la rappresentazione contestuale
Da qui ci si arriva
- Maschera causale
Il vincolo che impedisce a ogni posizione di usare le posizioni successive, ponendo a meno infinito i loro punteggi prima della softmax
- Costo quadratico dell'attenzione
Il prezzo del collegamento diretto: ogni posizione si confronta con tutte le precedenti, e i confronti crescono col quadrato della lunghezza della finestra