Si lega a
usa domanda, chiave e valore; produce i pesi di attenzione; è nato dentro la rete neurale ricorrente per la traduzione
Da qui ci si arriva
- Rete neurale ricorrente
Una rete che legge la sequenza un elemento alla volta, conservando in un vettore di stato la storia degli elementi già visti
- Autoattenzione
Il meccanismo di attenzione applicato da una sequenza verso sé stessa: ogni posizione interroga le altre posizioni della stessa sequenza
- Teste di attenzione
Una delle copie parallele del meccanismo, ciascuna con le proprie proiezioni, che guardano la stessa sequenza da sottospazi diversi
- Blocco del Transformer
L'unità che si ripete lungo la pila: una normalizzazione, l'attenzione multi-testa, una connessione residua, poi una seconda normalizzazione, l'MLP e una seconda connessione residua
- Normalizzazione di livello
La messa in scala che riporta i vettori a una scala comune prima di ogni operazione, tenendo i numeri sotto controllo lungo la pila