Tema

I concettimachine-learningNel grafo

Profondità della rete

Il numero di strati. Più strati permettono gerarchie di tratti - semplici nei primi, composti nei successivi - che uno strato solo, per quanto largo, paga carissimo

Si lega a

caratterizza la rete neurale multistrato; aggrava il gradiente che svanisce

Da qui ci si arriva

  1. Connessione residua

    La somma dell'ingresso di un sotto-blocco con la sua uscita: il segnale e il gradiente hanno una scorciatoia, e ogni blocco corregge invece di riscrivere

  2. Gradiente che svanisce

    Negli strati profondi il segnale d'errore si spegne, perché torna indietro moltiplicato per pendenze minori di 1 a ogni strato: gli strati vicini all'ingresso smettono di imparare

Dove se ne parla

  1. Le reti multistrato: oltre il muro del percettrone