Si lega a
alimenta lo streaming dei pesi con cache (PowerInfer); si lega alla miscela di esperti e ai suoi pochi parametri attivi per token
Tema
La regolarità per cui una piccola frazione di neuroni è attiva su quasi tutti i token, mentre la maggior parte si attiva di rado: è ciò che rende indovinabile lo streaming
alimenta lo streaming dei pesi con cache (PowerInfer); si lega alla miscela di esperti e ai suoi pochi parametri attivi per token