Tema

I concettimachine-learningNel grafo

Memoria unificata

La memoria condivisa fra processore e scheda grafica, come nei chip Apple: un modello può usare tutta la memoria della macchina

Si lega a

è la condizione che rende pratici il motore di inferenza personale e lo streaming dei pesi

Dove se ne parla

  1. I motori che eseguono i pesi: da llama.cpp allo streaming dal disco