Mini-PC AI sistēmas
Kompaktas, rakstāmgaldam piemērotas sistēmas, kas izstrādātas lokālai AI secināšanai, precizēšanai (fine-tuning) un izvietošanai tīkla malā (edge).
| Attēls | Produkts | Cena | Kapacitāte |
|---|
Modeļa kapacitātes izpratne
Modeļa kapacitāte attiecas uz parametru skaitu, ko satur mākslīgā intelekta modelis (piemēram, 70B = 70 miljardi parametru). Lielākiem modeļiem parasti ir nepieciešams vairāk atmiņas un skaitļošanas jaudas, taču tie var nodrošināt uzlabotu spriešanas un izvades kvalitāti.
Precizitāte (FP16 / FP8 / FP4) ietekmē to, cik daudz atmiņas nepieciešams noteiktai modeļa kapacitātei: zemākas precizitātes formāti aptuveni uz pusi samazina atmiņas prasības katrā nolaišanās solī (FP16 → FP8 → FP4), uzņemoties zināmu precizitātes zudumu izvadē.
| Modeļa izmērs | Tipiskā atmiņa (FP16) | Tipiskā atmiņa (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |