Vrei local AI?

Sugi pula, toată pula.
Au apărut o grămadă de distilări de AI-uri deschise și reduse, folosind mixuri de experți și dicționare extinse pe care nu le mai încarcă în RAM/VRAM, ci rămân pe SSD ( keyphrase books ) pe care toți youtuberii le rulează in teste și mamă ce rezultate au ei cu plăci video ordinare și RAM relativ ordinar.

Am încercat să rulez similare pe laptop cu 8 GB Video și 64GB RAM, cu cuantizare cât s-a putut și discharge în VRAM cat de mult s-a putut. Dura un task de 10 minute în Gemini 2 ore și nimic.

Am închiriat niște plăci video de la runpod.io și am rulat taskuri din VisualCode cu Roo Code.

Lasă că m-am chinuit ceva să fac plugin la instanță în pluginul de VC. Numai failuri pârțâite și consum de prompturi și resurse fără vreun rost, fără cap și coadă.

Sigur, placa rula la greu.
Am cerut și eu de la , ce-a cerut băiatul ăsta, un sistem solar 3D în HTML, păi ce, nu merit și eu unu?
A durat ore de loopuri întrerupte și nu, nu merit nimic.

Sigur că mai pot optimiza, sigur că știu cum , dar nu merită.
Vezi placa aia, am închiriat-o să-nțeleg dacă merită să dau banii să cumpăr una.

2400 de lire SH. E mult prea scumpă pentru ce poți scoate din ea.

Cred că nici cu RTX 5090 nu scot ceva mulțumitor.

Mai pot optimiza LLM-ul ăla să se miște mai bine, problema e că la nivelul la care vreau eu să se miște costă cam atâta o placă video. Nvidia H200. Da, e mai scumpă decât acum 1 an și nu are nicio noimă.

Problema e că la 36000/ 36 de luni e cam 1000 pe lună. De banii ăștia pot cumpăra de la anthropic , sau gemini câtă putere de calcul am nevoie. Ce nu pot cumpăra este privacy.

Problema e că momentan hyperscalerii cumpără tot, prețurile sunt dubios de mari, iar ei au hardware în mână și-și permit să țină prețuri mai mici la inferențe.

Speculația mea e că la un moment dat trebuie să se termine din cumpărat – nu știu când se întâmplă aia dacă nu colapsează ăștia – și abia atunci cred că merită să cumperi hardware. Momentan propunerea asta e stupidă.

Efectiv nu pot să cumpăr o placă video de banii ăia , că nu-mi permit țeapa de pe urmă.

Am să mai încerc, dar sunt un pic descumpănit.