Local AI: Cu 48 GB VRAM

Testat cu runpod.io – pentru că e ușor. Nu le fac reclamă și nu-i recomand pentru nimic, dar am găsit tutoriale relativ ușor ca să pot face deployment la pytorch cu ollama cu webui și să pot mai departe face plugin din VS Code.
În fapt nu îmi prea place, motivul fiind că dacă nu folosești placa, chit că plătești pentru ea, e doar idle, te trezești că îți face offload la usage – nu știu cum, nu cunosc platforma și la primul prompt ți-o alocă cumva, dar ai ceva glitchuri. Ca la orice VPS.


În 64GB RAM încape pe de-antregul modelul qwen3.8:latest

Modelul încape în 35GB de RAM , cu tot cu contextul necesar.


Cum au decurs ostilitățile:

Asta a durat sub 5 minute – acolo zice ”thought for 1 seconds”, dar e incomplet descris, a durat minute. Puține, dar minute.

A avut mici erori de identare și simboluri, nu de logică:

Apoi i-am cerut să facă o pagină php care să cheme scriptul ăla și să îmi arate răsăritul și apusul pe goagăl maps.

A făcut și mi-a cerut setup de la google api key – care merge dar e pe bani.

Eu vreau gratis.

Cum a mers?

Sketchy, dar e 1st pass, fără detalii de stil.

Apoi m-am întins și i-am cerut o aplicație care îmi arată toată anvelopa anuală.

A durat cam 5 minute să înceapă să genereze .

Cu instrucțiuni de ce pui unde, că nu avea acces la codebase – n-am stat de configurat intr-un IDE, dar se poate am făcut la alte instanțe.

N-a mers bine, cred că am greșit eu la paste, așa că i-am încărcat fișierul și a revenit și a generat altă variantă genera cu cam 1 linie de cod la 1-3 secunde.

L-am oprit ca Mucea, cum puteți vedea mai jos – voiam să opresc înregistrarea de ecran. Așa că i-am zis să mai scuipe o dată.

A găsit și ce-a fost greșit.


A ieșit asta.

Anvelopa nu arată chiar cum trebuie, dar arată ideea cât de cât. Ar mai fi de randat. Există un site deja care face asta un pic mai bine.

Vrei să vezi cum arată, poți testa singur aici. Accesul e la liber acum.

Cât a durat?

3 ore cu tot cu deploymentul soluției (”descărcat și instalat AI-ul, cum ar veni ), dar cel mai mult timp a durat să scriu eu promptul și textul ăsta în același timp și să mai caut una-alta. Efortul hardware nu a fost mai mult de 30 de minute în total!

A costat vreo 3 dolari și ceva exercițiul ăsta.
Care e problema principală?
Cât costă mașinuța asta, dacă vreau să-mi fac una.
Nici nu vreau să caut că n-am buget de dat pe calculatoare la nivelul ăsta – poarte ar trebui? -, mi-am cumpărat rablă în România – priorități.

Bonus, cât scriam finalul la articol și vorbeam cu Fery, i-am dat să nu stea degeaba:

Puteți testa rezultatul aici.


—–
Bibliografie:
Deployment de ollama cu webui.
https://www.youtube.com/watch?v=6_nqq8pKV3g
Githubul aceluiași tip care explică cum să faci deployment.
https://github.com/PromptEngineer48/OpenwebUI-and-Ollama-on-VPS