Pentru ca să mă joc. AI-uri, aiuri, numai aiuri.
Am acuma cu WSL , un linux bântuit ( ubuntu) pus direct în Windows, iar treaba asta mă ajută, că nu am poftă să intru pe dual boot pentru chestii.
chestii de genul ăsta
Bine, trebuie să mai cumpăr niște SSD-uri, că nu eram pregătit pentru asta.
Poate vreți să întrebați : Așa, și ce e ăsta, fă?
Ce să fie, mi-am tras niște AI-uri, mai multe, da? Io și cu Țiriac.
Sunt gratis, le puteți avea și voi, unele merg instalate chiar și pe raspberry PI 5 – da, lol, acel raspberry pi 5.
Bine , nu pe ăsta de 70 de miliarde de parametri , care are nevoie de 300 de GB de disk si care imi crapă și mie la prima întrebare, gen :
Pot să îl tunez și să-l fac să meargă dar până una alta l-am șters, că nu merge și ocupă spațiu și o să lucrez cu unele mai mici.
Am și unele probleme cu nvidia cuda, plm, probleme de first world.
Dar ălea mai mici merg. La ce merg?
Hai să-l vedem p-ăsta:
Toate AI-urile sunt locale, că sunt sigur că puteți și voi mai bine cu ChatGPT coișpe, grok și alți hoți de date.
Locale înseamnă că am AI-ul în calculatorul meu și ( cel puțin promisiunea este că ) nu fură date.
Am rulat AI-ul fără internet de vreun fel, nu încearcă să trimită trafic, dar evident că n-am căutat prin burta lor să văd ce fac, că mă apucă iarna nucleară până aș ajunge la vreun liman.
Se poate și invers, poză din text. Mai e mult până departe, Midjourney e mult mai bun , dar băi, vă las doar cu ultima frază din compurea făcută de llama 3.2.
Cum se numeste acest software din browser pe :8080 pe care l-ai folosit sa intrebi cat mai multe modele LLM locale?
Open Web UI. Se instaleaza relativ ușor sub docker.