Salve, bentornati in officina.

Prima di iniziare vi consiglio di leggere l’articolo precedente
Ho provato anche la versione deepseek r1 7b (7 miliardi di parametri) che gira accettabilmente bene (ovviamente per me che sono un hobbista se ci lavorate o studiate le cose cambiano non poco) sul mio secondo pc con CPU i3 ed 8 Gb di ram.
Dalle prove fatte occupa circa 6 gb di ram su 8 la CPU sembra reggere bene, la temperatura durante l’elaborazione delle risposte rimane sui 60 gradi, e questo è gia un risultato interessante, la versione 7b rispetto alla 1,5b, provata negli scorsi giorni, ha un italiano migliore e riesce ad elaborare rispote più complesse anche se non ho fatto domande particolari.
Di solito mi limito a domande basilari come moltiplicazioni e calcolare il volume di una piramide dato che la cosa che mi interessa è il livello di comprensione delle domande.
Mi sembra anche abbastanza ovvio che il livello delle risposte e il tempo dipendano soprattutto dall’HW a disposizione.

Ho fatto una prova anche sul RPi, il mio RPi5 ha 4 Gb di ram quindi ho voluto provare la versione 7b sul RPi4 che è l’unico di quelli che possiedo con 8Gb di ram, consapevole che sto comunque chiedendo qualcosa che va oltre le possibilità di questo RPi ho notato che durante l’elaborazione delle risposte la CPU è al 100% la Ram usa è circa 5.5 Gb su 8 la temperatura sui 65 gradi e ovviamente le risposte solo lente.

Ho notato anche una certa lentezza nella fase inizale quando il modello di LLM viene caricato in ram, ipotizzo che dipenda dal lettore SD usb che sto usando dato che in questo RPi quello integrato è danneggiato,
me ne farò una ragione essendo solo una prova.
In conclusione devo dire che l’idea di avere una AI che gira in locale è interessante per vari motivi di utilizzo, di privacy, ecc ecc.
Ovviamente se avete una necessita particolare potreste valutare l’idea di acquistare HW dedicato cosi da avere il controllo di cosa sta facendo l’AI e come.
II progetto Deepseek essendo opensource dovrebbe essere Forkabile (cioè crearne una variante) che si possa allenare da zero, dato che il progetto è di origine Cinese non è difficile immaginare che ci possano essere state interferenze nella scelta delle informazione con cui sia stata addestrato questa LLM, ma non entro nel merito dato che non mi sembra il momento di trattare argomenti di questo tipo.
Nel articolo precedente trovate anche i comandi per installare Ollama e Deepseek su Linux ovviamente,
ci sono diverse versioni
deepseek r1 1,5b (1,5 miliardi di parametri)
deepseek r1 7b (7 miliarci di parametri)
ecc ecc il resto del comando da terminale non cambia.
Aggiornamento:
Oggi Lunedi 3 febbraio 2025 ho bubblicato l’articolo “Deepseek in locale” condividendo il link con amici, conoscenti e sui social.
Preso da un attacco di megalomania l’ho invio anche a sue maestà MorroLinux! Che risponde “Merda, sei arrivato pure prima di me”
Allego prova screenshotistica

Questo è il punto più alto della mia carriera informatica 🙂
Sempre oggi ho letto di Velvet un AI svilippata in italiana,
Molto bene 😛
Nei prossimi giorni lavorerò al video del test di Deepseek sul thinkpad X230
Vi aspetto nei commenti per sarepe le vostre opinini
Lunga vita e prosperità











