LLM in locale E 1

Scritto da

in

, , ,

Salve, bentornati in officina.

Oggi ho provato deepseek in locale sia su un PC di circa 12 anni fa sia sul RPi 5,

Mesi fa avevo già installato Ollama per provare le LLM leggere ma non erano utlizzabili per vari motivi di lentezza, ram saturata

e poi esplode tutto.

Mentre questo mi ha fatto una buona impressione sia perche non ho avuto errori ne con Ollama ne con Deepseek R1 (1.5 B).

Sul RPi, si avvia e risponde anche in un tempo ragionevole, durante l’elaborazione la CPU va al 100% ma la cosa incredibile è che la ram non viene saturata pur usando il modello da 4Gb,

ho provato anche a fare domande in italiano e sembra comprendere accettabilmente bene anche se le risposte non sono il massimo, mi viene il dubbio che lo stato confuzionale sia sistemico e non dipenda dalla lingua.

Un amico con HW piu prestante ha provato la versione 8B (8 miliardi di parametri) e sembra essere sia piu veloce che avere un italiano migliore,

Quindi come immaginavo diverse di queste pecche si risolveranno con il tempo.

Ora basta con le chiacchiere è arrivato il momento di evocare il terminale

#installare ollama

curl -fsSL https://ollama.com/install.sh | sh

#installare deepseek R1 1.5b

ollama pull deepseek-r1:1.5b

#avviare ollama

sudo systemctl start ollama.service

#avviare deepseek R1 1.5b

ollama run deepseek-r1:1.5b

Apposto! ora potete chattare con deepseek, ovviamente oltre alla versione 1.5b ce ne sono altre gradualmente più performanti e che richiedono HW più potente.

Se lo provate fatemi sapere cosa ne pensate 😛

Lunga vita e prosperità

Commenti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *