Tag: AI

  • LLM in locale E 3

    Salve bentornati in officina

    Nel precedente articolo ho dimenticato di citare la prova di DeepSeek R1 8b ma comunque non cambia molto rispetto alla 7b .

    Oggi ho provato DeepSeek R1 14b

    Dato che il PC Salagiochi ha 16 Gb di ram DDR3 ho voluto fare questa prova, sembra andare bene, come al solito ho fatto la domanda classica sul calcolare il volume di una piramide, come sapete le risposte in se mi interessano relaltivamente sono piu curioso di sapere come va in generale e la comprensione delle domande.

    In questa prova mi sono collegato via SSH cosi da non cosumare risorse in altro 😛

    Se non sbaglio il prossimo modello di DeepSeek è 27b che di sicuro è oltre le possibilità del mio HW anche per il PC bestiale che ha 20 Gb di ram.

    Comunque ci sono altre LLM da provare come Gemma3:12b

    se avete suggerimenti lasciate un commento.

    Se volete sapere di più sul PC salagiochi vi invito a leggere gli articoli “Giocare su Linux”

    Lunga vita e prosperità.

  • LLM in locale E 2

    Salve, bentornati in officina.

    Prima di iniziare vi consiglio di leggere l’articolo precedente

    Ho provato anche la versione deepseek r1 7b (7 miliardi di parametri) che gira accettabilmente bene (ovviamente per me che sono un hobbista se ci lavorate o studiate le cose cambiano non poco) sul mio secondo pc con CPU i3 ed 8 Gb di ram.

    Dalle prove fatte occupa circa 6 gb di ram su 8 la CPU sembra reggere bene, la temperatura durante l’elaborazione delle risposte rimane sui 60 gradi, e questo è gia un risultato interessante, la versione 7b rispetto alla 1,5b, provata negli scorsi giorni, ha un italiano migliore e riesce ad elaborare rispote più complesse anche se non ho fatto domande particolari.

    Di solito mi limito a domande basilari come moltiplicazioni e calcolare il volume di una piramide dato che la cosa che mi interessa è il livello di comprensione delle domande.

    Mi sembra anche abbastanza ovvio che il livello delle risposte e il tempo dipendano soprattutto dall’HW a disposizione.

    Ho fatto una prova anche sul RPi, il mio RPi5 ha 4 Gb di ram quindi ho voluto provare la versione 7b sul RPi4 che è l’unico di quelli che possiedo con 8Gb di ram, consapevole che sto comunque chiedendo qualcosa che va oltre le possibilità di questo RPi ho notato che durante l’elaborazione delle risposte la CPU è al 100% la Ram usa è circa 5.5 Gb su 8 la temperatura sui 65 gradi e ovviamente le risposte solo lente.

    Ho notato anche una certa lentezza nella fase inizale quando il modello di LLM viene caricato in ram, ipotizzo che dipenda dal lettore SD usb che sto usando dato che in questo RPi quello integrato è danneggiato,

    me ne farò una ragione essendo solo una prova.

    In conclusione devo dire che l’idea di avere una AI che gira in locale è interessante per vari motivi di utilizzo, di privacy, ecc ecc.

    Ovviamente se avete una necessita particolare potreste valutare l’idea di acquistare HW dedicato cosi da avere il controllo di cosa sta facendo l’AI e come.

    II progetto Deepseek essendo opensource dovrebbe essere Forkabile (cioè crearne una variante) che si possa allenare da zero, dato che il progetto è di origine Cinese non è difficile immaginare che ci possano essere state interferenze nella scelta delle informazione con cui sia stata addestrato questa LLM, ma non entro nel merito dato che non mi sembra il momento di trattare argomenti di questo tipo.

    Nel articolo precedente trovate anche i comandi per installare Ollama e Deepseek su Linux ovviamente,

    ci sono diverse versioni

    deepseek r1 1,5b (1,5 miliardi di parametri)

    deepseek r1 7b (7 miliarci di parametri)

    ecc ecc il resto del comando da terminale non cambia.

    Aggiornamento:

    Oggi Lunedi 3 febbraio 2025 ho bubblicato l’articolo “Deepseek in locale” condividendo il link con amici, conoscenti e sui social.

    Preso da un attacco di megalomania l’ho invio anche a sue maestà MorroLinux! Che risponde “Merda, sei arrivato pure prima di me”

    Allego prova screenshotistica

    Questo è il punto più alto della mia carriera informatica 🙂

    Sempre oggi ho letto di Velvet un AI svilippata in italiana,

    Molto bene 😛

    Nei prossimi giorni lavorerò al video del test di Deepseek sul thinkpad X230

    Vi aspetto nei commenti per sarepe le vostre opinini

    Lunga vita e prosperità

  • LLM in locale E 1

    Salve, bentornati in officina.

    Oggi ho provato deepseek in locale sia su un PC di circa 12 anni fa sia sul RPi 5,

    Mesi fa avevo già installato Ollama per provare le LLM leggere ma non erano utlizzabili per vari motivi di lentezza, ram saturata

    e poi esplode tutto.

    Mentre questo mi ha fatto una buona impressione sia perche non ho avuto errori ne con Ollama ne con Deepseek R1 (1.5 B).

    Sul RPi, si avvia e risponde anche in un tempo ragionevole, durante l’elaborazione la CPU va al 100% ma la cosa incredibile è che la ram non viene saturata pur usando il modello da 4Gb,

    ho provato anche a fare domande in italiano e sembra comprendere accettabilmente bene anche se le risposte non sono il massimo, mi viene il dubbio che lo stato confuzionale sia sistemico e non dipenda dalla lingua.

    Un amico con HW piu prestante ha provato la versione 8B (8 miliardi di parametri) e sembra essere sia piu veloce che avere un italiano migliore,

    Quindi come immaginavo diverse di queste pecche si risolveranno con il tempo.

    Ora basta con le chiacchiere è arrivato il momento di evocare il terminale

    #installare ollama

    curl -fsSL https://ollama.com/install.sh | sh

    #installare deepseek R1 1.5b

    ollama pull deepseek-r1:1.5b

    #avviare ollama

    sudo systemctl start ollama.service

    #avviare deepseek R1 1.5b

    ollama run deepseek-r1:1.5b

    Apposto! ora potete chattare con deepseek, ovviamente oltre alla versione 1.5b ce ne sono altre gradualmente più performanti e che richiedono HW più potente.

    Se lo provate fatemi sapere cosa ne pensate 😛

    Lunga vita e prosperità

  • Bard l’AI di Google

    Salve bentornati in Officina

    Ieri serata pub del Lug locale,

    oltre a farci i complimenti per l’ottima riuscita del Linux Day

    abbiamo parlato delle attività in programma per il 2024

    Tra le varie cose abbiamo (in realtà l’ho fatto io :P)

    provato Bard l’AI di Google

    per chi volesse farlo non dovete registrarvi se avete un account Google

    Oltre all’immagine vi trascrivo per intero la risposta alla prima domanda che gli ho fatto

    “Ciao, puoi scrivere un programma in Python per fare una calcolatrice?

    Certo, posso aiutarti a scrivere un programma in Python per fare una calcolatrice. Ecco un esempio di codice che puoi usare:

    def calcola(op, n1, n2):
      """
      Funzione per eseguire un'operazione matematica.
    
      Args:
        op: Operatore matematico.
        n1: Primo numero.
        n2: Secondo numero.
    
      Returns:
        Risultato dell'operazione.
      """
    
      if op == "+":
        return n1 + n2
      elif op == "-":
        return n1 - n2
      elif op == "*":
        return n1 * n2
      elif op == "/":
        return n1 / n2
      else:
        raise ValueError(f"Operatore matematico non valido: {op}")
    
    
    def main():
      """
      Funzione principale.
      """
    
      op = input("Operatore matematico ( +, -, *, / ): ")
      n1 = float(input("Primo numero: "))
      n2 = float(input("Secondo numero: "))
    
      risultato = calcola(op, n1, n2)
    
      print(f"Il risultato è: {risultato}")
    
    
    if __name__ == "__main__":
      main()

    Questo programma implementa le operazioni matematiche di base: somma, sottrazione, moltiplicazione e divisione. La funzione calcola() prende in input l’operatore matematico, il primo numero e il secondo numero, e restituisce il risultato dell’operazione. La funzione main() legge gli input dall’utente e chiama la funzione calcola() per calcolare il risultato.

    Ecco un esempio di utilizzo del programma:

    Operatore matematico ( +, -, *, / ): +
    Primo numero: 10
    Secondo numero: 5
    
    Il risultato è: 15

    Puoi modificare il codice per aggiungere altre funzionalità alla calcolatrice, ad esempio:

    • Supportare più operatori matematici, come la radice quadrata, il logaritmo, l’elevamento a potenza, ecc.
    • Consentire all’utente di inserire espressioni matematiche complesse, con parentesi e operatori di precedenza.
    • Visualizzare il risultato dell’operazione con un formato personalizzato.

    Spero che questo ti sia utile!”

    Volutamente non ho testato il risultato,

    di sicuro tra di voi ci sono persone piu competenti per valutare il risultato

    provatela e fatemi sapere cosa ne pensate nei commenti 😛

    live long and prosper

    se apprezzate quello che faccio da un occhiata al resto 🙂

  • ChatGPT 03

    Fonte Wikipedia

    Salve, bentornati in Officina.

    4° prova con ChatGPT

    Come nelle altre prove riporto la risposta di chat GPT integralmente in quanto l’idea è mostrare il suo potenziale come strumento e non per fargli fare le cose al posto mio 😛

    Domanda:

    Mi racconti una storia ambientata il giorno di San Patrizio su una band di nome Mortimer Mc Grave che suona musica celtica ad una festa in un paese chiamato torre san Patrizio?

    Risposta:
    Certo, ecco una breve storia ambientata durante il giorno di San Patrizio su una band di nome Mortimer Mc Grave che suona musica celtica ad una festa in un paese chiamato Torre San Patrizio.
    Era il giorno di San Patrizio, e la città di Torre San Patrizio era in piena festa. La strada principale era chiusa al traffico e affollata di gente che indossava abiti verdi e festosi. Nella piazza del paese, una band di nome Mortimer Mc Grave stava per esibirsi, suonando musica celtica.
    La band era formata da quattro membri, ciascuno vestito con abiti tradizionali irlandesi. C’erano Jack, il cantante e chitarrista, Tom, che suonava il violino, Kate, la flautista, e Sean, il batterista. La band aveva suonato in molti locali irlandesi, ma questa era la loro prima esibizione in Italia.
    Appena la band ha iniziato a suonare, la gente si è radunata attorno al palco. La musica aveva un ritmo contagioso e le persone iniziavano a ballare e cantare insieme alla band. Jack ha introdotto la prossima canzone, una ballata tradizionale irlandese, e la folla ha iniziato a cantare insieme alla band.
    Dopo un po’ di tempo, la band ha deciso di suonare una canzone originale. Si chiamava “San Patrizio”, ed era una canzone allegro che parlava del santo patrono dell’Irlanda. La folla ha reagito positivamente alla canzone, ballando e cantando con ancora più entusiasmo.
    Quando la band ha finito di suonare, la folla ha chiesto un bis, e la band ha risposto con una cover di “Whiskey in the Jar”. La folla ha cantato insieme alla band, ballando e divertendosi ancora di più.
    Alla fine della loro esibizione, la band ha ricevuto un caloroso applauso e molti complimenti per la loro performance. Dopo lo spettacolo, i membri della band hanno incontrato molti dei loro fan, che volevano scattare una foto con loro e ringraziarli per aver reso la loro festa di San Patrizio ancora più speciale. La band era felice di aver potuto condividere la loro musica con il pubblico italiano, e si sentiva fortunata di avere un nome che si adattava perfettamente alla festa del giorno di San Patrizio.

    Dite la vostra nei commenti 😛

    Se apprezzate quello che faccio qui trovate tutti i miei Link

    Live long and prosper