La mania dell’intelligenza artificiale è tale che la Raspberry Pi Foundation ha recentemente rilasciato un nuovo componente aggiuntivo AI Hat+. Detto questo, non è necessario hardware dedicato per eseguire localmente modelli AI su Raspberry Pi. Puoi eseguire piccoli modelli linguistici sulla tua scheda Raspberry Pi utilizzando la CPU. La generazione dei token è decisamente lenta, ma ci sono piccoli modelli da milioni di parametri che funzionano abbastanza bene. In questa nota, andiamo avanti e impariamo come eseguire modelli AI su Raspberry Pi.
Requisiti
- Un Raspberry Pi con almeno 2 GB di RAM per un’esperienza decente. Sto usando il mio Raspberry Pi 4 per questo tutorial con 4 GB di RAM. Alcuni utenti sono riusciti addirittura a eseguire modelli AI su un Raspberry Pi Zero 2 W con soli 512 MB di RAM.
- Una scheda microSD con almeno 8 GB di spazio di archiviazione.
Installa Ollama su Raspberry Pi
- Prima di installare Ollama, vai avanti e configura il tuo Raspberry Pi se non lo hai già fatto.
- Successivamente, avvia il Terminale ed esegui il comando seguente per aggiornare tutti i pacchetti e le dipendenze.
sudo apt update && sudo apt upgrade
- Ora esegui il comando seguente per installare Ollama sul tuo Raspberry Pi.
curl -fsSL https://ollama.com/install.sh | sh
- Una volta installato Ollama, riceverai un avviso che utilizzerà la CPU per eseguire il modello AI localmente. Ora sei pronto per partire.
Esegui modelli AI localmente su Raspberry Pi
- Dopo aver installato Ollama, esegui il comando successivo per installare il file tinyllama Modello AI sul tuo Raspberry Pi. È un piccolo modello da 1,1 miliardi e utilizza solo 638 MB di RAM.
ollama corri tinyllama
- Una volta installato il modello AI, inserisci il prompt e premi Invio. Ci vorrà del tempo per generare una risposta.
- Nei miei test, il Raspberry Pi 4 ha generato risposte a bassa velocità, ma è quello che ottieni su un piccolo computer a scheda singola.
- Consiglierei di correre piccolo che ha 135 milioni di parametri e consuma solo 92 MB di memoria. È un piccolo LLM perfetto per Raspberry Pi.
ollama run piccolo: 135m
ollama esegui phi
Ecco come puoi eseguire modelli AI su Raspberry Pi localmente. Adoro Ollama perché è semplice da usare. Esistono altri framework come Llama.cpp, ma il processo di installazione è un po’ complicato. Con solo due comandi Ollama, puoi iniziare a utilizzare un LLM sul tuo Raspberry Pi.
Comunque questo è tutto da parte nostra. Di recente ho utilizzato il mio Raspberry Pi per creare un dongle Android Auto wireless, quindi se sei interessato a progetti così interessanti, consulta la nostra guida. E se avete domande, fatecelo sapere nei commenti qui sotto.