Il nome di DeepSeek ha saputo farsi strada in un settore, come quello dei modelli generativi per le AI, per molti versi ritenuto già consolidato. Se non altro per via della leadership conquistata da OpenAI grazie a ChatGPT.
Per alcuni anni le realtà dominanti nel mercato delle tecnologie di intelligenza artificiale sono state grandi aziende statunitensi, come la già citata compagnia di Sam Altman e soci, Microsoft con Copilot, Google con Gemini e Meta con Llama (l'unico open source della lista). Anche i principali concorrenti di questi ultimi, come Grok di xAI e Claude di Anthropic sono stati prodotti oltreoceano.
DeepSeek ha quindi rappresentato un elemento di novità. Un po' per le sue caratteristiche (metodologia di addestramento dei modelli, performance, economicità..) e un po' per il fatto di essere una startup asiatica. A sparigliare le carte è stato in particolare il suo modello di punta, R1, con un lancio talmente impattante da determinare un crollo di diversi titoli tecnologici in Borsa. Il suo servizio è stato però bloccato in Italia dal Garante Privacy per mancata conformità con le normative europee sul trattamento dei dati personali.
Una volta ritirata l'applicazione di DeepSeek dagli store e inibito l'accesso al sito Web della piattaforma, l'unica soluzioni per fruirne sembrerebbe essere quella di utilizzare una VPN. Esiste però un'alternativa. Quella di procedere con un'installazione locale. In questa breve guida presenteremo un esempio basato su un ambiente Linux. Prima, prima però, cerchiamo di definire meglio il tema del nostro approfondimento.
Cosa è DeepSeek e cos'è il modello R1
DeepSeek R1 è un modello linguistico sviluppato appunto dalla startup cinese DeepSeek. Questo LLM è stato concepito per eccellere in compiti di ragionamento, matematica e programmazione. La sua principale caratteristica distintiva è però l'uso di una tecnica specifica, la distillazione, per ottimizzarne le prestazioni.
Nell'ambito dell'intelligenza artificiale la distillazione consiste nel trasferire le conoscenze da un modello di grandi dimensioni (teacher model) a uno più piccolo e leggero (student model) che mantiene gran parte delle capacità dell'originale. Tale processo riduce il numero di parametri necessari per ottenere i risultati attesi e rende il modello più efficiente dal punto di vista computazionale.
DeepSeek ha applicato questa tecnica per sviluppare versioni distillate di R1, utilizzando architetture come quelle di Llama e Qwen di Alibaba. In questo modo sono stati ottenuti dei modelli più agili senza compromettere in modo rilevante le capacità di ragionamento. Ciò significa che DeepSeek R1 può funzionare su hardware meno potente, senza dover adottare GPU dispendiose. Vengono così ridotti i costi di infrastruttura rispetto a modelli di dimensioni maggiori come OpenAI-o1.
Come anticipato, grazie alla distillazione il modello ha meno parametri da gestire, di conseguenza viene a mancare la necessità di grandi quantità di memoria RAM e VRAM così come di cluster di server che hanno un alto impatto sugli investimenti. Un modello più piccolo significa inoltre tempi di risposta più rapidi e un minor tempo di elaborazione su infrastrutture Cloud. Tecnicamente parlando si tratta quindi di una soluzione ideale per chi desidera un'inferenza più veloce.
DeepSeek R1 è infine un modello open source, utilizzabile gratuitamente e liberamente anche in una configurazione locale. Per far questo abbiamo però bisogno di un framework che ne consenta l'esecuzione che nel nostro caso sarà Ollama.
Cosa è Ollama
Ollama è un framework open source che facilita l'esecuzione locale di modelli linguistici di grandi dimensioni su diverse piattaforme tra cui Windows, macOS e Linux. Esso consente infatti di scaricare, gestire ed eseguire modelli di AI direttamente sui propri terminali ed elimina la necessità di risorse dal Cloud.
Ollama supporta diversi modelli open source, inclusi quelli disponibili su piattaforme come Hugging Face. Grazie a questa integrazione, permette l'esecuzione locale di migliaia di modelli AI, rendendo l'intelligenza artificiale più accessibile a ricercatori, sviluppatori e chiunque voglia testare o realizzare applicazioni AI senza dipendere da servizi esterni..
La sua procedura d'installazione è molto semplice e può essere effettuata tramite un singolo comando da terminale che vedremo a breve. Una volta installato si possono scaricare i modelli desiderati e interagire con essi utilizzando un'interfaccia da riga di comando. Come il Terminale dei sistemi Linux.
Ollama è ottimizzato per il funzionamento su diverse tipologie di hardware e supporta sia CPU che GPU di diversi produttori come NVIDIA e AMD. Questo lo rende versatile e adatto dispositivi molto diversi tra loro, dai server aziendali ai comuni PC portatili.
Installazione locale di DeepSeek con Ollama
L'esempio mostrato in questa guida è stato implementato su un'istanza di Linux Mint virtualizzato su Windows 11 tramite VirtualBox. Per installare un modello generativo di DeepSeek in locale non sono necessari prerequisiti hardware particolari se non un sistema dotato di almeno 8 GB di memoria RAM, possibilmente 16. Relativamente ad Ollama, per il suo utilizzo è consigliabile una GPU Nvidia di recente produzione, diversamente il framework opererà in modalità CPU-Only.
Dal punto di vista del software è richiesto invece Python 3.8 o versione successiva, quindi procediamo innanzitutto con un aggiornamento dei package software di Mint e con la loro installazione (se necessaria).
Successivamente verifichiamo la versione corrente di Python, nel nostro caso la 3.12.3 quindi abbastanza recente per supportare DeepSeek R1. Se non lo abbiamo già fatto procediamo poi con l'installazione di pip, il package manager del linguaggio.
Passiamo poi all'installazione di Ollama tramite il comando:
curl -fsSL https://ollama.com/install.sh | sh
Se tutto dovesse andare come previsto si potrà verificare la versione installata tramite l'istruzione:
ollama --versionUna volta installato nel sistema, Ollama dovrà essere avviato digitando da Terminale:
sudo systemctl start ollamaCon il seguente comando verrà lanciato invece automaticamente all'avvio del sistema tramite systemd:
sudo systemctl enable ollama
Siamo quindi arrivati alla parte più importante della nostra procedura. La release di DeepSeek R1 per l'uso in locale può essere infatti installata con l'istruzione:
ollama run deepseek-r1:7bDato che il package richiesto è abbastanza corposo, poco meno di 5GB, questa fase potrebbe richiedere qualche minuto per il suo completamento. Al termine DeepSeek R1 sarà pronto all'opera e si potrà iniziare ad interagire con il chatbot formulando dei prompt.
Il comando:
ollama listPermetterà invece di visualizzare DeepSeek R1 tra i modelli eseguibili attraverso il framework.
Conclusioni
Al momento il chatbot di DeepSeek non è disponibile in Italia né sotto forma di applicazione né nella versione Web based. Dato che DeepSeek R1 è un modello open source possiamo però procedere con la sua installazione locale in pochi passaggi all'interno di un sistema Linux.
