Agent Service Toolkit per sviluppare Agenti AI

Agent Service Toolkit è una soluzione open source che semplifica lo sviluppo e la distribuzione di agenti AI di tipo conversazionale e, per fa questo, combina le potenzialità di LangGraph, FastAPI e Streamlit. Il toolkit è pensato per sviluppatori e ricercatori che desiderano costruire agenti intelligenti modulari e interattivi. Pronti per essere esposti tramite API e utilizzati anche attraverso delle interfaccia grafiche.

Agenti AI con Agent Service Toolkit

Al centro del progetto vi è un agente LangGraph che è stato progettato per supportare funzionalità come l'interruzione dinamica del flusso (interrupt()), il controllo tramite comandi (Command) e l'integrazione con langgraph-supervisor. Il servizio si basa su FastAPI. Offre quindi endpoint sia in modalità standard che in streaming ottimizzati per delle comunicazioni più fluide ed efficienti con l'agente. Lo streaming può essere gestito a livello di token o di messaggi e dovrebbe garantire un'esperienza d'uso di qualità elevata anche in applicazioni in tempo reale.

L'interfaccia utente è sviluppata con Streamlit. Consente inoltre di interagire facilmente con l'agente tramite una chat accessibile da un comune browser. Il sistema supporta poi la gestione di più agenti contemporaneamente, ciascuno con il proprio percorso API dedicato. Si possono così testare o confrontare facilmente più comportamenti all'interno dello stesso ambiente.

Dal punto di vista dell'architettura di base il toolkit adotta un design asincrono. Ciò grazie all'uso di async/await, vengono così garantite delle prestazioni elevate anche in scenari caratterizzati da alta concorrenza. Include anche un sistema di moderazione basato su LlamaGuard, attivabile tramite chiave API Groq, per assicurare un uso responsabile degli agenti.

È presente inoltre un sistema di feedback utente collegato a LangSmith che permette di raccogliere valutazioni sulle risposte dell'agente tramite un'interfaccia "a stelle".

Sviluppo e produzione anche con Docker

Il repository del progetto fornisce anche una configurazione completa per Docker e docker-compose, utile per ambienti di sviluppo o produzione, insieme a una suite di test unitari e di integrazione per assicurare l'affidabilità del codice generato durante le sessioni di lavoro.