Documentazione

L’idea del laboratorio consiste nell’offrire accesso condiviso a delle risorse hardware “costose”, accesso articolato su dei servizi di alto livello orientati alla ricerca ed all’analisi computazionale.

Risorse

Il laboratorio consiste di un server corazzato con:

Al picco di utilizzo il consumo si attesta attorno ai 500W.

Account

Ciascun partecipante al progetto è identificato da un account, con un suo username ed una password. Queste credenziali sono specifiche del laboratorio e non hanno nessuna relazione con quelle del resto dei servizi di Autistici / Inventati.

Non esiste ancora un’interfaccia di gestione account, quindi per qualsiasi modifica bisognerà contattarci direttamente a info@autistici.org.

Servizi

Notebook

L’applicazione principale offerta dal laboratorio è un sistema per gestire notebook computazionali.

Questo servizio offre ambienti interattivi Python con Jupyter, un sistema molto diffuso in ambito accademico e altrove. È disponibile molta documentazione online preesistente, compresi vari tutorial.

L’ambiente offerto consiste di un unico kernel (Python 3.11), che comprende varie librerie di uso comune come Torch, sentence-transformers, huggingface, etc. Se aveste bisogno di altre librerie contattateci.

Ciascun utente ha a disposizione un ambiente runtime isolato da tutti gli altri (le funzioni di condivisione di Jupyter non sono disponibili), con una certa quantità di storage persistente ad esso associato.

Il runtime ha accesso a tutte le GPU a disposizione. Non esistono, per il momento, quote o sistemi di allocazione risorse, quindi è il caso di limitare l’utilizzo di risorse da parte di ciascun utente. In futuro è probabile che verranno implementate code per l’esecuzione di processi batch ed altri sistemi per ottimizzare l’allocazione simultanea delle risorse.

In ogni caso, se avete necessità particolari, contattateci che cercheremo delle soluzioni ad-hoc.

Storage

Ogni account ha a disposizione dello spazio disco locale, su un supporto NVME quindi molto veloce. Questo però è limitato in quantità, ed ha natura transiente (abbiamo esplicitamente deciso di non farne backup, per esempio), dunque non è adatto a memorizzare dati permanentemente.

In genere è dunque preferibile accedere a dati di grandi dimensioni tramite accessi remoti, per esempio utilizzando API S3 o simili.

Si può accedere direttamente al proprio spazio storage mediante SSH / SCP sulla porta 2222. L’autenticazione SSH avviene esclusivamente mediante chiave pubblica.

Ollama

Per condividere facilmente modelli per semplice inferenza, offriamo un servizio sperimentale con una API simil-OpenAI usando Ollama. I modelli sono condivisi tra tutti gli utenti, per ottimizzare l’uso delle risorse.

Questa API è raggiungibile su https://ollama.ula.inventati.org/. È necessario autenticarsi con un API token segreto. Sfortunatamente il client ollama non supporta l’autenticazione: ci sono vari modi per superare questa limitazione, tra cui per esempio un proxy locale:

Questo proxy consente l’utilizzo trasparente del tool ollama in locale usando le risorse dell’Unità Linguaggi Artificiali.

Referenze

Documentazione esterna su Jupyter: