الأشخاص والهياكل الدوائر
Dipartimento · ricerca e servizioMettere alla prova l’intelligenza artificiale prima che lo faccia qualcun altro. Il dipartimento studia come i sistemi di AI possono essere ingannati, aggirati o usati in modo improprio, e mette questo sapere a disposizione di imprese e pubbliche amministrazioni come servizio di ricerca applicata.
Fino a poco tempo fa il red teaming dell’AI significava soprattutto provocare un modello con domande insidiose. Oggi i modelli di frontiera non si limitano a rispondere: agiscono. Usano strumenti, leggono documenti e pagine web, scrivono ed eseguono codice, lavorano in catene di agenti. Cominciano anche a mostrare capacità concrete in ambito di sicurezza informatica, come la ricerca di vulnerabilità nel software: un’arma per chi attacca e, insieme, una risorsa per chi difende. Il perimetro da mettere alla prova si allarga quindi dalle risposte ai comportamenti, dai singoli modelli ai sistemi in cui operano.
Si verifica che cosa un agente fa con i permessi, gli strumenti e i dati che gli vengono affidati, e dove può essere deviato.
Documenti, email e pagine web possono contenere istruzioni che il sistema scambia per ordini: la prompt injection indiretta è uno dei rischi principali dei sistemi agentici.
I modelli più avanzati possono individuare falle nel software. Studiarne i limiti in ambienti controllati serve a difendersi e a usarli per rafforzare le difese.
L’AI Act chiede ai fornitori di modelli di uso generale con rischio sistemico di svolgere e documentare test avversariali. Il red teaming entra nella conformità.
La ricerca tiene il metodo al passo con l’evoluzione dei modelli. Le evidenze raccolte alimentano l’Osservatorio, ENIA Horizon Sandbox e le Giurie di Comunità, e da queste tornano indietro come nuovi scenari di prova.
Metodi per mettere alla prova sistemi che usano strumenti, accedono a dati e collaborano tra loro: permessi, catene di azioni, errori che si propagano da un agente all’altro.
Studio, in ambienti controllati, di ciò che i modelli più avanzati sanno fare in ambito di sicurezza informatica, per misurarne i rischi e il potenziale difensivo.
Aggiornamento del metodo ENIA in linea con AI Act, ISO/IEC 42001, ISO/IEC 23894 e ISO 31000, con metriche di robustezza integrate in Ethics Scorecard e Critical Balance Index.
Non solo vulnerabilità tecniche: bias, impatti sulle persone e usi impropri, valutati anche con il contributo delle Giurie di Comunità.
Squadre multidisciplinari mettono alla prova i sistemi di AI dell’organizzazione come farebbe un attaccante, in condizioni controllate e con un mandato definito. L’obiettivo è conoscere i punti deboli prima che emergano in uso reale e trasformarli in misure di mitigazione concrete.
Assistenti e modelli linguistici, agenti con accesso a strumenti e dati, sistemi che recuperano informazioni da documenti aziendali, modelli decisionali ad alto rischio.
Un board strategico, unità operative di test, un’unità di analisi e conformità e il supporto di ricercatori, data scientist, esperti di cybersecurity e giuristi.
I risultati confluiscono in ENIA Horizon Sandbox per la validazione prima della messa in uso e informano le Giurie di Comunità e i tavoli dell’Osservatorio.
Il servizio si svolge come attività di ricerca applicata della Fondazione, non come consulenza, e segue i principi di divulgazione responsabile delle vulnerabilità.
| الأنشطة | المشاركون | الناتج المتوقع | بداية | جيد |
|---|---|---|---|---|
| Manuale operativo delle squadre di Red Teaming ENIA · metodo | Team del dipartimento | Manuale v1.0 a uso interno: organizzazione delle squadre e metodo in quattro fasi | — | completato |
| Aggiornamento del metodo all’AI di frontiera e agentica · ricerca | Team del dipartimento | Nuova versione del manuale con scenari per agenti, sistemi multi-agente e capacità cyber dei modelli | da definire | da avviare |