الأشخاص والهياكل الدوائر

Dipartimento · ricerca e servizio

ENIA التجمع الأحمر

Mettere alla prova l’intelligenza artificiale prima che lo faccia qualcun altro. Il dipartimento studia come i sistemi di AI possono essere ingannati, aggirati o usati in modo improprio, e mette questo sapere a disposizione di imprese e pubbliche amministrazioni come servizio di ricerca applicata.

الأشخاص

Chi coordina il dipartimento

Il contesto

Perché il red teaming cambia con l’AI di frontiera

Fino a poco tempo fa il red teaming dell’AI significava soprattutto provocare un modello con domande insidiose. Oggi i modelli di frontiera non si limitano a rispondere: agiscono. Usano strumenti, leggono documenti e pagine web, scrivono ed eseguono codice, lavorano in catene di agenti. Cominciano anche a mostrare capacità concrete in ambito di sicurezza informatica, come la ricerca di vulnerabilità nel software: un’arma per chi attacca e, insieme, una risorsa per chi difende. Il perimetro da mettere alla prova si allarga quindi dalle risposte ai comportamenti, dai singoli modelli ai sistemi in cui operano.

Da modello a agente

Comportamenti, non solo risposte

Si verifica che cosa un agente fa con i permessi, gli strumenti e i dati che gli vengono affidati, e dove può essere deviato.

Nuove superfici di attacco

Istruzioni nascoste nei contenuti

Documenti, email e pagine web possono contenere istruzioni che il sistema scambia per ordini: la prompt injection indiretta è uno dei rischi principali dei sistemi agentici.

AI e sicurezza informatica

L’AI che cerca vulnerabilità

I modelli più avanzati possono individuare falle nel software. Studiarne i limiti in ambienti controllati serve a difendersi e a usarli per rafforzare le difese.

القواعد

Il test avversariale diventa un obbligo

L’AI Act chiede ai fornitori di modelli di uso generale con rischio sistemico di svolgere e documentare test avversariali. Il red teaming entra nella conformità.

Parte I
Ricerca e sviluppo

Che cosa studia il dipartimento

La ricerca tiene il metodo al passo con l’evoluzione dei modelli. Le evidenze raccolte alimentano l’Osservatorio, ENIA Horizon Sandbox e le Giurie di Comunità, e da queste tornano indietro come nuovi scenari di prova.

Filone 1

Red teaming di agenti e sistemi multi-agente

Metodi per mettere alla prova sistemi che usano strumenti, accedono a dati e collaborano tra loro: permessi, catene di azioni, errori che si propagano da un agente all’altro.

Filone 2

Capacità cyber dei modelli di frontiera

Studio, in ambienti controllati, di ciò che i modelli più avanzati sanno fare in ambito di sicurezza informatica, per misurarne i rischi e il potenziale difensivo.

Filone 3

Metodo, metriche e norme

Aggiornamento del metodo ENIA in linea con AI Act, ISO/IEC 42001, ISO/IEC 23894 e ISO 31000, con metriche di robustezza integrate in Ethics Scorecard e Critical Balance Index.

Filone 4

Red teaming socio-tecnico

Non solo vulnerabilità tecniche: bias, impatti sulle persone e usi impropri, valutati anche con il contributo delle Giurie di Comunità.

Parte II
Il servizio

AI Red Teaming per imprese e pubbliche amministrazioni

Squadre multidisciplinari mettono alla prova i sistemi di AI dell’organizzazione come farebbe un attaccante, in condizioni controllate e con un mandato definito. L’obiettivo è conoscere i punti deboli prima che emergano in uso reale e trasformarli in misure di mitigazione concrete.

01PerimetroSistemi, dati e asset critici da mettere alla prova, esclusioni e regole d’ingaggio; prima classificazione dei rischi secondo ISO/IEC 23894.
02Attacco simulatoProve avversariali, tentativi di aggirare le protezioni, manipolazione di dati e contesti, scenari agentici: sempre in ambienti controllati e documentati.
03Analisi degli impattiLe evidenze tecniche diventano valutazioni su sicurezza, privacy, bias, affidabilità e conformità.
04Rapporto e mitigazioneRapporto Red Teaming ENIA con raccomandazioni tecniche e organizzative in ordine di priorità e aggiornamento del registro dei rischi AI.
Cosa si mette alla prova

Dai chatbot agli agenti

Assistenti e modelli linguistici, agenti con accesso a strumenti e dati, sistemi che recuperano informazioni da documenti aziendali, modelli decisionali ad alto rischio.

Chi lavora

Squadre multidisciplinari

Un board strategico, unità operative di test, un’unità di analisi e conformità e il supporto di ricercatori, data scientist, esperti di cybersecurity e giuristi.

Con chi si integra

Sandbox, Giurie, Osservatorio

I risultati confluiscono in ENIA Horizon Sandbox per la validazione prima della messa in uso e informano le Giurie di Comunità e i tavoli dell’Osservatorio.

Il servizio si svolge come attività di ricerca applicata della Fondazione, non come consulenza, e segue i principi di divulgazione responsabile delle vulnerabilità.

البحث

Le attività del dipartimento

الأنشطةالمشاركونالناتج المتوقعبدايةجيد
Manuale operativo delle squadre di Red Teaming ENIA · metodoTeam del dipartimentoManuale v1.0 a uso interno: organizzazione delle squadre e metodo in quattro fasi—completato
Aggiornamento del metodo all’AI di frontiera e agentica · ricercaTeam del dipartimentoNuova versione del manuale con scenari per agenti, sistemi multi-agente e capacità cyber dei modellida definireda avviare
الأخبار

القسم في الأخبار

المكتبة

الورق والمنشورات