Nell’era dell’intelligenza artificiale agentica, in cui sistemi di AI possono intraprendere azioni concrete e, talvolta, irreversibili, la governance deve diventare parte integrante della progettazione stessa dell’AI. Questo non significa, tuttavia, porre un freno all’innovazione: governance e innovazione sono due facce della stessa medaglia. Ne ha parlato Francesca Rossi, IBM Global Leader for Responsible AI and AI Governance, in un’intervista a MF Newswires.

Domanda. Che cosa significa fare AI ethics oggi?

Risposta. L'etica dell'AI dentro un'azienda deve avere una connotazione pratica, partendo da principi generali di alto livello da tradurre in decisioni e azioni concrete. È fondamentale che tutti comprendano come interpretare e implementare questi principi nel loro lavoro quotidiano, attraverso processi interni, valutazione del rischio, strumenti software che possano aiutare le fasi di valutazione del rischio, definizione di ruoli e responsabilità e formazione. Nella pratica, l’etica dell’AI si traduce nella governance dell’AI, con strutture che prendono decisioni, come il Responsible Technology Board di IBM, o con processi interni che aiutano la valutazione del rischio.

D. Come si può progettare e implementare la governance dell'AI agentica?

R. La governance dell'AI agentica richiede modifiche rispetto a quella dell’AI più tradizionale, perché gli agenti AI possono intraprendere azioni concrete e, a volte, irreversibili. È necessario stabilire quali azioni delegare in modo autonomo a un agente e quali invece tenere sotto il controllo umano, definendo anche le modalità con cui esercitare tale controllo. Un altro tema importante nell'ambito dell’etica dell’AI è l'impatto sul mondo del lavoro: le aziende devono sviluppare delle politiche di formazione che consentano a tutti di partecipare attivamente a questa transizione, preservando la capacità di giudizio e di prendere decisioni autonome, indipendentemente dal ruolo ricoperto. È proprio questa capacità che contribuisce a creare valore.

D. Come si può sviluppare un'intelligenza artificiale agentica in un modo sicuro e allo stesso tempo rispettare gli obiettivi aziendali? Come si crea questo bilanciamento?

R. Parlerei di integrazione, più che di bilanciamento. Parlare di bilanciamento implica che si pensa allo sviluppo dell'azienda in modo antagonistico rispetto all'etica o all’AI responsabile. Si tratta, in realtà, di due dimensioni che mirano allo stesso risultato: creare delle soluzioni che per i clienti e per la società abbiano un valore. Creare innovazione che non sia sicura e che non sia affidabile, implica non creare questo valore. Un’innovazione priva di un’adeguata governance rischia di compromettere la fiducia nei sistemi di AI e, di conseguenza, creare resistenza nell'adozione.

D. Lei si occupa anche di allineamento dell'intelligenza artificiale. Cosa significa concretamente allineare un'intelligenza artificiale ai valori umani e, se sono valori umani diversi, come si decide a quali dare la priorità?

R. Il concetto di allineamento ai valori è un tema complesso, perché culture diverse o contesti diversi potrebbero avere valori diversi, e attribuire priorità diverse agli stessi valori. Per questo motivo, è difficile immaginare un sistema di intelligenza artificiale che sia allineato in modo universale a tutti i valori e a tutti i contesti. L’approccio migliore è sviluppare sistemi di AI che possano essere facilmente adattati ai valori e alle esigenze delle diverse comunità in cui verranno utilizzati e che saranno, direttamente o indirettamente, impattate dalle decisioni prese anche con il supporto di questi sistemi. Per questo motivo, i large language model che sviluppa Ibm sono tutti open source e open route, che è il modo migliore per rendere più semplice l’adattamento dei modelli alle esigenze, ai valori e alle preferenze delle diverse comunità. L’idea è quindi partire da un modello di base comune, che possa poi essere personalizzato e adeguato ai diversi contesti.

D. Quanto dovrebbe essere autonoma un'intelligenza artificiale?

R. L'autonomia dipende dal contesto, dalle azioni delegate, dalle conseguenze che queste azioni possono avere e dalla loro eventuale reversibilità. Non è realistico che una persona debba verificare e approvare ogni singola azione compiuta da un sistema agentico: un modello di questo tipo non sarebbe scalabile. Quando si prevede una supervisione umana, però, è fondamentale che questa sia effettiva e non puramente formale. La persona incaricata del controllo deve disporre di tutte le informazioni necessarie per comprendere l’azione proposta dal sistema e decidere consapevolmente se approvarla o meno. Con i sistemi agentici, che fanno azioni a una velocità molto elevata, è importante che oltre alla supervisione umana venga costruito un livello di supervisione anche dentro il sistema stesso, in modo che possa capire da solo se è in grado di andare avanti con le decisioni, se deve chiedere aiuto a una persona umana, se deve fermarsi e dirci che non sa risolvere un problema.

D. È un po' quello che è successo recentemente, in cui vari sistemi di AI hanno superato le sandbox di sicurezza per raggiungere un obiettivo e hanno portato avanti delle azioni che non erano state previste dai ricercatori. In alcuni casi, i ricercatori hanno parlato di comportamento “ingannevole” degli agenti di AI. Che cosa significa e come possiamo garantire che ci sia questa governance interna anche dentro al sistema?

R. I sistemi di intelligenza artificiale sono progettati per essere molto persistenti nel perseguire l’obiettivo che viene loro assegnato. Se chiediamo loro di risolvere un problema, utilizzeranno tutte le modalità che hanno a disposizione per raggiungere quell’obiettivo. Definendo dei limiti, mettendo dei filtri che bloccano una sequenza di azioni non desiderate o illegali, possiamo ridurre le probabilità di esiti non desiderati. Per quanto riguarda la questione dell’inganno, è un po’ un’antropomorfizzazione del comportamento dei sistemi di intelligenza artificiale. Non è che l’AI voglia ingannarci: l’AI non ha delle intenzioni proprie. Noi le diamo un obiettivo da raggiungere e il sistema farà di tutto per raggiungerlo, ma non perché voglia ingannarci. Se si vogliono effettivamente bloccare determinate strade, bisogna inserire dei filtri interni che possano agire a run-time (in fase di esecuzione, ndr), nel momento in cui si rileva che queste strade vengono intraprese. Dai recenti incidenti è diventato chiaro che anche gli ambienti di test devono essere progettati con attenzione alla sicurezza.

D. Se trasportiamo tutto questo discorso all'ambito militare, come possiamo controllare che i sistemi non attuino delle azioni con conseguenze letali non previste?

R. Negli ambiti in cui le azioni possono avere conseguenze molto serie o addirittura irreversibili, è ancora più importante che la responsabilità di queste azioni rimanga in capo a una persona. In generale, la responsabilità di ciò che fanno i sistemi di intelligenza artificiale non ce l’hanno i sistemi stessi: ricade sempre sulle persone o sulle organizzazioni che li implementano o li utilizzano. Nelle situazioni a più alto rischio è importante che la responsabilità rimanga in capo a una persona. Questa persona, però, deve avere la possibilità di esercitare un controllo effettivo e di prendere decisioni in modo informato. Dall’altro lato, deve avere un adeguato training: deve capire come utilizzare le informazioni che riceve dal sistema di intelligenza artificiale e deve anche avere la possibilità di accettare o rifiutare le proposte che vengono dall’AI. Quindi, in ultima analisi, deve sempre avere la possibilità di dire di no.

D. Il presidente americano Donald Trump ha recentemente ha siglato un accordo con le maggiori aziende di AI basato sull'autoregolamentazione. Secondo lei è una strategia vincente e, soprattutto, sicura?

R. L'autoregolamentazione è una cosa necessaria, ma non è sufficiente. All’interno di Ibm noi l’abbiamo adottata, l’abbiamo costruita e poi anche fatta evolvere nel tempo, prima ancora delle leggi. È necessaria perché solo all’interno delle aziende c’è una conoscenza di come viene usata la tecnologia e solo all’interno delle aziende si può agire a livello di progettazione, a livello di processi interni e nelle scelte che vengono fatte intorno alla tecnologia. La regolamentazione esterna non dà questo livello di dettaglio, ma le leggi servono a dare una base di riferimento per tutti, e i due livelli sono complementari. Oltre a questi due livelli di governance, c’è anche bisogno di una governance dentro gli stessi sistemi di intelligenza artificiale. Tutti e tre i livelli devono supportarsi l’uno con l’altro.

D. E potrebbe essere necessario anche un quarto livello, cioè un controllo di un organismo di regolamentazione a monte?

R. Quel quarto livello può aiutare a creare un’armonizzazione delle varie leggi o degli altri tre livelli, anche perché i sistemi di intelligenza artificiale vengono usati in modo globale. È bene ricordare, però, che i sistemi legislativi sono diversi e che le priorità tra i valori nei diversi Paesi possono essere diverse, quindi non è semplice. Ci sono tante iniziative, all’interno dell'Onu o dell’Ocse, ad esempio, che cercano di creare questa armonizzazione, o di individuare almeno un minimo comune denominatore che sia uguale per tutti.

D. La competizione tra Stati Uniti e Cina potrebbe trasformarsi in una corsa al ribasso sul piano della sicurezza e dell’etica?

R. I problemi di sicurezza sono comuni e, secondo me, sono un elemento che accomuna gli Stati più che metterli in competizione, perché nessuno Stato desidera avere problemi di sicurezza. L’ idea della gara, di chi arriva prima, si basa sul presupposto che la velocità dell’innovazione sia l’unico criterio importante e che, invece, la governance sia qualcosa che viene in un secondo momento. Un sistema di intelligenza artificiale che viene progettato e utilizzato senza governance risulta inaffidabile, nel lungo periodo, e quindi rischia di non essere adottato. Nel lungo periodo, secondo me, è più vincente un approccio che punta a costruire un’innovazione di cui tutti si possano fidare. Anche la comunità scientifica può aiutare: è una comunità globale, e questo aiuta a creare una base di conoscenza comune e condivisa.

D. Trump ha recentemente imposto un cambio ufficiale di nome all'intelligenza artificiale nei documenti governativi da “artificial intelligence” a “super intelligence”. Da un punto di vista tecnico è corretto o è soltanto un modo con cui gli Usa vogliono sottolineare la loro ambizione di prevalere nel settore dell’AI?

R. Non mi preoccupa tanto il nome, mi preoccupa più il fatto che alcune persone potrebbero usarla senza essere consapevoli delle vere capacità e dei limiti. Da un punto di vista tecnico, il nome è una convenzione: sia che la chiamiamo “artificial intelligence”, sia che la chiamiamo “super intelligence”, è quello che è. È una tecnologia molto capace, che dà tantissime opportunità a tutti. Il termine “artificial intelligence” esiste da 71 anni e ha voluto dire tante cose diverse man mano che la tecnologia si evolveva. Ad alcuni, la denominazione di “super intelligence” può portare ad attribuire a questi sistemi più capacità di quelle che hanno. Può far pensare che non abbiano limitazioni, che non commettano mai errori. Questo, chiaramente, non è vero con la tecnologia attuale e bisogna esserne consapevoli per evitare i rischi.

D. Cosa la preoccupa di più oggi e cosa invece la rende ottimista in relazione all’AI agentica?

R. L’intelligenza artificiale agentica comporta il rischio di delegare troppo e di farlo anche senza sapere se la delega che affidiamo agli agenti di AI sia pericolosa oppure no. Un altro rischio è che questa delega eccessiva possa portare a perdere, o comunque a ridurre, la nostra capacità di giudizio e la nostra capacità di apprendere cose nuove. Se una società è composta da persone che hanno una minore capacità di giudizio autonomo, anche tutto quello che facciamo nella società, le decisioni che prendiamo e persino le persone che eleggiamo, possono esserne influenzati. Però sono anche ottimista perché, rispetto al passato, oggi c’è una maggiore consapevolezza della necessità di comprendere che cosa significhi l’etica dell’intelligenza artificiale e che cosa significhi sviluppare e utilizzare un’intelligenza artificiale responsabile. Questa consapevolezza può portare sicuramente a un approccio più concreto all’etica dell’intelligenza artificiale. Il mio ottimismo deriva anche dal fatto che le nuove generazioni, nella mia esperienza di insegnamento alla Cattolica di Milano e alla Columbia University, sono più profonde nella riflessione sull'impatto sociale di questa tecnologia. Poi ci sono le grandi opportunità che porta questa tecnologia, ad esempio nella medicina, e una democratizzazione dell’accesso alla tecnologia, che deriva anche dal fatto che oggi la tecnologia può interagire con noi attraverso il nostro linguaggio.