Il potere della computer vision

Immagina un mondo in cui il tuo tragitto quotidiano sia perfettamente programmato per evitare treni affollati o ingorghi stradali, o in cui si possa persino prevedere un crimine prima che avvenga. È questo il tipo di promessa che l’IA e l’analisi dei dati offrono quando elaborano enormi quantità di informazioni per prevedere i comportamenti umani. Possiamo ad esempio stimare quali orari saranno più affollati in una stazione ferroviaria o su una strada, considerando i cantieri stradali attivi nel Paese. 

Prevedere i problemi

Un sogno nel campo della sicurezza è sempre stato quello di riuscire a prevedere quando una persona sta per commettere un crimine. Un passo in questa direzione sono stati gli strumenti di predictive policing, come PredPol, progettati per prevedere dove potrebbero avvenire i reati. Sebbene si tratti di strumenti con grandi potenzialità, hanno ricevuto forti critiche per aver rafforzato i bias razziali già presenti nei dati su cui si basano. Non si tratta della stessa situazione raccontata in Minority Report, dove le persone venivano incarcerate per pre-crimine. Tuttavia, ci sono state proposte per utilizzare l’IA e la computer vision con l’obiettivo di identificare persone con intenzioni criminali. 

I limiti dell’IA nella comprensione delle intenzioni umane 

Ecco il punto: l’IA non può leggere la mente, e nemmeno noi. Vorremmo riuscire a individuare chi sta pianificando qualcosa di sbagliato, ma ciò che possiamo osservare sono solo le azioni. Di conseguenza, finiamo per cercare comportamenti sospetti. E questo senza nemmeno entrare nel tema del bagaglio culturale che influenza la definizione di cosa sia sospetto. Per alcune persone, ad esempio, un gruppo di adolescenti sarà sempre considerato sospetto semplicemente per la sua stessa presenza. Il problema, quindi, è che le azioni non sempre rivelano le intenzioni. 

Immagina di vedere un uomo sulla quarantina che sta in piedi fuori da un salone per unghie. Sta forse pedinando qualcuno all’interno, pianificando una rapina, oppure semplicemente aspettando che la figlia finisca di farsi le unghie? Ci sono moltissimi modi in cui potremmo formulare un giudizio in una situazione del genere. Alcuni potrebbero essere legittimi (ad esempio: sembra che stia cercando di nascondere il volto o di non farsi vedere da qualcuno all’interno del salone?) e altri chiaramente no (ad esempio: ha gli occhi troppo ravvicinati, ha il colore sbagliato o altri stereotipi).

Ora immagina di delegare a un sistema di AI con visione artificiale il compito di identificare una persona che si aggira davanti ad un salone per unghie. Dovremmo specificare con precisione quali comportamenti riteniamo sospetti. Ma un sistema automatico ha dei limiti: la differenza tra qualcuno che si copre il viso e qualcuno che si soffia il naso può sfuggire a un’AI che non è stata addestrata a riconoscere uno starnuto. Di conseguenza, il sistema si deve basare su criteri molto più grossolani, come ad esempio stabilire che una persona è in sosta se rimane entro un raggio di 2 metri nello stesso punto per 5 minuti. 

Questo non sarebbe poi così grave se il sistema si limitasse a registrare che «l’uomo è rimasto all’interno di un raggio prestabilito per un certo periodo di tempo». Ma questo non corrisponde all’esigenza di identificare il comportamento di loitering, ossia l’aggirarsi con intenti sospetti, e non sarebbe significativo per la guardia giurata chiamata ad agire in base alle raccomandazioni del sistema. Per soddisfare i requisiti e rendere il risultato comprensibile all’utente, è necessaria una traduzione dal concetto di loitering a quello di «rimanere entro un certo raggio per un certo tempo», e poi di nuovo dal secondo al primo. Il problema è che i due termini non sono sinonimi. Abbiamo già visto, infatti, che una persona può rimanere nello stesso punto per diversi minuti senza alcuna cattiva intenzione.

Bilanciare AI e giudizio umano

Il problema è aggravato da due ulteriori fattori. Il primo è il bias di automazione, la nostra tendenza a fidarci di ciò che dice un sistema automatico. Questo fenomeno era già stato osservato negli anni ’70, quando i piloti credevano agli strumenti che segnalavano un incendio ad un motore, anche se potevano vedere con i propri occhi che non era così. È un problema che persiste ancora oggi, ad esempio con le persone che seguono il navigatore fino a finire in un fiume, o che si affidano a un’auto a guida autonoma per gestire il traffico in arrivo, per scoprire troppo tardi che non è in grado di farlo. 

La seconda considerazione riguarda la difficoltà di mantenere unhuman in the loop, una persona che possa intervenire prima che il sistema agisca. Quando, ad esempio, l’AI viene usata per rilevare frodi, la quantità di dati analizzati può essere talmente enorme che un essere umano non riesce a comprenderli appieno e prendere una decisione consapevole in tempo utile.

Per questo vedremo sempre più spesso l’approccio human on the loop: una persona che può rivedere le decisioni quando vuole, ma il cui consenso non è necessario perché l’azione venga eseguita.

Questi due fattori finiscono per ridurre drasticamente il giudizio umano. Nel primo caso, la persona smette di esercitare il proprio senso critico; nel secondo, viene sostituita per motivi di rapidità ed efficienza. In entrambi i casi perdiamo la capacità umana di cogliere contesto e sfumature.

Questo non significa che l’AI sia inaffidabile o che non vada usata per la sicurezza. Significa piuttosto che dobbiamo adottare un approccio cauto e consapevole, con una chiara comprensione di ciò che i computer non sanno fare, e forse non sapranno mai fare.

Garantire una governance responsabile dell’AI 

Guardando al futuro, dobbiamo evitare la trappola del bias di automazione e ricordare che l’AI non è perfetta. Spetta a noi porre le domande difficili, pretendere trasparenza e assicurarci che questi sistemi siano governati in modo responsabile, prima di cedere loro troppo controllo. È fondamentale riconoscere i limiti dell’AI e i rischi che possono derivare da una fiducia eccessiva nelle sue capacità. 

Possiamo farlo attraverso formazione e una governance solida, che accompagnino lo sviluppo e l’implementazione dell’AI. La governance deve essere sufficientemente diversificata per riconoscere l’ampio spettro di problemi che possono emergere, e abbastanza esperta da comprendere cosa il sistema stia effettivamente facendo, al di là di come il processo decisionale viene descritto in linguaggio comune. Questo deve essere integrato nei processi di sviluppo e deployment, non come un’opzione accessoria ma come un requisito per ogni progetto di AI. Inoltre, è necessario il coinvolgimento di figure senior dell’organizzazione, così che gli output siano considerati requisiti vincolanti e non semplici raccomandazioni. 

La formazione non può limitarsi al tradizionale corso annuale online con 10 domande a scelta multipla. Deve entrare in dialogo con i valori, le ambizioni e la cultura dell’organizzazione. Se si traduce solo in un aumento di conoscenze, senza un cambiamento profondo nei comportamenti, allora ha fallito. 

Sopra Steria ha raggiunto questi obiettivi grazie al proprio AI Governance Board interno e alla formazione collegata. Il board revisiona tutti i casi d’uso dell’AI in azienda, coinvolgendo, tra gli altri, il Chief Technical Officer, il Chief Information and Security Officer, il responsabile commerciale, il responsabile procurement, il Data Protection Officer e il responsabile della consulenza etica. 
Kevin Macnish lavora e insegna nel campo della governance dell’AI dal 2010 e ha fornito consulenza alla Commissione Europea, a governi e all’industria su questi temi. 

Contenuto originale pubblicato il 10 Dicembre 2024: Unlocking the power of computer vision.