Destinatari: fornitori e deployers.
Data di applicazione: 2 febbraio 2025.
Obiettivo: vietare l’uso di sistemi AI che effettuino la valutazione o la previsione del rischio che una persona fisica commetta un reato unicamente in base alla profilazione o alla valutazione delle caratteristiche della sua personalità.
Il Regolamento (UE) 1689/2024 sull’Intelligenza Artificiale (AI Act) del 13 giugno 2024 ha introdotto una serie di divieti all’interno del territorio dell’Unione Europea per pratiche di uso di sistemi AI che determinano un rischio “inaccettabile” (il massimo grado assegnato ad alcuni AI nel risk-based approach adottato dall’AI Act).
In questo contributo analizzeremo la pratica contemplata dall’art. 5.1 lett. d) AI Act, in base al quale è vietata:
l'immissione sul mercato, la messa in servizio per tale finalità specifica o l'uso di un sistema di IA per effettuare valutazioni del rischio relative a persone fisiche al fine di valutare o prevedere il rischio che una persona fisica commetta un reato, unicamente sulla base della profilazione di una persona fisica o della valutazione dei tratti e delle caratteristiche della personalità; tale divieto non si applica ai sistemi di AI utilizzati a sostegno della valutazione umana del coinvolgimento di una persona in un'attività criminosa, che si basa già su fatti oggettivi e verificabili direttamente connessi a un'attività criminosa.
Gli elementi che caratterizzano la pratica oggetto di divieto sono:
1) la circostanza che il sistema AI sia immesso sul mercato, messo in servizio o usato nell’Unione europea
2) che il sistema AI valuti o preveda il rischio che una persona fisica commetta un reato
3) che la valutazione o la previsione siano basate esclusivamente su uno dei seguenti elementi o entrambi:
- profilazione (concetto in relazione al quale l’AI Act rinvia all’art. 4, punto 4), del Regolamento (UE) 2016/679 - GDPR)
- valutazione dei tratti della personalità
Sul punto, l’AI Act ha chiarito che, in linea con la presunzione di innocenza, le persone fisiche dovrebbero essere giudicate in base al loro comportamento effettivo e non a un comportamento previsto dall’AI fondato unicamente sulla profilazione, sui tratti o sulle caratteristiche della personalità quali la cittadinanza, il luogo di nascita, il luogo di residenza, il numero di figli, il livello di indebitamento o il tipo di automobile, senza che vi sia un ragionevole sospetto che la persona sia coinvolta in un'attività criminosa sulla base di fatti oggettivi verificabili e senza una valutazione umana al riguardo (considerando 42).
Tra gli esempi di pratiche vietate riconducibili alla fattispecie in oggetto, le Linee Guida approvate dalla Commissione Europea il 29 luglio 2025 hanno indicato l’uso, da parte di un’autorità di contrasto, di un sistema di AI finalizzato a prevedere i comportamenti criminali per reati quali il terrorismo unicamente in base all’età, alla cittadinanza, all’indirizzo, al tipo di automobile e allo stato civile delle persone. In questo caso, infatti, la probabilità che una persona commetta in futuro reati che non ha ancora commesso viene valutata unicamente in base alle sue caratteristiche personali.
Il divieto in esame non si applica invece quando il sistema di AI è utilizzato a sostegno di una valutazione umana circa il coinvolgimento di una persona in un'attività criminosa, che si basa già su fatti oggettivi e verificabili direttamente connessi a tale attività.
Le Linee Guida propongono, a titolo esemplificativo, l’ipotesi in cui la polizia stia indagando sul rischio di una possibile rapina a mano armata e su due persone sospettate. Se il sospetto è basato su fatti verificabili e oggettivi (ad esempio, la partecipazione a una chat sul dark web nella quale si fa riferimento all’acquisto di armi), l’uso di un sistema AI che combina informazioni di polizia predittiva geospaziali e informazioni di riconoscimento automatizzato della targa dei veicoli appartenenti agli indagati svolge unicamente una funzione di sostegno della valutazione umana e non ricade quindi nel divieto previsto dalla norma.
Articoli Correlati