21.1 Intelligenza artificiale e processo decisionale automatizzato: l’art. 22 del GDPR

Secondo l’Enciclopedia Treccani online per intelligenza artificiale (IA) si intende la:

Disciplina che studia se e in che modo si possano riprodurre i processi mentali più complessi mediante l’uso di un computer. Tale ricerca si sviluppa secondo due percorsi complementari: da un lato l’i. artificiale cerca di avvicinare il funzionamento dei computer alle capacità dell’intelligenza umana, dall’altro usa le simulazioni informatiche per fare ipotesi sui meccanismi utilizzati dalla mente umana.

In base a uno dei tanti documenti della Commissione Europea sul tema [comunicazione «Piano coordinato sull’intelligenza artificiale» Bruxelles, 7.12.2018 COM(2018) 795 final]:

Intelligenza artificiale (IA) indica sistemi che mostrano un comportamento intelligente analizzando il proprio ambiente e compiendo azioni, con un certo grado di autonomia, per raggiungere specifici obiettivi.

In questa definizione risaltano alcuni elementi:

a) la capacità di interagire con l’ambiente (si compiono azioni sulla scorta dell’analisi dell’ambiente; dunque sembra volersi alludere a concetti come la percezione e la retroazione);

b) l’autonomia;

c) la specificità degli obiettivi (che sembra escludere implicitamente la versatilità che è una caratteristica dell’intelligenza umana).

È diffusa la distinzione tra IA forte e IA debole [Sartor 2016, 283; Pascuzzi 2020, 291].

I sostenitori dell’IA forte affermano che un computer, se opportunamente programmato, può diventare una mente con capacità cognitive non distinguibili da quelle umane.

Altri ritengono che esista solo un’IA debole, capace di risolvere problemi specifici e svolgere determinati ragionamenti senza comprenderli per davvero. Questa capacità non esclude che alcuni problemi possano essere risolti meglio e più rapidamente dell’uomo (ad es., giocare a scacchi). Tuttavia, all’IA debole mancano molte capacità della mente umana, tra le quali spicca la versatilità.

Le definizioni di IA vanno prese con le pinze.

Se infatti non è facile definire l’intelligenza (animale e umana), ancora più arduo è definire l’IA [Pascuzzi 2020, 290]. Non è un caso, che la definizione enciclopedica sopra riportata ci ricordi che l’IA serve anche a meglio comprendere i meccanismi della mente umana, che rimangono ancora in gran parte sconosciuti.

La disciplina dell’intelligenza artificiale è nata in ambito informatico – soprattutto grazie alle intuizioni di Alan Turing – ma oggi è una vasta area di studi interdisciplinare [Pascuzzi 2020, 290; Sartor 2020].

Ha conosciuto alterne fortune: ai grandi entusiasmi iniziali sono seguiti anni di disillusione.

In tempi recenti l’uso dell’espressione IA è letteralmente esploso. Si può dire che sia diventato di moda. Talora si usa impropriamente l’espressione intelligenza artificiale con riferimento a una grande capacità di calcolo [Pascuzzi 2020, 291].

Ci si può porre la domanda: perché questa nuova stagione di (apparente) successo?

Innanzitutto, va detto che gli algoritmi alla base delle tecnologie di IA diventano sempre più sofisticati.

[Essi] acquistano la capacità di apprendere (che è forse l’ingrediente principale dell’intelligenza). Machine learning (o apprendimento automatico) è quel processo mediante il quale un’unità funzionale migliora le sue prestazioni acquisendo nuove conoscenze o abilità o riorganizzando le conoscenze o le abilità esistenti [Pascuzzi 2020, 300].

L’innovazione avviene poi grazie alle più potenti capacità di calcolo dei computer e alla disponibilità di immense quantità di dati (personali e non personali) generati da fonti differenti su Internet (big data).

Giovanni Pascuzzi rileva in proposito quanto segue [Pascuzzi 2020, 299-300]:

I dati acquisiscono senso se vengono strutturati in qualche modo così da assumere un significato e uno scopo: il dato ha senso se diventa un’informazione utile. Dall’insieme delle informazioni organizzate sulla base di uno statuto epistemologico nasce la conoscenza umana. […]

Esiste quindi un filo rosso che porta dal dato grezzo alla conoscenza. Oggi le macchine sono in grado di estrarre conoscenza dai dati. Con l’espressione «data mining» si fa riferimento a quel processo computazionale che crea modelli analizzando i dati quantitativi da diverse prospettive e dimensioni, classificandoli ed enucleando potenziali relazioni e impatti. Data mining significa estrarre conoscenza dai dati.

Il GDPR affronta esplicitamente il problema del processo decisionale automatizzato con diverse disposizioni che riprendono e ampliano una disciplina già presente nella dir. 95/46. La disposizione centrale è l’art. 22.

L’art. 22 (Processo decisionale automatizzato relativo alle persone fisiche, compresa la profilazione) del GDPR così dispone.

1. L’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona.

2. Il paragrafo 1 non si applica nel caso in cui la decisione:

a) sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento;

b) sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato;

c) si basi sul consenso esplicito dell’interessato.

3. Nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione.

4. Le decisioni di cui al paragrafo 2 non si basano sulle categorie particolari di dati personali di cui all’articolo 9, paragrafo 1, a meno che non sia d’applicazione l’articolo 9, paragrafo 2, lettere a) o g), e non siano in vigore misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato.

Il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato corrisponde a principi e regole riguardanti la trasparenza del trattamento [Malgieri, Comandè 2017; Pellecchia 2018].

L’art. 13.2.f (Informazioni da fornire qualora i dati personali siano raccolti presso l’interessato) del GDPR impone al titolare del trattamento di fornire all’interessato, tra l’altro, informazioni

[sul]l’esistenza di un processo decisionale automatizzato, compresa la profilazione di cui all’articolo 22, paragrafi 1 e 4, e, almeno in tali casi, informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato.

L’obbligo vale anche per il caso in cui i dati non siano stati ottenuti dal titolare del trattamento dall’interessato (art. 14 del GDPR).

L’interessato, quindi, ha il diritto (art. 15.1.h GDPR) di ottenere informazioni dal titolare del trattamento circa l’esistenza di un processo decisionale automatizzato, compresa la profilazione di cui all’articolo 22, paragrafi 1 e 4, e, almeno in tali casi, informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato.

Il considerando n. 71 del GDPR così recita.

L’interessato dovrebbe avere il diritto di non essere sottoposto a una decisione, che possa includere una misura, che valuti aspetti personali che lo riguardano, che sia basata unicamente su un trattamento automatizzato e che produca effetti giuridici che lo riguardano o incida in modo analogo significativamente sulla sua persona, quali il rifiuto automatico di una domanda di credito online o pratiche di assunzione elettronica senza interventi umani. Tale trattamento comprende la «profilazione», che consiste in una forma di trattamento automatizzato dei dati personali che valuta aspetti personali concernenti una persona fisica, in particolare al fine di analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze o gli interessi personali, l’affidabilità o il comportamento, l’ubicazione o gli spostamenti dell’interessato, ove ciò produca effetti giuridici che la riguardano o incida in modo analogo significativamente sulla sua persona. Tuttavia, è opportuno che sia consentito adottare decisioni sulla base di tale trattamento, compresa la profilazione, se ciò è espressamente previsto dal diritto dell’Unione o degli Stati membri cui è soggetto il titolare del trattamento, anche a fini di monitoraggio e prevenzione delle frodi e dell’evasione fiscale secondo i regolamenti, le norme e le raccomandazioni delle istituzioni dell’Unione o degli organismi nazionali di vigilanza e a garanzia della sicurezza e dell’affidabilità di un servizio fornito dal titolare del trattamento, o se è necessario per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento, o se l’interessato ha espresso il proprio consenso esplicito. In ogni caso, tale trattamento dovrebbe essere subordinato a garanzie adeguate, che dovrebbero comprendere la specifica informazione all’interessato e il diritto di ottenere l’intervento umano, di esprimere la propria opinione, di ottenere una spiegazione della decisione conseguita dopo tale valutazione e di contestare la decisione. Tale misura non dovrebbe riguardare un minore.

Al fine di garantire un trattamento corretto e trasparente nel rispetto dell’interessato, tenendo in considerazione le circostanze e il contesto specifici in cui i dati personali sono trattati, è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, metta in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e che impedisca tra l’altro effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero che comportano misure aventi tali effetti. Il processo decisionale automatizzato e la profilazione basati su categorie particolari di dati personali dovrebbero essere consentiti solo a determinate condizioni.

Giorgio Resta in proposito rileva quanto segue [Resta 2019, 517].

Tali norme riflettono il lodevole sforzo di elaborare una disciplina che sia trasversale al settore pubblico e al settore privato, trovando applicazione in entrambi ogniqualvolta ci si confronti con una decisione automatizzata presa a partire da dati personali. Esse soffrono di alcuni limiti intrinseci e di qualche elemento di ambiguità.

Uno dei limiti attiene al rapporto tra diritto a conoscere informazioni significative sulla logica utilizzata nella decisione automatizzata e diritti di proprietà intellettuale.

Il considerando 63 del GDPR «fa espressamente salve le prerogative della proprietà intellettuale» [Resta 2019, 517].

Il considerando 63 del GDPR così ecita.

Un interessato dovrebbe avere il diritto di accedere ai dati personali raccolti che la riguardano e di esercitare tale diritto facilmente e a intervalli ragionevoli, per essere consapevole del trattamento e verificarne la liceità. Ciò include il diritto di accedere ai dati relativi alla salute, ad esempio le cartelle mediche contenenti informazioni quali diagnosi, risultati di esami, pareri di medici curanti o eventuali terapie o interventi praticati. Ogni interessato dovrebbe pertanto avere il diritto di conoscere e ottenere comunicazioni in particolare in relazione alla finalità per cui i dati personali sono trattati, ove possibile al periodo in cui i dati personali sono trattati, ai destinatari dei dati personali, alla logica cui risponde qualsiasi trattamento automatizzato dei dati e, almeno quando è basato sulla profilazione, alle possibili conseguenze di tale trattamento. Ove possibile, il titolare del trattamento dovrebbe poter fornire l’accesso remoto a un sistema sicuro che consenta all’interessato di consultare direttamente i propri dati personali. Tale diritto non dovrebbe ledere i diritti e le libertà altrui, compreso il segreto industriale e aziendale e la proprietà intellettuale, segnatamente i diritti d’autore che tutelano il software. Tuttavia, tali considerazioni non dovrebbero condurre a un diniego a fornire all’interessato tutte le informazioni. Se il titolare del trattamento tratta una notevole quantità d’informazioni riguardanti l’interessato, il titolare in questione dovrebbe poter richiedere che l’interessato precisi, prima che siano fornite le informazioni, l’informazione o le attività di trattamento cui la richiesta si riferisce.

21.2 I fondamenti della disposizione normativa e la giurisprudenza amministrativa sulle decisioni algoritmiche. Caso 21-1: procedura amministrativa basata su algoritmo segreto

Prima di illustrare il caso 21-1 e il relativo problema. È bene svolgere alcune premesse su decisioni automatizzate e algoritmi.

Partiamo dalla definizione di algoritmo.

Secondo l’Enciclopedia Treccani online per algoritmo si intende:

[…] un procedimento di calcolo esplicito e descrivibile con un numero finito di regole che conduce al risultato dopo un numero finito di operazioni, cioè di applicazioni delle regole.

Giovanni Pascuzzi riporta la seguente definizione [Pascuzzi 2020, 291]:

un insieme finito di regole ben definite per la soluzione di un problema in un numero finito di passaggi.

Aver dato una prima definizione di algoritmo dice ancora poco sulla complessità della materia. Gli algoritmi, infatti, rispondono a differenti tipologie [Pascuzzi 2020, 291].

a) Algoritmi deterministici che prevedono una sequenza fissa e predefinita di passaggi.

b) Algoritmi non deterministici con almeno un’istruzione che ammette più di un’alternativa nei passi successivi che possono essere compiuti; dunque, più soluzioni finali sono possibili.

c) Algoritmi probabilistici con almeno un’istruzione che ammette più passi successivi, ognuno dei quali ha una certa probabilità di essere scelto.

d) Algoritmi di apprendimento (machine learning).

e) Algoritmi predittivi, i quali costituiscono un ingrediente fondamentale delle pratiche di data analytics legate ai big data.

In proposito Giovanni Pascuzzi rileva quanto segue:

L’elemento interessante è che, per molti, il concetto di algoritmo è divenuto sinonimo di automazione di un processo decisionale e, quindi, di decisione automatizzata.

Il problema delle decisioni automatizzate si è posto recentemente sul piano del diritto amministrativo [Smorto, Cavallaro 2019].

Il caso 21-1 può essere formulato nei seguenti termini.

Il problema può essere formulato come segue.

È legittima la procedura amministrativa che, per formulare proposte di assunzione a tempo indeterminato di docenti della scuola pubblica, individua i ruoli e le sedi mediante un algoritmo il cui funzionamento rimane sconosciuto?

La risposta data da Cons. Stato sez. VI, 8 aprile 2019, n. 2270, in Foro it., 2019, III, 606, è la seguente:

Posto che l’algoritmo a cui una amministrazione affidi un proprio processo decisionale deve essere considerato a tutti gli effetti un atto amministrativo informatico, ne deriva che tale algoritmo deve essere conoscibile – con riferimento ai suoi autori, al procedimento usato per la sua elaborazione, al meccanismo di decisione, comprensivo delle priorità assegnate nella procedura valutativa e decisionale e dei dati selezionati come rilevanti – e soggetto alla cognizione e al sindacato del giudice amministrativo (nella specie, è stata ritenuta illegittima la procedura automatizzata prevista dalla l. 107/15, tesa ad attuare un piano straordinario di assunzioni a tempo indeterminato nelle scuole perché i giudici non sono stati in grado di comprendere le modalità con le quali, attraverso l’algoritmo adoperato dall’amministrazione, sono stati assegnati i posti disponibili, essendosi verificati esiti illogici e irrazionali come il trattamento di maggior favore riservato a docenti con minori titoli e minore anzianità).

Gli argomenti maggiormente rilevanti della decisione sono i seguenti.

In primo luogo, come già messo in luce dalla dottrina più autorevole, il meccanismo attraverso il quale si concretizza la decisione robotizzata (ovvero l’algoritmo) deve essere «conoscibile», secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico. […]

Tale conoscibilità dell’algoritmo deve essere garantita in tutti gli aspetti: dai suoi autori al procedimento usato per la sua elaborazione, al meccanismo di decisione, comprensivo delle priorità assegnate nella procedura valutativa e decisionale e dei dati selezionati come rilevanti.

Ciò al fine di poter verificare che gli esiti del procedimento robotizzato siano conformi alle prescrizioni e alle finalità stabilite dalla legge o dalla stessa amministrazione a monte di tale procedimento e affinché siano chiare – e conseguentemente sindacabili – le modalità e le regole in base alle quali esso è stato impostato. […]

In altri termini, la «caratterizzazione multidisciplinare» dell’algoritmo (costruzione che certo non richiede solo competenze giuridiche, ma tecniche, informatiche, statistiche, amministrative) non esime dalla necessità che la «formula tecnica», che di fatto rappresenta l’algoritmo, sia corredata da spiegazioni che la traducano nella «regola giuridica» ad essa sottesa e che la rendano leggibile e comprensibile, sia per i cittadini che per il giudice. […]

In secondo luogo, la regola algoritmica deve essere non solo conoscibile in sé, ma anche soggetta alla piena cognizione, e al pieno sindacato, del giudice amministrativo.

La suddetta esigenza risponde infatti all’irrinunciabile necessità di poter sindacare come il potere sia stato concretamente esercitato, ponendosi in ultima analisi come declinazione diretta del diritto di difesa del cittadino, al quale non può essere precluso di conoscere le modalità (anche se automatizzate) con le quali è stata in concreto assunta una decisione destinata a ripercuotersi sulla sua sfera giuridica. […]

Solo in questo modo è possibile svolgere, anche in sede giurisdizionale, una valutazione piena della legittimità della decisione; valutazione che, anche se si è al cospetto di una scelta assunta attraverso una procedura informatica, non può che essere effettiva e di portata analoga a quella che il giudice esercita sull’esercizio del potere con modalità tradizionali.

In questo senso, la decisione amministrativa automatizzata impone al giudice di valutare in primo luogo la correttezza del processo informatico in tutte le sue componenti: dalla sua costruzione, all’inserimento dei dati, alla loro validità, alla loro gestione. Da qui, come si è detto, si conferma la necessità di assicurare che quel processo, a livello amministrativo, avvenga in maniera trasparente, attraverso la conoscibilità dei dati immessi e dell’algoritmo medesimo. […]

[…] Il giudice deve poter sindacare la stessa logicità e ragionevolezza della decisione amministrativa robotizzata, ovvero della «regola» che governa l’algoritmo, di cui si è ampiamente detto.

Il tema è stato ripreso da Cons. Stato 13 dicembre 2019, n. 8472, in Foro it., 2020, III, 340. Ma questa volta il riferimento all’art. 22 GDPR è esplicito e diretto.

Qui di seguito si riportano gli argomenti maggiormente rilevanti.

In secondo luogo, l’altro principio del diritto europeo rilevante in materia (ma di rilievo anche globale in quanto ad esempio utilizzato nella nota decisione Loomis vs. Wisconsin), è definibile come il principio di non esclusività della decisione algoritmica.

Nel caso in cui una decisione automatizzata «produca effetti giuridici che riguardano o che incidano significativamente su una persona», questa ha diritto a che tale decisione non sia basata unicamente su tale processo automatizzato (art. 22 Reg.). In proposito, deve comunque esistere nel processo decisionale un contributo umano capace di controllare, validare ovvero smentire la decisione automatica. In ambito matematico ed informativo il modello viene definito come HITL (human in the loop), in cui, per produrre il suo risultato è necessario che la macchina interagisca con l’essere umano. […]

In terzo luogo, dal considerando n. 71 del regolamento 679/2016 il diritto europeo trae un ulteriore principio fondamentale, di non discriminazione algoritmica, secondo cui è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, mettendo in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali, secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e che impedisca tra l’altro effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero che comportano misure aventi tali effetti.

Sul piano però dei rapporti tra privati resta il problema del confronto tra diritti di proprietà intellettuale e disciplina delle decisioni automatizzate, al quale si è già accennato sopra.

Scrive a riguardo Giorgio Resta [Resta 2019, 518, note omesse].

Il problema, però, rimane quanto meno per il settore privato e per i trattamenti algoritmici condotti dalla p.a. sulla base di rapporti contrattuali con effetti obbligatori e non traslativi della titolarità. Parrebbe auspicabile, a tal proposito, optare per un’interpretazione restrittiva della clausola di salvaguardia dei diritti di proprietà intellettuale e affermare la prevalenza del diritto d’accesso dell’interessato, in linea peraltro con quanto espresso nei considerando 34 e 35 della direttiva 2016/943/UE sulla protezione dei segreti commerciali.

21.3 Caso 21-2: negazione di mutuo a immigrato regolare sulla base di decisione algoritmica