La Dott.ssa Dominika Ioan Sojka dell’Istituto di Scienze Giuridiche dell’Università della Slesia dirige il progetto dal titolo Proibire la discriminazione nel processo decisionale algoritmicoÈ stato implementato come parte del concorso Preludium finanziato dal National Science Center.
Il motivo per cui ho condotto la ricerca è stata la discriminazione nel trattamento tra donne e uomini, che ho sperimentato direttamente quando correggevo le frasi tramite e-mail, utilizzando il cosiddetto machine learning, dice la ricercatrice. – Ho notato che le frasi nella forma femminile sono contrassegnate come errate e viene suggerita la risposta “corretta” nella forma maschile. Ho provato a contattare il proprietario dell’ufficio postale responsabile di questo prodotto, ma non ho ricevuto risposta. Ciò mi ha portato a chiedermi perché io, come donna che utilizza i servizi digitali, mi sbagliavo.
Si scopre che correggere il linguaggio nella forma maschile rappresenta un piccolo problema rispetto alla scala di discriminazione nei servizi pubblici e privati che utilizzano sistemi automatizzati (basati sul processo decisionale automatico; il sistema riceve, calcola e classifica i dati di input) e sistemi autonomi ( basati sull’apprendimento automatico; vengono utilizzati grandi set di dati per addestrare i modelli). Nel caso dei servizi privati, che sono meno regolamentati, la discriminazione include, tra le altre cose, l’offerta di prezzi diversi a persone provenienti da diverse parti del paese. Tuttavia, l’accesso diversificato alle offerte di lavoro o alla mediazione dei discorsi di incitamento all’odio è diventata una sfida più seria.
– Meta ha ricevuto molte lamentele riguardo alla limitazione della visibilità delle offerte di lavoro a gruppi specifici, ad esempio minoranze sessuali o donne. La dottoressa Dominika Iwan Sojka spiega che la piattaforma funzionava in modo tale che i datori di lavoro potevano impedire che gli annunci di lavoro venissero mostrati a specifici utenti di Facebook.
La ricercatrice sottolinea che tali casi si concludono solitamente con una transazione privata, il che significa che non può verificare l’intera procedura o il contenuto dell’accordo stesso.
– Pertanto, non sappiamo cosa Meta abbia considerato una violazione in questo caso e cosa abbiano sollevato le vittime. Pertanto non ci è chiaro l’accesso alle informazioni sui modelli di machine learning utilizzati, afferma l’avvocato.
Un altro problema è il settore pubblico. Alcuni paesi, ispirati da soluzioni del settore privato, stanno automatizzando o automatizzando alcuni processi decisionali ripetibili. La previdenza sociale, il diritto tributario, la giustizia penale e la previsione delle decisioni dei singoli giudici sono alcuni degli ambiti di utilizzo di sistemi sempre più nuovi che si basano su un processo decisionale automatico o semi-autonomo.
– Gli Stati non sono in grado di gestire i dati di input e la rappresentazione concettuale per applicare modelli di processo decisionale automatico o semi-autonomo, perché risulta che nelle aree in cui lo Stato vuole applicare questi modelli, il contesto della decisione – e il mondo sottolinea che far sì che questo costituisca lo status dell’individuo e qualunque persona non venga presa in considerazione probabilmente lo prenderebbe in considerazione.
Un esempio di sistema discriminatorio è Robodebt, adottato nel 2016 in Australia. Il suo scopo era quello di calcolare gli obblighi dovuti dallo Stato derivanti dall’assicurazione sociale per le persone in cerca di lavoro.
– Questo modello teneva conto di un trasferimento di stipendio molto strano, ridotto a un periodo di liquidazione di due settimane. Allo stesso tempo, la maggior parte delle persone che usufruiscono di questa assicurazione lavorano in modo irregolare, ad esempio solo durante le vacanze. Il ricercatore spiega che il sistema lo ha suddiviso in un periodo annuale e ha affermato che queste persone non hanno diritto a ricevere benefici e chiedere un rimborso.
Un altro esempio è il sistema SyRI introdotto nel Regno dei Paesi Bassi, che mirava a identificare le persone che imbrogliano sulle prestazioni sociali. L’algoritmo utilizzato per calcolare i rischi non è stato fornito dallo Stato, ma grazie alle azioni avviate dalle ONG, è stato riconosciuto che il sistema viene utilizzato solo contro persone appartenenti a minoranze nazionali, etniche e religiose.
– Tali situazioni sconsiderate spesso si verificano perché le persone responsabili dell’implementazione di sistemi che migliorano il lavoro umano non tengono conto delle condizioni in cui il sistema verrà utilizzato, a chi e a cosa è destinato – ammette il Dr. D. Ewan-Sogka. Inoltre, le opinioni degli utenti del settore pubblico vengono raramente prese in considerazione. La situazione è diversa nel settore privato, dove possiamo valutare le applicazioni che utilizziamo, mentre le aziende utilizzano il feedback degli utenti per migliorare i propri prodotti digitali.
– Purtroppo, una riflessione approfondita sullo stato delle istituzioni statali appare solo quando un particolare modello è soggetto a controllo giudiziario o quasi giudiziario – aggiunge il ricercatore.
Più rischioso è l’uso di modelli di machine learning per valutare i rischi e classificare le entità. Il dottor D colpisce. Ioan Sojka è un esempio degli Stati Uniti, dove il problema della discriminazione è onnipresente. Nel sistema giudiziario locale, è stato osservato che i giudici erano prevenuti e discriminavano le persone sulla base della razza o del genere. Pertanto è emersa l’idea di sostituire la valutazione della pena post-condanna con un sistema basato sul rischio di recidiva. A questo scopo è stato utilizzato il modello COMPAS, che prevedeva report destinati ad orientare il giudice sull’ambito delle sanzioni da infliggere ad una determinata persona.
Nel 2016, un gruppo di scienziati ha pubblicato un rapporto che esamina questo sistema. Si scopre che discrimina le persone sulla base della razza e del sesso, motivo per cui i giudici, sulla base del rapporto Compass, hanno emesso condanne molto più severe contro i neri – spiega l’avvocato.
Nel caso di modelli di machine learning addestrati su set di dati diversi, ci sono problemi di mancanza di accesso ai dati di test e di mancanza di rappresentatività dei set di dati.
Negli anni ’80, le università inglesi implementarono software per automatizzare le decisioni di ammissione. Il programma ha utilizzato i dati degli anni precedenti come dati di addestramento. Ma a quel tempo avevamo ancora un grosso problema con la discriminazione di genere. Lo scienziato afferma che questo modello è stato concepito in modo tale che le donne siano escluse quando hanno le stesse qualifiche degli uomini.
Un altro esempio è un problema che si è verificato nel motore di ricerca Google, in particolare nella funzione di riconoscimento delle immagini, dove i neri venivano identificati come gorilla. A causa della cosiddetta scatola nera (i dati di input e il risultato sono noti, ma non c’è modo di spiegare il risultato) gli ingegneri del software non sono riusciti a determinare l’origine del problema, quindi hanno disabilitato questa funzione.
– Spesso si trascura il fatto che noi esseri umani tendiamo a considerare le soluzioni tecniche come qualcosa di completamente oggettivo e neutrale – sottolinea il Dr. D. Ivan Sojka.
Quindi, come possiamo combattere la discriminazione con i sistemi basati sull’apprendimento automatico? Le persone fisiche o giuridiche possono citare in giudizio lo Stato per aver utilizzato illegalmente questi moduli. Tuttavia, ci sono una serie di sfide qui.
– In primo luogo, anche se un individuo è oggetto di una decisione presa da un modello di machine learning, ha difficoltà a dimostrare la capacità del processo. Pertanto, si stanno tentando di sfidare questi sistemi attraverso azioni all’interno del quadro Azione popolares, qualsiasi denuncia presentata nell’interesse pubblico, soprattutto da parte delle ONG – spiega il mondo. – In secondo luogo, in tali procedimenti giudiziari, ci troviamo di fronte a una disuguaglianza tra le parti perché gli stati non forniscono informazioni sui sistemi (quali sono i dati di origine, come funzionano, perché sono stati utilizzati e contro chi). In terzo luogo, ciò che è più problematico è che l’individuo deve dimostrare le sue affermazioni, ad esempio che lo Stato lo tratta diversamente dagli altri. Allo stesso tempo, a causa dell’asimmetria informativa tra le parti del procedimento, ciò è impossibile. Il rimedio a ciò potrebbe essere lo standard adottato dal diritto comunitario in caso di violazione del divieto di discriminazione, che sposta l’onere della prova sul convenuto.
Anche la legge sull’intelligenza artificiale adottata dal Parlamento europeo nel marzo 2024 può essere utile nella lotta alla discriminazione. Classifica i modelli di apprendimento automatico in termini di rischi per gli esseri umani. L’obiettivo è, tra l’altro, imporre obblighi specifici alle grandi organizzazioni (come Meta, Google, Amazon, Microsoft) che provengono da un ordinamento giuridico diverso da quello europeo, perché la loro sede è negli Stati Uniti.
-L’uso della tecnologia non è sempre necessario. A volte è sufficiente pensare se abbiamo davvero bisogno di un particolare strumento e valutare i rischi derivanti dal suo utilizzo. Dovremmo includere in questa valutazione i rappresentanti delle minoranze, delle organizzazioni non governative e delle istituzioni scientifiche. Senza questo, creare tali strumenti su un organismo vivente, come la società, porta talvolta a soluzioni assurde, conclude il Dr. D. Ivan Sojka.
Olimpia Orzydala
L’articolo è stato pubblicato su “Gazeta Uniwersytecka UŚ” [nr 8 (318) maj 2024]
