Perché la polizia predittiva non funziona

Una simulazione della Carnegie Mellon University spiega come, anche passando dai dataset relativi agli arresti a quelli sulle denunce, le aree “a maggior rischio” sono indicate in modo sbilanciato e inutile dagli algoritmi

Anche utilizzando altri dataset di partenza, per esempio le denunce delle vittime invece degli arresti, i sistemi di polizia predittiva – quelli che indicano dove e quando è probabile che si verifichino determinati reati in base a ciò che riescono a imparare dal passato – non funzionano. Nel senso che restituiscono una situazione molto diversa da quella che si è poi effettivamente verificata e risultano sostanzialmente inutili, perché si portano dentro pregiudizi e squilibri di vario tipo.

Se infatti il tema del pregiudizio algoritmico è da tempo centrale nell’analisi e nella critica dei sistemi automatizzati, dal riconoscimento facciale alle piattaforme per la selezione professionale o appunto per la sicurezza cittadina, un’indagine della Carnegie Mellon University dimostra ora che non basta modificare i dati di partenza per risolvere il problema. Anzi. Una delle vie di fuga ricorrenti di chi sviluppa questi sistemi di hotspot analysis, come Keystats, HunchLab, Palantir, la tedesca Precobs o PredPol – il più diffuso negli Stati Uniti nato nel 2008 da una collaborazione congiunta fra il dipartimento di polizia di Los Angeles e l’esperto Jeff Brantigham dell’Ucla – è aver utilizzato a dare in pasto agli algoritmi le denunce raccolte in un certo quartiere invece che i verbali di polizia o le informazioni sugli arresti effettuati in quella specifica area cittadina. L’italiana KeyCrime funziona invece in modo diverso.

Nil-Jana Akpinar e Alexandra Chouldechova dell’ateneo di Pittsburgh e Maria De-Arteaga dell’università del Texas hanno invece provato nel paper intitolato “The effect of differential victim crime reporting on predictive policing systems” come anche l’uso di quelle informazioni di partenza produca previsioni a dir poco distorte. E nella sostanza poco utili se non dannose, oltre che discriminatorie, nel contrasto alla criminalità. Il gruppo di ricercatrici ha costruito un algoritmo in proprio ricalcando lo stesso modello applicato da alcune piattaforme molto diffuse, fra cui proprio PredPol usato da diverse decine di dipartimenti di polizia. Ha poi addestrato il modello sulla base delle denunce attingendo ai dati della metropoli di Bogotà, in Colombia, una delle poche città per cui disponiamo di dati indipendenti sulla segnalazione di reati a livello distrettuale.

Quando le tre esperte hanno confrontato le previsioni della loro piattaforma simil-PredPol con i dati reali per ciascun distretto della capitale colombiana hanno scoperto un gran numero di errori. Fra i tanti, in un distretto dove erano stati denunciati pochi reati la piattaforma aveva previsto il 20% delle aree a maggior tasso di criminalità. In un’altra zona con un elevato numero di casi, l’algoritmo ha tuttavia sovraccaricato le previsioni di un ulteriore 20%. Fornendo in entrambi i casi indicazioni sbagliate se non controproducenti, specialmente nel primo. “I nostri risultati suggeriscono che i tassi differenziali di segnalazione dei crimini possono portare a uno spostamento delle aree a cui prestare più attenzione da quelle ad alta criminalità ma a bassa segnalazione a quelle ad alta o media criminalità e ad alta segnalazione  -si legge nello studio – questo può portare a cattive decisioni sia in termini di eccessiva che scarsa sorveglianza”.

Se dunque basare questi sistemi sui dati degli arresti porta gli algoritmi fuori strada, perché risente dei pregiudizi delle forze di polizia (negli Stati Uniti vengono arrestati in proporzione soprattutto afroamericani e appartenenti ad altre minoranze), e conduce a pattugliare di più certe aree col risultato di aumentare ancora di più gli arresti, anche basarsi sulle denunce non cambia il quadro. Sempre rimanendo agli Usa, principale campo di applicazione e di indagine sulle storture di questi sistemi diffusi comunque in tutto il mondo, sono le persone afroamericane a essere denunciate più spesso dei bianchi. Oppure capita più di frequente che siano le persone bianche e appartenenti a una classe sociale elevata a denunciare un nero povero che non il contrario. E gli afroamericani tendono anche di più a denunciarsi fra loro. Insomma, così come con i dati relativi agli arresti, anche l’uso di dataset differenti conduce a individuare i quartieri a maggioranza nera con hot spot criminali più spesso di quanto provino i dati reali. E a innescare la solita catena che in certi casi ha condotto i dipartimenti di polizia a rinunciare all’uso di algoritmi tanto sbilanciati.

Secondo l’avvocata e ricercatrice Rashida Richardson, specializzata proprio nell’approfondimento dei pregiudizi degli algoritmi all’AI Now Institute di New York, questi risultati rafforzano le evidenze già molto chiare sui dataset usati nelle analisi di polizia predittiva: “Conducono a esiti pregiudizievoli – ha detto a Mit Technology Review – che non contribuiscono alla sicurezza pubblica. Credo che molti fornitori come PredPol non capiscano fondamentalmente quanto le condizioni strutturali e sociali influenzino o distorcano molte forme di dati sulla criminalità”.

Ci sono infatti molti altri fattori in grado di distorcere il punto di partenza sulla base del quale vengono addestrati gli algoritmi.  Restando al caso dell’indagine, il fatto di denunciare alle forze dell’ordine è per esempio in gran parte collegato al livello di fiducia della comunità nei loro confronti e nella possibilità di ottenere davvero giustizia o almeno un’indagine su quanto riportato. Per questo, aggiunge Richardson, “se vivi in una comunità con una polizia storicamente corrotta o razzista, questo influenzerà se e come le persone saranno disposte a denunciare un crimine”. In questo caso un tool predittivo di questo genere finirebbe per esempio per sottostimare i livelli di crimine, ed eviterebbe di concentrare in quella zona i controlli necessari, scambiando la mancanza di denunce per un contesto più sicuro.