L’Institute for Human-Centered Artificial Intelligence (HAI) dell’Università di Stanford ha recentemente pubblicato il suo quinto report sull’intelligenza artificiale: l’AI Index Report. All’interno delle quasi quattrocento pagine dedicate agli ultimi sviluppi dei modelli di AI, la nostra attenzione si è focalizzata sulle informazioni relative ai sistemi di traduzione automatica e alle problematiche relative alla costante presenza di gender bias negli output di machine translation e nell’intelligenza artificiale più in generale.
I gender bias, o pregiudizi di genere, si verificano quando i sistemi di traduzione o scrittura automatica presentano all’interno dei propri output testuali i pregiudizi legati al genere dell’individuo tipici di determinati contesti sociali.
Un metodo utilizzato nella rilevazione di questi bias all’interno di modelli linguistici di piccole e grandi dimensioni, come quelli alla base dei sistemi di intelligenza artificiale, si basa sulla rilevazione della frequenza con la quale si presentano questi stereotipi. Per esempio, si registrano le occorrenze nelle quali i concetti legati alla sfera domestica e familiare sono collegati al genere femminile del soggetto. Al contempo, si verifica quanto i termini prettamente legati al lavoro e alla carriera siano associati al genere maschile.
Uno studio pubblicato nel 2020 su Natural Human Behaviour (da noi già citato nell’articolo Gender bias: tra lingua e pregiudizio di genere) indicava che ciascuno dei modelli linguistici, nelle 25 lingue oggetto di studio, presentasse pregiudizi di genere di questa natura.
Per mitigare queste problematiche nel corso degli anni sono stati compiuti numerosi sforzi, supportati anche dalle più grandi realtà di settore. Tuttavia, i risultati del report mostrano come l’obiettivo non sia ancora stato raggiunto.
Traduzione automatica, intelligenza artificiale e gender bias
All’interno dell’AI Index Report, per valutare i differenti modelli di intelligenza artificiale, i ricercatori hanno analizzato i rispettivi risultati in termini di performance, equità e bias. E se le nozioni di perfomance (relativa alle prestazioni generali del modello) e bias possono facilmente essere interpretate, il concetto di equità risulta di difficile identificazione.
In linea generale, quest’ultimo potrebbe essere definito come l’assenza di pregiudizi, individuali o di gruppo, inerenti alle caratteristiche dei soggetti interessati.
Il dato davvero interessante, però, proviene dal confronto dei risultati ottenuti dai modelli in termini di equità e bias.
Nonostante i gender bias rientrino a pieno titolo all’interno dei pregiudizi sopracitati, dal report risulta che sebbene performance elevate si traducano spesso in una maggiore equità, questi sistemi di intelligenza artificiale presentano comunque un’importante occorrenza di gender bias.
Come affermato dai ricercatori: “la correlazione tra i livelli di equità e pregiudizio di genere non è chiara. […] Un’analisi di correlazione dimostra che i modelli che ottengono risultati migliori in base alle metriche di equità mostrano risultati peggiori in termini di gender bias, e che i modelli con meno pregiudizi tendono ad essere più tossici”.
Una possibile soluzione, come suggerito proprio all’interno del report, potrebbe essere rappresentata da un riallineamento di questi modelli in base alla sensibilità degli individui nel mondo reale in termini di equità e pregiudizio, alfine di ottenere finalmente modelli linguistici privi di bias. Siano essi inerenti al genere, l’etnia o la religione degli individui.
Foto di Tara Winstead da Pexels