10 celebri disastri provocati dall’intelligenza artificiale

Lo studio ha, poi, rilevato che, per le previsioni, veniva utilizzava la spesa sanitaria come proxy per determinare il bisogno di assistenza sanitaria di un individuo. Ma secondo Scientific American [in inglese], i costi dell’assistenza sanitaria dei pazienti neri più malati erano alla pari con quelli bianchi più sani, il che significava che ricevevano punteggi di rischio più bassi anche quando il loro bisogno era maggiore.

I ricercatori dello studio hanno suggerito che all’errore hanno contribuito diversi fattori. In primo luogo, è più probabile che le persone di colore abbiano un reddito più basso, il che, anche quando sono assicurate, può renderle meno propense ad accedere alle cure mediche. I pregiudizi impliciti possono anche far sì che le persone nere ricevano un’assistenza di qualità inferiore.

Sebbene lo studio non abbia nominato l’algoritmo o lo sviluppatore, i ricercatori hanno dichiarato a Scientific American che stanno lavorando per risolvere la situazione.

Il set di dati che ha addestrato il chatbot di Microsoft a pubblicare tweet razzisti

Nel marzo del 2016, Microsoft ha imparato che l’uso delle interazioni di Twitter come dati di addestramento per gli algoritmi di ML [in inglese] può produrre risultati sconcertanti.

Quando ha rilasciato Tay, un chatbot AI, sulla piattaforma di social media, l’azienda lo ha descritto come un esperimento di “comprensione conversazionale”. L’idea era che il chatbot assumesse l’aspetto di una ragazza adolescente e interagisse con le persone tramite Twitter, utilizzando una combinazione di ML e di natural language processing. Microsoft l’ha alimentato con dati pubblici resi anonimi e con materiale scritto preventivamente da autori, per poi lasciarlo libero di imparare e di evolvere grazie alle sue interazioni sul social network.

In 16 ore, il chatbot ha pubblicato più di 95.000 tweet, che si sono rivelati palesemente razzisti, misogini e antisemiti. Microsoft ha rapidamente sospeso il servizio, per poi decidere di staccarne, definitivamente, la spina.

“Siamo profondamente dispiaciuti per gli involontari tweet offensivi di Tay, i quali non rappresentano chi siamo o cosa rappresentiamo, né il modo in cui abbiamo progettato il sistema”, ha scritto Peter Lee, Corporate VP, Microsoft Research & Incubations (e sucessivamente Corporate VP di Microsoft Healthcare), in un post sul blog ufficiale [in inglese] dell’azienda dopo l’incidente.

Lee ha notato che il predecessore di Tay, Xiaoice, rilasciato da Microsoft in Cina nel 2014, aveva condotto con successo conversazioni con oltre 40 milioni di persone nei due anni precedenti al rilascio di Tay. Ciò che Microsoft non aveva preso in considerazione era che un gruppo di utenti di Twitter avrebbe immediatamente iniziato a twittare commenti razzisti e misogini a Tay. Il bot ha imparato rapidamente da quel materiale e lo ha incorporato nei propri tweet.

“Sebbene ci fossimo preparati per molti tipi di abusi del sistema, abbiamo commesso una svista critica per questa specifica tipologia di attacco. Di conseguenza, Tay ha twittato parole e immagini inappropriate e riprovevoli”, ha scritto Lee.

Lo strumento di recruitment di Amazon abilitato dall’IA che selezionava soltanto uomini

Come molte grandi aziende, Amazon è sempre alla ricerca di strumenti che possano aiutare la sua divisione HR a selezionare le candidature migliori. Nel 2014, la società ha iniziato a lavorare su un software di recruitment alimentato dall’intelligenza artificiale. C’era solo un problema: il sistema preferiva, di gran lunga, i candidati di sesso maschile. Nel 2018, Reuters dà la notizia [in inglese] dell’abbandono del progetto da parte di Amazon [in inglese].

La piattaforma assegnava ai candidati una valutazione a stelle da 1 a 5. Ma i modelli di ML alla sua base erano stati addestrati su 10 anni di curriculum inviati ad Amazon, la maggior parte dei quali da uomini. Come risultato di questo addestramento, il sistema ha iniziato a penalizzare i curricula che includevano la parola “femminile” e ha persino declassato i candidati provenienti da università di sole donne.

All’epoca, Amazon ha dichiarato che lo strumento non è mai stato utilizzato dai reclutatori di Amazon per valutare i candidati e ha poi cercato di modificarlo per renderlo neutrale, per decidere, infine, che non avrebbe potuto garantire l’estraneità al rischio di qualche altra discriminazione nel selezionare i candidati, e ha, pertanto, deciso di interrompere l’iniziativa.