OASI, den första sökmotorn för att hitta de algoritmer som regeringar och företag använder för medborgare

• Skapat av Eticas Foundation, Observatory of Algorithms with Social Impact, OASI, samlar in information från dussintals algoritmer som används av offentliga förvaltningar och företag runt om i världen för att lära sig mer om deras sociala påverkan.
  
• Målet är att ge allmänheten tillgång till information om både regeringar och företagsalgoritmer, och att veta vem som använder dem, vem som utvecklar dem, vilka hot de representerar och om de har granskats, bland annat.

• Algoritmbias och diskriminering förekommer vanligtvis på grund av bland annat ålder, kön, ras eller funktionshinder, men på grund av den allmänna bristen på transparens är det fortfarande inte möjligt att veta alla dess konsekvenser för de drabbade grupperna.

Eticas Foundation, en ideell organisation som främjar ansvarsfull användning av algoritmer och artificiell intelligens (AI)-system, har skapat Observatory of Algorithms with Social Impact (OASI). Detta observatorium introducerar en sökmotor för att veta mer om de verktyg som fattar viktiga automatiska beslut för medborgare, konsumenter och användare runt om i världen.

För närvarande automatiserar både företag och offentliga förvaltningar beslut tack vare algoritmer. Dock, dess utveckling och driftsättning följer inte extern kvalitetskontroll, inte heller är den så transparent som den borde vara, vilket lämnar befolkningen oskyddad. Med den här sökmotorn kan vem som helst ta reda på mer om dessa algoritmer: vem som har utvecklat dem, vem som använder dem, deras tillämpningsområde, om de har granskats, deras mål eller deras sociala påverkan och de hot de representerar.

För tillfället, OASI samlar in 57 algoritmer, men räknar med att nå de 100 under de följande månaderna. Bland dem tillämpas 24 redan i USA av regeringen och Big Tech-företag. Till exempel ShotSpotter, ett algoritmverktyg som används av Oakland Police Department för att bekämpa och minska pistolvåld genom ljudövervakningsmikrofoner, och en algoritm för att förutsäga potentiella barnmisshandel och vanvård som används av Allegheny County, Pennsylvania. Ett annat exempel från ett företag är Rekognition, Amazons ansiktsigenkänningssystem, som granskades av MIT Media Lab i början av 2019, och visade sig prestera betydligt sämre när man identifierade en individs kön om de var kvinnor eller mörkare i hy.

Den vanligaste diskrimineringen är på grund av ålder, kön, ras eller funktionshinder, produceras oavsiktligt av utvecklare som saknar socioekonomisk kompetens för att förstå effekten av denna teknik. I denna mening designar dessa ingenjörer algoritmerna endast baserat på tekniska färdigheter, och eftersom det inte finns några externa kontroller och det verkar fungera som förväntat, fortsätter algoritmen att lära sig av bristfälliga data.

Med tanke på bristen på transparens om hur vissa av dessa algoritmer fungerar, utvecklar Eticas Foundation, förutom lanseringen av OASI, ett projekt med externa revisioner. Den första är VioGén, algoritmen som används av det spanska inrikesministeriet för att tilldela risker till kvinnor som söker skydd efter att ha drabbats av fall av våld i hemmet. Eticas kommer att genomföra en extern revision genom reverse engineering och administrativa data, intervjuer, rapporter eller designmanus, för att samla in resultat i stor skala. Allt detta med målet att upptäcka möjligheter till förbättringar i skyddet av dessa kvinnor.

"Trots förekomsten av algoritmiska kontroll- och revisionsmetoder för att säkerställa att teknologin respekterar gällande regler och grundläggande rättigheter, fortsätter administrationen och många företag att döva öronen för förfrågningar om insyn från medborgare och institutioner", förklarade Gemma Galdon, grundare av Eticas Foundation . "Förutom OASI, efter flera år där vi har utvecklat mer än ett dussin revisioner för företag som Alpha Telefónica, FN, Koa Health eller Inter-American Development Bank, har vi också publicerat en Guide to Algorithmic Audit så att vem som helst kan utföra dem. Målet är alltid att öka medvetenheten, ge transparens och återställa förtroendet för tekniken, som i sig inte behöver vara skadlig.”

I denna mening, algoritmer som är tränade med maskininlärningstekniker som använder en stor mängd historisk data för att "lära" dem att välja baserat på tidigare beslut. Vanligtvis är dessa uppgifter inte representativa för den socioekonomiska och kulturella verklighet som de tillämpas på, men vid många tillfällen återspeglar de en orättvis situation som inte är avsedd att vidmakthållas. På detta sätt skulle algoritmen tekniskt fatta "korrekta" beslut i enlighet med sin träning, även om verkligheten är att dess rekommendationer eller förutsägelser är partiska eller diskriminerande.

Annons

Om Eticas Foundation

Eticas Foundation arbetar för att till tekniska specifikationer översätta de principer som styr samhället, såsom lika möjligheter, transparens och icke-diskriminering som finns i de teknologier som fattar automatiserade beslut om våra liv. Den söker en balans mellan förändrade sociala värderingar, de tekniska möjligheterna med de senaste framstegen och den rättsliga ramen. För detta ändamål granskar den algoritmer, verifierar att juridiska garantier tillämpas på den digitala världen, särskilt på artificiell intelligens, och utför ett intensivt arbete för att öka medvetenheten och sprida behovet av ansvarsfull, kvalitetsteknik.

Dela den här artikeln: