Como não perder seu trabalho para uma máquina
20 de setembro de 2016
5 oportunidades do monitoramento de redes sociais
30 de setembro de 2016
Ver todos

Alguns vieses e preconceitos sociais estão sendo reproduzidos pelos algoritmos de aprendizagem. Saiba quais implicações e como o problema pode ser resolvido.

Não é nenhum segredo que existe uma grande lacuna entre nos setores de tecnológica. As mulheres, por exemplo, representam apenas cerca de 20% das graduadas em engenharias e apenas 11% delas são engenheiras de software. Um viés inconsciente pode ser a causa e um dos principais impulsionadores dessa disparidade. A existência desses vieses inconscientes tem levado muitas das empresas de tecnologia do Vale do Silício a se mobilizarem e introduzirem treinamentos contra vieses nos seus funcionários. No entanto, sabemos que os algoritmos de aprendizagem também estão precisando desses treinamentos.

O que é um viés inconsciente?

Os vieses inconscientes são suposições arraigadas sobre os atributos de uma pessoa em particular (incluindo cor da pele, gênero ou classe social) que podem influenciar decisões sem que os tomadores dessas decisões estejam completamente conscientes de seus motivos. Esses vises existem em todos os lugares porque são o resultado de “atalhos mentais” que as pessoas constroem com base em normas sociais e estereótipos.

Numerosos estudos mostram que vieses inconscientes tem uma influência significativa em decisões importantes, como demissões ou contratações. Na tentativa de promover maior diversidade e criar um ambiente de trabalho mais acolhedor, as empresas estão trabalhando para educar seus colaboradores com relação aos vieses inconscientes, suas implicações e como contê-los.

Empresas como Google e Facebook, por exemplo, já estão implantando programas, como workshops e cursos.

Um algoritmo pode ser enviesado?

Enquanto algumas empresas tomam medidas admiráveis e necessárias para educar seus funcionários sobre vieses inconscientes. Os sistemas que eles estão construindo ainda parecem vulneráveis.

A Carnegie Mellon University coduziu experimentos no Google Ads, que constatou que um número menor de mulheres viu anúncios online de trabalhos pagando mais de $200.000. De acordo com CMU, este estudo levantou questões sobre a imparcialidade dos anúncios segmentados online, pois percebe-se um claro viés de gênero.

Vieses raciais também estão em questão. Latanya Sweeney, ex-chefe de tecnologia na Comissão Federal de Comércio americana, descobriu um viés racial na base de pesquisas do Google. De acordo com uma reportagem da The Nation, ela descobriu que nomes tipicamente negros renderam uma maior incidência de anúncios relacionados à “prisão” do que nomes tipicamente brancos.

Em nenhum desses casos o programador sentou e escreveu um algoritmo explicitamente sexista ou racista. Em vez disso, esses vieses são resultado do próprio algoritmo de aprendizado, que assimila padrões automaticamente das grandes bases de dados a que ele é apresentado. E, exatamente como humanos, algoritmos de aprendizagem são suscetíveis ao desenvolvimento de vieses que, se não checados e corrigidos, conduzem a um comportamento discriminatório.

Como um algoritmo pode ser enviesado?

Existem várias razões potenciais para que os algoritmos de aprendizado tenham vieses discriminatórios.

Uma delas é a escolha de bases de dados enviesadas para o treinamento. Se o modelo é treinado com um conjunto de dados que não representa a população, os dados farão com que ele faça inferências pobres e generalistas. Por exemplo, o erro na categorização de um homem negro pelo Google em 2015, por exemplo, levou a muitas questões sobre o banco de dados de treinamento do algoritmo ser predominantemente composto por pessoas brancas.

Pode parecer possível evitar algoritmos de aprendizado tendenciosos apenas tendo certeza que você não os alimentou com dados que poderiam levar a tais problemas. Então, se você remover os dados claramente tendenciosos da equação, como pode o viés prevalecer? Variáveis ocultas são outro fator a ser considerado.

No início desse ano, um estudo da Amazon Prime mostrou que áreas com CEPs predominantemente negros tiveram mais entregas negadas no mesmo dia. A Amazon não revelou os detalhes de como eles determinam a elegibilidade para a entrega no mesmo dia, mas a companhia provavelmente não colocou “cor da pele” nos seus modelos explicitamente. O problema está na cor da pele ter se tornado uma variável oculta no modelo. Isso significa que existiram outras razões para o modelo da Amazon excluir os CEPs e a cor da pele acabou sendo altamente relacionada a essas razões.

Os algoritmos de aprendizagem também podem discriminar por perpetuarem vieses sociais existentes. Nós sabemos que as mulheres não têm muita representatividade nos cargos de diretoria das empresas e há também uma lacuna racial grande. Então, mesmo se você treinar um algoritmo de aprendizado em dados reais do mundo em que vivemos, ele reproduzirá fortemente alguns vieses. E pode até potencializá-los, já que os algoritmos não têm discernimento ético.

O que pode ser feito?

Como os algoritmos de aprendizado se expandem através de áreas sensíveis – tais como classificação de crédito, contratação e até condenação penal – é necessário ter cuidados para a manutenção de algoritmos mais justos.

Alcançar esse objetivo exige conscientização sobre preconceitos sociais nos algoritmos de aprendizagem e atenção para as consequências que isso pode ter. Assim como os profissionais estão sendo educados sobre as implicações negativas dos nossos próprios vieses inconscientes, eles devem ser educados sobre os vieses nos modelos que estão construindo.

Isso também requer que as empresas testem os modelos de machine learning para vieses preconceituosos e publiquem seus resultados. Esses resultados podem fazer com que o processo seja mais fácil e efetivo.

Como setor, nós precisamos de mais pesquisas em que os algoritmos de aprendizagem são treinados para evitar os vieses sociais. Esse ponto é relativamente novo, e os exemplos que nós vemos são apenas a ponta do iceberg. O problema deve ser entendido e devemos propor soluções técnicas para minimizar os riscos desses vieses nos algoritmos de aprendizado.