Algoritmos são conjuntos de instruções usadas por computadores para realizar
tarefas, processar informações e tomar decisões
Jornal Clarín Brasil – JCB News – Brasil 07/10/2024
Racismo Algorítmico: O Preconceito na Era da Inteligência Artificial
Gilberto Silva Pereira
Vivemos uma era de revolução tecnológica, em que a inteligência artificial (IA) e
os algoritmos têm influenciado cada vez mais nossas vidas, desde a sugestão
de filmes em plataformas de streaming até decisões de crédito bancário e
políticas de segurança pública. À primeira vista, as máquinas parecem oferecer
uma objetividade imparcial, capazes de tomar decisões apenas com base em
dados e lógica. Contudo, por trás da aparente neutralidade da tecnologia, há um
problema crescente e insidioso: o racismo algorítmico.
O racismo algorítmico ocorre quando preconceitos e desigualdades raciais
existentes na sociedade são reproduzidos ou amplificados por algoritmos. Esses
sistemas, que deveriam ser imparciais, podem acabar reforçando as
desigualdades ao operar com dados historicamente enviesados. Ao longo deste
texto, exploraremos como esses algoritmos aprendem preconceitos, os impactos
sociais dessa prática e possíveis formas de combater essa nova face do
preconceito.
O Que é Racismo Algorítmico?
Algoritmos são conjuntos de instruções usadas por computadores para realizar
tarefas, processar informações e tomar decisões. Essas instruções são
desenvolvidas por seres humanos, que têm a responsabilidade de alimentar os
algoritmos com dados para que eles aprendam e melhorem. A promessa dos
algoritmos e da IA era que eles trouxessem uma análise livre de preconceitos
humanos, oferecendo uma visão imparcial e racional sobre os problemas. No
entanto, os algoritmos são tão imparciais quanto os dados com que são treinados
e os programadores que os criam.
O racismo algorítmico refere-se ao viés racial que é incorporado nesses
sistemas, afetando desproporcionalmente grupos raciais marginalizados. Esses
preconceitos podem surgir de diversas maneiras: pelo uso de dados enviesados,
pela falta de diversidade nas equipes que projetam as tecnologias ou pela falta
de consideração dos impactos sociais de suas decisões.
Como Algoritmos Adquirem Preconceitos?
Para entender como o racismo algorítmico acontece, é importante compreender
como os algoritmos aprendem. A maioria dos sistemas de IA é desenvolvida
usando grandes volumes de dados históricos, que são usados para ensinar a
máquina a identificar padrões e fazer previsões. No entanto, se os dados usados
para treinar o sistema contiverem preconceitos, esses mesmos preconceitos
serão reproduzidos.
Por exemplo, imagine um algoritmo de recrutamento treinado com dados
históricos de uma empresa. Se essa empresa contratou predominantemente
homens brancos ao longo dos anos, o algoritmo aprenderá que esse é o perfil
mais desejado. Como resultado, ele tende a desqualificar mulheres e candidatos
de minorias raciais, perpetuando a desigualdade em vez de criar um processo
mais inclusivo.
Outro exemplo significativo é o reconhecimento facial. Estudos têm mostrado
que muitos algoritmos de reconhecimento facial têm uma precisão muito menor
para identificar rostos de pessoas negras e outras minorias, enquanto têm uma
alta precisão para rostos brancos. Isso ocorre porque esses algoritmos são
treinados principalmente com imagens de pessoas brancas, refletindo um viés
no conjunto de dados que impacta diretamente a vida daqueles que são
erroneamente identificados.
Casos Emblemáticos de Racismo Algorítmico
Alguns dos exemplos mais emblemáticos de racismo algorítmico surgiram em
diferentes setores, como segurança, saúde e finanças.
No setor de segurança pública, ferramentas de previsão criminal, como o
COMPAS, foram usadas para prever a probabilidade de reincidência de réus nos
Estados Unidos. Estudos mostraram que o sistema tinha um viés racial
significativo: pessoas negras eram mais frequentemente classificadas como de
“alto risco” de reincidência em comparação com pessoas brancas que tinham
um histórico semelhante. O problema aqui é que o algoritmo se baseia em dados
históricos que refletem décadas de discriminação racial no policiamento e no
sistema judiciário dos EUA, levando a previsões enviesadas que reforçam o ciclo
de injustiça.
No Brasil, não é diferente, pois, existem vários casos de reconhecimento facial
que leva pessoas negras a prisão. Esse fenômeno certamente é o causador de
grandes injustiças e que encarcera pessoas inocentes.
Não bastasse os reconhecimentos faciais equivocados, quando se faz busca de
determinadas palavras pejorativas, os sites especializados em busca direcionam
para pessoas pretas.
Na área de saúde, um estudo de 2019 revelou que um sistema de IA amplamente
utilizado para gerenciar o cuidado de pacientes com doenças crônicas atribuía
menos recursos a pacientes negros do que a pacientes brancos com o mesmo
nível de necessidade. Isso ocorreu porque o algoritmo usava como proxy de
necessidade o histórico de despesas médicas, que era mais baixo para
pacientes negros devido ao menor acesso a cuidados, e não devido a menores
necessidades de saúde.
No setor financeiro, também existem inúmeros exemplos de discriminação.
Algoritmos de análise de crédito, que são usados para determinar se um
indivíduo é elegível para um empréstimo ou qual será a taxa de juros, podem
incorporar preconceitos se os dados usados para treiná-los tiverem vieses
históricos. Se comunidades negras ou latinas têm menos acesso a crédito por
causa de discriminação passada, o algoritmo que considera esses dados
tenderá a rejeitar automaticamente esses grupos, perpetuando a desigualdade
no acesso ao capital.
Impactos Sociais do Racismo Algorítmico
O racismo algorítmico tem implicações sociais e econômicas sérias, pois afeta a
capacidade das minorias de acessar recursos e oportunidades em áreas cruciais
da vida, como educação, trabalho, moradia e saúde. Quando um algoritmo
decide que alguém não é elegível para um empréstimo, que não deve ser
chamado para uma entrevista de emprego, ou que representa uma ameaça à
segurança pública, essa pessoa está sendo excluída de oportunidades que
poderiam melhorar sua qualidade de vida.
O maior problema é que os algoritmos têm a aparência de imparcialidade e
autoridade. Suas decisões são frequentemente vistas como objetivas e
baseadas em fatos, o que torna difícil questionar ou contestar o resultado. Assim,
os impactos da discriminação algorítmica não são facilmente identificáveis e
podem se perpetuar sem que a sociedade perceba ou tenha a chance de se
opor.
Além disso, os algoritmos são aplicados em grande escala e com alta eficiência,
o que significa que, se um algoritmo é enviesado, ele pode afetar milhões de
pessoas de uma só vez, aumentando o alcance e a profundidade da
discriminação. Diferente da discriminação humana, que pode ser confrontada e
mudada, os algoritmos muitas vezes são tratados como caixas-pretas, difíceis
de serem auditados e compreendidos.
O Papel dos Desenvolvedores e a Falta de Diversidade
Uma das causas do racismo algorítmico está na falta de diversidade nas equipes
que desenvolvem essas tecnologias. As grandes empresas de tecnologia são
predominantemente compostas por homens brancos, e essa homogeneidade
afeta diretamente os produtos que são desenvolvidos e como os problemas são
percebidos. Sem a presença de uma diversidade de vozes e experiências no
processo de desenvolvimento, torna-se difícil identificar e mitigar os potenciais
preconceitos que os algoritmos podem ter.
A falta de diversidade não apenas limita a perspectiva na construção do
algoritmo, mas também perpetua a ideia de que a tecnologia é neutra e que o
viés, se existir, não é significativo. Quando diferentes grupos não são
representados, as tecnologias acabam sendo desenhadas para beneficiar
apenas alguns, em vez de serem inclusivas e igualitárias.
Como Combater o Racismo Algorítmico?
A solução para o racismo algorítmico exige uma abordagem multifacetada, que
abrange desde mudanças no desenvolvimento da tecnologia até a criação de
regulamentações rigorosas e a responsabilização das empresas.
- Diversidade nas Equipes de Desenvolvimento. A diversidade nas equipes que
criam algoritmos é essencial para combater o racismo algorítmico. Ao incluir
diferentes perspectivas e experiências, as empresas podem garantir que as
necessidades e desafios enfrentados por grupos minoritários sejam
considerados no processo de desenvolvimento. - Transparência e Auditoria de Algoritmos: A transparência no desenvolvimento
de algoritmos é crucial. Isso significa abrir o processo de tomada de decisões do
algoritmo e permitir que ele seja auditado por especialistas externos, para
garantir que suas operações sejam justas e não discriminatórias. A realização
de auditorias periódicas pode ajudar a identificar e corrigir o viés antes que ele
cause danos. - Inteligência Artificial Explicável (XAI): A explicabilidade da IA é outro fator
fundamental. Algoritmos de “caixa-preta” são problemáticos, pois suas decisões
são difíceis de entender ou justificar. A XAI visa desenvolver sistemas que
possam explicar suas decisões, permitindo maior compreensão e
responsabilização. - Regulamentação e Políticas Públicas**: Regulamentar o desenvolvimento e o
uso de IA é essencial. Leis e políticas que exijam a transparência dos algoritmos,
a explicação das decisões e a responsabilidade pelas consequências são
necessárias para proteger os cidadãos da discriminação algorítmica. A União
Europeia já está avançando nesse sentido com suas diretrizes de ética para IA,
exigindo que algoritmos de alto risco sejam auditáveis. - Conscientização e Educação: Desenvolvedores, legisladores e a sociedade
em geral precisam ser educados sobre os riscos do racismo algorítmico. A
conscientização sobre como os preconceitos podem ser incorporados nos
sistemas tecnológicos e as consequências disso é fundamental para garantir que
o desenvolvimento futuro seja mais ético e justo
Conclusão
O racismo algorítmico é um desafio contemporâneo, uma nova face do
preconceito na era digital. Embora a inteligência artificial e os algoritmos tenham
potencial para melhorar muitos aspectos da sociedade, eles também têm o poder
de perpetuar e amplificar as desigualdades existentes, muitas vezes de forma
silenciosa e difícil de contestar. Para enfrentar esse desafio, é necessário um
esforço coletivo que inclua desenvolvedores, governos, empresas e a sociedade,
garantindo.
Gilberto Silva Pereira – Advogado, Historiador, Gestor de Recursos Humanos, Jornalista, Gestor de negócios Imobiliários, Mestre em teologia, Doutorando em Direito, Pós Graduado em Direito Civil e Processo Civil, Pós Graduado em Direito do Trabalho e Processo do Trabalho, Pós Graduado em História da Cultura Afro Brasileira, Pós Graduado em Direito Constitucional Aplicado, Pós graduado em Tribunal do Júri e Execução Penal, Pós Graduado em Direito Penal e Processo Penal, Colunista no Jornal Clarin Brasil, Colunista no Interlocução Brasil, Professor, Palestrante, escritor, Tem publicações em várias revista jurídicas. Presidente da RARI/MG, Presidente da Comissão de Promoção da Igualdade Racial da ANACRIM/MG, Presidente do Instituto de Relações Etnico Raciais do Mercosul, Conselheiro Seccional da OAB/MG 2019/2021, Presidente da Comissão de Promoção da Igualdade Racial da OAB/MG 2016/2021, Vice Presidente do Compir/BH 2020/2021.
As opiniões contidas nesta coluna não refletem necessariamente a opinião do Jornal Clarín Brasil – JCB News, sendo elas de inteira responsabilidade e posicionamento dos autores”
