Sistemas automatizados alimentados por bases de dados históricas desbalanceadas, ou estruturados sob premissas opacas, tendem a reproduzir vieses humanos e a produzir decisões discriminatórias.
O que muitos tratam como risco hipotético já se materializou em prejuízos concretos. Uma gigante do setor de tecnologia abandonou um software interno de triagem de currículos por IA após constatar que o algoritmo penalizava sistematicamente candidatas mulheres: treinado com o padrão de contratações dos dez anos anteriores, predominantemente masculino, o sistema aprendeu a tratar o gênero como fator de exclusão.
No Brasil, o rigor com que o Judiciário trata a coleta de dados biométricos ficou evidente na ação civil pública ajuizada pelo Idec, com a Defensoria Pública e o Ministério Público de São Paulo, contra a concessionária da Linha 4-Amarela do metrô paulistano. A empresa foi condenada pelo uso de sensores instalados nas “portas interativas” das estações para captar expressões faciais dos passageiros, sem consentimento, para fins publicitários. Em maio de 2023, o Tribunal de Justiça de São Paulo elevou a indenização por danos morais coletivos de R$ 100 mil para R$ 500 mil.
O enquadramento legal no Brasil
No ordenamento jurídico brasileiro, a discriminação algorítmica não opera no vácuo. Ela colide com princípios constitucionais e encontra vedações expressas na Lei Geral de Proteção de Dados (Lei nº 13.709/2018), que consagra a não discriminação como princípio do tratamento de dados (art. 6º, IX) e assegura ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses (art. 20), cabendo ao controlador fornecer informações claras e adequadas sobre os critérios e procedimentos utilizados (art. 20, § 1º).
Nas relações de consumo, o Código de Defesa do Consumidor assegura a reparação integral dos danos decorrentes de práticas abusivas ou discriminatórias. Na esfera penal, não há tipo específico para a discriminação algorítmica, e o enquadramento nos crimes de discriminação exige dolo — o que torna mais complexa a responsabilização por vieses automatizados. Isso não afasta, porém, a responsabilidade civil e administrativa da empresa, nem a apuração da conduta de quem, conscientemente, se vale da tecnologia como instrumento para práticas ilícitas.
O ciclo de vida digital e as decisões corporativas
Hoje, sistemas automatizados e modelos de aprendizado de máquina (machine learning) decidem sobre o ciclo de vida de clientes, parceiros e colaboradores em frentes sensíveis:
- Processos seletivos e RH: triagem automatizada de talentos.
- Análise de crédito e risco: modelos de credit scoring e concessão de crédito.
- Precificação e comportamento: ofertas comerciais personalizadas e precificação dinâmica.
- Compliance e prevenção a fraudes: barreiras automatizadas de segurança, com o risco de bloqueios indevidos.
Uma falha algorítmica deixou de ser mero incidente de TI. Trata-se de gatilho de risco regulatório, cível e reputacional, passível de fiscalização por órgãos como a ANPD, Procon e Ministério Público.
Governança de IA
Antes de contratar ferramentas ou lançá-las no mercado, é preciso compreender o contexto operacional da tecnologia:
- Mapeamento e inventário de algoritmos: identificar onde e como a IA é aplicada nos fluxos de decisão da empresa.
- Auditoria de vieses e transparência: analisar a qualidade das bases de dados de treinamento e assegurar a explicabilidade das decisões automatizadas.
- Protocolos de supervisão humana: garantir que o princípio do human-in-the-loop funcione na prática, com autonomia de veto humano sobre o sistema automatizado, para mitigar riscos de responsabilização.
Nossa equipe multidisciplinar, com especialistas em segurança digital, tecnologia e cenários correlatos, está à disposição para sanar dúvidas sobre o tema.
