Joe Biden quer que os algoritmos do governo dos EUA sejam testados quanto a possíveis danos aos cidadãos
Joe Biden propõe testes de segurança dos algoritmos governamentais dos EUA para proteger os cidadãos
A Casa Branca emitiu hoje regras preliminares que exigiriam que agências federais avaliassem e monitorassem constantemente os algoritmos utilizados na área da saúde, aplicação da lei e habitação, a fim de identificar possíveis discriminações ou outros efeitos prejudiciais aos direitos humanos.
Uma vez em vigor, as regras poderiam forçar alterações na atividade governamental dos EUA que dependem de IA, como o uso de tecnologia de reconhecimento facial pelo FBI, que tem sido criticado por não tomar medidas recomendadas pelo Congresso para proteger as liberdades civis. As novas regras exigiriam que as agências governamentais avaliassem os algoritmos existentes até agosto de 2024 e parassem de utilizar aqueles que não estivessem em conformidade.
“Se os benefícios não superarem significativamente os riscos, as agências não devem utilizar a IA”, diz o memorando. No entanto, o memorando preliminar estabelece uma exceção para modelos relacionados à segurança nacional e permite que as agências emitam isenções se o término do uso de um modelo de IA “criar um impedimento inaceitável para as operações críticas da agência”.
As regras preliminares foram divulgadas pelo Escritório de Administração e Orçamento da Casa Branca dois dias após o presidente Biden assinar uma ordem executiva que consiste em um plano abrangente para aumentar o uso de IA pelo governo, ao mesmo tempo em que busca evitar danos causados pela tecnologia. A necessidade de proteger as pessoas da IA foi um dos principais temas da ordem, com disposições que incluem requisitos de relatórios para os desenvolvedores de grandes modelos de IA e clusters de computação.
As regras propostas pelo OMB acrescentariam a necessidade de avaliação e avaliação independente de algoritmos adquiridos de empresas privadas como requisitos de contratos federais, uma vez que o órgão coordena os departamentos de acordo com as prioridades presidenciais. As agências governamentais seriam solicitadas a avaliar e monitorar tanto os algoritmos em uso quanto aqueles adquiridos no futuro, a fim de identificar impactos negativos na privacidade, na democracia, na concentração de mercado e no acesso a serviços governamentais.
- Scarlett Johansson está processando um aplicativo de IA que usou su...
- Sam Bankman-Fried foi considerado culpado por fraude
- Ameaças cibernéticas Quem é mais afetado e suas implicações?
O memorando preliminar exigiria que os testes e avaliações dos algoritmos fossem realizados por pessoas sem envolvimento direto no desenvolvimento do sistema e incentivaria testes externos de “red teaming” em modelos de IA generativos. Ele também instrui os líderes das agências federais a explorarem maneiras de usar IA generativa, como o ChatGPT da OpenAI, “sem impor riscos indevidos”.
A ordem executiva de AI de Biden exige que o OMB forneça orientações às agências federais nos próximos cinco meses. O escritório está convidando o público a comentar sobre a política preliminar até 5 de dezembro.
“A estrutura possibilita a implementação de requisitos obrigatórios para as agências federais estabelecerem salvaguardas para o uso da IA, de modo que possamos aproveitar os benefícios e permitir que o público confie nos serviços prestados pelo governo federal”, diz Jason Miller, diretor adjunto de gestão do OMB.
O memorando preliminar destaca determinados usos de AI nos quais a tecnologia pode prejudicar direitos ou segurança, incluindo cuidados com a saúde, habitação e aplicação da lei – todas as situações em que algoritmos resultaram em discriminação ou negação de serviços no passado.
Exemplos de potenciais riscos de segurança mencionados no rascunho do OMB incluem automação de infraestrutura crítica, como barragens, e veículos autônomos, como os táxis-robôs da Cruise que foram suspensos na semana passada na Califórnia e estão sob investigação por órgãos reguladores federais e estaduais após um pedestre atingido por um veículo ser arrastado por 20 metros. Exemplos de como a IA poderia violar os direitos dos cidadãos no memorando preliminar incluem a adoção de práticas policiais preditivas, IA que pode bloquear discursos protegidos, software de detecção de plágio ou emoções, algoritmos de triagem de locatários e sistemas que podem afetar a imigração ou a custódia de crianças.
De acordo com a OMB, as agências federais atualmente utilizam mais de 700 algoritmos, embora os inventários fornecidos pelas agências federais estejam incompletos. Miller diz que o memorando preliminar exige que as agências federais compartilhem mais informações sobre os algoritmos que utilizam. “Esperamos que nas próximas semanas e meses, melhoremos as habilidades das agências de identificar e relatar seus casos de uso”, diz ele.
A Vice-presidente Kamala Harris mencionou o memorando da OMB juntamente com outras iniciativas responsáveis de IA em seus comentários hoje na Embaixada dos EUA em Londres, durante uma viagem feita para o UK’s AI Safety Summit desta semana. Ela afirmou que, enquanto algumas vozes na formulação de políticas de IA se concentram em riscos catastróficos como o papel que a IA poderá desempenhar algum dia em ciberataques ou na criação de armas biológicas, vieses e desinformação já estão sendo amplificados pela IA e afetam indivíduos e comunidades diariamente.
Merve Hickok, autora de um próximo livro sobre política de aquisição de IA e pesquisadora da Universidade de Michigan, elogia como o memorando da OMB exigirá que as agências justifiquem o uso da IA e atribuam responsabilidades específicas às pessoas responsáveis pela tecnologia. Isso pode ser uma forma potencialmente eficaz de garantir que a IA não seja utilizada em todos os programas governamentais, segundo ela.
No entanto, a provisão de isenções pode minar esses mecanismos, ela teme. “Ficaria preocupada se começarmos a ver as agências usando essa isenção extensivamente, especialmente em aplicação da lei, segurança nacional e vigilância”, diz ela. “Uma vez que obtêm a isenção, pode ser indefinida.”
