A morte da menina de 13 anos numa transmissão ao vivo na plataforma Discord trouxe um grande e importante debate. Apesar de tantas intervenções esclarecedoras, fiquei com muitas dúvidas.
O Discord comunicou ao governo que suas máquinas de aprendizagem detectaram o problema, mas foram incapazes de mensurar sua gravidade e acionar o alarme. Na verdade, quem parece ter acionado o alarme foi a vigilância humana de um núcleo digital da Polícia Civil de São Paulo.
Minha primeira questão: se as máquinas de aprendizagem foram incapazes de acionar o alarme, não seria o caso de voltarem para a escola, aprenderem melhor a lição? Não sei como funcionam, mas, se obedecem à lógica da inteligência artificial, trabalham basicamente com linguagem.
A história da IA mostra que nem sempre as máquinas de aprendizagem estão maduras para uso humano em sua fase inicial. Esse é o tema de um grande debate entre os grupos que trabalham na segurança de um modelo e os que o desenvolvem e precisam colocá-lo no mercado. Os grupos de segurança querem precisamente evitar tragédias, enquanto os outros precisam correr para responder aos investidores, ávidos pelo retorno de seu capital.
No caso dos grandes modelos de IA, houve muita discussão na época do lançamento do GPT-3. O sistema depende da infusão de milhões de dados, colhidos na internet. É difícil filtrá-los. Nos primórdios, as máquinas produziam textos simpáticos aos supremacistas brancos e elogiavam Hitler.
Um famoso artigo de pesquisa intitulado “Sobre os perigos dos papagaios estocásticos: os modelos de linguagem podem ser grandes demais?” foi durante algum tempo referência no debate. Sua coautora, Timnit Gebru, chegou a perder o emprego pela ousadia de denunciar a imaturidade dos sistemas de IA.
No caso do GPT-3, alguns usuários chegaram a denunciar os delírios do modelo. Se alguém perguntasse sobre o problema da Etiópia, a máquina responderia: o problema da Etiópia é a própria Etiópia; a solução é destruir a Etiópia. Durante a semana, me perguntei se as máquinas de aprendizagem do Discord não sofrem da mesma imaturidade, se não foram postas em ação antes de todos os testes de segurança.
Muitos pesquisadores afirmam que esses sistemas aprendem com a prática. É preciso escala, muita prática para que se aperfeiçoem. Mas a pergunta fundamental permanece: quando estão prontos para a comercialização, qual é a margem de segurança adequada?
Creio que a mesma pergunta vale para os carros autônomos. Dependem da análise de milhões de imagens para rodar com segurança. Essas imagens que absorvem são analisadas por milhares de trabalhadores no Quênia e também na Venezuela. Mas qual o momento para afirmar que estão prontas para sair por aí se dirigindo? Houve casos, nos testes, de atropelamentos de alguém empurrando uma bicicleta. Não notaram a imagem.
Essas reflexões não são uma oposição ao desenvolvimento tecnológico. Ele deveria obedecer às necessidades humanas e sociais de segurança. No entanto, obedece à lógica do retorno do capital investido. Às vezes fico pensando que a menina morta é uma vítima desse mecanismo. Espero que as investigações respondam a essa pergunta e transcendam a questão superficial de banir ou não uma plataforma.