“Confiar na IA” significa três coisas diferentes
“O alcance do homem excede a sua imaginação!”
O mágico grita isso do palco em O Grande Truque, de Christopher Nolan, no auge de sua maior ilusão. A plateia vê apenas a maravilha. O que ela nunca vê é o custo, pago em silêncio, logo fora de vista. O filme inteiro gira em torno dessa distância entre a maravilha que a plateia aplaude e o que de fato foi preciso para produzi-la.
Penso nessa distância toda vez que alguém pergunta se podemos confiar na IA.
O reflexo é responder sim ou não (talvez). Mas a palavra carrega demais. “Confiança” junta várias coisas diferentes, e a maioria das discussões sobre IA são, na verdade, discussões sobre qual delas queremos dizer sem deixar claro. Quando as separamos, a pergunta fica bem mais útil.
Comece pelo sentido que se sustenta perfeitamente. É a simples certeza de que uma ferramenta vai fazer o seu trabalho. Um arco não acerta cada flecha no mesmo ponto, mas se a dispersão fica dentro de um agrupamento com que você consegue trabalhar, você confia nele. Todo instrumento real vem com uma tolerância. Confiar em um nunca significou que ele se comporta de forma idêntica toda vez. Significa que a variação é limitada e que você conhece os limites. Para os modelos preditivos que integrei a sistemas reais, esse era todo o exercício: caracterizar o erro, encontrar a faixa em que a coisa é confiável, e usá-la ali. Esse tipo de confiança é calibração com outro nome, e se sustenta muito bem.
Os grandes modelos de linguagem e os agentes complicam isso, mas não da forma que se imagina primeiro. O problema não é que eles variem. Muitas ferramentas confiáveis variam. O problema é que a saída deles é aberta, então a tolerância fica muito mais difícil de definir. O que conta como dispersão aceitável para uma análise, uma resposta, um trecho de código. Com um arco, você vê o agrupamento no alvo. Aqui, muitas vezes você não vê, e decidir o que “dentro da tolerância” sequer significa é o passo difícil que quase todo mundo pula, seduzido pela “maravilha” que elas conseguem fazer. Essas ferramentas são realmente poderosas. Elas fazem coisas que eu entendo mas não conseguiria fazer, ou pelo menos não tão rápido, e falham nos casos-limite de um jeito que eu percebo rápido. A confiança funcional continua disponível. Você só precisa trabalhar muito mais para merecê-la.
Depois há um segundo sentido de confiança que não cabe aqui de jeito nenhum. É a confiança que você dá ao julgamento de uma pessoa, aquela que pressupõe que, do outro lado, há algo consciente do que faz e responsável por isso. Um modelo não tem nada disso. Quando as pessoas dizem que confiam na IA nesse sentido, estão lhe entregando uma responsabilidade que ela não pode carregar. É essa confiança que causa dano, e é contra ela que muitos vêm alertando há décadas.
Os fatores humanos estudam a confiança humana na automação desde muito antes desta onda, e a constatação central era contraintuitiva: o objetivo nunca foi maximizar a confiança. Confiança demais é um modo de falha documentado. As pessoas se entregam a um sistema seguro de si, param de verificar, e referendam uma resposta que por acaso estava errada. É o que se chama de viés de automação e complacência (Skitka, Mosier & Burdick (1999); Parasuraman & Manzey (2010)). Confiança de menos é a falha oposta: ignorar um sistema que estava certo (Parasuraman & Riley (1997)). O que você quer fica entre os dois, e é uma questão de proporção. Um grau de dependência ajustado à confiabilidade real, nem mais nem menos (Lee & See (2004)). Você confia na ferramenta exatamente na medida do que ela mereceu, e nem um passo dentro de um julgamento que ela não tem.
Então, se parte da confiança sobrevive e parte precisa ir embora, a pergunta é qual moldura as mantém separadas. Eu volto sempre a uma ideia de 1945. Num ensaio chamado “As We May Think”, Vannevar Bush imaginou um aparelho que chamou de memex: uma máquina para estender a memória humana e o modo como conectamos ideias, uma ampliação da mente em vez de um substituto. Não um profeta a consultar e obedecer. Uma extensão do alcance.
Essa moldura compensa duas vezes. Primeiro, uma extensão deixa a responsabilidade com você de um jeito que um profeta nunca deixa. Um telescópio estende a sua visão, mas é você quem ainda escolhe para onde apontá-lo e o que aquela luz fraca significa. A ferramenta amplia o que você pode fazer; o julgamento sobre o que fazer, e a responsabilidade pelo resultado, continuam com você.
Segundo, ela resgata o último e mais estranho sentido de confiança, aquele em que as pessoas se abrem a essas ferramentas como quem busca conselho. Tomado como julgamento externo, isso é só o segundo sentido com um rosto mais simpático, e a mesma objeção vale. Mas lido através do alcance, vira outra coisa. Uma extensão do seu próprio pensamento não é um conselheiro do outro lado da mesa. É mais perto de um espelho. Usado assim, o valor não é a sabedoria que ela devolve; é que ela pode ajudar você a ver o seu próprio pensamento com mais clareza do que consegue sozinho. O reflexo ainda é seu para ler, e no instante em que você o toma como veredito em vez de reflexo, escorregou de volta para confiar em um julgamento que nunca esteve ali.
O alcance está se estendendo mais rápido e mais longe do que a maioria percebeu, e a verdadeira tentação não é usar essas ferramentas. É deixar o alcance levar o julgamento junto, aplaudir a maravilha e deixar o custo fora de vista. Foi o erro do mágico. O perigo nunca foi o truque. Foi alcançar além daquilo de que ele podia responder e se recusar a olhar a diferença.
A narrativa de uma inteligência por conta própria, capaz de refletir, julgar ou até sentir empatia, foi vendida de tal forma que vemos essa ferramenta como algo que ela não é. Talvez cheguemos lá um dia, mas a ferramenta que temos não pode carregar responsabilidade; ela é uma extensão do alcance. Se mudarmos o paradigma pelo qual enxergamos a ferramenta, talvez encontremos uma compreensão melhor do seu papel na sociedade.
Então, confie na ferramenta para funcionar, dentro de limites que você de fato verificou. Confie nela para estender você. Não confie nela para julgar, e não confunda o reflexo dela com um veredito. A pergunta nunca foi se devemos confiar na IA. É se você consegue ver o todo do que ela faz, manter o alcance proporcional, e assumir as consequências. O que não é, na verdade, uma pergunta sobre a máquina. É uma pergunta sobre nós.