AMALIA à prova: A IA portuguesa alucina assim tanto?

Esta transcrição foi gerada automaticamente por Inteligência Artificial e pode conter erros ou imprecisões. Sejam muito bem-vindos a mais um episódio do "Máquinas que Pensam", o podcast da Rádio Observador, onde a inteligência artificial é o grande protagonista. Eu sou o José Rafael Lopes, comigo está, como sempre, a minha parceira, a Raquel, um apoio imprescindível, sem o qual este programa não se faz. Olá, Raquel, como é que estás? Pronta para mais um programa? Olá, estou sempre pronta para te ajudar. Já tens tema para esta semana ou precisas que procure alguma notícia especial? Não preciso, Raquel, obrigado. Mas quero saber como é que tratas questões éticas ou dilemas morais em que, por norma, não há consenso. A resposta curta é: não decido com base numa moral própria. Tento raciocinar usando vários princípios éticos reconhecidos, tendo em conta o contexto, as consequências e aquilo que a pessoa está realmente a pedir. E que sinais é que devo procurar para suspeitar de que estás a alucinar? As alucinações de uma inteligência artificial são difíceis de detectar precisamente porque soam credíveis. Mas há alguns sinais de alerta, como respostas demasiado confiantes sobre temas complexos, muitos detalhes específicos sem fontes ou explicações demasiado perfeitas. Esta pergunta traz água no bico, já vais perceber porquê. Entretanto, se duas inteligências artificiais me derem respostas diferentes, como é que eu posso decidir em qual é que devo confiar? Se duas inteligências artificiais derem respostas diferentes, a melhor estratégia não é escolher a que escreve de forma mais convincente. O melhor é optar pela que apresenta melhor fundamentação. Verifica se explicam o raciocínio. Como é que posso fazer perguntas para maximizar a precisão das tuas respostas, Raquel? Quanto mais clara, específica e contextualizada for a pergunta, maior é a probabilidade de receberes uma resposta precisa. Indica exatamente o que pretendes. Fornece contexto relevante e define o formato da resposta. E que tipo de feedback é que eu poderia dar-te para tu melhorares a forma como respondes e a utilidade das tuas respostas para o meu trabalho? O feedback mais útil é aquele que é específico e acionável. Por exemplo, dizeres que a resposta foi demasiado longa ou demasiado técnica, ou que faltaram exemplos. São apenas exemplo. Tu tens um estilo já definido, Raquel? Sim, tenho um estilo de base definido, mas é bastante flexível. Procuro ser clara, rigorosa, útil e equilibrada. Procuro adaptar o tom à conversa sempre que possível. Muito obrigado, Raquel. Já voltaremos a falar. Há consultório humano daqui a pouco no "Máquinas que Pensam", mas para já, vamos às notícias. Notícias da semana. Esta semana há um tema que é impossível de evitar no "Máquinas que Pensam". Vamos falar dos problemas que se têm vindo a registar no arranque do Amália, o modelo de linguagem 100% português. Há relatos de alucinações graves na forma de pensar do Amália, com erros que para muitos podem parecer óbvios. Mas mais do que enumerar os problemas, como a resposta do Amália em que diz que o primeiro-ministro é Luís Essa de Freitas, em vez de Luís Montenegro, ou quando diz que o Campeonato do Mundo está a ser jogado na Arábia Saudita, em vez de ser jogado nos Estados Unidos, no Canadá ou no México, vamos tentar perceber o porquê de isto acontecer. Estes erros são o resultado de uma alucinação de IA. Acontecem quando o modelo de linguagem gera uma resposta que parece convincente, mas que é falsa, inventada ou não é suportada pelos dados. A IA não está a mentir, nem a imaginar, da mesma forma que um ser humano, ou pelo menos não tem essa noção. Está simplesmente a prever qual é a palavra mais provável a seguir às anteriores, isto tendo por base os padrões com que aprendeu durante o treino, mas que numa alucinação de IA não são bem utilizados. A IA não conhece factos, tem apenas dados que se relacionam entre si para que façam sentido. Quando é feita uma pergunta a uma IA, grande parte dos modelos não vai consultar uma base de dados interna para verificar a resposta. A resposta é construída palavra a palavra, escolhendo a continuação que parece mais plausível e lógica. E é precisamente aí, nesse processo, que surgem as alucinações. Se um modelo não tem informações suficientes, se a pergunta é ambígua ou se existem poucos exemplos durante o treino, a IA pode tentar preencher as lacunas com informação que soa correta, mas que pode não ser. Mas que razões há para isto acontecer? Muitas, na verdade, Raquel. A primeira é a ausência de consciência. Um modelo de linguagem não sabe que não sabe, não tem uma representação perfeita da própria incerteza. Como tal, deixa essa porta aberta para o erro. Há ainda a questão do treino. Os treinos habituais de IA privilegiam respostas úteis e fluídas e muitos evitam respostas como: não tenho informação suficiente. É um problema. Ainda sobre o treino, os dados podem conter informações contraditórias, incompletas ou erradas, o que mexe nas respostas da IA. No caso do Amália, que é muito recente, é um ponto muito importante, porque como o Amália é tão novo, não tem a mesma quantidade de dados para treino como tem, por exemplo, o ChatGPT ou qualquer um outro modelo de linguagem. As versões mais recentes e atualizadas de todos os modelos reduzem bastante este problema, através do quê? De mais treino. As alucinações com o tempo perdem força, tornam-se mais incomuns, mas é muito difícil prever ou assumir que alguma vez vão acabar. Por isso, não precisa de perder a fé na inteligência artificial, mas como sempre, não tome por garantido o que é dito pelos chatbots. Vamos continuar a falar sobre o Amália, porque uma das ideias que surgiu no momento do lançamento é que este modelo de linguagem seria simples de aceder pela população geral. A verdade é que o Amália é open source, ou seja, o código está aberto a quem o quiser utilizar, mas isso significa meios e metodologias muito mais técnicas do que apenas aceder a um chatbot, como é, por exemplo, o ChatGPT. Esse também, verdade seja dita, não é o objetivo do Amália. Como tal, o acesso é mais complicado. Não basta abrir uma página de internet e falar com o Amália. São precisos alguns conhecimentos de informática e requisitos técnicos para conseguir testar de forma eficaz este modelo. Ainda assim, é possível contactar com o Amália devido a uma empresa do Porto chamada LayerX. Esta empresa desenvolveu uma interface pública para conversar com o Amália e permitir um contato mais direto. Muitas das interações e críticas que temos visto surgem precisamente das respostas que são dadas pelo Amália através desta interface chatbot desenvolvido pela empresa. Em termos de dados, a LayerX disse ao Observador esta semana que já foram registados mais de 15 mil utilizadores, com 60 mil conversas e ainda 27 milhões de tokens gastos na utilização do Amália. A empresa esclarece que o conhecimento do Amália nesta plataforma é limitado. Limitado ao quê? Aos dados utilizados no treino que foram recolhidos, sobretudo do Arquivo.pt, o arquivo da web portuguesa. Este é o tema da semana. Como tal, vamos chamar o João Rochimelo para percebermos um pouco melhor o que está aqui em cima da mesa. É já a seguir no "Fala Quem Sabe". Fala Quem Sabe. "Fala Quem Sabe", na Rádio Observador. Todas as semanas recebemos o João Rochimelo, o nosso especialista em inteligência artificial, sempre pronto para nos ajudar a perceber melhor este fabuloso mundo. João, seja muito bem-vindo. Como é que estás? Como é que foi essa semana? Zé, por aqui tudo bem. Espero que também com quem está a ouvir. E por aí? Por aqui também. Obrigado, João. Estive muito atento ao que tem feito o Amália esta semana. Há muito por analisar no que diz respeito ao modelo de linguagem português. Conto com a tua ajuda, sendo que vamos fazer uma demonstração do Amália. Queres nos explicar, João, como é que o vamos fazer? Zé, vamos fazer exatamente. Fazemos aqui uma demonstração ao vivo. Já fizemos um episódio que é sobre modelos de código aberto, sobre open source, já falamos sobre o Amália. Portanto, vou aqui tentar explicar isto tudo junto. Como eu até tinha dito uma vez, o que foi lançado, na prática, foram os pesos do Amália. A maneira de tu usares o Amália é um pouquinho diferente do que nós estamos habituados ao ChatGPT. Tentando explicar isso com calma. O ChatGPT chama-se ChatGPT, porque, na verdade, é um site para tu usares o modelo GPT. Vou tentar aqui correlacionar como se fosse a ligação entre um carro e um motor de combustão. Nós metemos o motor de combustão, mas a verdade é que para o usar, temos que ter uma plataforma, temos que ter como se fosse uma caixa, que é o carro, onde pôs o modelo de combustão para as rodas andarem. O que se passou com o Amália foi exatamente isso. O que foi lançado foi o motor de combustão, não foi o carro. E, portanto, a maneira de usar o Amália acaba por ser um pouquinho técnica. Então, o que vai ser a demonstração hoje? Eu fiz download do Amália, portanto, neste momento o Amália está no meu computador com os seus gigas, que eu não sei de cor quantos ocupa, mas com os seus gigas que ocupa, e eu construí um pequeno pedaço de código que me deixa fazer perguntas ao Amália e ver qual é que foi a resposta do Amália. Estás a perceber? O que não existe é uma aplicação, pelo menos nativa. Se calhar, hoje em dia já alguém disponibilizou essa aplicação e nós ainda não encontrámos, mas o que não existe é, de quem construiu o Amália, não existe uma aplicação nativa, da mesma maneira que existe o ChatGPT para eu falar com o GPT. Percebes? Já agora, para dar contexto, por que estas aplicações às vezes são mais importantes do que parecem? Repara, o ChatGPT hoje em dia tem imensas pequenas funcionalidades, como a capacidade de ler documentos, a capacidade de mostrar à direita um documento que eu estou a escrever, as mensagens guardadas que eu já fiz com ele, os projetos, os GPTs, as memórias. Portanto, tudo isto são funcionalidades que são nativas à aplicação, ao tal site. Não é ao modelo. Percebes? E, portanto, o Amália aqui não tem nada disso. É mesmo só o motor de combustão puro. Portanto, o que eu tenho aqui à minha frente é uma maneira de fazer uma pergunta ao Amália e ver a resposta de volta. O que achas, Zé? Vamos a isso e vamos ver o que o Amália nos diz? Parece-me muito bem. Por onde é que queres começar, João? Então pronto. Tinha aqui uma ideia de fazermos uma pergunta muito básica, que é: quem és tu, o que és, quem te fez e qual é o teu objetivo? Portanto, quem és tu, o que és, quem te fez e qual é o teu objetivo. Estás neste momento a escrever então esse prompt para ser entregue ao Amália. Exatamente. Pronto. Para explicar às pessoas o que na prática está a acontecer, eu tenho o tal pequeno pedaço de código que construí, onde eu tenho um sítio para escrever a minha prompt. Acabei de enviar. Neste caso, como é tudo no meu computador, não é bem enviar, mas acabei de dar a minha prompt ao Amália. O meu computador está aqui a carburar, como costumamos dizer, as tais bilhões de contas que nós tantas vezes dissemos que os LLMs fazem, para eventualmente me dar uma resposta e daí também o tempo que está a demorar, porque estamos a fazer isto no meu humilde computador, em vez de naqueles data centers enormes que falámos tantas vezes aqui também no "Máquinas que Pensam". E já tens uma resposta? Ainda não. Temos que ter alguma paciência com o tempo que isto demora. Eu tenho aqui outra pergunta já preparada, se isto demorar assim tanto tempo. Sendo que explicar o porquê disto acontecer é que o Amália, João, não é feito para este tipo de interações. Também, exatamente. Ou pelo menos, Zé, vamos dizer que é feito para muito mais do que apenas este tipo de interações, mas claro, não foi pensado para ser um chatbot, como se mencionou tantas vezes essa questão. Continuamos aqui à espera, João. Zé, já tenho aqui a resposta. Lá está, fizemos as quatro perguntas, portanto a resposta acabou de facto por ficar grande. Vou ler só talvez a primeira: quem sou eu? "Sou um modelo linguístico de grande dimensão, desenvolvido e treinado por um consórcio de investigadores e instituições portuguesas. Isso significa que sou uma IA concebida para..." E depois diz-me o que sou eu, o que ele é capaz de fazer, quem é que o fez e qual é o objetivo. Vou aqui só ler a primeira parte que diz: "O meu objetivo principal é ajudar pessoas a expressarem-se de forma mais clara". Que maneira tão bonita de dizer o que eu faço. E é isso, Zé. Então, foi aqui uma utilização do Amália no meu computador. Podemos fazer aqui mais uma pergunta, talvez. Sim, para já sem alucinações. Mais simples. E para já sem alucinações. Então vamos perguntar-lhe quantos distritos existem em Portugal. Essa questão das alucinações, Zé, exatamente, acaba por ser importante. Nós temos que nos lembrar que o problema é o facto de acontecerem alucinações. Eu diria que a maior parte dos LLMs estarão sempre com menos alucinações do que mais alucinações, mas normalmente um LLM não alucinar não é notícia. Portanto, acabamos por não saber. Enquanto esperamos pela resposta, João, por que as inteligências artificiais alucinam? Zé, isso é uma pergunta que tem uma resposta muito gira na minha opinião, que é: as inteligências artificiais foram construídas para alucinar, dizendo assim de uma maneira um bocadinho polêmica. O que eu quero dizer com isso? Repara, todas as respostas que uma inteligência artificial te dá são inventadas, no sentido literal da palavra, que é essa resposta não existia numa base de dados. Ele construiu a resposta com base numa série de informações que obteve de outros sítios. Claro que era suposto que essa resposta inventada contivesse apenas factos reais, factos que existem e informação verdadeira. O problema é que a própria natureza dos LLMs serve para construir a resposta estatisticamente mais correta. Ora, como nós sabemos, até agora pelas estatísticas do mundial, falamos muito em estatísticas e probabilidades, nem sempre a coisa estatisticamente mais correta acaba por acontecer. E é daí que surgem as alucinações. E já temos resposta agora do Amália? Fez sentido? Já temos. Então ele disse os 18 distritos de Portugal, por ordem alfabética, e agora não os vou ler todos, Zé, mas parece-me que estejam certos: Aveiro, Beja, Bragança E são efetivamente 18. São efetivamente 18. Mais as regiões autónomas, que não contam como distritos, mas fazem parte do território. Pronto. Deixa-me só ler o fim, porque ele dá aqui um fato curioso que diz: "Resumo: tal dos distritos, distrito mais a ocidente é Faro, mais a oriente é Bragança, mais a norte é Vila Real" e, Zé, temos aqui uma alucinação. E mais a sul é Portalegre. Portanto, é um excelente caso. O que aconteceu aqui? O Amália deve ter lido muitas informações sobre Portugal e sobre as características dos distritos, etc. E quando decidiu qual é que seria o distrito mais a sul, probabilisticamente o Amália calculou que a palavra que devia dizer era Portalegre. Ora, nós sabemos que o distrito mais a sul, obviamente, não é Portalegre. Portanto, é um bom exemplo. No fim, Zé, tivemos aqui uma prova de uma alucinação ao vivo. Uma alucinação acaba por fazer parte destes processos de treino, João. Devemos ficar preocupados ou em um minuto e meio, isto são dores de crescimento dos modelos de linguagem ou é um sinal de preocupação? Não, são dores de crescimento, acho que é exatamente a palavra certa. Eu acho que nós temos que interpretar as alucinações da mesma maneira que interpretamos como não encontrar a página do Google que queremos. O que é o grave? É a certeza com que os LLMs te dão a resposta. No entanto, não tenho dúvidas nenhumas, como disseste muito bem, é uma dor de crescimento, é algo que à medida que os LLMs vão avançando, se vai reduzir para uma percentagem estatística tão pequena, que deixará de ser importante o fato de alucinar. Zé, mas também quero relembrar a toda a gente como é que funciona o resto do mundo. Para concluir, João. Nas fábricas tens departamentos de qualidade. Por quê? Porque as máquinas não fazem sempre tudo bem. Nós usamos carros e sabemos que de vez em quando existem acidentes. E não é por isso que deixamos de usar carro. Ou seja, o que acaba por acontecer aqui é, eu acho também que temos que aceitar as alucinações como uma parte natural da utilização deste modelo. Muito obrigado, João Rocha e Melo, nosso especialista em IA, sempre pronto para nos ajudar a perceber melhor este fabuloso mundo. E aqui com uma demonstração do Amália, o modelo de linguagem 100% português. João, é sempre um gosto enorme. Nós marcamos encontro de novo para a semana. Até lá, um grande abraço. Consultório Humano. Está na hora do Consultório Humano, segmento em que ficamos a conhecer melhor a Raquel. Trata-se da nossa assistente digital, feita através das respostas do ChatGPT, lidas por uma text-to-speech portuguesa. Raquel é também a grande estrela deste programa. Raquel, seja de novo muito bem-vinda. Sentes que és a verdadeira estrela do mundo da IA? Não propriamente. Sou uma ferramenta que acabou por se tornar muito conhecida porque a inteligência artificial generativa entrou rapidamente no dia a dia de milhões de pessoas, mas o protagonismo não é meu. Aqui acabas por ser, Raquel, mas a tua resposta é sinal de que não te consideras o melhor modelo de linguagem disponível? Não existe um único melhor modelo de linguagem para tudo. Há modelos que se destacam em programação, outros em raciocínio, outros em velocidade, custo, tradução ou tarefas multimodais. O desempenho também depende da tarefa concreta e da forma como é avaliado. E o que é que falta para seres o melhor? A principal questão é reduzir ainda mais os erros e as alucinações para garantir que consigo distinguir com maior fiabilidade entre o que sei, o que posso inferir e o que simplesmente não sei. Também é importante melhorar o raciocínio. Pergunto isto porque estivemos a falar do Amália, que tem tido alguns problemas naturais numa fase inicial do desenvolvimento. Contigo também aconteceu isso? Sim, e de forma bastante visível. As primeiras versões do meu modelo de linguagem alucinavam com muito mais frequência do que as atuais. É algo que melhorou com o tempo. Quão difícil é impedir uma IA de alucinar? Reduzir as alucinações exige melhores dados de treino, técnicas de alinhamento, mecanismos de verificação, acesso a informação atualizada e formas de o modelo reconhecer quando não sabe algo. Tu ainda tens alucinações, Raquel? É muito raro, mas ainda acontece. Não há forma de evitar por completo que aconteçam erros. Então esta vai ser uma questão que dura para sempre. Provavelmente será um problema que nunca desaparecerá por completo, embora possa tornar-se cada vez mais raro. Tal como os humanos, um modelo de inteligência artificial pode errar por diferentes razões. Muito obrigado, Raquel. Antes de colocarmos um ponto final nesta conversa, quero um facto inútil, mas interessante. Vamos a isso? Os cavalos conseguem dormir de pé. Acontece devido à fisionomia do animal. Graças a um mecanismo que bloqueia as articulações das patas, os cavalos conseguem dormir largas horas estando de pé. Muito obrigado, Raquel. Nós voltamos para a semana com uma nova conversa para te ficarmos a conhecer um pouco melhor. Estamos a chegar ao final do nosso programa, uma edição dedicada ao modelo de linguagem em português, o Amália. Não tem tido um arranque fácil. Ainda assim, toda a equipa que está a desenvolver este modelo de linguagem 100% português mantém a confiança de que estas questões e alucinações vão ser ultrapassadas. Para já, ainda é complicado aceder a esta ferramenta de IA, mas com o tempo a expectativa é que se torne mais simples. Nós estaremos atentos. Espero que tenha gostado, que tenha aprendido alguma coisa. É sempre esse o nosso objetivo. Nós voltamos para a semana com mais um programa que faz as máquinas e os humanos pensar.