Pular para o conteúdo
  • BTC $62.544 −3,2%
  • ETH $1.771 −2,3%
  • SOL $73,05 −1,9%
  • BNB $580,11 −2,4%
  • XRP $0,9599 −1,6%
  • DOGE $0,0584 −1,7%
  • ADA $0,1504 −1,8%

Investigação sobre saúde no Canadá se aprofunda à medida que erros no relatório da Deloitte levantam novas preocupações sobre IA no trabalho de políticas

Erros no relatório da Deloitte levantam questões sobre citações geradas por IA em uma revisão cara do sistema de saúde canadense, sinalizando lacunas na governança.

Artigo produzido com sistemas de inteligência artificial e publicado sob a responsabilidade editorial de Amelia Tomasicchio. Como trabalhamos

deloitte report errors
Deloitte report errors spark AI citation concerns in Canada

A crescente análise crítica sobre a pesquisa de políticas públicas está se intensificando após a descoberta de erros em um relatório da Deloitte em uma revisão de destaque do sistema de saúde canadense.

Como surgiram as questões relacionadas à IA na revisão do sistema de saúde de Newfoundland e Labrador?

Uma análise de saúde encomendada pelo governo canadense à Deloitte, com um custo de quase 1,6 milhões de dólares, contém aparentes imprecisões geradas por IA, de acordo com uma investigação do The Independent. O documento de 526 páginas, divulgado pelo governo de Newfoundland e Labrador em maio, representa um dos contratos de consultoria mais caros recentemente no setor de saúde da província.

O relatório foi preparado para o então Departamento de Saúde e Serviços Comunitários liderado pelos Liberais. Ele examinou o atendimento virtual, os incentivos de retenção e o impacto da pandemia de COVID-19 nos profissionais de saúde, em um momento em que Terra Nova e Labrador enfrentam sérias carências de enfermeiros e médicos. No entanto, a revisão subsequente pela mídia levantou questões sobre a confiabilidade das evidências que sustentam essas recomendações.

O The Independent, um veículo progressista focado na província mais oriental do Canadá, encontrou múltiplas potenciais imprecisões e anomalias. Além disso, sua investigação sugere que algumas das citações de pesquisa subjacentes podem ter sido produzidas ou distorcidas com a assistência de ferramentas de inteligência artificial, embora a narrativa principal não tenha sido escrita por máquina.

Que tipos de erros nos relatórios de saúde do Canadá os investigadores descobriram?

De acordo com The Independent, o relatório da Deloitte incluiu citações acadêmicas falsas que faziam referência a artigos acadêmicos inventados. Essas fontes fictícias foram usadas para apoiar análises de custo-efetividade, um componente crítico na definição de decisões de gastos em saúde. O relatório também atribuiu erroneamente a pesquisadores reais estudos nos quais eles nunca trabalharam, criando a aparência de evidências robustas onde não existiam.

Algumas citações foram além, descrevendo artigos supostamente coautorados por pesquisadores que afirmaram nunca terem colaborado. Dito isso, a revisão não afirmou que todas as referências estavam erradas. Em vez disso, a preocupação centra-se em um padrão de problemas de citação que poderia minar a confiança nas conclusões do relatório sobre pessoal, atendimento virtual e reforma do sistema.

O relatório também citou um artigo supostamente publicado no Canadian Journal of Respiratory Therapy. No entanto, os investigadores não conseguiram localizar o documento no banco de dados do jornal, aprofundando os receios de que ferramentas generativas possam ter inventado fontes que soam plausíveis, mas inexistentes.

Como a Deloitte respondeu às alegações de citações geradas por IA?

Em uma declaração à Fortune, um porta-voz da Deloitte Canadá defendeu o conteúdo do trabalho. “A Deloitte Canadá apoia firmemente as recomendações apresentadas em nosso relatório”, disse o porta-voz. “Estamos revisando o relatório para fazer um pequeno número de correções de citações, que não impactam as conclusões do relatório.”

O porta-voz acrescentou que a inteligência artificial não produziu o relatório escrito em si. Em vez disso, disseram, a IA foi “usada seletivamente para apoiar um pequeno número de citações de pesquisa.” No entanto, dado o alcance do estudo de saúde e as implicações financeiras, os críticos argumentam que mesmo uma dependência limitada de referências geradas por máquinas exige uma verificação e transparência muito mais rigorosas.

Além disso, a posição da empresa de que as correções de citações não afetam as conclusões do relatório tem gerado críticas. Alguns acadêmicos e formuladores de políticas questionam como pesquisas fabricadas ou mal atribuídas podem ser corrigidas sem reavaliar quaisquer modelos de custo-efetividade subsequentes ou projeções de força de trabalho.

O que dizem os pesquisadores afetados sobre o processo de verificação de fatos da empresa de consultoria?

Gail Tomblin Murphy, professora adjunta na Escola de Enfermagem da Universidade Dalhousie em Nova Escócia, estava entre os citados incorretamente. Ela disse ao The Independent que a Deloitte a referenciou em um artigo acadêmico que “não existe”. Ela observou que só havia trabalhado com três dos seis outros autores atribuídos na citação falsa, não com o grupo completo descrito.

“Parece que, se estão criando coisas assim, podem estar usando bastante IA para gerar trabalho”, disse Tomblin Murphy. Seus comentários destacam a crescente inquietação na comunidade acadêmica sobre como ferramentas generativas podem fabricar bibliografias convincentes, mas imprecisas, especialmente quando os consultores não verificam rigorosamente cada referência.

Ela alertou ainda que os relatórios que orientam a política pública devem ser apoiados por evidências validadas e de alta qualidade. Além disso, Tomblin Murphy enfatizou que os governos e o público pagam somas significativas por esse tipo de trabalho, portanto, ele deve ser “preciso, baseado em evidências e útil para avançar as coisas.” Sua crítica destaca uma percepção de falha na devida diligência, em vez de um único erro técnico.

Quanto custou o relatório encomendado pelo governo e quais são as consequências políticas?

De acordo com um pedido de acesso à informação publicado em um blog na última quarta-feira, o governo canadense pagou pouco menos de 1,6 milhão de dólares pelo estudo da Deloitte, emitido em oito parcelas. Até segunda-feira, o relatório ainda estava disponível no site do governo de Newfoundland e Labrador, apesar da controvérsia emergente sobre suas referências e metodologia.

A liderança política na província mudou desde que o relatório foi entregue. Tony Wakeham, líder do Partido Progressista Conservador em Terra Nova e Labrador, foi empossado como o novo primeiro-ministro da província no final de outubro. No entanto, nem o gabinete do primeiro-ministro nem o Departamento de Saúde e Serviços Comunitários responderam imediatamente às perguntas da Fortune sobre o relatório de maio, e até o momento não abordaram publicamente as preocupações.

Esse silêncio deixa em aberto questões sobre se as recomendações do relatório continuarão a guiar a política de saúde. Também levanta a possibilidade de um exame mais minucioso por parte dos legisladores provinciais ou órgãos de supervisão federal sobre como a pesquisa das empresas de consultoria é avaliada antes de influenciar os serviços públicos essenciais.

Como esses erros do relatório da Deloitte se comparam com o caso de assistência social australiano?

As revelações canadenses seguem questões semelhantes na Austrália. Em julho, a Deloitte produziu um relatório de $290,000 para ajudar o governo australiano a reforçar a conformidade com o bem-estar social. O estudo de 237 páginas também se baseou em tecnologia generativa e posteriormente foi descoberto que continha “alucinações“, incluindo referências a pesquisas acadêmicas inexistentes e uma citação fabricada de um julgamento de tribunal federal.

Após um pesquisador apontar os problemas, a Deloitte emitiu uma versão revisada do estudo australiano. O relatório atualizado, silenciosamente carregado no mês passado no site do governo, reconheceu que a empresa havia utilizado o sistema de linguagem generativa Azure OpenAI para ajudar a criar o documento inicial. Essa admissão veio apenas após uma análise externa expor as citações falhas.

No relatório australiano atualizado, a Deloitte escreveu que “as atualizações feitas de forma alguma impactam ou afetam o conteúdo substantivo, as conclusões e as recomendações do relatório.” No entanto, críticos argumentaram que fontes fabricadas lançam dúvidas inerentes sobre a integridade de quaisquer recomendações baseadas em evidências, não apenas em detalhes cosméticos. Além disso, este segundo episódio intensificou o debate sobre as alucinações de IA da Deloitte e a robustez da verificação interna de fatos da empresa.

Quais consequências financeiras a Deloitte enfrentou, e o que permanece não resolvido para o Canadá?

Como parte do caso australiano, a firma local da Deloitte foi obrigada a fornecer ao governo federal um reembolso parcial pelo relatório de bem-estar falho. Essa penalidade financeira indicou que as autoridades consideraram as imprecisões relacionadas à IA sérias o suficiente para justificar uma compensação.

Em contraste, nenhuma informação foi ainda tornada pública sobre qualquer potencial reembolso ou solução contratual relacionada ao relatório de saúde do Canadá. Dito isso, a pressão pode aumentar à medida que os formuladores de políticas, profissionais de saúde e contribuintes questionam se receberam o valor total por um estudo que agora necessita de correções pós-publicação em sua base de evidências.

De forma mais ampla, ambos os episódios destacam os riscos crescentes quando os governos dependem de grandes consultorias que utilizam tecnologia generativa sem salvaguardas rigorosas. Eles também sugerem que as instituições públicas precisarão de padrões mais fortes para verificar fontes, especialmente em relatórios de políticas longos e complexos que podem moldar serviços críticos por anos.

Em resumo, o exame em desenvolvimento da revisão de saúde canadense da Deloitte e o estudo de bem-estar da Austrália destacam a necessidade urgente de evidências confiáveis, metodologia transparente e supervisão robusta sempre que pesquisas assistidas por IA informam decisões de políticas públicas.

Satoshi Voice

Este artigo foi produzido com o apoio da inteligência artificial e revisto pela nossa equipa de jornalistas para garantir a exatidão e a qualidade.

Todos os artigos de Satoshi Voice