딜로이트(Deloitte)가 캐나다 한 주(州) 정부를 위해 작성한 160만 달러 규모의 보건의료 보고서에 인공지능(AI)이 만들어냈을 가능성이 큰 오류가 포함됐다는 의혹이 제기됐다. 올해 들어 딜로이트의 ‘팩트 체크 부실’을 공식 문제 삼은 나라가 두 번째다.

캐나다 진보 성향 매체이자 동부 최동단 지역인 뉴펀들랜드앤래브라도(Newfoundland and Labrador)를 주로 다루는 ‘더 인디펜던트(The Independent)’는 최근 보도를 통해 해당 오류들을 공개했다. 문제의 보고서는 이 주 정부가 지난 5월 공개한 526쪽짜리 문건으로, 보건·지역사회서비스부(Department of Health and Community Services)의 의뢰로 작성됐다.

보고서는 간호사·의사 인력난이 심각해진 상황에서 이 주의 보건의료 시스템을 어떻게 정비할지 조언하기 위해 발주됐다. 화상 진료(버추얼 케어), 인력 유인책(유지·정착 인센티브), 코로나19 팬데믹이 의료진에게 미친 영향 등 다양한 주제를 다뤘다.

하지만 이 보고서에는 비용효과 분석을 뒷받침한다는 명목으로 인용된 가짜 학술 논문, 실제로는 존재하지 않는 논문에 실린 허위 인용, 논문을 쓰지 않은 연구자를 저자로 올린 사례 등이 다수 포함돼 있었다고 더 인디펜던트는 전했다. 실제로는 함께 연구한 적이 없다고 밝힌 연구자들을 ‘공동 저자’로 묶어 놓은 허구의 논문도 있었다.

딜로이트 캐나다 대변인은 포춘과의 서면 답변에서 “딜로이트 캐나다는 보고서에 담긴 권고안을 전적으로 지지한다”고 밝혔다. 그러면서 “현재 소수의 인용 오류를 수정하는 작업을 진행 중이며, 이는 보고서의 결론에는 영향을 미치지 않는다”고 덧붙였다. 또 “보고서 작성에 AI를 사용하지는 않았지만, 일부 연구 인용을 지원하는 데 제한적으로 활용했다”고 설명했다.

방대한 이 보고서는 ‘캐나다 호흡기치료 저널(Canadian Journal of Respiratory Therapy)’에 실렸다고 주장된 한 논문도 인용했지만, 이 학술지 데이터베이스에서는 해당 논문을 찾을 수 없는 것으로 드러났다.

노바스코샤주 핼리팩스에 있는 댈하우지대학교(Dalhousie University) 간호대 부교수 게일 톰블린 머피(Gail Tomblin Murphy) 역시 실존하지 않는 논문의 저자로 이름이 올라간 연구자 가운데 한 명이다.

그는 더 인디펜던트와 인터뷰에서 “이런 식으로 결과물이 나오고 있다면, 보고서를 만드는 과정에서 AI를 상당히 많이 활용했을 가능성이 크다”고 말했다. 그러면서 자신이 허위 인용에 함께 이름이 오른 6명의 공동 저자 중 실제로 일한 경험이 있는 사람은 3명뿐이라고 설명했다.

머피는 또 “이런 방식에는 많은 문제가 있다”며 “보고서를 뒷받침하는 근거가 최선의 증거인지, 검증된 증거인지 매우 엄격하게 따져야 한다”고 강조했다. 그는 “이런 보고서는 정부와 국민의 돈이 들어가는 작업인 만큼, 정확하고 근거 기반이어야 하고 실제로 정책과 시스템을 발전시키는 데 도움이 돼야 한다”고 덧붙였다.

이 보고서는 현재까지도 캐나다 뉴펀들랜드앤래브라도 주 정부 웹사이트에 그대로 게시돼 있다. 정보공개청구 결과를 인용한 블로그 글에 따르면, 이 주 정부는 이번 보고서에 총 160만 달러에 조금 못 미치는 금액을 8차례에 걸쳐 나눠 지급했다.

지난 10월 말 취임 선서를 한 토니 웨이컴(Tony Wakeham) 뉴펀들랜드앤래브라도 신임 주지사는 이 지역 진보보수당(Progressive Conservative Party) 대표이기도 하다. 주지사실과 보건·지역사회서비스부는 이번 보고서 논란과 관련해 포춘의 논평 요청에 응하지 않았고, 지금까지 공개적으로도 입장을 내지 않았다.

이번 캐나다 사례는 지난 10월 알려진 호주 사례에 이어 또 한 번의 ‘AI 보고서 논란’이다. 딜로이트는 호주 정부가 복지 제도 악용을 단속하기 위한 방안을 마련하는 과정에서, 29만 달러를 받고 작성한 7월 보고서에 AI를 활용했다. 그러나 237쪽 분량의 이 보고서에서 존재하지 않는 학술 논문을 인용하고, 연방법원 판결문에서 나온 것처럼 보이는 문장을 꾸며낸 ‘환각(hallucination)’이 한 연구자에 의해 지적됐다.

이후 딜로이트는 보고서를 수정해 호주 정부 웹사이트에 조용히 다시 올렸다. 수정본에서 딜로이트는 생성형 AI 언어 시스템 ‘애저 오픈AI(Azure OpenAI)’를 보고서 작성에 활용했다고 인정했다.

딜로이트는 업데이트된 보고서에서 “이번 수정은 보고서의 핵심 내용, 결론, 권고안에 어떤 영향도 주지 않는다”고 주장했다. 그럼에도 호주 딜로이트는 해당 보고서와 관련해 정부에 일부 금액을 환급해야 했다. 캐나다 보고서에 대해서도 환급 조치가 이뤄질지는 아직 공개된 정보가 없다.

/ 글 Nino Paoli & 편집 김다린 기자 quill@fortunekorea.co.kr