미국섭식장애협회(National Eating Disorder Association)가 인간을 대체하기 위해 사용할 예정인 AI 챗봇이 '유해한 정보'를 제공할 수 있다며 일시 폐쇄했다.

앞서 NEDA는 헬프라인 직원을 테사(Tessa)라는 AI 챗봇으로 교체하겠다는 계획을 발표했지만, 일주일도 안돼 이 기술을 오프라인으로 전환했다.

NEDA는 인스타그램 게시물에서 "현재 테사 챗봇 버전이 유해한 정보를 제공했을 수 있다는 사실을 파악했다"며 "우리는 이 문제를 즉시 조사하고 있으며 완전한 조사를 위해 추가 공지가 있을 때까지 해당 프로그램을 중단했다"고 설명했다.

챗봇은 1일(현지시간) 조직의 핫라인에서 인간 노동자를 완전히 대체하도록 설정됐다. 현재 조직에서 해당 헬프라인 직원을 어떻게 배치할 계획인지는 확실하지 않다.

테사의 문제는 샤론 맥스웰(Sharon Maxwell)이라는 활동가에 의해 공개됐다. NEDA 측은 초기 소셜 미디어 게시물에서 맥스웰의 주장이 거짓이라고 주장했지만, 맥스웰의 스크린샷 제공 이후 인정했다.

섭식 장애 치료를 전문으로 하는 심리학자 알렉시스 코나슨(Alexis Conason)은 인스타그램에 챗봇과의 대화 스크린샷을 게시해 문제를 재현할 수 있었다. 그녀는 "섭식 장애가 있는 사람들에게 로봇이 섭식 장애를 더욱 조장한다면 문제가 심각할 수 있다"고 꼬집었다.

앞서 NEDA는 코로나19 전염병으로 인해 직원들의 업무과로가 가중됐으며, 이로 인해 노조와 테사 도입에 합의했다. 당시 6명의 직원은 약 7만건의 전화를 처리하는 200명의 자원 봉사 직원을 감독해야 했다.

이와 관련 테사 제작사는 NEDA를 위해 설계된 챗봇이 ChatGPT만큼 정교하지 못하다는 사실을 인정했다. 대신 사람들이 섭식 장애를 피하기 위한 전략을 배우도록 돕기 위해 제한된 수의 응답이 프로그래밍 됐다.

테사 디자인을 도운 Washington University의 의과 대학 교수는 "해당 챗봇은 당신이 듣고 대화할 수 있는 개방형 도구가 아니다"라고 말했다.

/ 포춘코리아 공인호 기자 ball@fortunekorea.co.kr