기업들은 인공지능의 도움으로 조작된 영상을 감지하기 위해 경쟁을 펼치고 있다. 그들은 그 영상들이 전쟁 지역에서 더 많은 폭력과 혼란을 초래하는 사태를 미연에 방지하려 한다. BY VIVIENNE WALT

10월 7일 아침이 밝아오자, 공습 사이렌이 텔아비브 전역에 울려 퍼졌다. 마이클 마티어스와 그의 여자친구는 곧장 침대에서 일어나 아파트의 방공호로 대피했다. 그들의 휴대전화 메시지는 사이렌을 울리게 했던 공포스러운 소식을 전했다. 하마스 무장괴한들이 이스라엘인들을 상대로 대량 학살을 벌이고, 수백 명의 인질을 붙잡았다는 내용이었다. 그들의 은신처에서 채 한 시간도 안 걸리는 곳에서 벌어진 일이었다.

놀란 가슴은 좀처럼 진정되지 않았다. 하지만 마티어스는 문득 이번 사태가 자신의 IT 스타트업에 갖는 의미를 떠올렸다. 2022년 말, 그는 선거 캠페인에 등장하는 딥페이크(가짜 영상)를 탐지하는 데 초점을 맞춘 인공지능 회사 클래리티를 창업했다. 그는 그런 허위 정보가 민주주의에 심각한 위협을 끼친다고 믿었다. 하지만 지난 10월 7일 약 1200명의 이스라엘인들이 사망하고 나라가 전쟁 중인 상황에서 당장은 회사의 미션을 미뤄야 했다. 대신 그는 그날 아침 클래리티 팀원들과 긴급 회의를 갖고, 이번 사태에 대한 행동 계획을 논의했다. 이 클래리티 CEO는 "우리는 서로에게 '회사 기술이 이번 전쟁에서 매우 의미 있게 쓰일 것'이라고 말했다"고 회상한다.

이번 침공—이스라엘 건국 75년 역사상 가장 많은 사망자가 발생했다—이후 혼란에 빠진 이스라엘은 가자 지구에 대한 물과 식량, 전기 공급을 전면 차단했다. 아울러 200만 팔레스타인인이 모여 사는 해안가 지역에서 하마스 기지로 의심되는 곳에 수천 개의 폭탄을 투하했다. 인도주의적 위기는 전면적인 재앙으로 번졌고, 민간인을 포함한 팔레스타인인 1만 명 이상이 사망했다. 참혹한 사진들이 TV와 휴대폰 화면을 도배하며, 전 세계적으로 불 같은 분노와 대규모 시위가 일어났다. 이번 전쟁은 탄약뿐만 아니라, 진짜와 가짜 정보를 갖고 싸우는 양상이 됐다. 교전 중인 양측 모두가 분노하는 상황에서, 일부 사람들은 이 소름 끼치는 장면들이 진짜인지 아니면 인공지능의 도움으로 만든 소위 딥페이크가 아닌지 의문을 제기했다.

사실, 인공지능이 만들어낸 가짜 영상들은 기술이 발전함에 따라 점점 더 식별하기 어려워지고 있다. 마티어스는 “이런 이유 때문에 클래리티 같은 스타트업들은 딥페이크와 쫓고 쫓기는 추격전(a cat and mouse game)을 벌이고 있다”고 설명한다.

문제는 “결국 고양이와 쥐 중에서 누가 이기느냐 하는 것”이다. 일부 사람들은 생성형 인공지능 기술의 용이성 때문에 악의적인 사용자들이 대응 속도가 크게 떨어지는 IT 기업들과 그들을 통제하려는 정부들보다 더 유리한 입장이라고 우려한다. 영국 케임브리지에서 활동 중인 컨설턴트 헨리 아이더는 "이 기술은 믿을 수 없을 정도로 빠르게 진화하고 있다"며 "10년 후 혹은 20년 후에는 어떤 모습으로 변해 있을까?"라고 반문한다. 이어 "딥페이크 제작 기술은 점점 더 접근하기 쉬워질 것이다. 많은 딥페이크가 등장하고 있지만, 우리는 근본적으로 준비가 되어 있지 않을 수 있다"고 걱정한다. 그는 어도비와 페이스북의 모회사 메타 등 다양한 기업들은 물론, 영국 정부에도 인공지능 기술에 관한 조언을 하고 있다.

”허위 선전은 전쟁만큼 오래됐다”는 속담이 있다. 2022년 오픈AI가 챗GPT의 첫 번째 버전을 출시한 이후 생성형 인공지능의 인기는 정말 폭발적이었다. 덕분에 일반 사용자들 스스로 영상을 만들 수 있는 능력이 크게 향상됐다. 일례로 패딩을 입고 있는 프란치스코 교황이나, 버스 운전을 하는 킴 카다시안의 모습이 만들어졌다. 이런 종류의 딥페이크 정도라면, 생성형 인공지능이 일반인들에게 미치는 영향은 미미할 수 있다. 하지만 전쟁에서 딥페이크는 큰 혼란을 야기하고, 치명적인 결과를 초래하는데 악용될 수 있다.

2022년 2월 러시아의 우크라이나 침공(수 세대 만에 벌어진 유럽 최대의 지상전이다) 후 며칠 만에 볼로디미르 젤렌스키 우크라이나 대통령이 페이스북에 나타났다. 그는 자국 군인들에게 항복하라고 말하고 있었다. 며칠 후 트위터에서 블라디미르 푸틴 러시아 대통령도 자국 군대에 무기를 내려놓으라고 명령하고 있었다. 심하게 흔들리는 카메라와 흐릿한 화면 때문에, 두 영상 모두 가짜임이 빠르게 드러났다. 하지만 그 사례들은 인공지능 기술이 발전하면 언젠가 어떤 일이 벌어질지를 잘 보여줬다.

이제 그런 날이 도래했다. 정부 사무실이 됐든 집이 됐든, 생성형 인공지능 도구를 쉽게 접근할 수 있게 됐다. 따라서 이 기술로 가짜 콘텐츠(과거에는 제작하는데 숙련 기술이 필요했다)를 쉽게 만들 수 있다. 미국 싱크탱크 애틀랜틱 카운슬 산하 디지털 법의학 연구소(분쟁 지역의 SNS 사이트를 면밀히 추적한다)의 라일라 매시쿠어에 따르면 딥페이크는 이스라엘 전쟁의 각 방면에서 악용되고 있다. 그녀는 “양측 모두 딥페이크를 뿌리고 있다. 발코니에서 군인들을 응원하는 이스라엘 국민들의 모습을 인공지능 기술로 조작한 친이스라엘 인스타그램 계정이 대표 사례”라고 주장한다. 많은 사람들은 휴대폰 화면에 쏟아지는 정보의 쓰나미로 인해 모든 것을 신뢰할 수 없게 됐다. 매시쿠어는 "심지어 진짜 사진임에도 가짜라고 주장하기도 한다. 이제 사람들은 명백한 진실을 파악하기 더욱 어려워졌다”고 지적한다.

마티어스가 자신의 AI 스타트업 이름을 클래리티(명확성이라는 뜻)로 정했을 때도, 바로 그런 문제를 바로 잡으려고 했던 것이다. 전쟁이 발발하자, 그의 팀은 즉시 행동에 나섰다. 마티어스에 따르면 수백 개의 영상들과 사진들이 인터넷을 도배했다. 일부는 공격 중 하마스가 촬영했거나, 또 일부는 초토화된 가자 지역 주민들이 촬영한 것이었다. 전 세계 언론사들은 딥페이크를 가려내기 위해 클래리티에 도움을 청하는 메일을 보내기 시작했다(그는 포춘이 그 고객들을 밝히는 것에 동의하지 않았다).

전쟁 이후, 온라인상에는 수많은 가짜 정보가 넘쳐났다. 패션모델 벨라 하디드가 자신의 친팔레스타인 정서에 대해 사과하는 모습은 사실 합성한 오디오였다. 요르단 라니아 여왕이 "나는 이스라엘 편"이라고 말한 영상도 그녀의 CNN 출연 장면에 인공지능이 만든 오디오를 덮어씌운 가짜였다. 자국 전투기들이 이스라엘 탱크를 파괴하는 장면을 보여주는 하마스의 영상은 실제로는 우크라이나 전쟁에서 도용한 것이었다. 하마스가 이스라엘 헬리콥터 두 대를 격추하는 또 다른 비디오는 어떤가? 그것은 '아르마 3' 비디오 게임에서 가져온 것이었다.

캘리포니아 팰로 앨토와 텔아비브에 본사를 둔 클래리티는 또한 이스라엘 정보기관들과 협력, 전쟁 영상의 진위 여부를 가려내고 있다. 마티어스를 포함한 클래리티의 거의 모든 임직원은 의무 복무 기간 동안 이스라엘 국방군의 정예 기술 부대에서 스킬을 연마하며 몇 년을 보냈다. 마티어스 자신은 ‘8200’으로 알려진 최정예 정보 부대에서 복무했다. 대원들은 제대 후 수많은 글로벌 스타트업을 창업했다.

이런 배경을 가진 마티어스는 조언과 자본을 구하기 위해 노련한 창업자 네트워크를 활용했다. 클래리티의 에인절 투자자 우디 모카디—신원 보안 회사 사이버아크를 설립했고, 역시 ‘8200’ 출신이다—는 "클래리티는 새로운 분야에서 혁신을 일으키고 있다"고 말한다. 현재 사이버아크 회장을 맡고 있는 그는 딥페이크 탐지 시장이 급성장할 것으로 기대한다. 그는 "딥페이크에 대한 인식이 챗GPT 때문에 갑자기 하룻밤 사이에 커졌다. 이제는 사람들이 집에서 딥페이크를 만들 수 있는 지경에 이르렀다"고 지적한다.

클래리티는 영상이 100% 진짜인지 혹은 가짜인지 인증하지 않는다. 대신 인공지능 기술을 사용, 영상 속의 수많은 데이터 규명 요소들(data points)을 추적한다. 예를 들어, 사람의 안면 경련이나 목소리 억양 등을 파악하는 것이다. 그런 다음 신경망을 활용, 계기판에서 녹색과 빨간색으로 정확도의 수준을 보여준다. 마티어스는 "한마디로 인공지능과 인공지능의 대결”이라고 설명한다. 이란이 지원하는 헤즈볼라 지도자가 10월 7일 하마스의 공격을 비난하는 영상처럼 일부는 명백한 딥페이크였다(마티어스는 "안타깝게도 가짜 영상이었다”고 아쉬워한다). 하지만 다른 영상들은 그렇게 명확하지 않기 때문에, 인공지능으로 훈련한 기계 대신 인간의 판단이 필요하다.

클래리티만 딥페이크와 외로운 싸움을 벌이는 건 아니다. 지난 몇 년간 여러 유사한 스타트업들이 설립됐다. 뉴욕의 리얼리티 디펜더와 에스토니아의 센티넬이 대표적이다. 거대 IT 기업들도 가짜 영상에 집중하고 있다. 메타는 2024년 1월부터 각 선거 캠프가 페이스북 광고에 올린 인공지능 생성 콘텐츠에 대해 별도 표시를 하도록 할 계획이다. 한편, 구글은 현재 사진 콘텐츠 출처에 대한 데이터를 요구하고 있다.

각국 정부 또한 딥페이크 방지를 위해 노력하고 있다. 조 바이든 대통령은 지난 10월초 "안전하고 신뢰할 수 있는 " AI의 개발 및 사용에 대한 행정명령을 발표했다. 그에 따라 상무부가 콘텐츠 진위를 인증하고, 인공지능이 만든 콘텐츠에 워터마크를 넣는 방법을 강구하도록 했다. 하지만 이런 규정을 위반하는 사람이나 기관에 대한 제재 조항은 없었다.

같은 달, 각국 관계자들은 중국 등 28개국이 참석한 영국 인공지능 정상회담에서 유사한 조치에 동의했다. 아울러 27개국으로 구성된 유럽연합(EU)에서는 인공지능 법안이 미로처럼 복잡한 과정을 거쳐 마침내 조금씩 성과를 내고 있다. 이 법은 인공지능의 안전 기준을 시행하고, 스타트업에 자금을 지원하는 내용을 골자로 한다. EU 고위 관계자들은 허위 정보를 단속하지 않는 SNS 플랫폼 기업들에는 막대한 벌금을 부과하려 한다.

영국의 AI 컨설턴트 아이더는 "AI가 재앙적인 위험을 초래할 수 있다는 공감대가 점점 더 형성되고 있다"며 "그들은 우리가 지난 18개월간 목격해 온 무법 지대(Wild West)가 그 영향력을 더욱 키우는 방식으로 영원히 지속되는 상황을 피하고 싶어 한다”고 주장한다.

이스라엘이 가자 지구에서 벌이는 치열한 전쟁만큼 더 큰 ‘이해관계’가 걸린 건 없을 것이다. 실제로 미국 군함들이 근해에 주둔하고 있고, 이란과 레바논은 교전 가능성에 대비하고 있다. 클래리티는 지난 몇 주간 벌어진 전쟁 동안 유포된 수백 개의 참혹한 영상들과 사진들을 분석하고 있다. 아울러 그것들이 앞으로 미칠 영향에 대해 고심해 왔다.

종종 끔찍한 영상을 봐야 하는 일이 클래리티의 소수 인력에 미치는 영향은 너무나 명백하다. 마티어스는 “전쟁이 끝난 후 직원들이 반드시 외상후 스트레스 장애 치료를 받아야 할 것”이라며 "우리가 직면한 전쟁이 개인에게 정말 큰 영향을 미친다는 사실을 알고 있었다. 이번 일은 우리 팀 전체에 깊은 감정의 상처를 남기는 동시에 우리 역할의 중요성도 느끼게 하고 있다”고 강조한다.

/ 글 VIVIENNE WALT 기자 & 이세연 기자