*역주: Deepfake는 딥러닝과 페이크의 합성어다. 스스로 학습하는 딥러닝 기술을 통해 영상 합성, 조작을 하는 것을 의미한다.

학계와 입법부, 거대 IT기업들이 AI의 도움으로 탄생한 거짓 미디어의 거센 위협에 맞서고 있다. By Bernhard Warner

좀비 떼처럼 ‘그들’이 계속 몰려오고 있다. 시작은 일반인이 만든 수상쩍은 포르노에 여배우 갈 가도트 Gal Gadot와 스칼릿 조핸슨 Scarlett Johansson의 얼굴을 합성한 영상이었다. 그 다음에는 디지털화된 버락 오바마와 도널드 트럼프가 실제로 말한 적 없는 내용들을 말하는 동영상이 두 사람의 동의 없이 만들어졌다. 이후 6월에는 페이스북의 CEO 마크 저커버그가 인터넷상에서 개인정보의 확산에 대해 소름 끼치는 발언을 하는 영상이 올라왔다. 이 또한 머신러닝이 만든 가짜였다.

바야흐로 딥페이크 Deepfakes의 시대다. 이는 인공지능이 만든 새로운 위협이다. 가령 특정 인물이 한 적 없는 말을 하는 동영상이나 음성파일, 수많은 셀카 사진에서 추출한 얼굴을 기반으로 그럴싸한 얼굴 영상, 심지어 가 본 적 없는 장소에 가서 만난 적 없는 사람들과 교류하는 모습을 조작한다. 머지않아 딥페이크는 추태를 부리는 정치인, 가짜 뉴스를 보도하는 앵커, 직원들을 속이는 가짜 경영진 등을 만들어 낼 우려가 크다.

지금까지 딥페이크의 최대 피해자는 여성이었다. 6월 말, 사용자가 평범한 여성 사진을 업로드하면 가짜 누드 사진을 만들어 주는 ‘딥누드 Deepnude’라는 앱이 언론을 통해 알려졌다. 논란 끝에 딥누드의 판매는 중지됐다.

딥페이크가 기분 나쁜 사진 정도를 넘어, 선거를 교란하고 상장기업의 주가를 폭락시키는 등 악의적으로 이용될 가능성에 대한 우려가 있다. 갈등은 나날이 고조되고 있다. 미 의회에서는 일부 의원들이 딥페이크 금지를 추진 중이다. 대형 기술기업들은 자체 연구로 해결책을 만들 수 있다고 믿는다. 하지만 이 전쟁의 최전선에 있는 디지털 인권 운동가·연구자·학자들은 딥페이크에 맞설 수단이 부족하다며 한탄한다.

뉴욕시에 위치한 인권단체 위트니스 Witness의 샘 그레고리 Sam Gregory 프로그램 디렉터는 “딥페이크를 만드는 것이 알아차리는 것보다 훨씬 쉽다”고 지적한다. 컴퓨터를 잘 몰라도 딥페이크를 만들 수 있는 시대가 곧 올 것이다.

딥페이크와 표정재연(facial reenactment)—한 사람의 표정을 다른 사람의 얼굴에 복사하는 기술—등 AI기반 ‘합성 미디어(synthetic media)’는 미디어기업이나 관련 시민단체에 대한 신뢰를 손상시킬 수 있다. 위트니스는 이들을 대상으로 합성 미디어 구별법을 교육하고 있다. 또한, IT기업에는 가짜 영상에 대한 제재 강화를 요구하기 시작했다. 그레고리는 “합성 미디어를 만드는 상품만 팔지 말고, 이를 감지할 수 있는 상품도 출시해야 한다”고 강조한다.

소프트웨어 제조사 어도비 시스템스는 이 논란의 양쪽 모두에 해당한다. 어도비 리서치 Adobe Research 소속 컴퓨터과학자들은 지난 6월, 영화 속 인물의 입에 문자 그대로 말을 집어넣을 수 있는 강력한 문자-음성 변환 머신러닝 알고리즘을 시연했다. 어도비 측은 가짜를 판별하는 기술 또한 내부적으로 개발 중이라고 밝혔다. 최근 어도비의 인기 사진보정 소프트웨어 포토숍으로 수정한 이미지를 구별하는 법에 대한 연구를 공개한 것이 한 예다. 하지만 관련 연구자나 디지털 인권 운동가들은 “딥페이크의 사실성을 높이려고 연구하는 오픈소스 지향 아마추어·독립 개발자들의 노력이 훨씬 조직적이어서 구별이 점점 어려워지고 있다”고 지적한다.

현재로서는 악당에게 유리한 상황이다.

의회가 관심을 보이기 시작한 이유다. 미 하원 정보위원회는 지난 6월, 인공지능·합성매체·딥페이크로 인한 국가안보 위협에 대한 공청회를 개최했다. 같은 날, 뉴욕 주 민주당 하원의원 이베트 클라크 Yvette Clarke는 딥페이크 책임법(DEEPFAKES Accountability Act)을 발의했다. 사기와 사취, 사회불안을 유발하는 목적의 합성미디어를 범죄로 규정하려는 미 의회 최초의 법적 시도였다. 버지니아·텍사스·뉴욕 주의회도 딥페이크 관련 법안을 발의 혹은 제정했다. 이를 기점으로 향후 법적 규제가 쏟아질 전망이다.

AI 연구소 오픈AI의 잭 클라크 Jack Clark 정책디렉터는 6월 공청회에 출석, 딥페이크 문제에 대해 증언했다. 그는 포춘과의 인터뷰에서 “업계, 학계, 정부가 협력”해 해결책을 찾아야 할 때라고 주장했다. 그는 과거 공공과 민간이 무선통신망과 공공인프라 규제에 관한 기준을 공동 개발했던 사례를 들며, “AI의 중요성을 고려할 때 향후 비슷한 노력이 필요할 것으로 예상된다”고 말했다.

정부 개입을 방지하기 위해, IT업계는 표현의 자유를 지나치게 제약하지 않으면서도 이 문제를 관리할 방안을 찾고자 노력 중이다. 유튜브는 사용자 신고가 들어온 딥페이크 영상 다수를 삭제했다. 최근 페이스북의 저커버그 CEO도 “인간 관리자와 자동 기술을 모두 활용, 딥페이크를 통제하는 방안을 검토하고 있다”고 밝혔다.

현재 만들어지는 대부분의 딥페이크 및 AI기반 합성미디어는 생성적 적대 신경망(generative adversarial network · GAN)이라는 기술을 기반으로 한다. GAN은 2014년 캐나다 몬트리올에서 박사과정을 밟던 이언 굿펠로 Ian Goodfellow가 개발했다. 이후 그는 구글을 거쳐 올해부터 애플에서 일하고 있다.

GAN의 등장 전까지, 머신러닝 알고리즘은 대량의 데이터 학습을 통해 이미지를 판독하는 데에는 비교적 좋은 성과를 보였지만, 그것이 사실상 전부였다. 그러나 컴퓨터 처리능력의 향상 등 신기술에 힘입어 등장한 GAN이 기술의 판도를 바꿨다. GAN을 활용한 알고리즘은 사진을 분류할 뿐만 아니라 생성할 수도 있다. GAN에 서 있는 사람의 옆모습을 입력하면, 그 사람의 앞모습이나 뒷모습도 아무런 추가 자료 없이 만들 수 있다.

연구자들은 GAN의 등장을 즉각 환영했다. 우리를 둘러싼 세상에 대한 그간의 지리정보적 공백을 채울 수 있게 됐다는 이유였다. 너무 멀리 떨어져 망원경 관측이 불가능한 은하계의 부분들이 대표적 공백이다. 하지만 일부 프로그래머는 이 기술을 실제와 아주 흡사한 유명인 포르노를 만들 기회라 판단했다.

온라인 커뮤니티 사이트 레딧 Reddit의 사용자 ‘딥페이크스’가 바로 그런 사람이었다. 이 사용자는 2017년 말, 유명 할리우드 여배우와 놀랄 만큼 닮은 여성이 등장하는 성인 동영상을 올렸다. 딥페이크 사태의 시작이었다.

얼마 후, 머신러닝 전공 박사 조르조 파트리니 Giorgio Patrini가 GAN 모델링의 활용에 매료됐다. 하지만 곧바로 우려를 느낀 그는 연구소를 떠나 ‘딥페이크 백신’ 개발을 목표로 벤처기업을 공동 설립했다. 바로 네덜란드에 위치한 딥트레이스 랩스 Deeptrace Labs다. 고객사들은 자사 콘텐츠의 조작 여부를 검사하거나, 일반인 제작 영상의 진실성 여부를 검증할 수 있는 수단을 기자들에게 제공하려는 미디어 기업 등이다. 파트리니는 최근 몇 달간 기업 브랜드·평판관리 담당자와 네트워크 보안 전문가들의 연락도 받았다고 밝혔다.

“딥페이크 자체도 문제지만, 향후 이 기술이 사기나 사람들의 비밀정보를 가로챌 목적으로 사용될 가능성이 특히 걱정된다.” 파트리니의 말이다.

미국 캘리포니아주 샌타클라라에 위치한 맬웨어바이츠 랩스 Malwarebytes Labs도 지난 6월 AI기반 위험 보고서에서 유사한 경고를 했다. ‘딥페이크는 현실과 놀랍도록 유사해 사용자가 진위 여부를 판별하기 어려운 기업·개인 대상 피싱 공격에 사용될 가능성이 있다.’ 이 보고서는 ‘가짜 상사가 영상통화를 걸어, 회사에서 처리할 출장 경비를 지금 특정 계좌에 현금으로 이체하라고 명령하는 상황을 상상해 보라’고 경고했다.

결국 딥페이크 시대에는 유명인이 아니어도 주연이 될 수 있다.