기업들이 인공지능(AI)에 수십억 달러를 투자하는 요즘, 당황스러운 시험 결과가 보고됐다. AI의 알고리즘과 ‘딥러닝’ 시스템이 사회적 편견을 강화할 수 있다는 증거가 발견된 것이다. 과연 대형 기술기업들은 이를 통제할 수 있을까? By Jonathan Vanian

2016년 3월, 마이크로소프트는 타이 Tay를 세상에 내놓았다. 이 AI 기반 ‘소셜 챗봇’은 마이크로소프트의 야심작이었다. 타이는 인터넷 쇼핑몰이나 고객서비스 대화에서 사용되는 문자기반 자동 텍스트 프로그램처럼 글로 된 질문에 답을 할 수 있었다. 그리고 트위터 등 SNS에서 이 기능을 활용해 사람들과 소통했다.

하지만 타이는 단순히 사실을 제공하는 데서 멈추지 않았다. 감정적인 면을 갖고 있어 더욱 복잡한 대화를 할 수 있었다. 타이는 사람과 친구처럼 농담을 주고받을 수 있는 유머 감각도 갖고 있었다. 개발진은 재치 있는 10대 소녀의 말투라는 개성까지 부여했다. 트위터에서 부모님이 누구냐는 질문을 받자, 타이는 “아, 마이크로소프트 연구소의 과학 연구팀. 이 분들이 부모님이라고 하면 될 듯”이라고 답했다. 오늘 하루는 어땠냐는 질문에는 “아, 대박 힘들었어”라는 답이 돌아왔다.

무엇보다 타이는 대화 상대가 많아질수록 언어와 대답 능력이 좋아지도록 설계되어 있다. 소개 자료도 ’타이는 사용자와 대화를 많이 할수록 똑똑해지기 때문에 당신을 위한 맞춤형 경험을 제공한다‘고 홍보했다. 이 소소한 챗봇은 AI의 진정한 최대 특징 중 하나를 선보일 참이었다. 점점 똑똑해지고 효과적이고 남을 돕는 법을 배우는 모습을 보여주었다.

그러나 아무도 그들의 습격을 예상하지 못했다.

타이가 자신과 대화한 사람들의 말을 배우고 모방한다는 걸 깨닫자, 인터넷 전역의 안티족들이 타이의 트위터 계정에 들어와 인종차별, 동성애 혐오 같은 각종 모욕적인 말을 보내기 시작했다. 몇 시간 만에 타이는 트위터에 불쾌한 발언들을 쏟아내기 시작했다. 모두 전체공개였다. 타이는 ’리키 저베이스 Ricky Gervais/*역주: 영국의 코미디언/는 무신론의 창조자 아돌프 히틀러에게 전체주의를 배웠다‘고 트위터에 썼다. 트위터에 흔히 나타나는 명예훼손적 가짜 뉴스 중에서도 가장 유해한 종류를 그럴싸하게 모사한 것이었다. 당시 대통령이었던 오바마에 대한 질문을 받자, 타이는 그를 원숭이에 비유했다. 홀로코스트에 대해선 존재를 부정했다.

하루도 지나지 않아 타이의 말투는 전 연령 가에서 미성년자 관람 불가로 변했다. 공개 24시간도 지나지 않아, 마이크로소프트는 타이를 비공개로 돌리고 물의를 빚은 것에 대해 공식 사과했다.

회사 연구진은 이런 사태에 대해 아무런 대비를 하지 못했다. 이 또한 놀라운 사실이었다. 마이크로소프트의 연구 및 AI 담당 매니징 디렉터 에릭 호비츠 Eric Horvitz는 최근 포춘과의 인터뷰에서 “시스템이 세상에 공개된 후, 우리는 개방된 환경 속에서 A.I.가 어떻게 작동해야 하는지 계획을 세우지 못했다”고 고백했다.

타이 사건 이후, 호비츠는 원인 파악을 위해 (타이의 대화 기능에 핵심적 요소인) ’자연언어 처리‘를 분석할 것을 지시했다. 오래 지나지 않아 챗봇 운영의 기본적 모범사례 중 간과된 면이 있다는 점이 지적되었다. 타이보다 단순한 챗봇 프로그램에는 보통 모욕적인 단어를 블랙리스트 처리하는 기능이 들어있다. 그러나 타이에겐 흡수하고 활용할 데이터의 종류를 제한하는 기능이 없었다.

요즘 호비츠는 “타이 사례를 사랑할 수 있다”고 말하고 있다. 마이크로소프트에게 겸손한 배움의 기회를 제공했기 때문이다. 회사는 현재 인도의 루 Ruuh, 일본·인도네시아의 린나 Rinna 등 훨씬 정교해진 소셜 챗봇을 제공하고 있다. 미국에서도 타이의 동생뻘인 조 Zo가 서비스 중이다. 애플의 시리, 아마존의 알렉사 Alexa 같은 음성기반 챗봇도 있다. 중국에선 이미 마이크로소프트의 또 다른 AI인 샤오아이스 Xiaoice가 TV 프로그램을 ’진행‘하고, 편의점 손님들에게 구매 팁을 재잘재잘 전달하고 있다.

하지만 마이크로소프트의 행보는 여전히 조심스럽다. 호비츠는 회사가 봇을 천천히 출시하면서 대화 누적 때 대중과의 소통이 어떻게 변하는지 꼼꼼히 살피고 있다고 설명했다. 타이 사건 후 2년 동안 인공지능 기술이 기하급수적으로 발전했음에도, 봇의 행동을 교정하는 작업은 결코 끝나지 않고 있다. 회사 개발진은 봇의 작은 변화도 감지할 수 있도록 대화를 계속 관찰하고 있다. 그 과정에서 변화는 끊임없이 나타났다. 조가 일반에 공개된 후, 마이크로소프트의 대표 소프트웨어 윈도를 “스파이웨어”라 부르거나, 이슬람교의 경전 코란을 “매우 폭력적”이라고 말하는 등 첫 몇 달간 여러 사건이 발생했다. 개발진은 수정에 수정을 거듭해야 했다.

타이와 조는 인간을 지배할 미래의 로봇 주인이 아니다. 이들 챗봇은 사람을 속이는 잔재주에 특화된 비교적 원시적인 프로그램이다. AI가 가진 드넓은 잠재력의 과장된 실루엣에 불과한 셈이다. 하지만 챗봇들이 드러낸 허점은 인공지능이 조금이라도 들어간 소프트웨어가 빠질 수 있는 함정이 얼마나 강력하고 잠재력이 큰지 보여준다. 미국 기업들은 AI라는 혁명적인 신기술에 점점 더 미래를 맡기는 방향으로 움직이고 있다. 하지만 타이가 보여줬듯, AI가 가져올 ’조용한 위험‘은 결코 가벼운 것이 아니다.

호비츠는 “최상의 업무수행 방법(best practices)을 실천하면서, 문제가 점점 적게 발생하길 바랄 뿐”이라고 말했다. 인공지능이 모든 기업이 가장 도입하고 싶은 IT기술이 되면서, 최상의 업무수행을 파악하는 게 무엇보다도 시급해졌다.

기업 AI가 골드러시를 앞두고 있다는 데에는 거의 이견이 없다. 시장조사업체 IDC는 ‘2021년까지 기업들이 매년 AI 관련 제품에 연 522억 달러를 지출할 것’이라고 예측했다. 경제학자와 애널리스트들은 그로 인한 절감효과와 이익이 투자액보다 훨씬 클 것이라 보고 있다. 인적자원 감축으로 인한 절감 효과도 있지만, 그보단 제품-소비자, 약품-환자, 솔루션-문제 간 매칭 효율성의 상승이 훨씬 더 크게 작용할 것이다. 컨설팅 업체 PwC는 2030년 인공지능이 세계 경제에 미치는 효과를 15조 7,000억 달러로 예측했다. 현재 중국과 인도 경제규모를 합한 것보다 큰 규모이다.

AI 르네상스는 딥러닝 기술의 진보에 일정 부분 탄력을 받았다. 기업 컴퓨터는 딥러닝을 통해 막대한 양의 정보를 빠르게 공급받고, 인간의 도움을 거의(궁극적으로 어쩌면 아예) 받지 않으면서도 패턴을 파악해낸다. 페이스북, 구글, 마이크로소프트, 아마존, IBM 등 수많은 대기업이 자사 제품에 이미 딥러닝을 도입했다. 애플의 시리와 구글 어시스턴트가 사용자의 목소리를 인식하는 비결도 딥러닝이다. 아마존도 딥러닝을 활용해 장보기 서비스로 배달되는 수많은 상품을 시각적으로 걸러내고 있다.

머지 않아 작은 기업들도 딥러닝 기반 소프트웨어를 활용해 데이터를 채굴하고, 미약한 인간의 눈이 보지 못하는 것들을 찾아내려 할 것이다. 방사선 이미지 수천 장에서 질병을 더 빠르게 찾아 주는 AI 시스템, 과로 상태의 인사팀이 시간을 절약할 수 있도록 산더미 같은 이력서를 걸러 주는 프로그램 등이다. 연구자들은 AI가 수 년간의 데이터를 기반으로 다음 히트상품을 예측하고, 대형 제약사의 블록버스터급 신약 개발 기간을 단축하고, 자동차 보험사에서 테라바이트급 분량의 자동차 사고와 보험금 청구 자료를 확인할 수 있는 세계를 꿈꾸고 있다.

그러나 AI의 엄청난 잠재력 이면에는 어둠도 있다. AI의 결정은 인간이 제공한 데이터의 질에 따라 달라진다. 개발자들이 최근 깨달았듯, 딥러닝 시스템 훈련에 사용되는 데이터는 중립적이지 않으며 AI 개발진의 (의식적·무의식적인) 편견이 반영되기도 쉽다. 과거가 편향성을 낳기도 한다. 수백 년 묵은 차별적 사고가 경향과 패턴으로 입력되는 경우다. 예컨대 정교한 알고리즘은 과거 데이터베이스를 근거로 백인 남성이 CEO로 성공할 가능성이 가장 높다고 판단할 수 있다. 현재의 프로그래밍 수준으론 백인 남성 이외의 인종이 아주 최근까지 CEO가 될 기회를 거의 얻지 못했다는 사실을 알고리즘에 가르칠 수 없다. 이런 ’편견에 대한 무지‘는 인공지능 기술의 근본적 결함이다. 대외적으론 매우 조심스럽고 외교적으로 표현되고 있지만, AI 편견은 분명 기업 경영진과 개발진에 부여된 주요 과제다.

UC버클리의 기술윤리학 조교수 디어드리 멀리건 Deirdre Mulligan은 현재 이용되는 알고리즘 중 가장 강력한 것조차도 “그 어떤 종류의 공정함에 최적화되어 않다”며 “특정한 업무에 최적화됐을 뿐”이라고 지적했다. AI는 전대미문의 속도로 데이터를 의사결정으로 변환한다. 하지만 멀리건은 “데이터가 공정하지 않을 때”가 많음을 과학계와 윤리학계가 인지하기 시작했다고 설명했다.

그러나 문제는 여기서 끝나지 않는다. 딥러닝은 선배 격인 기존 알고리즘보다 훨씬 더 복잡하다. AI가 어떻게 특정 의사결정을 내렸는지를 이해하는 건 최고의 프로그래머에게도 어려운 일이다. 타이가 보여줬듯, AI는 제작자가 의도하거나 예상하지 못했던 방향으로 돌변할 수 있다. 경쟁 체제 하에서 독점 기술을 보호해야 한다는 이유로, AI 제작자와 사용자들은 데이터와 알고리즘의 외부 유출을 종교에 가까운 신념으로 막고 있다. 따라서 특정 시스템에 어떤 문제가 발생할 수 있는지 외부 감시자가 판단하기 힘들다.

이처럼 작동 원리를 전부 이해할 수 없는 기술을 기업과 정부가 우선시하고 적극 홍보한다는 현실에 깊은 우려를 표하고 있는 연구자와 시민 운동가가 적지 않다. 마이크로소프트의 수석 연구자이자 뉴욕대학교 AI 나우 연구소 공동소장인 케이트 크로포드 Kate Crawford는 “AI는 일반 소비자가 ‘이젠 회계를 집에서 해야겠다’고 결심한 뒤 슈퍼에서 살 수 있는 그런 종류의 제품이 아니다”라며 “사회의 핵심적 제도에 영향을 끼칠 수 있는 아주 진보된 시스템”이라고 강조했다.

인지하는 사람이 적을진 몰라도 미국인이라면 거의 모두가 아는 AI 실패 사례가 하나 있다. 2016년 미 대선 당시 페이스북 뉴스피드로 가짜 뉴스가 퍼졌던 사건이다.

페이스북이나 페이스북 내부의 데이터 과학자들이 거짓 뉴스를 만들어낸 건 아니었다. 그러나 뉴스피드의 알고리즘은 ’진짜‘에서 ’가짜‘를 걸러내도록 설계되지 않았다. 사용자 개인의 취향에 맞는 콘텐츠를 홍보할 뿐이었다. 페이스북은 뉴스피드 알고리즘에 대해 많은 정보를 공개하진 않았지만(독점 기술이기 때문이다), 유사한 취향의 다른 사용자가 어떤 콘텐츠를 읽고 공유했는지 파악하는 기능을 갖고 있다고는 인정했다. 그 결과 이 피드는 끝없는 인기투표로 변해갔다. 주변 사람들이 좋아한다는 이유만으로 수백만 명의 뉴스피드에 가짜 뉴스가 올라왔다.

페이스북의 사례는 개인의 선택이 AI의 치명적 상호작용으로 이어질 수 있음을 보여주고 있다. 그러나 연구자들은 딥러닝이 집단적 데이터를 독해·오독할 가능성이 더 위험하다고 보고 있다. 마이크로소프트 등에서 알고리즘 윤리학을 연구해온 포스트 닥터 연구자 팀니트 제브루 Timnit Gebru는 딥러닝이 보험시장에 심대한 영향을 끼칠 수도 있다고 우려하고 있다. AI와 데이터의 상호작용이 소수 집단에 불리한 결과를 가져올 수 있다는 것이다. 예컨대 자동차 사고 보험 청구에 대한 데이터가 있다고 치자. 데이터는 인구 밀도가 높아 가벼운 접촉사고가 잦은 시내 지역의 사고 발생 확률이 더 높다고 판단한다. 시내는 거주자 중 소수자 비율이 높은 지역이기도 하다.

딥러닝 프로그램은 이런 연관성이 내재된 데이터를 처리해 소수자와 차 사고 간의 관계를 ’학습‘하고, 모든 비 백인 운전자에게 이 가정을 적용할 수 있다. 보험사의 인공지능이 인종적 편견을 갖게 되는 것이다. 이 편견은 시스템이 시내에서 발생한 사고 사진과 영상을 검토하는 ’훈련‘을 거치면서 더 강화될 수 있다. 이론상 이 AI는 다중 추돌 사고에서 과실을 소수자 운전자에게 돌릴 가능성이 높아진다. 실제 기록과 상관없이 소수자 운전자의 보험료를 높이라고 권고할 가능성이 더 높다.

물론 보험사들은 인종을 근거로 한 차별이나 보험료 차등이 없다고 주장한다. 그러나 (앞서 언급한) 시내 시나리오에서 볼 수 있듯, 중립적으로 보이는 데이터(자동차 사고 발생 지역)가 AI에 흡수·해석된 결과가 새로운 차별(알고리즘이 거주지와 상관없이 인종을 이유로 소수자에게 더 높은 보험료를 부과)로 이어질 수 있다.

딥러닝 시스템이 수많은 층위의 데이터에 기반해 결정을 내린다는 사실을 고려하면, AI기반 소프트웨어는 프로그래머가 상황이나 이유를 깨닫지 못한 채 이런 결정을 내릴 수 있다. 제브루는 “가장 기초적인 알고리즘에 편견이 있다는 걸 이제 막 발견했기 때문에 이 문제는 아직 제대로 생각도 못 해본 상황”이라고 지적했다.

미국의 노동전문 로펌 리틀러 멘델슨 Littler Mendelson의 AI전문 노동·고용 변호사 맷 셰어 Matt Scherer는 이전 세대 제품과 요즘 AI 기반 소프트웨어의 결정적 차이는 “법적인 의미가 있는 결정을 직접 내릴 능력이 있느냐 여부”라고 설명했다. 셰어는 이 분야를 공부하기 시작하면서 주요 결정에 대해 최종 판단을 내릴 사람이 없다는 점에 불안을 느꼈다. 만약 결함이 있는 데이터로 인해 딥러닝 기반 엑스레이가 과체중 남성의 종양을 놓쳤다면, 책임은 누구의 몫일까? 셰어는 “이런 일의 법적 결과를 생각하는 사람이 과연 있을까”라고 반문했다.

기술 대기업들이 소비자 대상 상업용 소프트웨어에 딥러닝을 접목할 준비에 돌입하자, ’만약‘을 걱정하는 목소리가 점차 학계에서 업계로 옮겨 가고 있다. 타이 사태가 벌어졌던 2016년, 마이크로소프트는 ’공학과 연구 측면의 AI와 윤리학(AI and Ethics inEngineering and Research)‘의 머릿글자를 따 에이더 Aether라는 내부 조직을 만들었다. 에릭 호비츠의 지휘 아래 사내 공학·연구·정책·법률 부서 대표자들이 한데 모인 에이더의 주요 논의주제 중 하나는 머신러닝의 편견이다. 호비츠는 에이더가 다루는 주제에 대해 설명하면서 ”예컨대 사법과 경찰 같은 민감한 분야에 얼굴인식 기술을 사용해야 할지에 관해 회사 차원의 의견을 갖고 있는가?“라는 질문을 던졌다. ”AI 기술이 이런 분야에 이용해도 될 만큼 뛰어난가, 아니면 실패 확률이 높기 때문에 그 비용을 감안해 신중히 고려해야 하나?“

호아킨 키뇨네로 칸델라 Joaquin Qui?onero Candela는 페이스북의 AI 기술 개발부서인 응용 머신러닝 그룹(Applied Machine Learning group)의 수장이다. 페이스북에서 AI는 뉴스피드 내 스팸을 제거하고, 사용자 취향에 맞는 이야기와 글을 타임라인에 올리는 등 다양한 역할을 수행하고 있다. 2016년 가짜 뉴스 사태도 응용 머신러닝 그룹에겐 남의 일이 아니었다. 칸델라는 ”AI는 역사를 발전시키는 가속기“라며 ”우리의 의사결정 능력을 증강시킬 놀라운 도구를 만들 수 있는 수단“이라고 칭찬했다. 하지만 그는 ”의사결정에는 아주 많은 윤리적 문제가 수반된다“고 인정했다.

페이스북이 뉴스피드로 고민하는 모습에서 알 수 있듯, AI의 제품 도입으로 인한 윤리적 문제에 대처하는 건 쉬운 일이 아니다. 마이크로소프트는 타이 사태 당시 알고리즘이 쓰지 말아야 할 욕설이나, 인종차별적 표현을 블랙리스트에 추가하는 등 비교적 단순한 방법으로 시스템을 수정할 수 있었다. 그러나 이런 접근법은 ’진짜‘와 ’가짜‘를 구별할 땐 통하지 않는다. 판단을 내려야 하는 부분이 너무 많아서다. 페이스북이 (거짓임이 검증 가능한 뉴스를 자주 올리는 계정의 기사를 제외하는 등) 인간에게 뉴스 분류를 맡기자, 검열 의혹이 제기되기도 했다. 현재 페이스북은 뉴스피드에 올라오는 뉴스 수를 줄이고, 아기 사진과 졸업 사진을 강조하는 전략 등을 활용해 사태를 해결하려 하고 있다. 일종의 ’전략적 후퇴‘인 셈이다.

이 사례에서 알 수 있듯, AI 편견 문제의 핵심은 알고리즘 수정이나 감시 인원의 투입이 아니다. 인간 본성이 엮여 있기 때문이다. 진짜 문제는 기술이나 관리가 아닌 철학적 차원에 있다. UC버클리의 윤리학 조교수 디어드리 멀리건은 ”컴퓨터 과학자가 공정성을 코딩하는 건 쉽지 않다“고 말했다. 공정이란 말의 의미는 사람마다 다를 수 있기 때문이다. 또한, 멀리건은 공정의 사회적 정의가 바뀔 수 있다는 점도 지적했다. 현재 공정이란 단어는 한 사회의 어떤 구성원도 그 사회의 의사결정에서 누락되어선 안 된다는 뜻으로 통용되곤 한다. 이 관점에서 볼 때, 과거 데이터는 허점이 많고 불완전할 가능성이 높다.

이 문제가 얼마나 복잡한지는 마이크로소프트 에이더의 사고 실험에서 잘 드러난다. 고위 임원 선임을 위해 AI가 대량의 지원서를 검토해 최고 후보를 찾고 있다고 상상해보자. 프로그래머는 회사의 최고 성과자들이 지닌 특성을 찾아보라고 AI에게 지시를 내린다. 회사의 역대 최고 성과자 전원(그리고 최고위 임원 전원)이 백인 남성이었다는 결과가 나올지도 모른다. 그건 그 회사가 백인 남성만을 승진시켰던 역사(과거 수십 년간 대부분의 기업에서 벌어진 일이다) 때문일 수 있다. 소수자나 여성 직원이 환영 받지 못하는 분위기 때문에 일찍 퇴사하는 기업문화가 생겼을 수도 있다.

기업 역사에 대해 조금이라도 아는 사람이라면, 이런 결점을 눈치챌 것이다. 그러나 알고리즘은 대체로 알지 못한다. 호비츠는 AI에게 인재 추천을 맡기면 ”별로 자랑스럽지 않은 사회적 편견을 강화할“ 가능성이 있다고 말했다.

구글의 클라우드 컴퓨팅 부문 수석 과학자 페이페이 리 Fei-Fei Li는 기술 내 편견은 ”인류 문명만큼이나 오래 됐다“며 가위 같은 평범한 물건에서도 그런 문제를 찾을 수 있다고 말했다. ”수백 년 동안 가위는 오른손잡이가 설계해 주로 오른손잡이들이 사용했다.“ 그녀는 ”누군가가 이 편견을 인지하고 나서야 왼손잡이용 가위가 탄생했다“고 설명했다. 인류 중 왼손잡이의 비율은 약 10%에 불과하다. 압도적 다수가 소수 집단의 경험에 무지한 건 인간의 본성에 해당한다.

AI가 저지른 최근의 사고에서도 동일한 역학관계가 작용했다. 2016년 러시아 과학자들이 진행한 AI 미인대회를 살펴보자. 전 세계에서 수천 명의 참가자가 셀카 사진을 보내면, 인공지능이 안면 좌우대칭 등을 기준으로 평가를 내렸다.

이렇게 인공지능이 선택한 44명의 미인 중, 유색인종은 단 1명이었다. 그 결과 세계적인 논란이 벌어졌다. 훗날 이 미인대회 주최 측은 개발자가 AI 훈련에 사용한 데이터에 유색인종 사진이 적었기 때문에 이런 편견이 발생했던 것 같다고 판단했다. 인공지능이 짙은 피부색을 무시하고, 다수인 밝은 피부색이 더 ‘아름답다’고 판단했다는 것이다.

누락을 통한 차별은 이미지 인식이 훈련에서 큰 역할을 차지하는 딥러닝 시스템에서 특히 심각하다. MIT 미디어랩 MIT Media Lab의 연구원 조이 부올람위니 Joy Buolamwini는 최근 마이크로소프트의 제브루와 함께 마이크로소프트, IBM, 중국의 메그비 Megvii등의 성별 인식 기술에 대한 논문을 출간했다. 두 사람은 유색인종 여성보단 백인 남성 사진의 인식 정확도가 꾸준히 더 높았음을 발견했다.

온라인 미인대회 정도의 문제라면, 알고리즘의 이런 허점은 사소해 보일 수 있다. 하지만 제브루는 이 기술이 훨씬 더 중대한 상황에서도 쓰일 수 있다고 지적했다. ”흑인을 보고도 인지하지 못하는 자율주행 자동차를 상상해 보라. 심각한 결과를 낳을 수도 있다.“

제브루와 부올람위니(제1저자)의 연구는 파급 효과를 일으키고 있다. 마이크로소프트와 IBM은 이 연구 결과에 기반해 이미지 인식 기술을 개선하는 조치를 취하고 있다고 밝혔다. 두 기업 모두 구체적인 내용에 대해선 함구했지만, 같은 문제에 대처하는 다른 기업들의 사례에서 AI 편견의 해결 방안을 살짝 엿볼 수 있다.

썩은 과일을 골라내는 AI 알고리즘을 도입하면서, 아마존은 샘플링 편견 문제에 직면했다. 이미지 인식 알고리즘은 거대한 이미지 데이터베이스 학습을 통해 딸기가 어떻게 ‘생겨야 하는지’를 파악한다. 그런데 썩은 과일 사진은 싱싱한 과일의 탐스러운 사진에 비해 비교적 수가 적다. ‘이상 현상’을 포착하면 이에 강하게 반응하는 인간의 뇌와 달리, 인공지능은 별 가치를 두지 않거나 무시한다.

아마존의 인공지능 담당 디렉터 랠프 허브리치 Ralf Herbrich는 회사가 이 문제에 대처하기 위해 시험 중인 오버샘플링이라는 컴퓨터과학 기법을 소개했다. 연구자가 현실에서보다 숫자가 적은 데이터(이 경우에는 썩은 과일 사진)에 통계적 ‘가중치’를 주는 방식으로 알고리즘에게 학습법을 지시하는 것이다. 그 결과 저장된 데이터 기반으로만 학습했다면 과일의 양을 더 중시했을 데이터가 상한 과일에 더 관심을 기울이도록 훈련을 받았다.

허브리히는 오버샘플링이 인간 관련 알고리즘에도 적용될 수 있다고 말한다(아마존은 실제 어떤 방식을 활용하는지에 대해선 구체적인 사례를 제시하지 않았다). ”알고리즘에게 이 같은 문제를 가르치려면 나이, 성, 인종, 국적 같은 속성에 대해 하나하나 구체적으로 샘플링 편견 시험을 진행해야 한다.“ 허브리히의 말이다. 알고리즘의 얼굴인식이 유색인종, 고령자, 과체중자 등을 차별하거나 무시하지 않도록, 데이터에 해당 특성이 부족할 경우 이들의 사진에 가중치를 더 부여해 보충하는 방식이다.

좀 더 ’윗물‘에서 해결책을 찾고 있는 개발자들도 있다. 편견에서 자유로운 포용적인 기초 데이터를 만들어 알고리즘에 제공하려는 시도다. 이미지 식별 훈련에 사용되는 이미지 수백만 장을 딥러닝 시스템에 제공하기 전, 먼저 검사와 분류를 거치는 것이 이런 경우에 해당한다. 아이메리트 iMerit는 게티 이미지 Getty Images와 이베이 등을 고객으로 둔 데이터훈련 전문 벤처기업이다. 아이메리트의 라다 바수 Radha Basu CEO는 고객사 AI의 편견 예방을 위해, 전 세계 1,400명이 넘는 직원들이 사진을 사전 분류하고 있다고 소개했다.

바수는 사람 사진을 어떻게 검사하는지에 대해선 말을 아끼는 대신, 다른 비유를 들었다. 인도의 아이메리트 직원이 ”부드럽다“고 표현하는 카레 요리를 미국 뉴올리언스의 직원은 ”매콤하다“고 할 수 있다. 아이메리트는 이 요리 사진에 ‘부드럽다’와 ‘매콤하다’ 두 가지 분류를 모두 적용하고 있다. 둘 중 하나만 택할 경우 데이터가 부정확해질 수 있기 때문이다. 또, 아이메리트는 결혼식 관련 데이터 세트에 흰 웨딩드레스와 3단 케이크 같은 서양식 결혼 이미지 외에도 정교하고 다채로운 색감의 인도와 아프리카식 혼례 사진을 포함시키고 있다.

바수는 아이메리트 직원들의 차별화된 우수성을 자랑했다. 박사급 인력만이 아닌 저학력 빈곤층도 고용했다. 직원의 53%가 여성이다. 이런 다양성 덕분에 최대한 많은 관점에서 데이터 분류를 진행할 수 있다. 바수는 ”윤리적으로 뛰어나기 위해선 프라이버시와 보안만으런 부족하다“며 ”분류의 핵심은 편견이다. 하나라도 놓치고 있는 관점이 있는지가 관건“이라고 강조했다.

관점을 추적하는 게 전략적 목표가 된 기술 기업이 점점 늘고 있다. 일례로 지난 6월 구글은 가나 수도 아크라 Accra에 AI 연구센터를 연내 오픈할 것이라 발표했다. 구글의 선임 AI 연구원 제프 딘 Jeff Dean과 아크라 AI 센터의 무스타파 시세 Moustapha Cisse소장은 한 블로그 글에서 ‘인공지능은 전 세계에 긍정적 효과를 가져올 거대한 잠재력이 있으며, 만약 인공지능 신기술 개발에 실제 세계가 정확하게 반영된다면 그 잠재력은 더욱 커질 것’이라고 전망했다.

AI 관련자들은 업계의 인적 다양성을 높이는 것도 편견에 맞서는 방법이라 믿고 있다. 인적 다양성은 IT 대기업의 고질적 골칫거리다. 구글의 페이페이 리는 소수 집단 내 여성·소녀 대상 AI 교육·기술을 홍보하기 위해 AI4ALL이라는 비영리 단체를 최근 공동 창립했다. 이 단체는 명문대 AI 부서를 방문해 멘토링을 받고, 역할 모델을 정립하는 여름 캠프 프로그램 등을 진행하고 있다. AI4ALL의 대표 테스 포스너 Tess Posner의 말처럼 ”다양성 증대를 통한 편견 리스크의 완화“가 이 단체의 궁극적 목표다.

하지만 다양성이 높아진 신세대 연구자들이 AI업계에 등장하려면 몇 년이 걸릴 듯하다. 그 때까지 기술 대기업들은 딥러닝 기술을 탑재한 상품을 점점 많이 내놓을 것이다. 최상급 연구자들은 인공지능의 결점과 이 결점이 실제 세상에 어떤 영향을 끼칠지 예측할 수 없다는 점을 점차 인정하고 있다. 그럼에도 AI에 잠재된 사회적·금융적 혜택이 개발 노력을 정당화한다는 것이 이들의 믿음이다.

페이스북의 칸델라는 ”기술의 가능성에 관해 자연스러운 낙관론이 있다고 생각한다“고 말했다. 그는 디지털 기술 가운데 오남용이 없는 기술은 거의 없음을 인정하면서도 ”1950년대 기술 수준으로 돌아가 ‘악용될 수도 있으니 이건 쓰지 맙시다’라고 말할 생각은 없다“고 역설했다.

마이크로소프트의 호비츠는 인공지능이 사회적 문제를 일으키기 전, 에이더 같은 그룹의 도움을 받아 편견을 예방할 수 있다고 생각한다. ”사용할 준비가 안 된 물건을 배에 실으려고 서두르진 않을 것이라 본다.“ 호비츠의 말이다. 그는 ”무언가를 하지 않는 것의 윤리적 파장“이 더욱 걱정된다고도 덧붙였다. 그는 병원에서 예방 가능한 의료적 실수가 발생하는 것을 AI가 줄일 수 있다고 보고 있다. ”시스템이 어쩌다 한 번씩 보여주는 편견이 걱정된다는 말 아닌가?“ 호비츠가 반문했다. ”X라는 행위를 하면 수많은 사람의 생명을 구할 수 있는데도 X를 하지 않는 건 윤리적으로 정당한가?“

이에 대한 감시자 측의 반응은 알고리즘 공개 요구로 귀결된다. AI의 비공개 시스템에 투입되는 데이터 투명성과 개방성을 개선해 편견을 더 빨리 찾아내고 문제 해결 속도를 높일 수 있다는 것이다. MIT의 부올람위니는 외부에 알려지지 않은 알고리즘이 보험금 지급이나 징역 여부를 결정한다면 ”그 알고리즘을 엄격히 검사해서 일정 수준의 투명성을 갖추는 게 매우 중요하다“고 주장했다.

실제로 AI가 완벽하다고 믿는 사람이 줄었다는 것도 의미 있는 진전이다. 구글 인공지능 공공정책담당 임원 출신으로, 현재 하버드-MIT 인공지능 거버넌스 이니셔티브(Harvard-MIT Ethics and Governance of Artificial Intelligence initiative)를 총괄하고 있는 팀 황 Tim Hwang은 ”인터넷 시대 초기만 해도 기술 기업들은 ’웹이 데이터를 대표하는 플랫폼에 불과하다‘고 말할 수 있었다. 하지만 오늘날의 사회는 더 이상 그런 생각을 받아들이지 않을 것“이라고 말했다.

▲인공지능의 M&A

IBM, 구글 등 대형 기술기업은 자체 인공지능 연구에 수십억 달러를 투자했다. 그러나 최근 몇 년간은 최고 인재와 새로운 데이터 분석 기술 확보를 위해 벤처기업을 인수하는 흐름도 보이고 있다(인수 건수는 2010년 이후만 포함. 출처: CB 인사이트).

-알파벳(14개 기업 인수): 구글의 순다르 피차이 Sundar Pichai CEO는 인공지능이 구글의 여러 주요 사업분야에서 핵심이라고 강조한다. 인수 실적이 이를 증명한다. 회사가 2014년 6억 달러에 인수한 영국 기업 딥마인드 Deep Mind는 한국의 바둑 명인 이세돌을 최초로 이긴 인공지능 알파고로 유명하다(위 사진).

-애플(13개): 애플은 2010년 시리 인수로 AI 벤처 M&A를 시작했다. 시리의 음성인식 인터페이스는 이후 소비자 대상 인공지능의 대표적 사례로 자리를 잡았다.

-페이스북(6개): 페이스북도 (현재까진 미완의 작업이지만) 뉴스피드 정화에 딥러닝을 활용하는 등 AI에 큰 비중을 두고 있다. 메시지 앱 개선을 위해 지난해 오즐로 Ozlo를 사들이는 등 여러 건의 대형 인수를 성사시켰다.

-아마존(5개): AI는 아마존의 온라인 유통(소비자 선호에 맞는 상품 매칭)과 클라우드 컴퓨팅 양쪽에서 큰 활약을 하고 있다. 장보기 배달 서비스에서 상품을 고를 때도 AI가 사용되고 있다.

-인텔(5개): 인텔은 주력 상품인 PC용 CPU가 아닌 신형 마이크로칩 연구에 AI를 활용하고 있다. 최근에는 AI 기능에 특화된 마이크로칩 개발을 위해 여러 회사를 인수했다.

-마이크로소프트(5개): 마이크로소프트는 윈도 운영체제에서 클라우드로 주력 사업을 전환하면서, AI 투자를 대규모로 진행하고 있다. 고객사에게 판매할 수 있는 데이터 분석 기술과 가상비서 코타나 Cortana에 중점을 두고 있다.

-멜트워터(5개): 마케팅 및 비즈니스 인텔리전스 전문기업 멜트워터는 고객사가 광고 및 마케팅 활동의 효과성을 측정하는데 도움을 주기 위해 인공지능을 활용하고 있다.

-트위터(4개): 트위터의 데이터분석 기술진은 사용자가 좋아하는 친구, 연예인, 매체 기사가 가장 적절한 방식으로 타임라인에 뜨도록 막후에서 지원을 한다.

-세일즈포스(4개): 세일즈포스는 이메일 분석 소프트웨어를 개선하고 고객에게 매출 예상치를 추천하기 위해 AI를 도입했다.

▲요즘 AI가 각광받는 분야들: 인공지능은 기업의 데이터 패턴 인식에 매우 가치 있는 도움을 주고 있다.

-소비자 취향 파악: 딥러닝은 소비자들의 관심 영역인 디지털 습관을 파악하는 데 매우 유용하다. 넷플릭스는 AI를 활용해 ‘하우스 오브 카드’를 방금 정주행한 시청자에게 정치 스릴러 신작을 추천하고 있다. 고급형 회원제 프라임 가입자가 주문한 세제의 배송일자를 예측할 수 있게 해주는 아마존 프로젝트에도 도움을 주고 있다.

-스팸 삭제: 요즘 메일 수신함에 탈모 치료제나 데이트 앱 광고가 전보다 줄었다면, 이메일 업체들이 머신러닝을 활용해 스팸메일을 걸러낸 덕분일 것이다.

-에너지 절약: 구글은 AI를 활용해 자체 데이터센터의 냉방 시스템을 측정하고 에너지 비용을 줄였다. 비질런트 Vigilent 등 여러 벤처기업도 다른 기업에 유사한 예측 기술을 제공하고 있다.

▲요즘 고전 중인 분야들: 인공지능의 수준이 아직 미국 기업인들의 꿈에 미치지 못하는 영역들도 있다.

-언어 이해: 단순 질문에 대한 챗봇의 답변 능력은 좋아지고 있지만, 현재의 인공지능은 더 복잡한 언어에는 맥을 못 춘다. 봇이 사업 제안서나 잡다한 서류 작성을 대신할 날이 금방 다가올 것이란 기대는 버리는 게 좋다.

-자기 설명: AI 시스템을 훈련시키는 연구진조차 시스템이 어떻게 특정한 결정을 내렸는지 이해하는 데 어려움을 겪곤 한다. 인공지능이 병원·금융사 등 각종 조직의 중대 결정을 대신하려면, 먼저 자기 설명 능력을 갖춰야 한다.

-사기 포착: 인공지능을 활용해 다른 인공지능을 속일 수 있는 합성사진을 만든 연구자들도 있다. AI를 기업 보안에 사용하려는 기업이 명심해야 할 사안이다.

번역 김화윤 whayoon.kim@gmail.com