반도체는 인공지능에 필수적이다. AMD의 리사 수 CEO는 천금 같은 기회를 노리고 있다.

소프트웨어가 지난 20년간 전 세계를 휩쓴 후 실리콘 밸리의 ‘반도체’ 산업이 다시 부활하고 있다. 생성형 AI의 마법을 실현하기 위해서는 강력한 하드웨어가 (아주 많이) 필요한 것으로 나타났기 때문이다. 그리고 칩메이커 엔비디아는 고성능 그래픽 처리장치로 그 기회를 잘 살려 반도체 시장을 지배하는 챔피언에 등극했다.

AI에 최적화된 엔비디아 GPU에 대한 수요는 너무나 강력하다. 그 결과, 지난 5월 투자자들은 이 회사 주식의 시가총액을 1조 달러(약 1360조원) 이상으로 끌어 올렸다. 지난해 사우디아라비아의 국내총생산(GDP)과 맞먹는 수준이다. AI 기반 경제에서 반도체는 분명 석유만큼 중요한 요소가 될 잠재력을 갖고 있다. 하지만 빠르게 변화하는 기술산업에서는 시장 리더조차 우위를 유지하려면 현상에 안주하거나 기존 경쟁력에만 의존할 수 없다.

가죽 재킷이 트레이드 마크인 엔비디아의 CEO 젠슨 황은 같은 도시(캘리포니아 샌타클래라)에 있는 반도체 업체로부터 가장 심각한 위협을 받고 있다. 이 라이벌은 독보적인 경쟁력으로 무장하고 있다. 그것은 바로 뛰어난 그래픽 처리 기술과 수년간 업계 거인들과 싸워오며 구축해 온 강인한 기업 이미지다. 리사 수가 이끄는 AMD의 현재 목표는 AI 반도체 시장의 상당 부분을 차지하는 것이다. 더 나아가 AI 혁명이 활짝 꽃을 피우면, 엔비디아를 제치고 업계 리더에 오르는 원대한 꿈을 꾸고 있다.

수는 9월 중순 포춘과의 인터뷰에서 “AI가 AMD의 성장 스토리의 다음 장을 쓸 기회라고 생각한다”며 “현재 전 세계에는 우리가 가진 지적 재산과 고객층의 수준에 필적할 만한 기업들이 거의 없다. 솔직히 그들은 전 세계적으로 AI의 채택 방식에 커다란 영향력을 행사할 기회도 없다. 하지만 우리는 그런 기회를 갖고 있다”고 자신감을 드러냈다.

수가 AI 반도체 시장-그녀는 2027년까지 1500억 달러(약 203조 7750억원) 규모로 성장할 것으로 예상한다-에서 AMD의 기회를 장담하는 데는 그럴만한 이유가 있다. 그녀의 회사는 PC와 서버 마이크로프로세서 시장에서는 인텔의 ‘만년 들러리 업체’로 가장 잘 알려져 있을지 모른다. 하지만 AMD는 지난 2006년 비디오 게임 가속기를 전문적으로 생산하는 캐나다 반도체업체 ATI를 인수한 덕분에, 현재 GPU 분야에서는 2인자 자리를 지키고 있다. GPU는 오픈 AI의 GPT-4와 구글의 바드 같은 AI 모델들을 훈련시키는데 최적화된 반도체 종류다.

엔비디아(일부 추정치에 따르면 AI 훈련 시장의 90% 이상을 점유하고 있다)가 자사의 가장 강력한 AI 반도체 H100의 수요를 맞추기 위해 분투하는 가운데 수는 이번 분기에 라이벌 제품 MI300의 출시를 통해 정면대결을 준비하고 있다.  

리서치업체 모닝스타의 기술 섹터 책임자 브라이언 코렐로는 “2024년에는 엔비디아의 GPU가 동나는 바람에, 고객들이 AMD 제품만 사용해야 하는 시나리오를 분명 상상할 수 있다. 즉, 제품을 구할 수 있는 ‘가용성’만으로 AMD가 일부 시장을 차지하는 상황이 충분히 벌어질 수 있다”고 전망한다.    

그는 이어 “1조 달러를 돌파한 엔비디아의 밸류에이션에 대해 두 가지 질문을 던질 수 있다. ‘이 시장이 얼마나 크냐’와 ‘그들이 앞으로 얼마나 이 시장을 지배할 것이냐’의 문제”라고 부연한다. 엔비디아가 AI 시장의 95%를 장악하고, AMD를 2위로 멀찌감치 따돌린다면 큰 문제가 안 된다. 하지만 코렐로는 만약 70:30의 구도가 형성되면, “AMD로서는 매우 만족할 만한 시나리오가 될 것”이라고 분석한다.  

결국 시장을 어떤 비율로 양분하느냐는 반도체 성능과 유연성, (지금처럼 공급망이 불확실한 상황에서는) 가용성을 둘러싼 싸움으로 귀결될 것이다. 특히 수는 그 동안 숱한 경쟁을 통해 제품을 제때 공급할 수 있는 이 능력(가용성)을 입증해 왔다.

평소 페라리를 즐겨 몰고, 때로는 뻔뻔할 만큼 자신만만한 황은 자신이 설립한 회사를 운영하고 있다. 반면 수(사려 깊고, 솔직하고, 친화적인 성격으로 유명하다)는 훨씬 역사가 오래된 회사를 10년째 이끌고 있다. 그녀는 한때 위기에 처했던 AMD를 살려낸 일등공신으로 꼽힌다.        

수는 세 살 때 타이완에서 미국으로 이민을 왔다(그녀와 황 모두 타이난 출신으로 실제로 먼 친척이다). 이후 그녀는 IBM에서 전기 엔지니어로 탁월한 능력을 인정받았다. 새롭게 떠오르는 제품 사업부도 총괄했다. 이어 프리스케일 반도체에서 최고기술책임자(CTO)로 근무했으며, 2012년 AMD의 수석 부사장으로 자리를 옮겼다. 그리고 2년 뒤 마침내 사장 겸 CEO에 올랐다. 

AMD를 살리기 위한 수의 초기 전략은 PC 시장을 넘어, 게임과 고성능 컴퓨팅 같은 분야로 제품군을 다양화하는 것을 포함했다. 그럼에도 인텔과의 경쟁 관계로 인해 여전히 PC 분야에 고도로 집중해야 했다. 그런 행보는 불가피했을 지 모른다. 하지만 애널리스트들은 AMD의 상황이 엔비디아에 유리하게 작용하고 있다고 분석한다. 

엔비디아는 개발자들이 CUDA라는 인터페이스를 통해 데이터 습득 애플리케이션을 구축할 때, GPU의 병렬처리 능력을 더 쉽게 활용할 수 있도록 지난 10년간 대규모 투자를 해왔다. 하지만 가트너의 애널리스트 앨런 프리스틀리는 AMD가 CPU 분야에서 인텔과 경쟁하는 바람에 “데이터 센터 GPU를 위한 AI 기반 소프트웨어에 엔비디아만큼 심도 있는 투자를 하지 못했다”고 지적했다.  

그는 “엔비디아의 강력한 방어벽은 소프트웨어 생태계”라고 평가했다. 소프트웨어 플랫폼인 CUDA에 비해 AMD의 ROCM 프로그래밍 스택(프로그램에 필요한 하위 시스템이나 구성 요소들의 모임)은 에러가 많고, 움직임이 느린 것으로 유명하다. 
AI 스타트업 라미의 공동 설립자이자 엔비디아의 CUDA 설계자였던 그레고리 디아모스는 AMD가 격차를 줄이고 있다고 믿는다. 그는 “AMD가 범용 AI 프로그램에 수백 명의 엔지니어를 투입해 왔다”고 말한다.

그러나 수조차도 아직 해야 할 일이 많다는 점을 인정한다. 그녀는 “우리 하드웨어가 훌륭하고, 소프트웨어는 시간이 지나며 계속 개선되고 있다고 자신 있게 말할 수 있다”며 “하지만 과거에 만든 일부 AI 애플리케이션들의 경우, AMD와의 통합 작업에는 약간의 노력이 필요하다”고 말한다. 그럼에도 그녀는 ROCM이 새로운 AI 워크로드에 “매우 최적화”되어 있다고 주장한다.

AI의 자연스러운 진화와 함께 AMD는 큰 기회를 잡을 수 있다.

AI 기업들은 많은 작업을 동시에 수행할 수 있는 능력 때문에 GPU를 선호한다. 비디오 게임에서 빠르게 움직이는 풍부한 그래픽 이미지를 구현하는 데 컴퓨팅 파워는 필수적이다. 이런 연산력은 비교적 빠른 시간에 방대한 양의 미가공 데이터로 오픈AI의 GPT-4 같은 거대언어모델(LLM)을 훈련하는 데 쉽게 사용할 수 있다.

그러나 많은 애널리스트들은 AI 시장의 더 큰 파이는 LLM의 훈련이 아니라 효율적인 활용에 있다고 믿는다. 그것은 바로 AI가 일상 생활의 일부가 됨에 따라 예상되는 수십억 개의 질문에 응답하는 시스템을 구축하는 것이다. 이것을 ‘추론’이라고 부른다(제시된 미가공 데이터와 관련된 것들을 추론하기 위해 AI 모델이 훈련을 활용하는 과정을 포함하기 때문이다). 그리고 GPU가 추론을 위해 반드시 필요한 핵심 칩으로 남을지는 앞으로 지켜볼 일이다.

메타와 구글 등 소위 ‘하이퍼스케일러(대규모 크라우드 서비스 공급업체)’ 기업들이 이미 TPU 같은 자체 AI 칩을 개발하려는 노력에서 알 수 있듯, 대기업들은 궁극적으로 AI 서비스의 효율적 제공에 특화된 반도체를 원할 것이다. 또한 많은 이들은 추론 시장에서 CPU의 역할이 중요하다고 보고 있다. AMD의 전통적인 강점에 유리한 변화다.

곧 출시될 MI300 시리즈 데이터 센터 칩은 CPU와 GPU를 결합한 형태다. 수는 “칩 설계구조에 탑재한 일부 선택사양 때문에 우리는 장차 추론 솔루션 업계의 선두주자가 될 것”이라고 자신한다.

모닝스타의 코렐로는 시장이 진화하고 있다는 점에 동의한다. 아울러 AMD의 라이벌 인텔이 새로운 AI 프로세서인 가우디2(훈련용)와 그레고(추론용)를 앞세워 엔비디아에 도전하려는 자체 노력도 눈여겨보고 있다. 그는 “이런 모든 회사들이 엔비디아에 의존하지 않고, 더 많은 경쟁을 원하고, 소프트웨어를 제작하고, AI 모델들을 이전하려는 동기는 당연히 많다. 또한 이들은 건강한 생태계를 구축하는데 필요한 모든 조치를 취하려 할 것이다. 이 생태계는 엔비디아와 AMD와 아마도 인텔은 물론 그들 모두가 개발 중인 자체 반도체까지 전부 포함한다”고 분석한다.

엔비디아는 추론에 “크게 집중하고 있다”고 밝혔다. 엔비디아 대변인은 포춘과의 인터뷰에서 회사의 GPU 추론 성능은 지난 1년간 8배나 증가했으며, 엔비디아는 “자체 로드맵에 따라 추론에 투자하고 있다”고 설명했다.

회사는 또한 “우리가 영원히 업계 유일 옵션은 아닐 것이며, 고객들이 여러 공급업체들의 대안을 원하는 것이 당연하다는 점을 잘 알고 있다”고 밝혔다. 엔비디아 대변인은 “경쟁적인 생태계가 AI 분야에 도움이 된다. 그것이 최신 기술을 더욱 빠르고, 효율적으로 촉진하기 때문이다. 우리는 분명 경쟁을 장려하고 환영한다”고 말했다.

리사 수도 단지 클라우드를 통해 AI 역량을 발휘하는 데이터 센터만을 목표로 하는 것은 아니다. 사람들의 개인 기기와 인터넷에 연결된 다른 장치에서도 직접 AI를 활용할 필요가 있기 때문이다. 그녀는 포춘과의 인터뷰에서 “우리가 실제로 AI 컴퓨팅 사용량의 상당 부분을 차지해야 성공적이라고 말할 수 있다”고 밝혔다.

물론 엔비디아도 이런 모든 분야들을 노리고 있다. 그래서 H100 GPU와 결합한 그레이스라는 새로운 ‘슈퍼칩’을 앞세워 고성능 CPU 사업에 뛰어들려 하고 있다. 코렐로는 “엔비디아는 여전히 추론 시장도 장악하기를 희망한다. 그럴 가능성은 충분하다”며 “엔비디아를 낙관하는 투자자라면, 그들은 아마 엔비디아 칩과 네트워크(혹은 둘 중 하나)를 통해 실행되는 모든 유형의 AI 프로세스가 시장을 완전히 휩쓴다고 믿고 있을 것”이라고 설명한다. 

코렐로는 엔비디아가 업계 1위를 고수하고 있지만, AMD도 강력한 2위 자리를 앞세워 “남들이 매우 부러워할 만한 훌륭한 비즈니스를 구축하고 있다”고 생각한다. 수도 회사가 AI의 폭발적인 성장을 최대한 활용할 것이라고 단호하게 말한다.

그녀는 “지난해 생성형 AI가 광범위하게 채택되며, 이 산업이 정말 빠른 속도로 성장할 수 있는 여지가 있다는 점이 매우 분명해졌다”며 “우리는 앞으로 5년 넘게 50%의 연평균 성장률(CAGR)을 기대하고 있다. 수백억 달러의 매출을 예상할 수 있는 이 정도 규모의 시장은 거의 없다”고 강조했다.