진짜 상태는 엔비디아 아니다? 구글 8세대 TPU에 엿보인 구글의 AI 전략 [고든 정의 TECH+]

구글이 지난해 8월 7세대 TPU인 아이언우드를 발표한 지 1년도 채 되지 않아 8세대 TPU를 공개하며 AI 가속기 시장에서 속도전을 벌이는 모습입니다. 이렇게 빠르게 차세대 칩을 내놓았다는 것은 7세대 공개 시점에서 이미 8세대를 개발 중이었다는 이야기입니다. 이는 두 개의 팀을 따로 만들어 비용을 더 투자하더라도 개발 경쟁에서 경쟁자를 앞서겠다는 강한 의지 없이는 불가능한 일입니다.

이번 8세대 TPU의 가장 큰 특징은 사상 처음으로 학습과 추론 전용 칩을 분리해 각각 TPU 8t와 TPU 8i로 이원화했다는 점입니다. 특히 이번 세대는 단순한 칩의 성능 향상을 넘어, 스스로 판단하고 행동하는 ‘에이전틱 AI(Agentic AI)’ 시대를 뒷받침하기 위한 ‘AI 하이퍼컴퓨터’ 아키텍처의 핵심 엔진으로 설계됐습니다.


학습 전용인 TPU 8t는 216GB의 HBM 메모리를 탑재하고 단일 슈퍼포드당 최대 9600개의 칩을 3D 토러스(Torus) 토폴로지로 연결해 압도적인 확장성을 자랑합니다. 이를 통해 최첨단 모델의 배포 기간을 수개월에서 수주 단위로 단축할 수 있으며, 포드당 총 121 ExaFlops의 FP4 연산 능력을 제공합니다.

추론 특화 칩인 TPU 8i는 에이전틱 AI의 핵심인 ‘추론(Reasoning)’ 성능을 극대화하기 위해 설계됐습니다. 288GB의 HBM과 더불어 이전 세대보다 3배 늘어난 384MB의 온 칩 (on chip) SRAM을 탑재했습니다. 이는 최근 엔비디아가 공개한 추론 가속기인 그록(Groq) LPU의 SRAM 전략과 유사한 것으로 평가됩니다.

결론적으로 세대별 성능 향상 측면에서 TPU8t 트레이닝 칩은 대규모 학습에서 전 세대 대비 2.7배 향상된 가격 대비 성능을 제공하며, TPU8i 역시 추론 환경에서 전 세대 대비 80% 향상된 가격 대비 성능을 제공합니다. 또 두 칩 모두 와트당 성능이 두 배 향상됐는데, 이는 전력 비용을 줄여 전체적인 AI 총소유비용(TCO)를 크게 줄일 수 있습니다. 이와 같은 비용 절감은 앞으로 AI 서비스의 수익화에 매우 중요한 요소입니다.



다만 기본적으로 엔비디아의 베라 루빈 플랫폼은 여전히 8세대 TPU보다 강력한 성능을 지니고 있습니다. 단일 칩 기준으로만 보면 루빈 GPU는 50 PFLOPS에 달하는 연산 능력을 지녀 8세대 TPU보다 몇 배 빠른 성능을 지니고 있습니다. 문제는 비싼 가격입니다.

엔비디아 플랫폼이 비싼 이유는 칩 자체의 생산 비용도 있지만, 높은 이윤을 남기면서 팔고 있는 것도 중요한 이유입니다. 그런데 여기서 구글이 자체 칩을 만들어 마진을 흡수하면 오픈 AI나 앤스로픽 같은 경쟁자보다 비용을 대폭 절감할 수 있습니다.

최근 칩플레이션과 에너지 비용 급상승으로 AI 서비스 비용은 비싸지고 수익화는 이를 따라가지 못하는 상황에서 구글이 누리는 비용 절감 효과는 결국 AI 경쟁에서 최종 승자가 될 가능성을 높일 수 있습니다. 언뜻 보기에는 구글 TPU가 엔비디아를 겨냥한 것 같지만, 사실은 엔비디아 플랫폼을 사용할 수밖에 없는 다른 경쟁자가 더 압박을 받을 수밖에 없는 셈입니다.

자체 TPU 개발의 또 다른 이점은 자체 서비스에 최적화된 플랫폼과 생태계입니다. 마치 애플의 A 시리즈 및 M 시리즈 프로세서가 iOS 및 맥 OS, 그리고 애플 서비스에 최적화된 기능을 제공할 수 있어 비용은 절감하고 서비스 품질과 사용자 경험은 높일 수 있는 것과 동일한 구조입니다.

사실 이런 이유 때문에 구글뿐 아니라 오픈 AI나 앤스로픽 역시 자체 칩 플랫폼을 개발하거나 타사 플랫폼 활용을 고려하고 있지만, 이미 10년 이상 개발해온 TPU의 노하우를 따라잡기는 쉽지 않습니다. 반대로 이야기하면 구글 입장에서는 앞선 TPU 설계와 이미 구축해 놓은 생태계가 이들과의 경쟁에서 매우 큰 무기인 셈입니다.

결국 TPU의 개발 목적은 엔비디아와의 직접적인 경쟁보다는, 자사 인프라에 최적화된 저비용·고효율 환경을 구축하여 AI 서비스 대중화 시대의 수익성을 선점하는 데 있습니다. 이러한 탄탄한 하드웨어 경쟁력과 기존의 방대한 서비스 플랫폼이 결합된 AI 생태계를 통해 구글이 최종적인 승자가 될 수 있을지 주목됩니다.

고든 정 과학 칼럼니스트 jjy0501@naver.com