새롭게 무장한 세레브라스 웨이퍼 스케일엔진, 엔비디아 독점 깰 수 있을까 [고든 정의 TECH+]

현대적인 반도체 제조 공정은 ‘웨이퍼’라는 동그란 기판을 기반으로 진행됩니다. 최종적인 프로세서나 메모리 등은 웨이퍼에서 사각형 형태로 하나씩 떼어 내서 제조됩니다. 하지만 미국의 인공지능(AI) 반도체 기업 ‘세레브라스 시스템즈’(Cerebras Systems)는 전혀 다른 접근 방법으로 초대형 칩을 개발했습니다. 이들이 개발한 ‘웨이퍼 스케일 엔진’(WSE)은 실리콘 웨이퍼를 자르지 않고 하나의 거대한 프로세서로 사용합니다.

이렇게 하면 기존의 방식으로는 만들 수 없는 거대한 칩을 만들 순 있지만, 대신 제조 과정에서 오류가 난 부분으로 인해 프로세서에 결함이 생길 수 있습니다. 웨이퍼 스케일 엔진의 해결책은 매우 작은 프로세서 코어를 여러 개 만들고 이들을 서로 연결해서 중간에 몇 개 오류가 나더라도 전체 프로세서 기능에는 큰 영향을 미치지 않게 하는 것입니다.


세레브라스 시스템은 최근 ‘WSE-3T’를 공개했습니다. 흥미로운 사실은 2년 전 공개한 WSE-3와 동일한 TSMC 5㎚ 공정을 사용하고 동일한 4조 개의 트랜지스터를 집적했지만, 연산 성능과 대역폭을 대폭 개선했다는 점입니다. WSE-3T의 AI 연산 성능은 125 PFLOPS(희소성 적용 시 250 PFLOPS), 대역폭은 43.2 PB/s로 이전 대비 2배 정도 높아졌습니다. 참고로 WSE-3T 프로세서 하나에는 90만 개의 코어와 44GB의 초고속 SRAM이 통합돼 있습니다.

하지만 더욱 주목할 부분은 프로세서만 공개한 것이 아니라 데이터센터에서 바로 사용할 수 있는 랙 서버 시스템인 CS-4를 함께 공개했다는 것입니다. 각각의 CS-4는 3개의 WSE-3T 프로세서를 장착해 최대 750 PFLOPS의 AI 연산 능력을 지니고 있습니다. 세레브라스의 주장에 따르면 GPT-OSS 120B 모델 기준으로 단일 CS-4 랙이 초당 4400토큰 이상을 생성할 수 있으며, GPU와 비교해 최대 30배 정도 빠른 속도를 보일 수 있다고 합니다.

그러나 CS-4는 단독으로 쓰이기보다 AMD의 헬리오스 AI 랙과 함께 사용하는 것을 염두에 두고 설계됐습니다. 마치 엔비디아의 베라 루빈 시스템과 그록 시스템을 조합한 것과 비슷하게, AMD 그래픽처리장치(GPU)가 AI 연산의 앞 단계인 프리필 단계(입력 프롬프트 처리, 대규모 컨텍스트 윈도우 계산, KV 캐시 생성)를 담당하면, CS-4에 있는 WSE-3T는 최종 출력 단계인 디코드 단계, 즉 토큰 생성을 담당하는 것입니다. 마지막 단계는 메모리 대역폭이 속도에 큰 영향을 미치는데, 아예 프로세서에 메모리가 통합된 WSE-3T가 강점을 지닌 분야입니다.

이렇게 헬리오스 랙과 CS-4 랙으로 AI 파이프라인을 구축하면 전력 대비 토큰 생성 효율을 최대 5배까지 높일 수 있다는 것이 세레브라스의 설명입니다. 이를 통해 비용을 절감하면서도 성능을 최대화할 수 있고 엔비디아의 베라 루빈 + 그록 AI 파이프라인에 대항할 수 있습니다.

현재 AI 시장에서 엔비디아의 위치는 공고해 보이지만, 구글, 아마존, 마이크로소프트 같은 하이퍼스케일러들은 자체 칩을 개발해 엔비디아 의존도와 비용을 줄이기 위해 노력하고 있으며, 경쟁자인 AMD도 시장의 파이를 일부 차지하기 위해 노력하고 있습니다. AMD가 세레브라스와의 협업을 통해 엔비디아의 점유율을 얼마나 빼앗을 수 있을지 주목됩니다.

고든 정 과학 칼럼니스트 jjy0501@naver.com