AI 서버 경쟁은 오랫동안 “어떤 GPU가 더 빠른가”로 설명됐습니다. 그런데 대규모 추론과 에이전트 워크로드가 커지면서 병목은 GPU 한 장이 아니라 랙 전체로 이동하고 있습니다. GPU 사이의 연결, 호스트 CPU, 메모리 대역폭, 네트워크, 소프트웨어 런타임이 함께 맞아야 토큰 처리량과 전력 효율이 나옵니다. AMD가 2026년 7월 Advancing AI에서 공개한 AMD Helios는 이 흐름을 잘 보여주는 발표입니다.
AMD는 Helios를 72개의 AMD Instinct MI455X GPU, 18개의 6세대 EPYC “Venice” CPU, Pensando 네트워킹, ROCm 소프트웨어를 함께 묶은 랙스케일 솔루션으로 설명했습니다. 회사 발표 기준으로 Helios는 경쟁 솔루션 대비 달러당 토큰을 최대 30% 더 제공한다고 주장합니다. 또 MI455X는 MI355X 대비 토큰 처리량이 34배 높다는 자체 측정치를 제시했습니다. 이 수치는 벤더 측정 조건에 묶여 읽어야 하지만, 경쟁의 단위가 GPU 보드에서 랙과 소프트웨어 스택으로 넓어졌다는 점은 분명합니다.
배경
데이터센터의 AI 수요는 훈련만이 아니라 추론과 에이전트 실행으로 빠르게 퍼지고 있습니다. 한 명의 사용자가 던진 요청도 검색, 코드 실행, 도구 호출, 이미지 분석, 장기 컨텍스트 유지로 갈라질 수 있습니다. AI 서버 설계에서 중요한 것은 최고 피크 성능보다 지속 처리량, 전력 한도 안의 밀도, 네트워크 지연, 운영 도구입니다.
AMD가 Helios와 함께 ROCm.ai를 언급한 것도 그래서 중요합니다. ROCm은 AMD GPU용 오픈 소프트웨어 플랫폼이고, ROCm.ai는 GPU 소프트웨어를 더 빨리 만들고 최적화·배포하도록 돕는 개발 플랫폼으로 소개됐습니다. AMD는 별도 MI400 시리즈 업데이트에서도 Instinct 라인의 추론·HPC 포지션을 강조했습니다. PyTorch, Hugging Face, vLLM, SGLang 같은 프레임워크 지원도 함께 따라와야 클라우드 사업자와 AI 랩이 실제로 옮겨갈 수 있다는 뜻입니다.
| 요소 | Helios 발표에서의 역할 | 독자가 봐야 할 포인트 |
|---|---|---|
| MI455X GPU | 대규모 추론과 훈련 가속 | 실제 모델·정밀도별 처리량 |
| EPYC Venice CPU | 호스트 노드와 데이터 공급 | GPU를 굶기지 않는 메모리·I/O |
| Pensando 네트워킹 | 랙 안팎 연결 | 지연 시간과 스케일아웃 안정성 |
| ROCm·ROCm.ai | 개발·최적화·배포 | 프레임워크 호환성과 운영 난이도 |
원리
랙스케일 AI를 쉽게 비유하면 “GPU가 많은 컴퓨터”가 아니라 “하나의 거대한 추론 공장”입니다. 사용자의 질문이 들어오면 토큰화, 프리필, 디코딩, 캐시 관리, 도구 호출, 후처리가 이어집니다. 이 과정에서 GPU는 행렬 연산을 맡지만, CPU는 요청을 스케줄링하고, 네트워크는 여러 GPU 사이의 데이터를 움직이며, 런타임은 배치 크기와 메모리 사용량을 조절합니다.
예를 들어 기업용 챗봇이 단순 답변을 넘어 문서 검색, 표 생성, 코드 실행을 함께 처리한다고 합시다. 한 요청이 길어질수록 KV 캐시와 메모리 대역폭이 중요해지고, 동시 사용자가 늘수록 배치와 큐 관리가 중요해집니다. GPU 한 장의 최대 성능보다 여러 GPU가 얼마나 효율적으로 나뉘고 다시 합쳐지는지가 비용을 좌우합니다. Helios 같은 랙 단위 설계는 이 병목을 처음부터 묶어서 최적화하려는 접근입니다.
구조
AMD 발표의 또 다른 축은 “physical AI”입니다. Kria AI 솔루션과 Ryzen AI Embedded X100 시리즈, 로보틱스 개발 플랫폼을 언급하며 클라우드 AI가 로봇과 산업 장비 쪽으로 내려가는 경로를 제시했습니다. 이는 AI 반도체 수요가 데이터센터 안에만 머물지 않는다는 신호이기도 합니다.
구조를 단순화하면 위에는 대규모 모델을 학습하고 서빙하는 Helios 랙이 있고, 아래에는 현장의 센서와 로봇을 제어하는 임베디드·엣지 플랫폼이 있습니다. 두 층을 잇는 것은 모델 압축, 지연 시간 예산, 관측 가능성, 보안 업데이트입니다. 공장이나 물류센터에서는 인터넷이 끊겨도 장비가 멈추면 안 되므로, 클라우드와 로컬 추론을 어떻게 나눌지가 제품 설계의 핵심이 됩니다.
체크포인트
- AMD의 30% 달러당 토큰 개선, MI455X 34배 처리량 같은 수치는 발표 자료의 조건을 전제로 합니다. 같은 결과가 모든 모델, 정밀도, 배치 크기에서 반복된다고 단정하면 안 됩니다.
- ROCm 생태계는 빠르게 넓어지고 있지만, CUDA 중심으로 최적화된 내부 코드와 운영 습관을 옮기는 비용은 여전히 검토해야 합니다.
- 랙스케일 시스템은 전력, 냉각, 네트워크, 유지보수 계약까지 포함한 총비용으로 봐야 합니다. GPU 단가만 비교하면 실제 경제성이 흐려집니다.
- physical AI는 안전 책임이 소프트웨어 밖으로 확장됩니다. 로봇 제어, 산업 장비, 의료·물류 현장에서는 모델 오류가 물리적 사고로 이어질 수 있습니다.
AMD Helios 발표의 핵심은 “NVIDIA와 같은 시장에서 더 빠른 GPU를 냈다”만이 아닙니다. AI 인프라가 랙, 네트워크, 소프트웨어, 엣지 장치까지 이어지는 통합 경쟁으로 바뀌고 있다는 점입니다. 기업이 볼 것은 벤치마크 한 줄보다 자신들의 모델, 지연 시간, 전력 한도, 개발자 생태계가 이 스택에 맞는지입니다.
댓글 없음:
댓글 쓰기