NVIDIA Rubin CPX는 “더 빠른 GPU”라는 한 문장으로 설명하기 어렵습니다. NVIDIA가 강조한 핵심은 긴 문맥을 읽는 context 단계와 답을 토큰 단위로 생성하는 generation 단계를 나눠, 각각에 맞는 가속기를 붙이는 분리형 추론입니다. 특히 100만 토큰 문맥을 다루는 코딩, 연구, 영상 생성 워크로드가 늘면서 이 구분이 중요해졌습니다.
이미 AI 팩토리와 네트워크 오프로딩은 서버 한 대의 문제가 아니라 랙 단위 설계라는 점을 보여줬습니다. NVIDIA의 Vera Rubin 플랫폼 기술 설명도 CPU, GPU, 네트워킹, 보안, 냉각을 함께 설계하는 방향을 강조합니다. Rubin CPX는 그 위에서 긴 입력을 빨리 소화하는 전용 역할을 맡습니다. 모델이 커지는 경쟁만큼, 추론을 여러 단계로 쪼개 어느 칩이 어느 일을 맡는지가 비용을 좌우하게 된 것입니다.
배경
NVIDIA 기술 블로그는 최신 추론을 두 단계로 나눕니다. context 단계는 많은 입력을 한꺼번에 읽고 첫 토큰을 만들기 전까지 계산을 밀어붙이는 구간입니다. generation 단계는 KV cache를 읽으며 토큰을 하나씩 내보내는 구간이고, 메모리 대역폭과 GPU 간 연결이 더 중요해집니다. 두 단계의 병목이 다르니 같은 GPU 풀에서 모두 처리하는 방식은 비효율이 커질 수 있습니다.
Rubin CPX는 이 중 context 단계에 초점을 맞춥니다. NVIDIA는 Rubin CPX가 30페타플롭스 NVFP4 연산, 128GB GDDR7 메모리, 비디오 디코딩·인코딩 하드웨어 지원, GB300 NVL72 대비 3배 attention acceleration을 제공한다고 설명했습니다. Vera Rubin NVL144 CPX 랙은 144개 Rubin CPX GPU, 144개 Rubin GPU, 36개 Vera CPU를 통합해 8엑사플롭스 NVFP4 연산과 100TB 고속 메모리, 1.7PB/s 메모리 대역폭을 제시합니다.
| 단계 | 주 병목 | Rubin CPX가 겨냥하는 부분 |
|---|---|---|
| Context | 대량 입력 계산 | 긴 프롬프트·문서·코드베이스 읽기 |
| KV Cache | 상태 전달 | context 결과를 generation으로 넘김 |
| Generation | 메모리 대역폭 | 토큰을 안정적으로 계속 생성 |
| Orchestration | 배치와 라우팅 | Dynamo 같은 계층이 자원 배치 |
원리
분리형 추론은 식당 주방으로 비유할 수 있습니다. 재료 손질과 조리는 다른 속도의 작업입니다. 손질 담당자가 대량 재료를 빠르게 준비하고, 조리 담당자가 주문 순서에 맞춰 접시를 내보내면 전체 처리량이 올라갑니다. LLM에서도 긴 입력을 해석하는 일과 토큰을 계속 생성하는 일은 다른 자원을 요구합니다.
예를 들어 AI 코딩 에이전트가 대형 저장소 전체와 이슈 이력을 읽는다고 해 보겠습니다. context 단계에서는 수많은 파일과 로그를 빠르게 압축해 모델 내부 표현으로 바꿔야 합니다. 이후 generation 단계에서는 수정 설명, 코드 diff, 테스트 결과를 순차적으로 냅니다. Rubin CPX는 앞부분을 빠르게 처리하고, Rubin GPU와 Vera CPU, 네트워크가 뒤의 생성과 운영을 받치는 구조입니다. AI 서버 병목이 단일 칩 성능에서 데이터 이동과 단계 배치로 옮겨가는 이유입니다.
100만 토큰 문맥은 “무엇이든 다 넣으면 된다”는 뜻이 아닙니다. 긴 입력을 처리할 수 있어도, 어떤 정보를 읽힐지 선별하고 KV cache를 어떻게 옮길지 설계하지 않으면 비용과 지연이 빠르게 커집니다.
구조
그림의 Context는 대량 입력 처리, KV Cache는 중간 상태, Generation은 토큰 생성, Output은 사용자에게 돌아가는 결과입니다. Rubin CPX의 역할은 특히 Context를 빠르게 처리해 뒤 단계가 기다리는 시간을 줄이는 데 있습니다.
두 번째 그림은 랙 단위 구성을 단순화한 것입니다. Vera CPU는 제어와 시스템 역할, Rubin CPX는 긴 문맥 처리, Rubin GPU는 생성 단계, Network는 랙 안팎의 데이터 이동을 맡습니다. 실제 제품은 더 복잡하지만, 핵심은 서로 다른 칩이 하나의 추론 공장처럼 움직인다는 점입니다.
체크포인트
첫째, NVIDIA가 제시한 ROI와 성능 수치는 특정 대규모 배치와 전력·사용률 조건에서 의미가 있습니다. 모든 기업이 30~50배 ROI를 얻는다고 읽으면 안 됩니다. 작은 조직은 클라우드 서비스 가격과 실제 사용률을 먼저 봐야 합니다.
둘째, 긴 문맥은 데이터 거버넌스 문제를 키웁니다. 코드베이스 전체, 연구 문서, 고객 로그를 넣을수록 개인정보와 영업비밀 관리가 어려워집니다.
셋째, 소프트웨어 오케스트레이션이 하드웨어만큼 중요합니다. Dynamo, TensorRT-LLM 같은 계층이 라우팅과 KV cache 이동을 제대로 다루지 못하면 전용 칩의 장점도 줄어듭니다.
NVIDIA Rubin CPX가 보여주는 메시지는 분명합니다. AI 추론은 이제 “GPU 몇 장”이 아니라 context, cache, generation, network를 나누는 시스템 설계입니다. 100만 토큰 문맥 시대의 승부는 모델 크기뿐 아니라 긴 입력을 얼마나 싸고 안정적으로 읽느냐에서 갈립니다.
댓글 없음:
댓글 쓰기