Zeah Engineering Factory

NVIDIA NVLink 4 기반 NVSwitch 칩의 구조와 특징을 설명하는 다이어그램입니다. NVSwitch는 대규모 GPU 클러스터를 고속으로 연결하는 핵심 기술이며, 최신 DGX H100 시스템에서 활용됩니다.

1. NVSwitch 4 칩 구조 분석

NVSwitch 칩 내부를 구성하는 주요 블록은 다음과 같습니다.

✅ (1) XBAR (Crossbar, 중앙부)

• 칩의 핵심 데이터 라우팅 엔진
• GPU 간 트래픽을 고속으로 스위칭하는 역할 수행
• 높은 대역폭을 처리하기 위해 병렬 구조 최적화

✅ (2) PORT Logic (좌우측, SHARP 가속기 포함)

• 각 NVLink 포트를 처리하는 논리 블록
• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 가속기 포함
  • AllReduce 연산 등 AI/딥러닝 작업을 가속화하는 역할 수행
  • NVSwitch가 직접 데이터 연산을 수행하여 GPU의 부하를 감소
• GPU 간 데이터 패킷을 고속 전송 및 최적화

✅ (3) 32 PHY Lanes (상/하단)

• PHY (Physical Layer) 인터페이스로, NVLink 4 데이터 신호를 물리적으로 처리
• 각 PHY Lanes는 PAM4 변조 방식(50Gbaud) 사용
• 총 64 NVLink 4 포트 지원 (각 NVLink당 2개 포트)

2. NVSwitch 4 칩의 주요 특징

✅ (1) 가장 큰 NVSwitch 칩 (Largest NVSwitch Ever)

• TSMC 4N 공정 사용
  • 최신 TSMC 4N(4nm 기반) 공정으로 제작되어 성능과 전력 효율 최적화
• 25.1B (251억) 트랜지스터 포함
  • 기존 NVSwitch보다 트랜지스터 수 대폭 증가 → 더 강력한 스위칭 및 연산 성능 제공
• 다이 크기: 294mm²
  • AI 가속기 및 데이터센터용 고성능 칩 중 대형급 크기
• 패키지 크기: 50mm × 50mm, 2645개의 볼 (BGA)
  • 데이터센터 및 AI 슈퍼컴퓨터용으로 최적화된 패키지 디자인

✅ (2) 역대 최고 대역폭 (Highest Bandwidth Ever)

• 64개의 NVLink 4 포트 지원
  • 각 NVLink당 2개 포트 제공 → 총 64개 포트
  • GPU 간 초고속 데이터 이동 가능
• 3.2TB/s 풀 듀플렉스 대역폭 제공
  • 기존 NVSwitch 대비 약 2배의 성능 증가
  • AI 및 HPC 애플리케이션에서 통신 병목 해소
• 50Gbaud PAM4 변조 신호 사용
  • 기존 NRZ(Non-Return-to-Zero) 방식보다 동일 대역폭에서 2배의 데이터 전송 가능
• 모든 포트 NVLink 네트워크 연결 가능
  • 데이터센터급 AI 슈퍼컴퓨터 확장에 최적화

✅ (3) 새로운 기능 (New Capabilities)

• 400GFLOPS의 FP32 SHARP 지원
  • SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 가속기가 부동소수점 연산을 수행하여 AI 학습 속도를 극대화
  • FP32(32비트 부동소수점) 외에도 다양한 데이터 포맷 지원
• NVLink 네트워크 관리, 보안, 텔레메트리 엔진 추가
  • 데이터센터 및 클라우드 환경에서 네트워크 모니터링 및 최적화 가능

3. NVSwitch 4의 핵심 장점

항목설명

4. 결론

• NVLink 4 NVSwitch는 대규모 GPU 클러스터에서 초고속 데이터 전송을 가능하게 하는 핵심 칩
• 64 NVLink 4 포트와 3.2TB/s 대역폭을 지원하며, AI 학습과 HPC 환경에서 획기적인 성능 개선
• SHARP 가속기를 활용하여 GPU의 연산 부담을 줄이고, AI 모델 훈련 속도를 향상
• 최신 TSMC 4N 공정과 25.1B 트랜지스터를 사용하여 높은 성능과 전력 효율 제공

즉, NVSwitch 4는 AI 및 슈퍼컴퓨터 환경에서 GPU 간 네트워크 병목을 제거하고, 고성능 데이터 처리 능력을 극대화하는 필수적인 기술입니다. 🚀

그림에는 32 PHY Lanes가 4개 있으므로, 총 128 NVLink 포트가 있어야 할 것처럼 보이지만, 실제 NVLink 포트 개수는 64개입니다.

이유는 다음과 같습니다.

1. NVLink 4의 동작 방식과 PHY Lanes

NVLink 포트와 PHY Lanes의 관계를 이해하려면 NVLink 4의 동작 방식을 알아야 합니다.

1. 각 NVLink 포트는 2개의 PHY Lanes를 사용
   • NVLink 4는 x2 데이터 페어(differential pair)로 구성됨
   • 즉, 2개의 PHY Lanes가 1개의 NVLink 포트를 형성
2. PHY Lanes는 데이터 신호를 전기적으로 전송하는 물리 계층 (Physical Layer, PHY) 역할
   • PHY Lanes는 단순한 전송 채널이고, 논리적으로는 NVLink 포트로 묶여 동작

2. NVLink 4 NVSwitch의 PHY Lanes 구성

• 그림에서 보면 32 PHY Lanes × 4개 = 128 PHY Lanes
• 그러나 2개의 PHY Lanes가 1개의 NVLink 포트를 구성
  • 128 PHY Lanes ÷ 2 = 64 NVLink 포트

즉, 128개의 PHY Lanes는 실제로 64개의 NVLink 4 포트로 동작합니다.

3. NVLink 4에서 PHY Lanes를 2배로 사용하는 이유

• 기존 NVLink 3에서는 1개의 NVLink 포트가 1개의 PHY Lane을 사용
• 그러나 NVLink 4에서는 한 포트당 2개의 PHY Lanes를 사용하여 더 높은 대역폭을 제공
  • 50Gbaud PAM4 변조를 적용하면서 NRZ 대비 2배 높은 데이터 전송률을 제공
  • 더 빠른 데이터 전송을 위해 포트당 2개의 PHY Lanes를 사용하도록 변경됨

4. 결론

• 그림에서 128개의 PHY Lanes가 존재하지만, NVLink 4에서는 2개의 PHY Lanes가 1개의 NVLink 포트를 구성하므로 총 64개의 NVLink 포트가 된다.
• 이는 NVLink 4의 설계가 PAM4 변조를 활용하여 더 높은 대역폭을 제공하도록 변경되었기 때문
• 즉, NVSwitch 칩의 총 NVLink 포트 수는 64개이며, 3.2TB/s 풀 듀플렉스 대역폭을 지원

➡️ NVLink 포트 수가 PHY Lanes 수의 절반이 되는 이유는 NVLink 4가 포트당 2개의 PHY Lanes를 사용하기 때문입니다. 🚀

NVSwitch 칩 하나에 직접 64개의 GPU가 연결되는 것은 아닙니다.
NVSwitch 칩에는 64개의 NVLink 4 포트가 존재하지만, 각 GPU는 여러 개의 NVLink를 사용하여 NVSwitch와 연결됩니다.

1. NVSwitch와 GPU 연결 방식

✅ (1) NVLink 포트 개수 vs. GPU 연결 개수

• 이 칩에는 64개의 NVLink 4 포트가 있음
• 하지만 각 GPU는 여러 개의 NVLink 포트를 사용하여 연결됨
• 최신 H100 GPU는 18개의 NVLink 포트를 사용
  • 즉, 1개의 NVSwitch가 64개의 GPU를 직접 연결할 수는 없음
  • 보통 8~16개의 GPU를 하나의 NVSwitch에 연결

✅ (2) 다중 NVSwitch 구성

• 대규모 GPU 클러스터를 구성하려면 여러 개의 NVSwitch 칩을 연결하여 확장
• 예를 들어, DGX H100에는 여러 개의 NVSwitch를 사용하여 8~16개의 GPU를 연결
• DGX SuperPOD 같은 대규모 시스템에서는 NVSwitch 여러 개를 계층적으로 연결하여 256개 이상의 GPU를 하나의 클러스터로 묶음

2. 실제 연결 방식 예시

구성GPU 개수NVSwitch 개수

3. 결론

• NVSwitch 칩 하나에 64개의 GPU가 직접 연결되지는 않음
• 각 GPU는 여러 개의 NVLink 포트를 사용하여 NVSwitch와 연결됨
• 더 많은 GPU를 연결하려면 여러 개의 NVSwitch를 계층적으로 연결해야 함
• 대규모 클러스터(예: DGX SuperPOD)에서는 수십~수백 개의 NVSwitch를 사용하여 수백 개의 GPU를 연결 가능

즉, NVSwitch 하나가 64개의 GPU를 직접 연결할 수 있는 것은 아니지만, 여러 개의 NVSwitch를 조합하면 수백 개의 GPU를 하나의 클러스터로 구성할 수 있습니다. 🚀

DGX H100 (2022년) 서버에서 활용되는 NVSwitch의 주요 개선점과 성능 향상 요소를 정리하고 있습니다.

1. NVLink 4 NVSwitch의 주요 특징

NVSwitch는 NVIDIA의 최신 NVLink 4 기술과 결합하여 GPU 간 초고속 통신을 지원하는 고성능 네트워크 패브릭 역할을 합니다. 주요 특징을 살펴보겠습니다.

✅ (1) NVLink 네트워크 지원 (NVLink Network Support)

• PHY(물리) 계층 인터페이스가 400G 이더넷(Ethernet)/InfiniBand와 호환됨
  • 기존 NVLink는 GPU 간 직접 연결을 주로 사용했으나, 400G급 네트워크 장비와 직접 연결 가능하여 확장성이 증가함
• OSFP(Octal Small Form-factor Pluggable) 지원 (4 NVLinks per cage)
  • 액티브 모듈을 위한 커스텀 펌웨어(FW) 적용 가능
  • 서버 및 데이터센터 환경에서 광케이블 기반 NVLink 확장 가능
• FEC (Forward Error Correction) 추가
  • 광케이블을 통한 데이터 전송 시 성능/신뢰성을 보장하는 오류 정정 기능 제공
  • 대규모 클러스터 환경에서도 데이터 무결성을 유지하면서 빠른 통신 가능

✅ (2) 대역폭 2배 증가 (Doubling of Bandwidth)

• 100Gbps-per-differential-pair (50Gbaud PAM4)
  • 기존 NRZ 변조 방식에서 PAM4 변조 방식으로 전환하여 동일한 대역폭에서 2배 데이터 전송
• x2 NVLinks 및 64 NVLinks-per-NVSwitch 지원
  • 1.6TB/s 내부 양분 대역폭(Bisection BW) 제공
  • 적은 수의 칩(스위치)으로 더 높은 대역폭 제공 가능
• 더 적은 칩으로 더 높은 성능 달성
  • NVSwitch 칩 개수를 줄이면서도 NVLink 4의 향상된 데이터 전송 성능을 활용할 수 있음

✅ (3) SHARP Collectives/멀티캐스트 지원 (SHARP Collectives/Multicast Support)

• NVSwitch 내부에서 데이터 복제를 수행하여 다중 GPU 접근 불필요
  • 기존에는 GPU가 필요한 데이터를 여러 번 NVSwitch에서 가져와야 했으나, 이제 NVSwitch가 직접 데이터를 복제하여 GPU 간 전송 효율을 극대화
  • 통신 병목(Bottleneck) 현상 감소
• 내장 ALU(Arithmetic Logic Unit) 추가
  • NVSwitch 자체적으로 AllReduce 연산 수행 가능
  • GPU가 직접 수행해야 했던 연산 부담을 NVSwitch가 처리하여 GPU 연산 성능을 최적화
• AI 및 딥러닝 모델 학습 시 데이터 전송 처리량이 2배 증가
  • GPU-기반 딥러닝 훈련에서 NVSwitch를 활용하여 더 빠른 데이터 동기화(AllReduce) 가능
  • GPT-4, Llama 같은 대형 모델 학습 속도 대폭 향상

2. DGX H100 NVSwitch의 성능 요약

• 3.6TB/s Bisection BW (양분 대역폭)
• 450GB/s AllReduce BW (집계 대역폭)

이전 세대(DGX A100)와 비교했을 때 대역폭이 2배 이상 증가했으며, 특히 NVSwitch 자체적인 데이터 복제 및 AllReduce 연산 지원으로 AI 학습 및 HPC 환경에서 병목을 줄이고 성능을 극대화함.

3. NVLink 4 NVSwitch의 핵심 개선점 요약

개선 항목설명

4. 결론

• NVLink 4 기반 NVSwitch는 GPU 간 통신 대역폭을 획기적으로 향상시키며, 데이터센터 및 AI 학습에 최적화됨
• 400G 이더넷/InfiniBand와 직접 연결 가능하여 확장성이 증가
• PAM4 변조 및 내부 데이터 복제 기능을 통해 GPU의 연산 병목을 줄이고 학습 속도를 대폭 향상
• DGX H100과 함께 사용될 경우 AI 모델 훈련, 슈퍼컴퓨팅(HPC) 환경에서 획기적인 성능 개선 가능

즉, NVLink 4 NVSwitch는 기존 NVLink 대비 대역폭을 두 배로 늘리고, AI 및 HPC 환경에서 GPU 간 통신을 최적화하는 핵심 기술입니다. 🚀