Zeah Engineering Factory

NVIDIA NVLink SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) 가속화 기능을 설명하는 개념도입니다.
NVLink SHARP는 기존 A100 대비 H100에서 더욱 최적화된 데이터 집계 및 브로드캐스트(AllReduce) 기능을 제공하여 AI 학습 및 HPC 성능을 향상시킵니다.

1. NVLink SHARP란?

✅ NVLink SHARP(Scalable Hierarchical Aggregation and Reduction Protocol)의 핵심 역할

• 기존의 AllReduce 연산을 GPU가 아닌 NVSwitch 내부에서 직접 수행하여 GPU의 부담을 줄이는 기술
• GPU 간 데이터 교환을 최적화하여 AllReduce 속도를 향상
• GPU-간 직접 데이터 전송량을 줄여 NVLink 대역폭을 효과적으로 2배 증가시키는 효과

2. 기존 A100 방식 vs. H100 + NVLink SHARP 방식 비교

✅ (1) 기존 A100 방식 (왼쪽)

Step 1: Read and Reduce

• 각 GPU가 로컬 그래디언트(Partials)를 계산한 후, NVSwitch로 전송
• NVSwitch는 데이터를 단순히 전달할 뿐, 연산은 수행하지 않음
• 모든 GPU는 각자의 그래디언트를 주고받으며, 최종 합산된 값을 공유받음
• 이 과정에서 N번의 데이터 송수신 발생 (N개의 GPU가 서로 통신)

Step 2: Broadcast Result

• 각 GPU는 합산된 그래디언트를 다시 NVSwitch로 보내고, 이를 다시 모든 GPU가 수신
• N번의 송수신이 발생하며, GPU 간 직접 통신 비용이 높음
• 전체 데이터 교환량이 많아 NVLink 대역폭을 많이 차지함

✅ (2) H100 + NVLink SHARP 방식 (오른쪽)

Step 1: Read and Reduce (In-Switch Sum)

• GPU가 로컬 그래디언트(Partials)를 NVSwitch로 전송
• NVSwitch가 직접 모든 GPU의 그래디언트를 합산 (In-Switch Sum)
• 각 GPU는 합산된 최종 그래디언트를 1번만 받아오면 됨
• 즉, 기존 방식 대비 데이터 전송 횟수를 크게 줄임 (N번 → 1번)

Step 2: Broadcast Result (In-Switch MultiCast)

• NVSwitch가 합산된 그래디언트를 모든 GPU에 자동으로 복제 (In-Switch MultiCast)
• 각 GPU는 복제된 데이터만 받으면 되므로, 전체 데이터 교환량 감소
• 기존 대비 브로드캐스트 연산이 최적화되어 GPU의 메모리 사용량 절감

3. 트래픽 요약 및 성능 향상 효과

항목                                                             기존 A100 방식                            H100 + NVLink SHARP 방식

👉 H100 + NVLink SHARP는 기존 A100 방식 대비 NVLink 대역폭을 효과적으로 2배 증가시키는 효과를 제공
👉 NVSwitch에서 직접 그래디언트 합산 및 복제를 수행하므로, GPU의 부담이 줄어듦

4. 결론

• NVLink SHARP는 기존 A100 대비 H100에서 AllReduce 연산 속도를 크게 향상
• 기존 A100 방식에서는 GPU가 직접 데이터 교환을 수행하여 높은 트래픽 발생
• H100 + NVLink SHARP에서는 NVSwitch가 직접 연산을 수행하여 트래픽을 최적화
• 결과적으로, NVLink 대역폭을 효과적으로 2배 증가시키는 효과를 제공하여 AI 및 HPC 연산 성능 향상

👉 즉, NVLink SHARP는 최신 NVIDIA H100 시스템에서 AllReduce 성능을 최적화하여, 대규모 AI 모델 훈련 및 분산 컴퓨팅에서 필수적인 역할을 수행합니다. 🚀

NVIDIA NVLink 4 기반 NVSwitch 칩의 구조와 특징을 설명하는 다이어그램입니다. NVSwitch는 대규모 GPU 클러스터를 고속으로 연결하는 핵심 기술이며, 최신 DGX H100 시스템에서 활용됩니다.

1. NVSwitch 4 칩 구조 분석

NVSwitch 칩 내부를 구성하는 주요 블록은 다음과 같습니다.

✅ (1) XBAR (Crossbar, 중앙부)

• 칩의 핵심 데이터 라우팅 엔진
• GPU 간 트래픽을 고속으로 스위칭하는 역할 수행
• 높은 대역폭을 처리하기 위해 병렬 구조 최적화

✅ (2) PORT Logic (좌우측, SHARP 가속기 포함)

• 각 NVLink 포트를 처리하는 논리 블록
• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 가속기 포함
  • AllReduce 연산 등 AI/딥러닝 작업을 가속화하는 역할 수행
  • NVSwitch가 직접 데이터 연산을 수행하여 GPU의 부하를 감소
• GPU 간 데이터 패킷을 고속 전송 및 최적화

✅ (3) 32 PHY Lanes (상/하단)

• PHY (Physical Layer) 인터페이스로, NVLink 4 데이터 신호를 물리적으로 처리
• 각 PHY Lanes는 PAM4 변조 방식(50Gbaud) 사용
• 총 64 NVLink 4 포트 지원 (각 NVLink당 2개 포트)

2. NVSwitch 4 칩의 주요 특징

✅ (1) 가장 큰 NVSwitch 칩 (Largest NVSwitch Ever)

• TSMC 4N 공정 사용
  • 최신 TSMC 4N(4nm 기반) 공정으로 제작되어 성능과 전력 효율 최적화
• 25.1B (251억) 트랜지스터 포함
  • 기존 NVSwitch보다 트랜지스터 수 대폭 증가 → 더 강력한 스위칭 및 연산 성능 제공
• 다이 크기: 294mm²
  • AI 가속기 및 데이터센터용 고성능 칩 중 대형급 크기
• 패키지 크기: 50mm × 50mm, 2645개의 볼 (BGA)
  • 데이터센터 및 AI 슈퍼컴퓨터용으로 최적화된 패키지 디자인

✅ (2) 역대 최고 대역폭 (Highest Bandwidth Ever)

• 64개의 NVLink 4 포트 지원
  • 각 NVLink당 2개 포트 제공 → 총 64개 포트
  • GPU 간 초고속 데이터 이동 가능
• 3.2TB/s 풀 듀플렉스 대역폭 제공
  • 기존 NVSwitch 대비 약 2배의 성능 증가
  • AI 및 HPC 애플리케이션에서 통신 병목 해소
• 50Gbaud PAM4 변조 신호 사용
  • 기존 NRZ(Non-Return-to-Zero) 방식보다 동일 대역폭에서 2배의 데이터 전송 가능
• 모든 포트 NVLink 네트워크 연결 가능
  • 데이터센터급 AI 슈퍼컴퓨터 확장에 최적화

✅ (3) 새로운 기능 (New Capabilities)

• 400GFLOPS의 FP32 SHARP 지원
  • SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 가속기가 부동소수점 연산을 수행하여 AI 학습 속도를 극대화
  • FP32(32비트 부동소수점) 외에도 다양한 데이터 포맷 지원
• NVLink 네트워크 관리, 보안, 텔레메트리 엔진 추가
  • 데이터센터 및 클라우드 환경에서 네트워크 모니터링 및 최적화 가능

3. NVSwitch 4의 핵심 장점

항목설명

4. 결론

• NVLink 4 NVSwitch는 대규모 GPU 클러스터에서 초고속 데이터 전송을 가능하게 하는 핵심 칩
• 64 NVLink 4 포트와 3.2TB/s 대역폭을 지원하며, AI 학습과 HPC 환경에서 획기적인 성능 개선
• SHARP 가속기를 활용하여 GPU의 연산 부담을 줄이고, AI 모델 훈련 속도를 향상
• 최신 TSMC 4N 공정과 25.1B 트랜지스터를 사용하여 높은 성능과 전력 효율 제공

즉, NVSwitch 4는 AI 및 슈퍼컴퓨터 환경에서 GPU 간 네트워크 병목을 제거하고, 고성능 데이터 처리 능력을 극대화하는 필수적인 기술입니다. 🚀

그림에는 32 PHY Lanes가 4개 있으므로, 총 128 NVLink 포트가 있어야 할 것처럼 보이지만, 실제 NVLink 포트 개수는 64개입니다.

이유는 다음과 같습니다.

1. NVLink 4의 동작 방식과 PHY Lanes

NVLink 포트와 PHY Lanes의 관계를 이해하려면 NVLink 4의 동작 방식을 알아야 합니다.

1. 각 NVLink 포트는 2개의 PHY Lanes를 사용
   • NVLink 4는 x2 데이터 페어(differential pair)로 구성됨
   • 즉, 2개의 PHY Lanes가 1개의 NVLink 포트를 형성
2. PHY Lanes는 데이터 신호를 전기적으로 전송하는 물리 계층 (Physical Layer, PHY) 역할
   • PHY Lanes는 단순한 전송 채널이고, 논리적으로는 NVLink 포트로 묶여 동작

2. NVLink 4 NVSwitch의 PHY Lanes 구성

• 그림에서 보면 32 PHY Lanes × 4개 = 128 PHY Lanes
• 그러나 2개의 PHY Lanes가 1개의 NVLink 포트를 구성
  • 128 PHY Lanes ÷ 2 = 64 NVLink 포트

즉, 128개의 PHY Lanes는 실제로 64개의 NVLink 4 포트로 동작합니다.

3. NVLink 4에서 PHY Lanes를 2배로 사용하는 이유

• 기존 NVLink 3에서는 1개의 NVLink 포트가 1개의 PHY Lane을 사용
• 그러나 NVLink 4에서는 한 포트당 2개의 PHY Lanes를 사용하여 더 높은 대역폭을 제공
  • 50Gbaud PAM4 변조를 적용하면서 NRZ 대비 2배 높은 데이터 전송률을 제공
  • 더 빠른 데이터 전송을 위해 포트당 2개의 PHY Lanes를 사용하도록 변경됨

4. 결론

• 그림에서 128개의 PHY Lanes가 존재하지만, NVLink 4에서는 2개의 PHY Lanes가 1개의 NVLink 포트를 구성하므로 총 64개의 NVLink 포트가 된다.
• 이는 NVLink 4의 설계가 PAM4 변조를 활용하여 더 높은 대역폭을 제공하도록 변경되었기 때문
• 즉, NVSwitch 칩의 총 NVLink 포트 수는 64개이며, 3.2TB/s 풀 듀플렉스 대역폭을 지원

➡️ NVLink 포트 수가 PHY Lanes 수의 절반이 되는 이유는 NVLink 4가 포트당 2개의 PHY Lanes를 사용하기 때문입니다. 🚀

NVSwitch 칩 하나에 직접 64개의 GPU가 연결되는 것은 아닙니다.
NVSwitch 칩에는 64개의 NVLink 4 포트가 존재하지만, 각 GPU는 여러 개의 NVLink를 사용하여 NVSwitch와 연결됩니다.

1. NVSwitch와 GPU 연결 방식

✅ (1) NVLink 포트 개수 vs. GPU 연결 개수

• 이 칩에는 64개의 NVLink 4 포트가 있음
• 하지만 각 GPU는 여러 개의 NVLink 포트를 사용하여 연결됨
• 최신 H100 GPU는 18개의 NVLink 포트를 사용
  • 즉, 1개의 NVSwitch가 64개의 GPU를 직접 연결할 수는 없음
  • 보통 8~16개의 GPU를 하나의 NVSwitch에 연결

✅ (2) 다중 NVSwitch 구성

• 대규모 GPU 클러스터를 구성하려면 여러 개의 NVSwitch 칩을 연결하여 확장
• 예를 들어, DGX H100에는 여러 개의 NVSwitch를 사용하여 8~16개의 GPU를 연결
• DGX SuperPOD 같은 대규모 시스템에서는 NVSwitch 여러 개를 계층적으로 연결하여 256개 이상의 GPU를 하나의 클러스터로 묶음

2. 실제 연결 방식 예시

구성GPU 개수NVSwitch 개수

3. 결론

• NVSwitch 칩 하나에 64개의 GPU가 직접 연결되지는 않음
• 각 GPU는 여러 개의 NVLink 포트를 사용하여 NVSwitch와 연결됨
• 더 많은 GPU를 연결하려면 여러 개의 NVSwitch를 계층적으로 연결해야 함
• 대규모 클러스터(예: DGX SuperPOD)에서는 수십~수백 개의 NVSwitch를 사용하여 수백 개의 GPU를 연결 가능

즉, NVSwitch 하나가 64개의 GPU를 직접 연결할 수 있는 것은 아니지만, 여러 개의 NVSwitch를 조합하면 수백 개의 GPU를 하나의 클러스터로 구성할 수 있습니다. 🚀

DGX H100 (2022년) 서버에서 활용되는 NVSwitch의 주요 개선점과 성능 향상 요소를 정리하고 있습니다.

1. NVLink 4 NVSwitch의 주요 특징

NVSwitch는 NVIDIA의 최신 NVLink 4 기술과 결합하여 GPU 간 초고속 통신을 지원하는 고성능 네트워크 패브릭 역할을 합니다. 주요 특징을 살펴보겠습니다.

✅ (1) NVLink 네트워크 지원 (NVLink Network Support)

• PHY(물리) 계층 인터페이스가 400G 이더넷(Ethernet)/InfiniBand와 호환됨
  • 기존 NVLink는 GPU 간 직접 연결을 주로 사용했으나, 400G급 네트워크 장비와 직접 연결 가능하여 확장성이 증가함
• OSFP(Octal Small Form-factor Pluggable) 지원 (4 NVLinks per cage)
  • 액티브 모듈을 위한 커스텀 펌웨어(FW) 적용 가능
  • 서버 및 데이터센터 환경에서 광케이블 기반 NVLink 확장 가능
• FEC (Forward Error Correction) 추가
  • 광케이블을 통한 데이터 전송 시 성능/신뢰성을 보장하는 오류 정정 기능 제공
  • 대규모 클러스터 환경에서도 데이터 무결성을 유지하면서 빠른 통신 가능

✅ (2) 대역폭 2배 증가 (Doubling of Bandwidth)

• 100Gbps-per-differential-pair (50Gbaud PAM4)
  • 기존 NRZ 변조 방식에서 PAM4 변조 방식으로 전환하여 동일한 대역폭에서 2배 데이터 전송
• x2 NVLinks 및 64 NVLinks-per-NVSwitch 지원
  • 1.6TB/s 내부 양분 대역폭(Bisection BW) 제공
  • 적은 수의 칩(스위치)으로 더 높은 대역폭 제공 가능
• 더 적은 칩으로 더 높은 성능 달성
  • NVSwitch 칩 개수를 줄이면서도 NVLink 4의 향상된 데이터 전송 성능을 활용할 수 있음

✅ (3) SHARP Collectives/멀티캐스트 지원 (SHARP Collectives/Multicast Support)

• NVSwitch 내부에서 데이터 복제를 수행하여 다중 GPU 접근 불필요
  • 기존에는 GPU가 필요한 데이터를 여러 번 NVSwitch에서 가져와야 했으나, 이제 NVSwitch가 직접 데이터를 복제하여 GPU 간 전송 효율을 극대화
  • 통신 병목(Bottleneck) 현상 감소
• 내장 ALU(Arithmetic Logic Unit) 추가
  • NVSwitch 자체적으로 AllReduce 연산 수행 가능
  • GPU가 직접 수행해야 했던 연산 부담을 NVSwitch가 처리하여 GPU 연산 성능을 최적화
• AI 및 딥러닝 모델 학습 시 데이터 전송 처리량이 2배 증가
  • GPU-기반 딥러닝 훈련에서 NVSwitch를 활용하여 더 빠른 데이터 동기화(AllReduce) 가능
  • GPT-4, Llama 같은 대형 모델 학습 속도 대폭 향상

2. DGX H100 NVSwitch의 성능 요약

• 3.6TB/s Bisection BW (양분 대역폭)
• 450GB/s AllReduce BW (집계 대역폭)

이전 세대(DGX A100)와 비교했을 때 대역폭이 2배 이상 증가했으며, 특히 NVSwitch 자체적인 데이터 복제 및 AllReduce 연산 지원으로 AI 학습 및 HPC 환경에서 병목을 줄이고 성능을 극대화함.

3. NVLink 4 NVSwitch의 핵심 개선점 요약

개선 항목설명

4. 결론

• NVLink 4 기반 NVSwitch는 GPU 간 통신 대역폭을 획기적으로 향상시키며, 데이터센터 및 AI 학습에 최적화됨
• 400G 이더넷/InfiniBand와 직접 연결 가능하여 확장성이 증가
• PAM4 변조 및 내부 데이터 복제 기능을 통해 GPU의 연산 병목을 줄이고 학습 속도를 대폭 향상
• DGX H100과 함께 사용될 경우 AI 모델 훈련, 슈퍼컴퓨팅(HPC) 환경에서 획기적인 성능 개선 가능

즉, NVLink 4 NVSwitch는 기존 NVLink 대비 대역폭을 두 배로 늘리고, AI 및 HPC 환경에서 GPU 간 통신을 최적화하는 핵심 기술입니다. 🚀