Zeah Engineering Factory

1. 개요

최근 GPU 기반 슈퍼컴퓨터가 증가하고 있지만, 높은 전력 소비가 운영 비용을 증가시키는 문제가 발생하고 있다. 이에 대한 대안으로 ARM 및 RISC-V 기반의 슈퍼컴퓨터를 설계하여, NVIDIA DGX H100과 동등한 성능을 유지하면서도 더 높은 전력 효율을 달성할 수 있는지 검토하였다.

본 보고서는 ARM 및 RISC-V 기반 슈퍼컴퓨터의 아키텍처를 설계하고, DGX H100과의 성능을 비교하여 현실적인 구현 가능성을 분석한 결과를 포함한다.

2. 설계 목표

• NVIDIA DGX H100과 유사한 연산 성능을 갖춘 ARM 및 RISC-V 기반 슈퍼컴퓨터 설계
• GPU 대신 ARM 및 RISC-V 아키텍처를 활용하여 전력 효율 극대화
• 고대역폭 메모리(HBM3) 및 고속 인터커넥트(CXL 3.0) 적용
• AMBA 버스 기반 CXL 확장을 통해 메모리 병목 최소화

3. 시스템 사양 비교

아래 표는 DGX H100과 ARM, RISC-V 기반 슈퍼컴퓨터의 주요 사양을 비교한 것이다.

4. 성능 분석

1. 코어 수 조정
   • ARM 및 RISC-V 기반 시스템은 DGX H100과 동일한 FP64 및 FP16 연산 성능을 제공하기 위해 코어 수를 증가하였다.
   • ARM 기반 시스템은 256개 코어로 구성되어 있으며, SVE2 확장을 활용하여 500 TFLOPS (FP16) 연산을 지원한다.
   • RISC-V 기반 시스템은 512개 코어를 배치하여 500 TFLOPS (FP16) 연산 성능을 확보하였다.
2. 메모리 성능
   • ARM 및 RISC-V 기반 슈퍼컴퓨터는 HBM3 메모리를 활용하여 4TB/s 및 3.8TB/s의 높은 메모리 대역폭을 제공한다.
   • AMBA 기반 CXL 3.0 인터페이스를 활용하여 NVLink 없이도 고성능 확장이 가능하도록 설계되었다.
3. 전력 효율
   • DGX H100은 10.2kW의 전력을 소비하는 반면, ARM 및 RISC-V 기반 시스템은 약 8kW 이하의 전력 소비를 목표로 한다.
   • ARM은 전력당 성능이 우수하며, RISC-V는 개방형 아키텍처를 활용하여 소비 전력을 최소화할 수 있다.

5. 결론 및 향후 연구 방향

본 보고서에서는 ARM 및 RISC-V 기반 슈퍼컴퓨터의 설계 및 성능 분석을 통해 DGX H100과 비교하였다.
결과적으로, ARM 및 RISC-V 아키텍처는 고성능 AI 및 병렬 연산을 지원할 수 있으며, GPU 기반 DGX H100 대비 낮은 전력 소비를 달성할 수 있다는 점이 확인되었다.

향후 연구에서는 다음과 같은 점을 추가적으로 검토할 필요가 있다:

• CXL 3.0을 활용한 메모리 공유 성능 평가
• AI 및 HPC 워크로드에서 ARM 및 RISC-V의 실제 성능 분석
• FPGA 또는 추가적인 가속기(ASIC) 통합 가능성 연구

본 연구는 GPU 중심의 슈퍼컴퓨팅 환경을 넘어, 더 높은 전력 효율을 갖춘 ARM 및 RISC-V 기반의 차세대 슈퍼컴퓨터 설계를 위한 기초 연구로 활용될 수 있다.

ARM이나 RISC-V 기반으로 DGX H100 수준의 슈퍼컴퓨터를 만들 수 있음에도 불구하고, 현재 NVIDIA GPU 기반 슈퍼컴퓨터가 주류인 이유는 여러 가지 기술적, 경제적, 그리고 생태계적인 이유 때문입니다.

✅ 1. 연산 성능 및 최적화 부족

🔹 GPU의 강력한 행렬 연산 가속기 (Tensor Core)

• AI 및 병렬 연산에 있어 GPU는 수십 년 동안 최적화된 아키텍처를 보유하고 있음.
• NVIDIA의 Tensor Core는 AI/ML 연산을 가속화하는데 최적화되어 있으며, FP16/FP8 연산에서 압도적인 성능을 제공함.
• 반면, ARM 및 RISC-V는 AI 최적화 연산 유닛이 부족하고, 일반 벡터 연산(SVE2, RVV) 기반이므로 동일한 수준의 성능을 내기 어려움.

🔹 병렬 연산 최적화 부족

• GPU는 수만 개의 CUDA Core를 통해 massive parallel processing에 최적화됨.
• ARM 및 RISC-V는 SIMD (SVE2, RVV) 기반으로 병렬 연산을 수행하지만, 병렬 처리 효율성이 GPU만큼 뛰어나지 않음.
• 예를 들어, AI 훈련이나 그래픽 렌더링과 같은 워크로드에서 GPU의 압도적인 병렬 처리 성능을 대체하기 어려움.

✅ 2. 생태계 및 소프트웨어 지원 부족

🔹 NVIDIA CUDA 생태계의 압도적 우위

• NVIDIA는 CUDA 및 cuDNN과 같은 강력한 소프트웨어 생태계를 구축하여 AI 연구 및 HPC(High-Performance Computing) 분야에서 사실상 독점적 위치를 차지하고 있음.
• 딥러닝 프레임워크 (TensorFlow, PyTorch, JAX 등)가 GPU를 최적화하여 동작하도록 설계되어 있음.
• 반면, ARM과 RISC-V는 AI 가속을 위한 SVE2/RVV 지원이 부족하며, 기존 AI 소프트웨어를 ARM/RISC-V용으로 재작성해야 함.

🔹 병렬 연산을 위한 라이브러리 부족

• NVIDIA는 cuBLAS, cuFFT, cuSPARSE 등 HPC 및 AI 연산을 위한 수십 년의 최적화된 라이브러리를 보유.
• ARM 및 RISC-V 기반 슈퍼컴퓨터는 이러한 최적화된 라이브러리가 부족하여 동일한 수준의 성능을 내기 어려움.
• HPC 및 AI 연구자들이 ARM/RISC-V로 쉽게 전환할 수 있는 기반이 부족함.

✅ 3. 하드웨어 및 메모리 병목

🔹 HBM3 메모리 컨트롤러 설계 난이도

• 현재 HBM3 메모리는 GPU 및 특수 ASIC(예: TPU, AI 가속기)에 최적화되어 있음.
• ARM 및 RISC-V CPU가 HBM3를 직접 탑재하려면 고성능 메모리 컨트롤러 및 캐시 시스템이 필요하며, 이는 추가적인 개발 비용과 시간이 소요됨.

🔹 CXL 3.0의 실질적 활용도 문제

• CXL 3.0을 통해 HBM을 확장하려는 시도가 있지만, 아직 대규모 상용화된 사례가 적고, 최적화가 부족함.
• NVLink처럼 로우 레이턴시 고대역폭 통신을 지원하는 안정적인 솔루션이 부족함.

✅ 4. 시장 및 경제적 요인

🔹 NVIDIA의 시장 지배력

• NVIDIA는 GPU 및 AI 가속기 시장에서 절대적인 점유율을 보유하고 있으며, 기업 및 연구기관들이 이미 GPU 중심의 인프라를 구축한 상태임.
• 기업들이 ARM 및 RISC-V로 전환하려면 기존 코드 재작성, 최적화 작업, 하드웨어 교체 비용이 너무 큼.

🔹 칩 제조 및 최적화의 어려움

• NVIDIA는 TSMC 4N 공정 (H100)과 같이 최신 반도체 공정을 적극 활용하여 최고 수준의 성능을 내고 있음.
• 반면, ARM 및 RISC-V 기반 슈퍼컴퓨터를 만들려면 독자적인 칩 설계 및 최적화가 필요하며, 이는 높은 개발 비용과 긴 개발 주기가 요구됨.
• 또한, 슈퍼컴퓨터 수준의 ARM 및 RISC-V 칩을 설계 및 양산할 회사가 부족함.

✅ 결론: ARM/RISC-V 기반 슈퍼컴퓨터의 가능성과 한계

현재로서는 ARM 및 RISC-V 기반 슈퍼컴퓨터가 GPU 기반 슈퍼컴퓨터를 완전히 대체하기 어려운 이유는 다음과 같다:

1. AI 및 병렬 연산에서 GPU의 성능 우위 (Tensor Core, CUDA Core 등)
2. CUDA 및 AI 소프트웨어 생태계 부족
3. HBM3 및 CXL 3.0과 같은 고속 메모리 활용의 어려움
4. 시장 지배력과 경제적 진입 장벽

그러나 ARM 및 RISC-V 기반 슈퍼컴퓨터는 AI inference, Low-Power HPC 등 특정 영역에서 성장 가능성이 있음.
특히 전력 효율이 중요한 Edge AI, Cloud AI 및 Custom AI Accelerator 시장에서는 ARM 및 RISC-V 기반 슈퍼컴퓨터가 경쟁력을 가질 수 있음. 

NVLink Evolution and GPU Ecosystem: From Version 1.0 to 6.0

1. Introduction

NVIDIA’s NVLink has evolved significantly from its first version to its upcoming versions, enhancing GPU interconnectivity, bandwidth, and scalability in high-performance computing (HPC) and AI workloads. This report provides a comprehensive analysis of NVLink versions from 1.0 to 6.0, covering GPUs, interconnects, racks, and associated power and thermal management strategies.

2. NVLink Version Comparison

3. GPU Ecosystem Evolution

3.1 GPU Advancements: From P100 to H300

These GPUs have progressively increased memory bandwidth, compute performance, and NVLink capacity, enabling high-speed AI training and scientific computing workloads.

3.2 NVLink Interconnects and Expansion to DGX and POD Systems

Each NVLink version has evolved in terms of interconnect density, routing efficiency, and integration with broader system architectures.

• NVLink 1.0 - 3.0: Used traditional GPU-to-GPU links with a shared memory space.
• NVLink 4.0 - 6.0: Implemented NVSwitch to enable full mesh connectivity between multiple GPUs in DGX systems.

NVLink scales up from GPU interconnects to DGX servers and then to SuperPOD clusters for large-scale AI computing.

4. Rack-Level Scaling, CPUs, and Memory Evolution

The CPU and memory hierarchy has evolved alongside NVLink:

• Intel to AMD EPYC to Sapphire Rapids to support increasing PCIe lanes and memory bandwidth.
• Memory from HBM2 to HBM4, reducing latency and increasing data throughput.
• Storage shifting to NVMe over fabrics for high-speed AI model loading.

5. Power and Thermal Management Challenges

5.1 Increasing Power Requirements

NVLink consumes more power with increasing speeds, requiring advanced cooling solutions.

5.2 Thermal Management Solutions

• Liquid Cooling: DGX H100 introduced liquid cooling to handle increased GPU heat.
• AI-Driven Power Optimization: Adaptive clock scaling and dynamic voltage adjustments will be crucial for future GPUs.
• Rack-Level Cooling: High-density racks with phase-change cooling could be required for NVLink 6.0.

6. Conclusion

The evolution of NVLink from version 1.0 to 6.0 showcases NVIDIA's commitment to high-performance interconnects. The increase in speed, number of links, and total bandwidth will enhance multi-GPU scaling, but it also introduces power and thermal challenges. Future improvements will require innovations in PHY efficiency, cooling technology, and AI-driven power management to sustain the next generation of high-performance computing.

7. Key Takeaways

• NVLink has evolved from NRZ to PAM4, doubling bandwidth per generation.
• NVSwitch advancements have enabled better multi-GPU scalability.
• DGX systems have adopted high-speed InfiniBand and OSFP networking to complement NVLink.
• Power consumption and thermal challenges require advanced cooling and power optimization techniques.

Future considerations: As we move towards NVLink 6.0 and beyond, the industry must innovate power-efficient interconnects, high-density cooling, and optimized network architectures to support massive AI workloads and supercomputing applications.

DGX H100 SuperPOD는 대규모 AI 및 고성능 컴퓨팅(HPC) 클러스터를 위한 초고속 NVLink 네트워크 스위치를 포함하고 있습니다.
이 NVLink Switch는 128개의 NVLink4 포트를 지원하며, 최대 6.4TB/s의 양방향 대역폭을 제공하여
여러 개의 DGX H100 시스템을 초고속 네트워크로 연결하는 핵심 역할을 합니다.

1. DGX H100 NVLink Switch 주요 사양

항목설명

2. 주요 용어 및 기술 설명

(1) 1U 19-inch Form Factor

• 1U(1 Rack Unit)는 데이터센터에서 표준으로 사용되는 서버 및 네트워크 장비의 크기
• 1U = 약 1.75인치(4.45cm) 높이
• 19-inch는 표준 서버 랙 크기
• 즉, 이 NVLink 스위치는 일반적인 데이터센터 랙에 쉽게 설치할 수 있도록 설계됨
• InfiniBand 스위치 아키텍처를 기반으로 설계되어 네트워크 최적화됨

(2) Dual NVLink4 NVSwitch Chips

• 2개의 NVSwitch 4.0 칩을 사용하여 GPU 간 NVLink 네트워크 최적화
• 각 NVSwitch 칩은 NVLink 포트 간 초고속 데이터 교환을 지원
• NVSwitch 칩이 많을수록 더 많은 GPU를 연결할 수 있음
• NVSwitch는 AI 및 HPC 워크로드에서 GPU 간 데이터 공유 속도를 크게 향상

(3) 128 NVLink4 Ports

• 총 128개의 NVLink4 포트를 제공
• 각 포트는 최대 50GB/s (양방향 100GB/s) 속도를 지원
• 다수의 DGX H100 서버를 연결하여 초고속 AI 클러스터를 구축 가능
• NVSwitch를 활용하여 GPU 간 연결을 중앙 집중식으로 처리

(4) 32 OSFP Cages

• OSFP(Octal Small Form-factor Pluggable) 슬롯은 광(Optical) 또는 구리(Copper) 케이블을 연결하는 포트
• NVLink 네트워크 확장을 위해 OSFP 포트를 사용하여 DGX 서버를 연결 가능
• 일반적인 SFP(10G, 25G) 또는 QSFP(40G, 100G)보다 더 높은 속도를 지원하는 차세대 폼팩터
• NVLink4 및 InfiniBand 네트워크 연결을 위한 광 네트워크 트랜시버 장착 가능

(5) 6.4 TB/s Full-Duplex Bandwidth

• 총 6.4TB/s(양방향) NVLink 네트워크 대역폭 제공
• Full-Duplex란 양방향 데이터 전송을 동시에 수행할 수 있음을 의미
• 단일 서버에서 NVLink를 사용할 때보다 여러 개의 서버를 연결할 때 훨씬 높은 데이터 처리량 제공
• AI 모델 학습 시 GPU 간 데이터 공유 속도를 크게 향상하여 모델 학습 시간을 단축

(6) Managed Switch with Out-of-Band Management

• NVLink Switch는 관리형 스위치(Managed Switch)로 작동
• Out-of-Band(OOB) 관리는 별도의 네트워크 포트를 통해 원격으로 장비를 관리하는 기능
• 관리자는 NVLink 네트워크 상태를 모니터링하고, 트래픽을 최적화하며, 장애 발생 시 복구 가능
• HPC 및 AI 클러스터 운영 시 필수적인 기능

(7) Passive Copper, Active Copper, Optical OSFP Cables 지원

• Passive Copper: 짧은 거리(약 1~3m)에서 전력 소모 없이 NVLink 네트워크 연결
• Active Copper: 중간 거리(3~10m)에서 신호 증폭을 통해 NVLink 연결 안정화
• Optical OSFP: 장거리(10m 이상)에서 광케이블을 사용하여 NVLink 네트워크 확장

NVLink 네트워크의 유연성을 높이고, 데이터센터 환경에 맞게 최적의 케이블을 선택하여 사용 가능

3. NVLink Switch의 역할과 장점

(1) AI 및 HPC 워크로드 가속

• NVSwitch를 통해 GPU 간 데이터 전송을 최적화하여 AI 모델 학습 속도 향상
• 대용량 데이터 공유가 필요한 HPC(고성능 컴퓨팅) 워크로드에 적합
• AI 훈련 시 AllReduce 연산 최적화하여 GPU 간 데이터 동기화 속도 증가

(2) 다수의 DGX H100 서버 연결 가능

• 128 NVLink 포트와 32 OSFP 슬롯을 활용하여 여러 개의 DGX 서버를 연결 가능
• 단일 서버의 NVLink 연결을 넘어, 대규모 AI 클러스터 구축 가능
• 데이터센터 및 슈퍼컴퓨터에서 사용 가능

(3) NVLink 및 InfiniBand를 동시에 활용 가능

• OSFP 포트를 통해 InfiniBand 네트워크와 연동 가능
• NVLink 네트워크를 통해 GPU 간 데이터 전송 최적화, InfiniBand로 서버 간 데이터 교환
• 데이터센터 네트워크 구성에 유연성 제공

(4) 효율적인 데이터센터 운영 지원

• Out-of-Band 관리를 통해 원격으로 NVLink 네트워크 상태 모니터링 및 장애 복구 가능
• 패시브 및 액티브 구리 케이블, 광 케이블 지원으로 다양한 데이터센터 환경에 맞게 구성 가능
• 초거대 AI 모델 학습을 위한 고성능 GPU 클러스터 구축 가능

4. 결론

DGX H100 SUPERPOD의 NVLink Switch는 초고속 AI 및 HPC 네트워크를 위한 핵심 인프라

• 128개의 NVLink4 포트와 32 OSFP 슬롯을 제공하여 DGX 서버 간 고속 네트워크 구성 가능
• 최대 6.4TB/s 대역폭을 지원하여 GPU 간 데이터 공유 속도를 극대화
• NVSwitch 및 OSFP를 활용하여 대규모 AI 클러스터를 손쉽게 구축
• Out-of-Band 관리 및 다양한 케이블 지원으로 데이터센터 운영 최적화

즉, 이 NVLink Switch는 DGX H100 SuperPOD의 GPU 클러스터에서 초고속 데이터 교환을 지원하는 핵심 인프라입니다.