AI 클러스터 네트워크 설계: Spine-Leaf, RoCE 및 NIC

AI 클러스터 네트워크 설계는 GPU 서버 NIC, 리프{0}}스파인 대역폭, 초과 구독 비율, RoCE 설정, 광학 및 케이블링의 크기를 조정하여 클러스터가 확장됨에 따라 분산 학습 트래픽을 예측 가능하게 유지하는 프로세스입니다. 이 중 하나라도 잘못되면 GPU -가 아닌 네트워크 -에서 병목 현상이 발생합니다.

AI 클러스터 네트워킹이 다른 이유

기존 기업 데이터 센터에서는 네트워크가 남북 사용자 트래픽, 스토리지 액세스, 가상화 및 관리를 모두 처리합니다.{0}} 동-서 트래픽이 존재하지만 지배적인 로드는 거의 없습니다. AI 클러스터에서는 상황이 반전됩니다. 분산 훈련을 실행하는 GPU 서버는 작업의 모든 단계에서 기울기를 교환하고 매개변수를 동기화합니다. 이 통신은 계산의 일부이지 계산의 부작용이 아닙니다.

$30,000 GPU가 모든 축소 작업 중에 네트워크 대기 시간의 30%를 소비한다면{3}}클러스터는 유휴 상태로 유지되는 컴퓨팅 용량의 30%에 대해 효과적으로 비용을 지불합니다. AI 네트워킹이 많은 관심을 받는 경제적 이유도 바로 여기에 있다.

세 가지 워크로드 특성이 설계를 주도합니다.

• 동쪽-서쪽으로 교통 정체가 심합니다.모두-감소, 모두-수집 및 감소-분산과 같은 집단 통신 작업은 여러 노드에서 동시에 동기화된 버스트를 생성합니다.
• 테일-지연 민감도.단일 느린 노드는 전체 훈련 단계를 지연시킵니다. 예측 가능한 대기 시간은 평균 대기 시간보다 더 중요합니다.
• 확장-성장.32개의 GPU에서 시작하는 클러스터는 18개월 이내에 256개 또는 1,024개로 증가하는 경우가 많습니다. 패브릭은 재설계 없이 확장되어야 합니다.

Spine-Leaf가 AI 클러스터에 적합한 이유

스파인-리프는 모든 서버-간-서버 경로에 동일한 홉 수와 동일한 이론적 대역폭을 제공하므로 대규모 데이터 센터의 표준 패브릭입니다. AI 워크로드의 경우 이러한 균일성은 보다 예측 가능한 훈련 단계 시간으로 직접적으로 해석됩니다.

스파인-리프 토폴로지에서 GPU 서버는 리프 스위치에 연결되고 각 리프는 모든 스파인에 연결됩니다. 모든 GPU-대-GPU 통신은 정확히 하나의 리프, 하나의 스파인, 또 하나의 리프를 통과합니다. 가변 대기 시간이나 초크포인트를 도입하는 집계 레이어가 없습니다.

예측 가능한 지연 시간

ECMP(등가 다중 경로) 라우팅은 스파인 스위치 전체에 흐름을 분산시킵니다. 적응형 라우팅 또는 동적 로드 밸런싱을 사용하여 올바르게 구성하면 일부 흐름이 다른 흐름보다 훨씬 느려지는 해시 충돌을 방지할 수 있습니다. - 적지만 큰 흐름을 전달하는 정적 ECMP 패브릭에서 알려진 문제이며, 이것이 바로 AI 교육에서 생성되는 것입니다.

높은 이등분 대역폭

이등분 대역폭은 클러스터의 동일한 두 절반 사이에서 사용할 수 있는 처리량입니다. AI 교육은 리프-에서-스파인까지의 업링크 용량이 서버가 향하는 다운링크 용량과 같거나 거의 같은 비차단 또는 거의-비{3}}차단 설계의 이점을 활용합니다. IETF는 이러한 개념을 정의하고 논의합니다.RFC 7938, 대규모 데이터 센터에서 널리 사용되는 BGP-라우팅 Clos 패브릭을 다루고 있습니다.-

더욱 간편한 확장-

더 많은 서버를 추가하려면 나뭇잎을 더 추가하세요. 더 많은 이등분 대역폭을 추가하려면 더 많은 스파인을 추가하세요. 수천 개의 GPU를 초과하는 클러스터의 경우 슈퍼-스파인(5-단계 Clos) 또는 레일 최적화 토폴로지가 동일한 원리를 한 계층 더 확장합니다.

AI 클러스터 네트워크의 핵심 구성 요소

GPU 서버 및 NIC

NIC는 패브릭이 호스트와 만나는 곳입니다. AI 클러스터에서 NIC 선택은 모든 다운스트림 - 스위치 포트 속도, 광학 선택 및 케이블 밀도를 결정합니다.

AI 워크로드 선택 기준:

• 포트 속도:포트당 200G, 400G 또는 800G. GPU 세대 및 PCIe 대역폭과 일치합니다.
• PCIe 세대:400G NIC에는 호스트 측 스로틀링을 방지하기 위해 PCIe Gen5 x16이 필요합니다-. 최대 256Gbps의 PCIe Gen4 x16 캡을 사용할 수 있습니다.
• RDMA 및 RoCEv2 지원:NCCL과 같은 커널{0}}우회 GPU 통신 라이브러리에 필요합니다.
• GPU다이렉트 RDMA:GPU{0}}를{1}}NIC DMA로 직접 허용하여 호스트 메모리 복사본을 제거합니다.
• 다중-레일 기능:많은 AI 서버는 레일-최적화 토폴로지를 위해 노드당 4개 또는 8개의 NIC, GPU 쌍당 하나씩을 사용합니다.

오늘날 일반적인 8-GPU 서버는 작업 부하와 예산에 따라 4개의 400G NIC(GPU 2개당 1개) 또는 8개의 400G NIC(GPU당 1개)를 사용합니다. 참조 아키텍처NVIDIA 네트워킹 문서디자인 장단점을 자세히 다루십시오.

리프 및 스파인 스위치

AI 패브릭의 스위치 선택 기준은 기업 선택과 다릅니다. 버퍼 크기, 혼잡 제어 동작 및 원격 측정은 기능의 폭보다 더 중요합니다.

• 포트당-속도 및 기수:51.2 Tbps 스위치 ASIC은 64× 800G 포트 또는 128× 400G 포트를 제공합니다. Radix는 직물이 얼마나 편평한지를 결정합니다.
• 버퍼 아키텍처:딥 버퍼는 인캐스트 버스트를 흡수하지만 대기 시간을 추가합니다. 얕은 버퍼는 대기 시간을 줄이지만 정확한 혼잡 제어가 필요합니다.
• RoCE 기능 세트:ECN 마킹, PFC, DCQCN 또는 이에 상응하는 혼잡 제어 및 우선순위 대기열의 엔드{0}}}투-적절한 처리.
• 원격 측정:대역 내 네트워크 원격 측정(INT),-큐당 깊이 보고, ECN 표시 및 PFC 일시 중지를 위한 마이크로초{1}}분해능 카운터.

광학, DAC 및 AOC 케이블링

400G 및 800G에서는 케이블링 플랜트가 실제 엔지니어링 문제가 됩니다. 폼 팩터, 링크 예산 및 브레이크아웃 구성은 모두 조기 계획이 필요합니다.

• DAC(직접 연결 구리):400G의 경우 최대 3미터, 최저 비용 및 최저 전력. 규모에 따라 무겁고 부피가 큽니다.
• AOC(활성 광케이블):최대 30미터까지 가능하며 DAC보다 얇지만 길이가 고정되어 있고-양쪽 끝에서 광학 전력을 소비합니다.
• 플러그형 광학 장치:AOC 거리 이상에서 필요합니다. QSFP-DD 및 OSFP 폼 팩터가 400G/800G를 지배합니다. MPO/MTP 광케이블 어셈블리는 병렬- 광케이블 연결을 처리합니다.

400G/800G의 랙 간 링크와 구조적 케이블링의 경우 -MPO 종단을 통한 병렬 광학 장치가 이제 표준입니다. 트렁크 케이블과 브레이크아웃 어셈블리 사이의 선택은 스위치 포트 할당에 따라 다릅니다. - 당사 참조MPO 브레이크아웃 케이블 가이드실용적인 선택 논리와 더 넓은 범위를 위해MPO 트렁크와 브레이크아웃 비교리프{0}}에서-척추까지의 실행을 계획할 때

AI 패브릭의 RoCE 및 무손실 이더넷

RoCEv2(RDMA over Converged Ethernet v2)는 AI 워크로드를 위한 주요 이더넷 전송입니다. 이를 통해 NIC는 양쪽 끝의 커널 개입 없이 GPU 메모리 영역 간에 직접 데이터를 이동할 수 있습니다. 거의 모든 분산 교육 프레임워크의 기반이 되는 GPU 통신 라이브러리인 NCCL은 InfiniBand를 사용할 수 없을 때 RoCEv2를 사용합니다.

RoCE는 올바르게 구성되면 제대로 작동합니다. 잘못 구성하면 추악한 실패가 발생합니다. 그만큼인피니밴드 무역협회RoCE 사양을 게시하고 대부분의 NIC 및 스위치 공급업체는 처음부터 끝까지 따라야 하는 자세한 구성 가이드를 게시합니다.-}

무손실 동작이 중요한 이유

RDMA는 무손실 전송을 가정하여 설계되었습니다. 패킷이 삭제되면 RDMA 복구 비용이 많이 듭니다. - 돌아가기-뒤로-N번의 재전송으로 인해 밀리초 동안 훈련 단계가 중단될 수 있습니다. 이는 마이크로초- 규모의 RDMA 예산에 비해 엄청납니다.

이더넷에서 무손실 동작을 근사화하기 위해 패브릭은 함께 작동하는 두 가지 메커니즘을 사용합니다.

• PFC(우선순위 흐름 제어, IEEE 802.1Qbb):스위치는 버퍼가 가득 차면 특정 우선순위 대기열로 들어오는 트래픽을 일시 중지합니다. 이는 최후의-수단 메커니즘입니다.
• ECN(명시적 혼잡 알림, RFC 3168):스위치는 대기열이 임계값에 도달하면 패킷을 표시합니다. NIC는 버퍼가 실제로 채워지기 전에 전송 속도를 줄여 이상적으로 PFC를 완전히 방지합니다.

목표는 ECN이 PFC를 안전망으로 사용하여 거의 모든 혼잡 관리를 수행하는 것입니다. 안정적인-상태 트래픽에서 PFC 일시 중지가 자주 발생하는 경우 ECN 임계값이 잘못되었거나 패브릭 크기가 작은 것입니다.

일반적인 RoCE 배포 실패

AI 클러스터 네트워크를 설계하는 방법: 작동 프레임워크

이것은 대부분의 "AI 네트워킹" 기사에서 건너뛰는 섹션입니다. 아래의 7단계는 각 단계의 구체적인 입력과 출력을 제공합니다.

1단계: 워크로드 및 규모 정의

입력:워크로드 유형(사전 훈련, 미세 조정,{0}}추론, 혼합), 현재 목표 GPU 수, 18개월 후 목표 GPU 수, 모델 크기 범위.

산출:NIC 속도 및 초과 구독 허용치를 알려주는 워크로드 프로필입니다. 프론티어 모델의 대규모 사전 학습에는 비차단 400G+ 패브릭이-필요합니다. 미세 조정-워크로드는 2:1 초과 구독을 허용할 수 있습니다. 추론 클러스터에는 더 낮은 대역폭이 필요하지만 꼬리 지연 시간은 더 낮아야 하는 경우가 많습니다.

2단계: 서버당 NIC 속도 및 개수 선택

결정 논리:

• 대형 모델 사전 학습, 8-GPU 서버 → 서버당 4~8× 400G NIC 또는 4× 800G
• 중간{0}}규모 교육, 8-GPU 서버 → 서버당 2~4× 400G NIC
• 추론 제공 → 모델 병렬 처리에 따라 서버당 200G 또는 400G NIC 1~2개

호스트의 PCIe 대역폭을 확인합니다. 단일 400G 포트를 회선 속도로 실행하려면 PCIe Gen5 x16이 필요합니다. 800G로 두 배로 늘리려면 Gen6이 필요하거나 두 개의 슬롯에 걸쳐 분할해야 합니다.

3단계: 리프 레이어 크기 조정

작업된 예시 - 32-노드 클러스터, 노드당 GPU 8개, 노드당 400G NIC 4개:

• 필요한 총 서버 -접속 포트: 400G에서 32 × 4=128 포트
• 노드당 다운링크 대역폭: 4 × 400=1.6 Tbps
• 총 클러스터 다운링크 대역폭: 32 × 1.6=51.2 Tbps

64포트 400G 리프 스위치(총 용량 25.6Tbps)를 사용하면 각 리프는 32개의 서버 포트를 연결하고 나머지 32개 포트를 업링크로 사용할 수 있습니다. 4개의 리프로 128개의 서버 포트를 모두 커버할 수 있습니다. 각 리프는 스파인을 향한 32 × 400G=12.8 Tbps의 업링크에 기여합니다.

4단계: 척추 레이어 크기 조정

비{0}}차단(1:1) 설계의 경우 총 업링크 용량은 총 다운링크 용량과 동일해야 합니다. 3단계부터:

• 필요한 총 리프 업링크: 4개 리프 × 12.8Tbps=51.2Tbps
• 각 스파인에 32개의 400G 포트=12.8Tbps가 있는 경우 스파인 4개가 필요합니다.
• 각 리프는 스파인당 8개의 업링크를 사용하여 4개의 스파인 모두에 연결됩니다(리프당 8 × 400G × 4=12.8 Tbps - 일치).

64포트 400G 스파인 스위치를 사용하는 경우 각 스파인에는 클러스터를 확장할 수 있는 여유 용량이 있어 1단계의 18개월 계획에 유용합니다.

5단계: 초과 구독 비율 설정

6단계: 컴퓨팅, 스토리지, 관리 트래픽 분리

격리 수준을 높이는 세 가지 옵션:

• QoS 클래스와 공유 패브릭:별도의 DSCP 우선 순위에 따른 컴퓨팅, 스토리지 및 관리. 최저 비용; 신중한 QoS 구성이 필요합니다.
• 논리적으로 분리된 VLAN/VRF:동일한 하드웨어, 별도의 제어 평면. 멀티-테넌트 클러스터에 유용합니다.
• 물리적으로 분리된 패브릭:컴퓨팅과 스토리지를 위한 전용 NIC, 스위치 및 케이블링. 최고 비용; 어떤 경합도 용납할 수 없는 프론티어-모델 클러스터에서 일반적입니다.

AI의 스토리지 트래픽은 그 자체로 무겁습니다. - 대규모 모델에 대한 체크포인트 쓰기는 짧은 순간에 수백 기가바이트를 이동할 수 있습니다. 명시적으로 계획하세요. 다음을 사용하는 고밀도-구조적 케이블링 플랜트MPO/MTP 트렁크 케이블동일한 물리적 인프라에서 병렬 패브릭 실행을 단순화합니다.

7단계: 생산 전 검증

네트워크-수준 테스트에서는 몇 가지 문제를 포착합니다. 워크로드-수준 테스트는 나머지를 포착합니다.

• 대역폭:모든 노드 쌍 사이의 iperf3 또는 ib_send_bw; NIC 회선 속도의 90%+에 도달해야 합니다.
• 숨어 있음:ib_read_lat 또는 유사; 평균이 아닌 분포를 확인하세요. P99.9는 평균보다 더 중요합니다.
• 패킷 손실:부하가 걸린 상태에서 24-시간 흡수 테스트를 실행합니다. RoCE 트래픽 클래스의 0이 아닌 손실은 문제입니다.
• ECN 마킹 동작:PFC가 발생하기 전에 표시가 나타나는지 확인하십시오. 안정된 상태에서 PFC 일시 중지가 자주 발생하는 경우 다시 조정하십시오.
• 집단 커뮤니케이션:전체 클러스터 크기에서 NCCL 테스트(all_reduce_perf, all_gather_perf)를 실행합니다. 공급업체 참조 번호와 비교하십시오.
• 직무-레벨 테스트:4~6시간 동안 대표적인 학습 작업을 실행합니다. 적절한 크기의 모델에서 GPU 사용률 - 값이 50% 미만으로 지속되는 경우 일반적으로 네트워크 문제를 나타냅니다.-

기존 데이터 센터 네트워크와 AI Spine-Leaf Fabric 비교

이더넷 RoCE와 InfiniBand 비교: 빠른 결정 가이드

이 질문은 거의 모든 AI 클러스터 프로젝트에서 나타납니다. 둘 다 작동합니다. 선택은 일반적으로 순수한 성능이 아닌 운영 적합성에 따라 결정됩니다.

• 다음과 같은 경우 InfiniBand를 선택하세요.귀하의 팀은 이미 InfiniBand 패브릭을 운영하고 있고, 무손실 전송을 위한 가장 간단한 경로를 원하거나, 완전히 통합된 공급업체 참조 아키텍처를-구매하고 있습니다.
• 다음과 같은 경우 이더넷 RoCE를 선택하십시오.귀하의 운영팀은 이더넷-기본을 갖추고 있고, 다중 공급업체 스위치 옵션을 원하고, AI 패브릭을 기존 데이터 센터 네트워크와 통합해야 하거나, 현재 InfiniBand 토폴로지가 지원하는 것 이상으로 확장할 것으로 예상하고 있습니다.

2023년에 결성된 울트라 이더넷 컨소시엄은 특히 AI 워크로드를 위한 이더넷 개선 사항을 표준화하기 위해 적극적으로 노력하고 있습니다. 2026년 대부분의 새 클러스터에서는 달리 선택해야 하는 특별한 이유가 없는 한 이더넷 RoCE가 방어 가능한 기본값입니다.

피해야 할 일반적인 실수

NIC를 확인하지 않고 스위치 업그레이드

800G 스위치 패브릭은 NIC가 400G에서 실행되거나 호스트 PCIe가 대역폭이 부족한 경우 아무 것도 수행하지 않습니다. 호스트 측을 먼저 디자인한 다음 스위치 측을 디자인합니다. PCIe Gen5 x16은 단일 포트를 약 504Gbps의 실제{7}}처리량으로 제한합니다. - 400G에서는 적합하고 800G에서는 한계가 있습니다.

포트 속도를 최적화하지만 케이블 밀도를 무시함

64-포트 400G에서 각 스위치 아래의 케이블 연결은 계획 없이 물리적으로 관리하기 어렵게 될 수 있습니다. 적절한 경우 브레이크아웃 케이블을 사용하고, 구조화된 경로를 통해 광섬유를 라우팅하고, 커넥터 유형을 표준화하십시오. 고속에서는 커넥터 품질과 종단이 중요합니다.광섬유 커넥터 유형 가이드LC, MPO 및 새로운 고밀도 폼 팩터 간의 장단점을 다룹니다.-

RoCE를 플러그-및-플레이로 취급

실제 AI 클러스터의 가장 큰 설계 실수는 잘못된 스위치를 선택하는 것이 아니라 - RoCE 구성 작업이 얼마나 필요한 엔드{1}}대-필요한지 과소평가하는 것입니다. ECN 임계값, PFC 우선 순위 및 MTU 일관성을 조정하기 위한 예산 시간입니다. 프로덕션 워크로드가 실행되기 전에 전용 검증 단계를 계획하세요.

QoS 없이 하나의 패브릭에서 모든 트래픽 혼합

스토리지 복제, 모니터링 에이전트 및 관리 트래픽은 컴퓨팅 트래픽과 버퍼를 공유하는 경우 교육 단계 시간을 망칠 수 있습니다. 물리적으로 분리하거나 별도의 우선순위 및 ECN 구성을 사용하여 엄격한 QoS 클래스를 적용하십시오.

현재의 클러스터만을 위한 구축

대부분의 AI 클러스터는 초기 배포 후 2년 이내에 4~8배 성장합니다. 무중단 확장이 가능한-스위치 기수와 스파인 용량을 선택하세요. 라이브 AI 데이터 센터에서 케이블을 당기는 데는 비용이 많이 듭니다. 배포 시 도관 및 패치 용량을 계획하는 것이 저렴합니다.

400G에서 800G로 업그레이드해야 하는 시기

800G NIC 및 스위치를 사용할 수 있지만 포트당 가격이 더 비쌉니다. 다음과 같은 경우 강화를 고려하세요.

• GPU당- 대역폭 요구 사항은 400G가 제공할 수 있는 수준을 초과합니다. - 예를 들어 NVLink 5가 포함된 H100 및 최신 GPU는 더 높은 외부 대역폭을 기대합니다.
• NCCL은 모두-클러스터 크기에 따라 시간이 제대로 확장되지 않아 네트워크 포화 상태를 나타냅니다.
• 400G의 케이블 밀도는 물리적으로 관리하기 어려워지고 있습니다. - 더 적은 수의 800G 포트가 더 많은 400G 포트를 대체할 수 있습니다.
• 로드맵의 다음 GPU 세대에는 클러스터의 감가 상각 기간 내에 필요할 것으로 예상됩니다.
• 컴퓨팅 유휴 시간 비용이 광학 업그레이드보다 훨씬 더 많이 드는 최첨단{0}}모델 학습 클러스터를 구축하고 있습니다.

2026년 대부분의 프로덕션 클러스터에서 400G는 비용, 생태계 성숙도 및 기능의 적절한 균형을 유지합니다.{2}}G는 고급 수준에서 적합하며 현재 구축되고 4~5년 동안 실행될 것으로 예상되는 클러스터에 대한 사전 투자로 적합합니다.

결론

가장 강력한 AI 클러스터 네트워크는 가장 빠른 스위치를 갖춘 네트워크가 아닙니다. NIC 선택, 리프/스파인 크기 조정, 초과 구독, RoCE 구성, 트래픽 분리 및 물리적 케이블 연결이 모두 서로 지원하고 선택한 워크로드를 지원하는 것입니다.

워크로드와 18-개월 성장 계획부터 시작하세요. 경험에 의한 법칙이 아닌 실수를 사용하여 각 계층의 대역폭 요구 사항을 계산합니다. RoCE를 엔드{4}}구성하고-실제 집단 통신 벤치마크를 통해 검증합니다. 케이블링 플랜트 예산 - 400G 및 800G에서 물리적 계층은 더 이상 사소한 것이 아닙니다.

모든 훈련 단계에서 GPU 사용률을 95% 이상으로 유지하는 클러스터는 이러한 모든 계층에 주의를 기울인 클러스터입니다. 더 빠른 스위치와 더 느린 패브릭과 함께 제공되는 클러스터는 GPU가 유휴 상태인 이유를 설명하는 데 수년을 소비합니다.

추가 자료

• 대규모 데이터 센터의 RFC 7938 - BGP-
• InfiniBand Trade Association - RoCE 사양
• NVIDIA 네트워킹 문서
• 광섬유 케이블 설치 안내서
• 삽입 손실과 반사 손실의 설명