AI 추론 네트워크를 위한 InfiniBand 및 RoCE

선택하다인피니밴드예측 가능한 꼬리 지연 시간에 따라 추론 워크로드가 살아 있거나 죽는 시기를 선택하고로체(통합 이더넷을 통한 RDMA) 이더넷 패브릭에서 RDMA{0}}급 성능을 원할 경우 이미 보유한 팀과 함께 확장, 공유 및 운영할 수 있습니다. 두 옵션 모두 어디에서나 승리하지 않습니다. 올바른 호출은 추론 패턴, p99 및 p999 지연 시간 목표, GPU 규모, 예산, 팀에 실제로 얼마나 무손실{5}}이더넷 튜닝 전문 지식이 있는지에 따라 달라집니다.

추론 팀이 기대하는 것보다 네트워크가 더 중요한 이유

수년 동안 추론은 GPU 이야기의 쉬운 절반, 즉 모델이 단일 노드에 로드되고 요청이 독립적으로 제공되며 동-서 트래픽이 거의 없는 것으로 간주되었습니다. 그 사진은 이제 구식입니다. 현대의 추론은 점점 더 분산되고 있으며 여러 패턴이 직물에 실질적인 압력을 가하고 있습니다.

• 텐서 병렬성GPU 전체에서 단일 레이어를 분할하므로 각 토큰 단계는 GPU 간의 전체-감소 또는 전체{1}}수집 작업을 트리거합니다. 이는 대기 시간 동안 GPU가 차단하는 빈번하고 지연 시간에 민감한-교차-GPU 트래픽입니다.
• 파이프라인 병렬성활성화는 한 단계에서 다음 단계로, 종종 노드 전체에서 진행되어 모든 정방향 전달에 교차{0}}노드 종속성을 추가합니다.
• 분리된 미리 채우기 및 디코딩컴퓨팅이 많이 필요한{0}}미리 채우기 단계를 지연 시간에 민감한{1}}디코드 단계에서 분리한 다음 KV 캐시를 그 사이로 이동합니다. 이러한 전송은 규모가 크고 폭주하며, 지연이 발생하면-첫 번째-첫 번째-토큰 지연 시간과 토큰 간 지연 시간이-느린 것으로 직접적으로 나타납니다.
• 검색-증강 생성(RAG)벡터 및 검색 서비스에 동{0}}트래픽을 추가합니다. 일반적으로 집합 작업보다 지연 시간이 적지만{2}}특히 쿼리 볼륨이 높을 때 여전히 패브릭을 로드합니다.
• 멀티{0}}테넌트 제공많은 모델과 사용자를 동일한 패브릭에 배치하므로 마이크로버스트와 시끄러운-인접 효과가 주요 위험이 됩니다.

네트워크에 병목 현상이 발생하면 증상이 심각해집니다. -첫 번째-토큰에 도달하는 데 더 많은 시간이 걸리고, 데이터를 기다리는 동안 GPU가 정지되고, 처리량이 급증하면 붕괴되고, p95 및 p99가 불안정해집니다. 벤치마크를 뛰어 넘는 부분은 다음과 같습니다. 평균 대기 시간은 모든 것을 숨깁니다. 생산 추론은 평균이 아닌 꼬리로 판단됩니다.

InfiniBand 및 RoCE: AI 추론 요약 표

인피니밴드란 무엇입니까?

InfiniBand는{0}}처음부터 짧은 지연 시간, 높은 처리량, 무손실 통신을 위해 설계된 특수 목적 네트워크 패브릭입니다. 이더넷의 더 빠른 맛이 아닙니다. 자체 호스트 채널 어댑터, 스위치, 서브넷 관리자, 케이블링 생태계 및 혼잡-제어 모델이 함께 제공됩니다. 이를 정의하는 가치는 결정론적 동작입니다. 많은 GPU가 엄격한 타이밍 요구 사항과 통신할 수 있으며, 집합적인 트래픽이 많을 때에도 패브릭은 일관되게 작동합니다.

최신 AI{0}지향 InfiniBand 플랫폼은 대규모 GPU 클러스터를 겨냥한 기능을 통해 이러한 기반을 확장합니다. 예를 들어 NVIDIA의 Quantum InfiniBand 라인은 다음을 추가합니다.적응형 라우팅,-네트워크 컴퓨팅 및 원격 측정-기반 정체 제어, 이는 패브릭이 트래픽을 지능적으로 분산시키고 한 테넌트의 로드를 다른 테넌트의 로드에서 격리하는 데 도움이 됩니다. 추론을 위해 InfiniBand는 워크로드가 지터를 허용할 수 없거나 여러 GPU 노드가 데이터를 빠르고 일관되게 교환해야 하는 경우 그 자리를 차지합니다.

비용, 생태계 집중, 운영 전문화는{0}}절충점입니다. 전용 InfiniBand 패브릭은 전용 스위치, 어댑터, 케이블 또는 광 모듈과 InfiniBand 패브릭 관리에 익숙한 엔지니어를 의미합니다. 이미 대규모 이더넷 자산을 운영 중인 조직의 경우 별도의 패브릭을 추가하면 조달 복잡성, 예비 부품 계획 및 모니터링 오버헤드가 추가됩니다.-

RoCE(RDMA over Converged Ethernet)란 무엇입니까?

RoCE는 이더넷 네트워크에 낮은 CPU 오버헤드로 직접 메모리{0}}메모리 데이터 이동을 제공하는 RDMA를 제공합니다. 최신 데이터 센터에서 사용되는 버전인 RoCEv2는 레이어 3 IP 네트워크 전반에 걸쳐 라우팅 가능하며인피니밴드 무역협회. 이러한 라우팅 가능성 덕분에 RoCE는 익숙한 NIC, 스위치, 광학 장치 및 모니터링 도구를 재사용하면서 이더넷 리프{1}}스파인 설계에 자연스럽게 적응할 수 있습니다.

문제는 RDMA 전송이 거의 무손실에 가까운-네트워크를 가정한다는 것입니다. 패킷을 삭제하면 전송이 테일 대기 시간을 손상시키는 재전송 동작으로 대체됩니다. 따라서 RoCE는 무손실 패브릭처럼 작동하기 위해 그 아래에 이더넷이 필요하며 이는 특히 두 가지 메커니즘의 신중한 구성에 따라 달라집니다.우선순위 흐름 제어(IEEE 802.1Qbb), 삭제를 방지하기 위해 단일 트래픽 클래스를 일시 중지합니다.명시적 혼잡 알림(ECN), 이는 혼잡을 조기에 알리므로 버퍼가 오버플로되기 전에 발신자의 속도가 느려집니다. 여기에 대기열 관리, 버퍼 할당, QoS 매핑을 추가하면 고성능-RoCE가 일반적인 이더넷이 아니라는 것이 분명해집니다.

잘 수행되면 RoCE는 광범위한 프로덕션 추론 서비스에 충분한 대기 시간과 처리량을 제공하며 많은 추론 워크로드는 RoCE에 유리하게 작동하는 분산 교육보다 덜 긴밀하게 동기화됩니다. 제대로 수행되지 않으면 패킷 손실, 헤드-라인 차단, 정체 확산, 불안정한 테일 등이 발생하며 이 모든 것이 직접적으로 서비스 품질 저하로 이어집니다.

InfiniBand와 RoCE 대기 시간: p99 추론에 더 나은 것은 무엇입니까?

두 패브릭 모두 높은-대역폭과 낮은 지연 시간의-네트워킹을 제공할 수 있습니다. 그들은 거기에 도달하는 방법이 다릅니다. InfiniBand는 구조적으로 결정적이므로 혼합 부하에서도 지터가 낮게 유지됩니다. RoCE는 이를 다양한 워크로드에 일치시킬 수 있지만 결과는 이더넷 패브릭과 그것이 얼마나 잘 조정되었는지에 따라 달라집니다.

배포 관점에서 볼 때 프로덕션의 실제 문제는 최대 대역폭인 경우가 거의 없습니다. 혼합되고 폭주하는 멀티{1}}트래픽에서는 지터가 발생합니다. 깔끔한 iperf-스타일 처리량 테스트를 통과한 RoCE 패브릭은 마이크로버스트와 경합이 발생하는 순간에도 여전히 p99 목표를 놓칠 수 있습니다. 랩 벤치마크와 프로덕션 SLA 사이의 격차는 가장 놀라운 일이 일어나는 곳입니다.

InfiniBand는 다음과 같은 경우에 우위를 점하는 경향이 있습니다.

• 서비스에는 엄격한 p99 또는 p999 대기 시간 목표가 있습니다.
• 추론은 텐서 또는 파이프라인 병렬 처리를 사용하여 여러 GPU 노드에 걸쳐 있거나 분리된 사전 채우기 및 디코딩을 사용합니다.
• GPU 활용도는 네트워크 지연에 매우 민감하므로 정지 비용이 많이 듭니다.
• 클러스터는 예측 가능성이 유연성보다 중요한 소수의 우선순위가 높은 작업 부하를 실행합니다.{0}}

RoCE는 일반적으로 다음과 같은 경우에 충분합니다.

• 요청은 대부분 독립적이거나 결합이 느슨합니다.
• 작업은 하나의 노드 또는 소수의 노드 내에서 실행됩니다.
• 배치 처리량은 극도로 짧은 꼬리 지연 시간보다-더 중요합니다.
• 팀에서는 이미 이더넷을 운영하고 있으며 비용이나 공급업체 유연성이 최우선 과제입니다.
• 클러스터는 여러 테넌트 또는 혼합 워크로드를 지원합니다.

RoCE와 InfiniBand 비용 비교: 실제로 TCO를 주도하는 것은 무엇입니까?

RoCE는 종종 더 저렴한 옵션으로 불리지만 스위치 가격은 전체 그림에서 작은 부분입니다. 현실적인 비교에서는 네트워크 어댑터 또는 HCA, 스위치, 광학 모듈, DAC, AOC 및 광섬유 케이블 연결, 랙 토폴로지, 전원 및 냉각, 네트워크 운영 체제, 모니터링 및 원격 측정, 엔지니어링 시간, 예비 부품, 공급업체 지원, 400G 또는 800G로의 경로 등 전체 스택을 살펴봅니다.

InfiniBand에는 전용 패브릭과 특수 구성 요소가 필요하기 때문에 일반적으로 초기 비용이 더 높습니다. 결정적 동작이 최우선 순위인 환경에서는 무손실 이더넷 패브릭에 필요한 조정 및 문제 해결 노력을 줄일 수 있습니다. RoCE는 올바른 데이터 센터 브리징 지원을 통해 기존 이더넷 자산을 재사용할 수 있을 때 하드웨어 비용을 낮추지만 무손실 패브릭을 설계, 검증, 모니터링 및 문제 해결하는 데 노력을 쏟습니다. 저비용-RoCE 설계는 불안정한 대기 시간과 반복적인 화재 진압을 야기할 경우 빠르게 비용이 많이 듭니다.

속도가 증가함에 따라 비용과 위험은 물리적 계층에 집중됩니다. 400G 및 800G에서는 광학 장치가 청구서 모드와 실패 모드 모두를 지배합니다. 대부분의 고속-포트는 다음 위치에 연결됩니다.QSFP-DD 또는 유사한 폼 팩터, 오른쪽 일치단일-모드 또는 다중 모드 광학 장치실제 도달 범위를 넓히는 것은 장거리 모듈이 필요하지 않은 패브릭에 대한 과도한 지출을 방지하는 가장 간단한 방법 중 하나입니다-.

직설적으로 말하면 팀에 무손실-이더넷 전문 지식이 부족한 경우 RoCE는 더 저렴한 옵션이 아닙니다. 하드웨어에 대한 절감 효과는 패브릭을 안정적으로 유지하는 데 드는 엔지니어링 비용으로 인해 빠르게 상쇄될 수 있습니다.

확장성 및 운영

확장성은 포트 수 이상입니다. 여기에는 장애 발생 시 패브릭이 얼마나 쉽게 배포, 모니터링, 확장 및 복구되는지가 포함됩니다.

InfiniBand는 클러스터가 처음부터 전용 고성능 패브릭으로 설계될 때 강력합니다.{0}} 대규모로 일관된 동작을 제공하지만 서브넷 관리자 및 통합 패브릭 관리와 같은 InfiniBand-특정 도구와 InfiniBand 개념에 익숙한 직원이 필요합니다. 따라서 GPU 워크로드를 중심으로 구축된 중앙 집중식 AI 클러스터에 적합합니다.

RoCE 슬롯은 이더넷 데이터 센터 설계에 적용됩니다: 리프-스파인 토폴로지, IP 라우팅, ECMP 및 친숙한 모니터링 방식. 이것이 바로 클라우드-스타일과 멀티테넌트 GPU 인프라에 매력을 느끼는 이유입니다.- 그것이 요구하는 규율은 일관성이다. PFC, ECN, QoS, 버퍼 관리 및 혼잡 제어는 전체 경로에 걸쳐 일관되게 설계되어야 합니다. 패브릭 한 쪽 구석의 작은 구성 오류로 인해 많은 워크로드가 동시에 확산되고 저하될 수 있기 때문입니다. 물리적 계층도 깔끔하게 확장되어야 합니다. 높은-밀도MPO 및 MTP 트렁크 및 브레이크아웃 케이블링모든 확장을 케이블링 퍼즐로 바꾸는 대신 성장하는 리프-척추 패브릭을 관리하기 쉽게 유지합니다.

미러-이미지 지점은 언급할 가치가 있습니다. 추론이 대부분 단일 노드 내에서 유지되고 패브릭이 거의 사용되지 않는 경우 InfiniBand는 정당화하기 어렵습니다.

각 추론 워크로드에 대한 네트워크

RoCE가 충분히 좋은 경우와 위험해지는 경우

RoCE는 독립적이거나 느슨하게 결합된 요청, 처리량{0}}지향적 일괄 작업, 특히 팀이 데이터 센터 브리징 이더넷에 능숙한 경우 격리를 조정할 수 있는 멀티 테넌트 클러스터에 적합합니다. 구체적이고 인식 가능한 방식으로 위험해집니다.

• PFC 폭풍.일시 중지 프레임은 업스트림으로 전파되어 원래 정체와 관련이 없는 트래픽을 정지시킵니다.
• 라인 차단-의-헤드.대략적인 우선순위 매핑을 사용하면 혼잡한 클래스 하나가 대기열을 공유하는 다른 클래스를 지연시킬 수 있습니다.
• ECN의 잘못된 조정.너무 늦게 표시하면 상품을 받을 수 있습니다. 너무 공격적으로 표시하면 처리량이 불필요하게 제한됩니다.
• 마이크로버스트 혼잡.1초 미만은 오버플로 버퍼를 버스트하지만 1-초 해상도로 샘플링하는 모니터링에는 보이지 않습니다.
• 일관성 없는 구성.잎과 척추의 설정이 일치하지 않으면 정체가 국소적으로 유지되지 않고 확산됩니다.

이들 중 어느 것도 RoCE를 피해야 할 이유가 되지 않습니다. 이는 무손실 패브릭을 엔드 투 엔드로 일관되게 설계하고 확장하기 전에 세분화된 마이크로버스트-인식 원격 분석에 투자해야 하는 이유입니다.

InfiniBand가 가치가 있는 경우와 과도하게 구매하는 경우

InfiniBand는 엄격한 p99 및 p999 대상, 긴밀하게 결합된 다중{2}}노드 제공, 특히 패브릭을 중심으로 설계된 전용 GPU 클러스터에서 SLA 페널티가 높은 미션 크리티컬 워크로드에 프리미엄 가치가 있습니다. 노드 내에 추론이 유지되는 경우, 작업이 처리량-중심 배치인 경우, 스토리지, 관리 및 멀티테넌트 클라우드 트래픽을 전달하기 위해 동일한 패브릭이 필요한 경우 또는 단순히 InfiniBand를 제대로 실행하기 위한 운영 용량이 부족한 경우 과다 구매 가능성이 높습니다.

스위치 견적에 표시되지 않은 비용은 실제입니다. 에코시스템 집중, 이더넷 네트워크와 병렬로 두 번째 패브릭을 실행하는 오버헤드, 예비 부품, 광학 장치 및 모니터링에 대한 별도 계획.

선택하기 전에 InfiniBand와 RoCE를 테스트하는 방법

프로토콜 평판이나 사양 시트를 결정하지 마십시오. 생산과 유사한 벤치마크를 결정합니다. 실제 순서:

• 꼬리 부분에 SLA를 정의합니다.평균이 아닌 p50, p95, p99 및 p999의 시간-을-첫 번째-토큰 및 토큰 간 지연 시간으로 설정하세요.-
• 현실적인 교통 상황을 재현해 보세요.단일한 깨끗한 스트림보다는 급증하는 혼합 모델 크기와 멀티{0}}테넌트 동시성을 사용하세요.
• 혼잡에로드.실제로 경합될 때까지 패브릭을 밀어 넣은 다음 GPU 활용도를 측정합니다. GPU가 네트워크에서 정지하는 경우 패브릭이 병목 현상이 됩니다.
• 올바른 카운터를 살펴보세요.일시 중지 프레임, ECN 표시, 패킷 삭제, 재전송, 포트 오류 카운터 및 400G 및 800G에서 FEC 오류를 추적합니다.
• 물리 계층을 검증합니다.깨끗하고 올바르게 설치된 광케이블이 중요합니다.신중한 광섬유 설치고속 링크에서 발생하기 쉬운 간헐적이고 -진단하기 어려운-오류를 방지합니다.-

RoCE가 안정적인 카운터를 사용하여 현실적이고 경합이 있는 다중 테넌트 로드에서 p99 목표를 유지한다면 이는 강력하고 비용 효율적인 선택입니다.- 깨끗한 단일-스트림 테스트만 통과했다면 아직 SLA를 결정하는 요소를 테스트하지 않은 것입니다.

피해야 할 일반적인 실수

• 모든 추론이 가벼운 네트워킹이라고 가정합니다.일부 추론은 간단하고 독립적입니다. 일부는 분산되어 있고 지연 시간에-민감하며 대역폭이 부족합니다-. 모든 것을 쉽게 다루면 인프라가 제대로 구축되지 않습니다.
• 평균 지연 시간만 비교합니다.생산 추론은 꼬리에 따라 달라집니다. 항상 현실적인 트래픽 하에서 p95, p99 및 p999를 평가하십시오.
• RoCE를 플러그{0}}앤드플레이 이더넷으로 취급합니다.고성능-RoCE에는 의도적인 무손실-패브릭 설계, 혼잡 제어 및 지속적인 관찰 가능성이 필요합니다.
• InfiniBand를 선택하는 이유는 더 빠르기 때문입니다.최고의 성능 옵션이 항상 최고의 비즈니스 옵션은 아닙니다. 워크로드에 결정적 동작이 필요하지 않은 경우 RoCE가 더 나은 가치를 제공할 수 있습니다.
• 물리 계층을 무시합니다.400G 및 800G에서는 케이블, 광학 장치, 커넥터 및 광케이블 청결도로 인해 찾기 어렵고 수정 비용이 많이 드는 간헐적인 오류가 발생합니다.

결론

AI 추론의 경우 InfiniBand와 RoCE가 모두 유효하며 서로 다른 우선순위를 제공합니다. 실시간-, SLA에 민감하거나{3}}긴밀하게 결합된 추론을 위해 가장 일관되고 지연 시간이 짧은 네트워크가 필요한 경우 InfiniBand를 선택하세요. 일괄 추론, 멀티{7}}GPU 서비스, RAG 워크로드 및 유연한 인프라를 위해 확장 가능하고 이더넷-기반의 비용 효율적인 패브릭이 필요한 경우 RoCE를 선택하세요.

결정은 프로토콜이 아닌 워크로드, 대기 시간 목표, 클러스터 규모, 운영 기능 및 업그레이드 로드맵에서 시작되어야 합니다. 클러스터가 과부하 상태에서 엄격한 p99를 유지해야 한다면 InfiniBand를 진지하게 고려해 볼 가치가 있습니다. 이더넷 데이터 센터 전체에서 추론을 경제적으로 확장하는 것이 목표라면 일반적으로 RoCE가 더 실용적인 경로입니다. 어느 쪽이든 커밋하기 전에 로드와 같이 프로덕션 환경에서 벤치마킹하세요.-