400G vs 800G NIC: 무엇을 선택해야 할까요?

400G NIC와 800G NIC 중에서 선택하는 것은 결제 페이지 비교가 아니라 패브릭 결정입니다. 더 빠른 어댑터는 서버, 스위치, 광학 장치 및 케이블 연결이 종단 간 속도를 전달할 수 있는 경우에만 가치를 발휘합니다. 이 가이드에서는 배포 및 조달 각도에서 절충안을 살펴보므로 어댑터, 스위치, 트랜시버, DAC, AOC, AEC 또는 광섬유에 예산을 할당하기 전에 결정할 수 있습니다.

짧은 버전: 400G NIC는 오늘날 대부분의 AI, HPC, 스토리지 및 클라우드 워크로드에 대한 성숙하고 비용 효율적인 기본값이며 NDR InfiniBand 및 PCIe Gen5 호스트에 깔끔하게 매핑됩니다. 800G NIC는 더 밀도가 높은 GPU, 더 많은 동서 트래픽, XDR InfiniBand, 800G 이더넷, 최종적으로는 1.6T를 향한 로드맵을 갖춘 차세대 AI 패브릭을 구축할 때 프리미엄을 얻습니다.

400G 대 800G NIC

서버, 스위치 및 광학 플랜트가 이미 400G 이더넷 또는 NDR InfiniBand로 표준화되어 있거나 작업 부하가 모든 GPU{2}}간-GPU 경로를 포화시키지 않는 경우 400G NIC를 선택하세요. 또한 가용성, 예산, 검증 시간이 최대 포트 속도보다 중요한 경우에는 더 안전한 호출입니다.

네트워크가 대규모 학습, -집적도 GPU 서버 또는 차세대 가속기에서 병목 현상을 일으키는 경우 800G NIC를 선택하세요.- 주어진 대역폭에 필요한 링크 및 광 모듈 수를 대략 절반으로 줄이고 다음 업그레이드를 위해 패브릭을 준비합니다.

800G 포트는 시스템의 나머지 부분이 이를 공급할 수 있을 때만 구매할 가치가 있습니다. 호스트가 어댑터에 충분한 PCIe 레인을 노출할 수 없는 경우 800G NIC는 성능 업그레이드보다는 비용이 많이 들고 덜 사용되는 포트가 됩니다.

400G NIC란 무엇입니까?

400G NIC는 포트당 초당 최대 400기가비트를 이동하는 네트워크 어댑터입니다. AI 및 HPC 환경에서는 GPU{3}}클러스터 네트워킹, 분산 교육, 스토리지 액세스, MPI 트래픽, RoCE 패브릭 및 NDR InfiniBand 링크를 처리합니다. 대부분의 사업자에게 400G는 이미 100G 또는 200G에서 크게 도약한 것이며 서버 및 스위치 계층을 재설계하지 않고도 명백한 병목 현상을 제거합니다.

오늘날 400G NIC가 적합한 곳

400G 어댑터는 현세대 GPU, HPC 및 과학 컴퓨팅 패브릭, 고성능 스토리지 네트워크, RoCEv2 이더넷 및 InfiniBand 패브릭, 일반 클라우드 서버 제품군, 혼합 세대 공간의 100G/200G-~-업그레이드를 기반으로 하는 AI 학습 클러스터 전체에서 작동하는 기본값입니다. 이러한 설정에서 400G는 거의 타협하지 않습니다. 클러스터 크기, GPU 수 및 예산이 800G의 추가된 복잡성을 정당화하지 못하는 경우 이는 단순히 올바른 속도 등급입니다.

400G가 여전히 의미가 있는 이유

NIC 선택은 시스템-균형 문제입니다. 호스트가 800G 어댑터를 공급할 수 없는 경우, 워크로드가 컴퓨팅- 또는 스토리지-제한인 경우 또는 스파인이 여전히 400G인 경우 800G NIC를 추가하면 애플리케이션 성능을 이동하지 않고도 비용이 증가합니다. 낮은 초과 가입, 깔끔한 토폴로지, RDMA, 고품질 광학, 조정된 혼잡 제어 기능을 갖춘 잘 구축된-400G 패브릭은 여전히 ​​까다로운 AI 및 HPC 작업을 편안하게 수행합니다.

800G NIC란 무엇입니까?

800G NIC는 포트당 초당 최대 800기가비트를 제공합니다. 이는 통신 수요가 기존 서버 네트워킹을 능가하는 차세대 AI 데이터 센터, 대규모 GPU 클러스터 및 대규모 패브릭을 대상으로 합니다. 800G 세대는 이제 표준화되었습니다.2024년에 비준된 IEEE 802.3df 표준, 800기가비트 이더넷을 정의하고 1x800G, 2x400G, 8x100G와 같은 하위 속도를{1}지원하므로 혼합 속도 마이그레이션이-실용화됩니다.

그 가치는 헤드라인 속도를 두 배로 늘린 것 뿐만이 아닙니다.. 800G를 사용하면 설계자는 대역폭 밀도를 높이고, 링크 및 모듈 수를 줄이고, 더 공격적인 모든{1}}대-트래픽으로 더 큰 교육 패브릭을 지원할 수 있습니다.

AI 클러스터가 800G로 이동하는 이유

대규모-모델 학습은 엄청난 양의 GPU-간-GPU 및 서버-대-트래픽을 생성합니다. 그라데이션 교환, 전체-감소,-전문가의 혼합-, 라우팅, 체크포인트 및 저장-과중한 파이프라인이 모두 패브릭을 망치고 있습니다. 가속기가 빨라짐에 따라 네트워크는 보조를 맞춰야 합니다. 그렇지 않으면 값비싼 GPU가 동기화를 기다리며 유휴 상태로 있어야 합니다.{11}}G NIC는 노드당, 가속기당 또는 네트워크 레일당 대역폭을 높여 이에 응답합니다.

800G는 단순한 어댑터가 아닌 패브릭 결정입니다

800G로 전환하면 스위치 선택, 광학, 도달 범위 계획, 열 설계, 공기 흐름 및 랙 레이아웃이 변경됩니다. 특히 광학 및 구리 선택이 더욱 엄격해집니다. 800G 포트는 OSFP 또는 QSFP-DD 모듈을 사용할 수 있으며 스위치-측 및 NIC-측 모듈은 동일한 속도에서도 열 및 기계 설계가 다를 수 있습니다. 공장에서 구조화된 광섬유를 사용하는 경우 모듈 및 커넥터 유형을 조기에 확인하십시오. 우리의QSFP-DD 폼 팩터 개요OSFP와 관련하여 적합한 위치를 다룹니다. 800G를 단일 라인-항목 교환이 아닌 패브릭-수준 프로그램으로 취급합니다.

400G NIC 대 800G NIC

400G NIC를 선택해야 하는 경우

성숙한 하드웨어, 예측 가능한 배포, 통제된 비용을 갖춘 고성능 네트워크를 목표로 하는 경우 400G NIC를 선택하세요.{1}}

기존 400G 인프라를 기반으로 구축하고 있습니다.

스위치, 케이블, 광학 장치 및 서버 플랫폼이 이미 400G로 표준화된 경우 400G NIC를 유지하면 일련의 호환성 확인이 필요 없으며 현재 생태계의 대부분을 재사용할 수 있습니다. 이는 성능 향상이 크고 생태계가 800G보다 훨씬 성숙한 100G 또는 200G에서 업그레이드할 때 특히 그렇습니다.

AI 워크로드가 패브릭을 포화시키지 않습니다

모든 AI 작업에 서버당 800G가 필요한 것은 아닙니다. 대부분은 컴퓨팅-, 스토리지-, 메모리-에 바인딩되어 있거나 네트워크 대역폭보다는 소프트웨어 효율성에 의해 제한됩니다. 프로파일링 결과 네트워크가 주요 병목 현상이 아닌 것으로 나타나면 일반적으로 400G NIC가 더 나은 결과를 제공합니다.

비용이 많이 드는-효과적인 HPC가 필요합니다

많은 HPC 워크로드는 원시 대역폭보다는 지연 시간, 메시지{0}}전달 동작, 패브릭 정체에 민감합니다. 잘 조정된-400G 패브릭이 제대로 통합되지 않은 800G 패브릭을 능가하는 경우가 많습니다. 유용한 질문은 어떤 NIC가 더 빠른지가 아니라 어떤 네트워크 디자인이 달러당 최고의 애플리케이션 성능을 제공하는지입니다.

더 빠르고 더 낮은{0}}위험 조달이 필요합니다

400G 어댑터, 광학 장치 및 케이블은 더 많은 서버 및 스위치 플랫폼에서 더 쉽게 소싱하고 검증할 수 있습니다. 팀이 검증할 시간이 제한된 경우 400G는 대부분의 병목 현상을 해결하는{3}}위험이 낮은 선택입니다.

800G NIC를 선택해야 하는 경우

애플리케이션, GPU 플랫폼 및 패브릭이 실제로 추가 대역폭을 사용할 수 있는 경우 800G NIC를 선택하십시오.

차세대-세대 AI 교육 패브릭을 설계하고 있습니다.

대규모 교육 클러스터는 전체{0}}대-전체 및 동서{2}}통신을 많이 생성합니다. 모델 크기, GPU 수, 병렬 처리가 증가함에 따라 네트워크가 제한자가 됩니다. 여기서 800G NIC는-노드당 대역폭을 높이고 패브릭이 GPU를 제한하는 위험을 줄입니다.

더 높은 대역폭 밀도가 필요합니다

800G는 주어진 양의 대역폭을 제공하는 데 필요한 포트, 링크 및 모듈 수를 줄입니다. 이는 랙 공간, 전면{2}}패널 포트 수, 케이블 관리 및 스위치 기수가 모두 제한된 밀집된 클러스터에서는 중요합니다. 스위치 패브릭과 케이블 연결 계획이 이에 맞게 설계된 경우 더 적은 수의 더 빠른 링크로 구축을 단순화할 수 있습니다.

차세대-GPU 플랫폼을 계획하고 계시나요?

로드맵에 차세대-GPU 서버, 더 높은 랙 전력 밀도, 액체 냉각 및 대규모 클러스터가 포함되어 있다면 800G가 더 강력한 전략적 요구입니다. 현재 400G를 구입하는 것은 여전히 ​​합리적일 수 있지만 패브릭은 800G 이상으로의 마이그레이션 경로를 고려하여 설계되어야 합니다.

장기적인-업그레이드 중단을 줄이고 싶습니다.

단계별 800G 전략은 향후 마이그레이션 문제를 줄여줍니다. 먼저 800G{3}}지원 스위치를 배포하고 브레이크아웃 또는 혼합 속도 설계를 통해 기존 400G NIC를 연결한-다음 나중에 서버를 800G로 업그레이드하세요. 이는 차세대 패브릭을 준비하는 동시에 현재 투자를 보호합니다.

800G NIC를 선택하지 말아야 할 경우

이는 종종 더 유용한 질문이며 가장 후회하는 구매를 걸러냅니다. 다음 중 하나라도 해당되면 800G를 보류하세요.

• 호스트는 전체 PCIe Gen6 클래스 x16 경로를 어댑터에 노출할 수 없습니다. 포트는 부족하게 실행되며 서버 버스가 제공할 수 없는 대역폭에 대한 비용을 지불하게 됩니다.
• 척추는 초과 구독되었거나 여전히 400G입니다. 더 빠른 NIC는 제한된 패브릭을 수정하지 않습니다. 병목 현상을 한 홉 멀리 이동시킵니다.
• 워크로드는 대역폭-의 제약이 아니라 지연 시간- 또는 MPI-의 제약을 받습니다. 추가 처리량은 동기화 또는 작은-메시지 동작으로 제어되는 작업에 거의 영향을 미치지 않습니다.
• 800G용 광학 장치, 케이블링 또는 냉각 장치는 귀하의 일정에 따라 소싱 및 검증될 수 없습니다. 부하가 걸린 상태에서 펄럭이는 비적격 모듈은 계속 작동하는 느린 링크보다 더 나쁩니다.
• 오늘날 프리미엄을 정당화하는 구체적인 성장 로드맵은 없습니다.

이들 중 두 개 이상이 적용되는 경우 400G가 이 빌드에 대한 정답이 거의 확실하며 800G는 다음 새로 고침을 위해 예비로 유지됩니다.

클라우드 데이터 센터용 400G와 800G NIC 비교

클라우드 패브릭은 어디에서나 단일 속도로 실행되는 경우가 거의 없습니다. 트래픽 클래스별로 분류되며 NIC 선택은 데이터 센터 전체가 아닌 세그먼트를 따릅니다.

• 프런트-엔드/북-남쪽 트래픽:일반적으로 400G는 흐름당 대역폭이 적당하고 연결 수가 많은 사용자-및 API 계층에 충분합니다.
• 저장소 및 동{0}}서쪽 트래픽:대답은 아키텍처가 얼마나 세분화되어 있는지에 따라 달라집니다.. 400G는 대부분의 일반적인 풀을 포괄합니다. 800G는 대규모 분산 스토리지 드라이브가 동-서 로드를 유지하는 데 도움이 됩니다.
• AI 추론:400G는 많은 추론 클라우드에 충분하고, 800G는 토큰이 여러 노드를 거쳐 이동하는 -전문가 라우팅 또는 분리된 서비스의 조밀한 혼합에 적합합니다.
• 멀티{0}}테넌트 패브릭:여기서는 초과 구독 비율과 테넌트 격리가 최대 NIC 비율보다 훨씬 더 성능을 결정합니다. 강력한 격리 기능을 갖춘 균형 잡힌 400G 패브릭이 더 빠르지만 혼잡한 패브릭을 능가하는 경우가 많습니다.

클라우드 동{0}}서 성장은 구조화된 광케이블을 기반으로 하므로 NIC와 함께 트렁크 케이블 연결을 계획하세요. 우리의MPO/MTP 트렁크 케이블링 안내고밀도-실행을 포함합니다. 경험상 대부분의 프런트엔드 및 일반 클라우드 계층에는 400G를 사용하고, 밀도가 높은 AI 서비스 또는 대규모 east{5}}west 풀이 지배적인 세그먼트에는 800G를 예약하세요.

포트 속도 이외의 주요 선택 요소

더 빠른 NIC는 전체 플랫폼이 지원하지 않는 한 더 빠른 작업 부하를 보장하지 않습니다. 800G 포트가 제공되는지 아니면 유휴 상태인지를 결정하는 다섯 가지 요소가 있습니다.

PCIe 생성 및 호스트 대역폭

NIC는 PCIe를 통해 호스트에 도달하며 해당 링크는 단단한 천장입니다. 400Gb/s 포트에는 방향당 약 50GB/s가 필요하며, 방향당 약 63GB/s를 사용할 수 있는 PCIe Gen5 x16 슬롯이 이를 전송할 수 있습니다. 800Gb/s 포트에는 Gen5 x16 슬롯을 넘어서 방향당 약 100GB/s가 필요합니다. 이것이 바로 800G 어댑터가 일반적으로 기대하는 이유입니다.PCI-SIG의 PCIe 6.0 사양(64GT/s, x16에서 양방향으로 최대 256GB/s) 또는 흔하지 않은 x32 디자인. 800G로 커밋하기 전에 다음을 확인하세요.

• PCIe 세대
• 레인 수 및 슬롯 배선
• NUMA 배치 및 GPU{0}}-NIC 경로-
• 어댑터에 대한 서버{0}}공급업체 검증
• BIOS 및 펌웨어 지원

GPU 서버에서는 CPU 및 GPU를 기준으로 한 NIC 배치에 따라 데이터가 얼마나 깔끔하게 이동하는지가 결정됩니다. Gen5 x8 슬롯에 장착된 Gen6-클래스 NIC는 현장에서 가장 흔히 발생하는 병목 현상입니다.

스위치 패브릭 및 초과 구독

NIC 속도는 패브릭과 일치해야 합니다.. 800G 어댑터는 리프 스파인이 초과 구독되거나 업링크가 얇은 경우-아무 작업도 수행하지 않습니다. 리프 및 스파인 포트 속도, 초과 구독 비율, 네트워크 레일 수, 동-서 패턴, 오류-도메인 설계 및 필요한 이등분 대역폭을 확인하세요. 교육의 경우 초과 구독 비율이 낮을수록 일반적으로 더 빠른 NIC보다 성능이 더 좋습니다.

RoCE, InfiniBand 및 울트라 이더넷

AI 및 HPC 패브릭은 RDMA를 사용하여 CPU 오버헤드를 줄이고 프로토콜은 NIC, 스위치, 혼잡 제어 및 운영을 형성합니다. 현재 NDR InfiniBand는 포트당 400Gb/s로 실행되며XDR InfiniBand는 포트당 800Gb/s에 도달합니다.400G 및 800G NIC 계층과 직접적으로 일치합니다. 이더넷 측에서는

Ultra Ethernet Consortium의 1.0 사양AI 및 HPC 수평 확장을 목표로 하는-NIC, 스위치, 광학 장치 및 케이블 연결을 포괄하는-이더넷 스택을 통한 RDMA를 정의합니다.-

팀이 생태계를 알고 있다면 긴밀하게 통합되고 지연 시간이 짧은 HPC 또는 AI 패브릭을 위해 InfiniBand를 선택하세요. 더 폭넓은 공급업체 선택 및 클라우드 통합을 위해 이더넷 또는 RoCE를 선택하세요. 차세대-고성능-이더넷을 위한 표준화된 개방형 경로를 원할 경우 Ultra Ethernet을 고려해 보십시오.

광학, 폼 팩터 및 케이블 연결

400G와 800G에서는 물리적 호환성이 속도만큼 중요합니다. 두 모듈은 속도를 공유할 수 있지만 폼 팩터, 열 설계 및 호스트 요구 사항이 다릅니다. OSFP 대 QSFP112 대 QSFP-DD, 플랫-탑 대 핀-탑 OSFP, 스위치-측 대 NIC-측 모듈 요구 사항, DAC, AEC, AOC 또는 광 도달 범위, 브레이크아웃 지원, 공급업체 코딩 및 펌웨어를 확인하세요. 스위치에서 작동하는 800G OSFP가 NIC에 올바르게 장착되고 냉각될 것이라고 가정하지 마십시오. 많은 스위치와 NIC 모듈은 서로 다른 열적, 기계적 설계를 사용합니다.

전력, 공기 흐름 및 열 검증

800G 구성 요소는 더 많은 전력을 소비하고 더 뜨겁게 작동합니다. 유휴 상태가 아닌 지속적인 부하 상태에서 NIC, 광학 장치, 스위치 포트 및 공기 흐름 경로를 검증합니다. NIC 및 광{3}}모듈 전원, 공기 흐름 방향 및 냉각 헤드룸, 최대 입구 온도, 케이블 밀도 및 공기 흐름 차단, 공랭식- 대 액체{5}}냉각 가정을 확인합니다. 열적 불안정성은 링크 플랩 및 오류율 증가로 나타납니다. 이는 생산 과정에서 추적하는 데 시간이 오래 걸리고 비용이 많이 드는 일종의 간헐적 결함입니다.

피해야 할 일반적인 실수

800G가 더 빠르기 때문에 구입

800G가 자동으로 더 좋아지는 것은 아닙니다. 워크로드, 서버 또는 패브릭이 대역폭을 사용할 수 없는 경우 추가 비용이 애플리케이션 성능으로 전환되지 않습니다. 포트를 실제로 발생한 병목 현상과 일치시키십시오.

PCIe 대역폭 무시

NIC는 호스트 버스가 허용하는 만큼만 데이터를 이동할 수 있습니다. 하드웨어가 도착한 후가 아니라 속도 등급을 선택하기 전에 PCIe 생성, 레인 수 및 서버 토폴로지를 확인하십시오.

잘못된 광학 모듈 선택

이러한 속도에서는 모듈 폼 팩터와 열 설계가 중요합니다. 잘못된 OSFP 변형은 특정 케이지에 맞지 않거나, 맞지만 지속적인 트래픽으로 인해 과열되어 패브릭 문제처럼 보이는 오류가 발생할 수 있습니다.

케이블 도달 범위를 잊어버림

DAC, AEC, AOC, 다중 모드 광학 장치 및 단일{0}}모드 광학 장치는 각각 서로 다른 거리 범위를 제공하며 다양한 광섬유 등급은 서로 다른 거리를 전달합니다. 우리의OM1에서 OM5 도달범위 제한 분석각 등급이 가장 높은 곳을 보여줍니다. 잘못된 상호 연결을 선택하면 지연 시간, 비용 또는 재작업이 추가됩니다.

NIC, 스위치 및 광학 장치를 별도 구매로 취급

어댑터, 스위치, 광학 장치 및 케이블을 검증된 하나의 자재 명세서로 주문하세요. 배포 후 발견된 불일치는 연결되지만 플랩하는 포트 또는 빌드 중간에 반환해야 하는 하드웨어를 의미하며, 이는 검증 중에 발견하는 것보다 훨씬 더 파괴적입니다.

최종 권고사항

오늘날의 AI, HPC, 스토리지 및 클라우드 패브릭에 적합한 검증되고 비용 효과적인 어댑터를 위해 400G NIC를 선택하세요.{1}} 이는 대부분의 기존 GPU 클러스터 및 혼합{3}}세대 공간에 대한 실용적인 선택입니다. 대역폭 밀도, 대규모{6}}GPU 통신, 업그레이드 준비가 초기 비용보다 중요하고 이를 위한 전체 경로가 구축되어 있는 경우 800G NIC를 선택하세요.

결정은 결코 속도만으로 이루어지지 않습니다. 서버, 스위치, 광학 장치, 케이블 연결, 전원 및 냉각이 해당 속도를 애플리케이션 성능으로 전환할 수 있는지 여부입니다. 예산을 보호하는 원칙은 간단합니다. 주문하기 전에 NIC, 스위치, 광학 장치 및 케이블 연결을 하나의 시스템으로 검증하는 것입니다.