400G/800G에 대한 AI 데이터 센터 케이블 연결 요구 사항

인공지능이 데이터센터 설계를 바꾸고 있습니다. 대부분의 관심은 GPU, 가속기 및 냉각에 쏠려 있지만 나머지 빌드의 성공 여부를 조용히 결정하는 계층은 케이블링입니다. AI 클러스터에서 물리적 계층은 실제로 400G와 800G에 도달할 수 있는지 여부, 고속 링크가 트래픽을 통과할 수 있을 만큼 깨끗하게 유지되는지 여부, 완전히 채워진 랙에서도 공기 흐름이 유지되는지 여부, 다음 속도 점프가 카드 교체인지 대대적인 업그레이드인지 여부를 결정합니다.

이 가이드는 인프라 및 광{0}}네트워크 팀을 위해 작성되었습니다. AI 케이블링의 차이점, 실수와 관련된 요구사항, DAC, AOC 및 구조화된 광섬유를 비교하는 방법, 단계별{2}}계획 워크플로, 400G 또는 800G 마이그레이션 전에 준비해야 할 사항, 실제로 사용할 수 있는 체크리스트에 대해 설명합니다. 여기에 있는 기술 참조는 현재 IEEE 802.3 및 ANSI/TIA-942 표준을 기반으로 합니다.

AI 워크로드가 데이터 센터 케이블 연결 요구 사항을 변경하는 이유

기존 기업 데이터 센터는 상당히 예측 가능한 애플리케이션 트래픽을 중심으로 구축되었으며, 대부분은 남북 방향으로 사용자, 애플리케이션, 외부 네트워크 간에 이동했습니다. AI 클러스터는 해당 패턴을 반전시킵니다. 학습 및 대규모{3}}추론 중에 지배적인 흐름은 동{4}}서입니다. GPU는 일반적으로 RDMA(원격 직접 메모리 액세스) 패브릭을 통해 All{5}}감소와 같은 집단 작업을 통해 지속적으로 기울기와 활성화를 서로 교환합니다.

이는 공급업체 참조 디자인에서 볼 수 있습니다. NVIDIA는 GPU 컴퓨팅 네트워크를 RDMA-기반 리프{2}}스파인 패브릭으로 구축합니다.모든 GPU가 다른 GPU와 최대 한 홉이 되도록{0}}최적화된 토폴로지를 레일, 이는 다중-GPU 통신을 대규모로 효율적으로 유지하는 것입니다. 케이블링 결과는 순전히 포트 수입니다. 단일 8개{2}}GPU 노드는 8개의 400G(또는 800G) 동쪽-서쪽 포트를 제공할 수 있으며, 랙당 여러 리프 스위치가 있는 훈련 포드는 트렁크 파이버와 패치를 매우 빠르게 증가시킵니다.

물리적 계층이 계획에 미치지 못하는 경우-첫 번째 날에는 문제가 나타나지 않습니다. 나중에 공기 흐름을 막는 혼잡한 경로, 몇 분이 아닌 몇 시간이 걸리는 결함 격리, 첫 번째 업그레이드 주기 동안의 재작업으로 나타납니다. 역전된 MPO 극성이나 오염된 종단면과 같이 사소해 보이는 세부 사항으로 인해 전체 레일이 오프라인 상태가 될 수 있습니다. AI 인프라의 경우 케이블링은 시운전 전 마지막 작업이 아닌 처음부터 아키텍처에 속합니다.

기존 vs AI{0}}Ready 데이터 센터 케이블링

기존 케이블과 AI{0}} 지원 케이블 간의 차이는 단지 케이블 수가 늘어난 것이 아니라 설계 우선순위의 변화입니다. 전통적인 디자인은 오늘날의 연결성에 최적화되어 있습니다. AI{2}} 지원 설계는 여러 업그레이드 주기에 걸쳐 마이그레이션 속도, 밀도, 예측 가능한 링크 품질 및 서비스 가능성을 최적화합니다.

재설계 없이 최소 1회의 과속 점프와 1회의 용량 확장을 흡수할 수 있는 섬유 공장을 만드는 것이 목표다.

AI 데이터 센터의 주요 케이블 연결 요구 사항

오늘날의 속도뿐만 아니라 400G 및 800G에 대한 물리 계층 계획

AI 클러스터는 100G에서 400G, 800G, 최종적으로는 1.6T까지 속도 사다리를 빠르게 올라갑니다. 400G 및 800G 인터페이스는 이제 공식적으로 표준화되었습니다.2024년에 승인된 IEEE 802.3df는 400Gb/s 및 800Gb/s 이더넷에 대한 MAC, 물리 계층 및 관리 매개변수를 정의합니다.800GBASE-SR8 및 800GBASE-DR8과 같은 물리적 미디어 유형을 포함합니다. 장비 측면에서 400G는 일반적으로 QSFP-DD 또는 QSFP112 폼 팩터에 있는 반면, 800G는 OSFP 또는 QSFP-DD800을 사용합니다. 트랜시버 패키징과 레인 매핑을 비교한다면,QSFP-DD 기술 개요유용한 출발점이 됩니다.

실제 규칙: 식물이 다음 점프에서 살아남을 수 있도록 크기 섬유 유형, 섬유 개수 및 커넥터 베이스입니다. 오늘날의 포트 속도에만 맞게 크기가 조정된 트렁크는 스위치 실리콘과 광학 장치가 발전하는 순간 병목 현상이 됩니다.

GPU-클러스터 연결용 고밀도 MTP/MPO 광섬유 사용

고속-AI 링크는 병렬 광학이며, 병렬 광학은 광섬유 수에 직접 매핑됩니다. 400G-DR4 링크는 일반적으로 MPO-12 페룰로 끝나는 4개의 레인 또는 8개의 광섬유를 사용합니다. 800G-SR8 또는 800G-DR8 링크는 8개의 레인 또는 16개의 파이버를 사용하며 종종 APC 종단면이 있는 MPO{19}}16을 사용합니다. 카세트와 쌍을 이루는 Base-8 및 Base-16 MTP/MPO 트렁크는 랙당 수백 개의 링크를 통합하고 배포를 현장 접합이 아닌 반복 가능한 공장 테스트 이동으로 전환합니다. 사전 종료됨MTP/MPO 트렁크 케이블브레이크아웃 어셈블리(MPO에서 LC로 또는 MPO에서 MPO로)가 이 접근 방식의 중추입니다.

밀도는 여전히 최대화되지 않고 계획되어야 합니다. 경로 채우기 및 공기 흐름을 고려하지 않고 광섬유를 랙에 포장하면 장비 배기에 역압이 발생하고 포트 서비스가 불가능해집니다.{1}} 채우기 비율과 여유-관리 규칙은 첫 번째 설치 이후가 아닌 이전에 설정하세요.

삽입 손실, 커넥터 청결도 및 극성 관리

고속-AI 광학 장치는 이전 링크보다 관대하지 않습니다. 400G 및 800G에서 사용되는 PAM4 신호는 이전 NRZ 링크보다 더 엄격한 채널 손실 예산으로 실행되며, 결합된 모든 MPO 또는 LC 쌍은 종종 연결당 수십 분의 1데시벨에 달하는 삽입 손실을 추가합니다. 여러 연결 지점과 광섬유 길이가 있는 구조화된 채널에서 해당 예산은 빠르게 사라지므로 커넥터 수는 나중에 고려하는 것이 아니라 설계 변수입니다. 삽입 손실과 반사 손실의 차이점과 두 가지가 병렬 광학에서 중요한 이유는 채널을 마무리하기 전에 이해하는 것이 좋습니다. 이 설명자는광섬유 네트워크의 삽입 손실역학을 다룹니다.

오염은 필드 링크 오류의 주요 원인 중 하나이므로 결합 전에 모든 종단면을 검사하고 청소해야 합니다. 극성에는 명시적인 체계(방법 A, B 또는 C)가 필요하며 단일{1}}모드 병렬 링크는 일반적으로 반사 손실을 제어하기 위해 각진 APC 커넥터를 사용합니다. 굽힘-에 민감하지 않은 섬유가 마진을 구매하는 조밀한 패널에서는 굽힘 반경이 중요합니다. 여기서 신뢰성은 구성 요소 선택만큼이나 설치 및 유지 관리 분야입니다.

모듈식, 확장 가능하고 구조화된-케이블링 아키텍처 설계

AI 인프라는 짧은 주기로 변경되므로 수정하기 어려운 플랜트는 향후 모든 배포 속도를 늦춥니다. 트렁크, 카세트, 인클로저 및 정의된 경로로 구축된 구조화된 케이블링을 통해 팀은 케이블을 다시 잡아당기지 않고도 용량을 추가하거나-패브릭을 다시 레일링할 수 있습니다.-ANSI/TIA-942는 데이터 센터에 대한 최소 통신 인프라 요구 사항을 지정합니다.AI 빌드에 필요한 자세인 미래 애플리케이션을 수용하기 위한 케이블링 토폴로지입니다. 이러한 기반을 바탕으로 대부분의 속도 업그레이드는 물리적 계층을 재구축하는 대신 광학 장치와 카세트를 교체하는 문제가 됩니다.

고밀도 랙의 공기 흐름 및 냉각을 위한 케이블 배선

AI 랙이 뜨거워집니다. 가장 밀도가 높은 GPU 랙의 전력 밀도는 100kW를 초과할 수 있으며, 이러한 수준에서 혼잡한 케이블은 재순환과 국지적인 핫스팟을 직접적으로 유발합니다.ASHRAE TC 9.9 가이드 프레임은 IT 장비 입구 주변의 열 제어 및 깨끗한 열기-복도/냉기-복도 분리를 제공합니다., 케이블 연결은 이를 지원하거나 반대합니다. 실제로 이는 가능한 경우 오버헤드 광케이블 경로, 전력과 데이터의 명확한 분리, 실제 케이블 수에 맞는 크기의 수직 및 수평 관리자, 규율 있는 여유, 후면 배기 또는 굴뚝 캐비닛을 차단하지 않는 라우팅을 의미합니다. 링크를 추적 가능하게 유지하는 케이블 관리는 이동 및 변경 중 인적 오류도 줄여줍니다.

DAC, AOC 또는 구조화된 광섬유? AI 데이터 센터 케이블링 선택 매트릭스

AI 클러스터에 가장 적합한 단일 매체는 없습니다. 올바른 선택은 도달 범위와 역할에 따라 결정됩니다. 랙 내부에서는 도달 범위가 짧은-동선이 여전히 비용, 전력 및 지연 시간 측면에서 유리합니다. 링크가 행과 홀에 걸쳐 있으므로 단일{3}}모드 광섬유는 확장 가능한 백본이 됩니다. 아래 매트릭스는 설계 검토에서 실제로 가중치를 부여하는 방식으로 일반적인 옵션을 비교합니다.

이는 또한 "섬유가 항상 선호됩니다"와 같은 포괄적인 설명에 주의가 필요한 이유이기도 합니다. 섬유는 패브릭의 확장 가능한 기반이지만 패시브 DAC는 여전히 랙 내부의 1{0}미터 홉에 대한 더 나은 엔지니어링 선택입니다.

AI 데이터 센터 케이블 연결을 단계별로 계획하는 방법

1단계: AI 워크로드 및 네트워크 토폴로지 매핑

워크로드부터 시작하세요. 대규모 학습 포드, 처리량이 높은-추론 집합, HPC 클러스터 및 스토리지가 많은 배포는-동일한 트래픽 프로필을 공유하지 않습니다. 그런 다음 GPU 컴퓨팅(동{4}}서쪽), 스토리지, 북{5}}남쪽 및 대역 외-대역 관리 네트워크가 연결되는 위치를 매핑합니다. 순수 추론 배포에는 대규모 동{9}}패브릭이 전혀 필요하지 않을 수 있지만 멀티 랙 학습 포드에는 필요합니다. 랙 높이뿐만 아니라 실제 교통 흐름에 맞게 설계하십시오.

2단계: 현재 및 미래 속도 목표 고정

첫 번째 단계와 다음 단계를 모두 정의합니다. 포드가 오늘 400G를 실행하고 내년에 800G를 실행한다면 광섬유 공장은 지금 800G에 맞게 규모를 조정해야 합니다. 그 이상으로 테라비트-급 이더넷에 대한 작업이 이미 진행 중입니다.IEEE P802.3dj 태스크포스는 레인당 200Gb/s-신호를 사용하여 200G, 400G, 800G 및 1.6Tb/s 작업을 정의하고 있습니다.. 로드맵이 어디로 향하고 있는지 알면 얼마나 많은 광섬유 수와 경로 용량을 확보할 수 있는지 알 수 있습니다.

3단계: 여백이 있는 미디어 및 커넥터 선택

OS2-대-OM4 질문은 대부분 도달 범위 질문입니다. OM4는{8}}100m 미만의 리프-스파인 링크에 적합하지만 속도가 증가함에 따라 도달 범위가 줄어들므로 링크가 행이나 홀을 교차하거나 800G DR/FR 헤드룸이 필요한 경우 단일 모드 OS2가 더 안전한 기반입니다. 검토OM1부터 OM5 다중 모드 광섬유까지의 거리 제한절충안을-구체적으로 만듭니다. MPO 베이스(12 대 16)를 광학 섬유 맵과 일치시키고 초기에 극성을 계획합니다. 고밀도-패널의 경우MTP 대 MPO 선택 가이드중요한 차이점을 다룹니다. 트랜시버와 포트 속도가 일치하지 않는 경우 설치 시 즉석에서 작업하기보다는 브레이크아웃(MPO에서 LC로)을 계획하십시오.

4단계: 랙 밀도, 경로 및 공기 흐름을 함께 계획

랙 레이아웃, 케이블 라우팅, 냉각은 고밀도 AI 환경에서 세 가지가 아닌 하나의 결정입니다{0}}. 설치 전에 각 랙에 들어오고 나가는 케이블 수를 세고, 패치 패널이 배치될 위치를 결정하고, 여유 공간을 계획하고, 기술자가 라이브 링크를 방해하지 않고 포트에 연결하고 교체할 수 있는지 확인합니다. 트레이와 채우기 비율에 성장 여유 공간을 남겨두세요. 시운전 시 깨끗해 보이는 랙은 첫날에 경로가 최대치에 도달한 경우 두 번의 업그레이드 주기 후에는 사용할 수 없게 됩니다.

5단계: 사양에 맞게 테스트, 문서화 및 유지 관리

프로젝트 사양에 대한 모든 링크를 테스트하세요. 이는 고속 광케이블의 경우 삽입 손실 테스트, 적절한 경우 OTDR, 극성 확인 및 종단면 검사를 의미합니다.- 극성 체계, 길이, 측정된 손실을 포함하여 모든 포트, 트렁크, 카세트 및 경로를 -완성된 도면에 매핑되는 라벨과 함께 문서화합니다. 그러면 유지 관리가 일상화됩니다. 즉, 종단면 청소, 주기적인 감사, 라벨 및 변경 관리가 이루어집니다. 따라오는 소리광섬유 케이블 설치 실습당김 장력 및 굽힘 반경에 대해 테스트한 손실 예산을 보호합니다.

400G 또는 800G 마이그레이션 전에 준비해야 할 사항

마이그레이션은 광학 계층보다 물리적 계층에서 더 자주 실패합니다. 컷오버하기 전에 다음을 수행하세요.

• 광섬유 유형과 수를 확인하고, 라인 속도가 증가함에 따라 지원되는 거리가 떨어지기 때문에 기존 OM4가 여전히 목표 속도에 도달하는지 확인합니다.
• 커넥터 베이스가 새 광학 장치(MPO-12 대 MPO-16)와 일치하고 극성 체계가 여전히 끝에서 끝까지 유지되는지 확인하십시오.
• PAM4의 링크 손실 예산을 다시 계산한 다음 연결 수를 줄이고 모든 종단면을 다시 검사-하세요.
• 추가된 케이블의 경로와 트레이 용량을 확인하고 더 높은 전력 광학을 위한 랙 열 여유 공간을 확인하세요.-
• 카세트, 트렁크, 라벨 및 테스트 계획을 미리 준비하여 컷오버가 다시 당기는 것이 아니라 교체-되도록 합니다.-

피해야 할 일반적인 실수

현재의 대역폭에 대해서만 크기를 조정합니다.현재 속도에 맞춰 건설된 공장은 빠르게 발전합니다. 더 빠른 속도와 더 높은 포트 밀도를 향한 현실적인 경로를 구축하세요.

케이블 관리를 화장품으로 취급합니다.깔끔한 케이블 연결은 유용하지만 관리는 외관이 아닌 공기 흐름, 액세스 및 결함 격리에 관한 것입니다.

밀도를 위해 유지 관리 액세스를 희생합니다.고밀도는-'최대한 컴팩트'하지 않습니다. 기술자가 연결을 안전하게 추적하고 교체할 수 없는 경우 실제 작업 중에 설계 비용이 발생합니다.

부품을 별도로 구매합니다.케이블, 커넥터, 패널, 트랜시버, 랙 및 경로가 하나의 채널을 형성합니다. 그 자체로 저렴해 보이는 부품은 크기가 커지면 전체 직물을 덮을 수 있습니다.

AI-케이블 연결 준비 체크리스트

GPU를 확장하기 전에 이러한 문제를 해결하세요. 각 항목에는 모호한 예 또는 아니요가 아닌 구체적인 합격 조건이 있습니다.

• 속도 헤드룸:설치된 광섬유는 재당김 없이 최소 한 번의 속도 점프(예: 400G에서 800G)를{2}}지원할 수 있고 광섬유 수는 광섬유의 레인 맵(8개 또는 16개 광섬유)에 맞게 조정됩니까?
• 손실 예산:각 고속 채널은 PAM4 삽입-손실 허용 범위 내에서 연결 수와 종단면 검사가 검증되었나요?
• 밀도 대 서비스:기술자가 라이브 레일을 방해하지 않고 포트에 도달하여 추적하고 교체할 수 있습니까?
• 기류:통로가 후면 배기 및 통로를 깨끗하게 유지하고 전원과 데이터가 분리되어 있습니까?
• 선적 서류 비치:모든 링크는 극성 구성표, 길이, 손실로 테스트 및 기록되고 -만든 도면과 일치하도록 라벨이 지정됩니까?
• 규모:리프-스파인, 레일-최적화 토폴로지가 재설계 없이 다음 포드로 확장되나요?
• 미디어 적합성:각 링크의 매체는 도달 범위, 속도, 열 영향 및 서비스 가능성을 기준으로 선택되며, DAC는 랙에 ​​있고 OS2는 홀 전체에 걸쳐 있습니다.-

여러 대답이 '아니요'인 경우 첫 번째 확장 이후가 아니라 AI 워크로드가 확장되기 전에 물리적 계층을 재설계하세요.

주요 시사점

AI 워크로드는 더 높은 대역폭, 더 조밀한 병렬 광섬유, 엄격한 손실 예산, 공기 흐름{0}}인식 라우팅, 짧은 업그레이드 주기를 중심으로 데이터 센터 케이블링 요구 사항을 다시 작성하고 있습니다. 물리적 계층은 자체적으로 GPU를 더 빠르게 만들지는 않지만 잘못된 계층은 전체 환경의 성능, 안정성 및 업그레이드 속도를 제한합니다.

가장 안전한 설계 원칙은 첫 번째 확장 주기 이후가 아니라 GPU 랙이 설치되기 전에 광섬유 공장, 경로 용량, 패치 아키텍처 및 문서 모델을 계획하는 것입니다. 최소한 한 번의 과속 점프를 위해 구축하고, 습관이 아닌 역할별로 미디어를 선택하고, 커넥터 청결도, 극성 및 공기 흐름을 최고 수준의-설계 제약 조건으로 처리하세요. 배포 또는 확장하기 전에 위의 체크리스트와 비교하여 현재 케이블 연결을 검토하십시오. 구조화된 케이블링 및 MTP/MPO 구성요소에 대해서는 당사를 살펴보십시오.광섬유 솔루션.