100G 스파인-리프 패브릭은 현대 데이터 센터에서 25G 서버, 100G 업링크, 스토리지 클러스터 및 동-서{5}}과중한 워크로드를 연결하는 가장 신뢰할 수 있는 방법 중 하나입니다. QSFP28의 매력은 유연성입니다. 단일 포트가 기본 100G 링크를 전달하거나 4개의 25G 서버 연결로 나눌 수 있으므로 하나의 스위치가 액세스 에지와 패브릭 코어를 모두 제공할 수 있습니다.
빠른 스위치는 쉬운 부분입니다. 100G 설계는 구매 주문 이전에 내린 결정에 따라 결정됩니다. 즉, 각 포트가 어떻게 할당되는지, 정상 및 장애 조건에서 초과 가입 비율이 어떻게 보이는지, 어떤 광학 장치가 실제 케이블 연결과 일치하는지, 해당 광학 장치가 추가하는 열의 양, 대대적인 업그레이드 없이 패브릭이 400G까지 증가할 수 있는지 여부 등이 결정됩니다.
이 가이드는 네트워크 및 인프라 팀을 위한 공급업체{0}}중립적 계획 참조 자료입니다. 아래 그림은 현재 IEEE 802.3 이더넷 사양 및 관련 광 다중 소스 계약을 따르지만 모든 스위치와 트랜시버에는 자체 데이터시트가 있으므로 구매하는 하드웨어의 정확한 번호를 확인하세요.
이 가이드의 예제를 읽는 방법.달리 명시하지 않는 한, 이들은 각각 25G NIC 1개, 리프당 호스트 포트 48개, 100G 리프{4}}-스파인 업링크, 모든 리프가 모든 스파인에 연결되는 풀 메시, 광학 장치에서 필요한 경우 전달 오류 수정이 활성화된 단일 홈 서버를 가정합니다. 듀얼-호밍, 더 빠른 NIC 또는 다른 포트 수는 뒤에 오는 모든 숫자를 변경합니다.
100G 스파인-리프 네트워크란 무엇입니까?
스파인{0}}리프는 리프 스위치와 스파인 스위치로 구축된 2계층 데이터 센터 아키텍처입니다. 리프 스위치는 각 랙 상단에 위치하며 서버-방향 포트와 스파인에 대한 업링크를 제공합니다. 스파인 스위치는 고속-백본을 형성합니다. 모든 리프는 모든 스파인에 연결되므로 랙 간의 트래픽은 동일한 길이의 경로를 따라 리프에서 스파인으로, 리프에서 리프로 이동합니다.
이 디자인은 다음과 같은 이점을 제공하므로 인기가 있습니다.
- 두 랙 사이의 예측 가능하고 동일한 경로 길이
- 과중한 동쪽-서쪽 트래픽에 대한 기본 지원
- 모든 업링크는 스패닝 트리에 의해 차단되지 않고 ECMP를 통해 활성화됩니다.
- 간단한 수평 확장 - 포트용 리프 추가, 용량용 스파인 추가
100G 패브릭에서 리프{1}}-스파인 링크는 100G에서 실행되는 반면, 서버 연결 포트는 작업 부하에 따라 10G, 25G, 50G 또는 100G에서 실행됩니다.- 오늘날 100G 업링크를 통한 25G 액세스는 가장 일반적인 기업 조합입니다.
물리적 디자인과 논리적 디자인
"네트워크 설계"는 쉽게 융합할 수 있는 두 개의 레이어를 포함합니다. 이 가이드에서는 물리적 및 용량 계층 - 포트, 광학 장치, 초과 가입, 케이블 연결 -에 중점을 두고 있습니다. 이는 하드웨어를 구입할 때 약속하는 사항이기 때문입니다. 그러나 논리적 계층은 패브릭이 트래픽을 전달하는 방법을 결정하고 여러 가지 물리적 선택을 형성합니다.
물리적 측면에서는 스위치 및 포트 선택, NIC 속도, 초과 가입, 광학 장치, 케이블 연결, 전원 및 냉각이 있습니다. 논리적 측면에서는 업링크 전반에 걸친 ECMP 부하 분산-이 이루어집니다. 라우팅된 언더레이를 통한 멀티-테넌트 레이어 2 및 레이어 3을 위한 BGP EVPN 제어 플레인이 있는 VXLAN과 같은 오버레이 액세스 에지에서 MLAG 또는 MC-LAG 및 LACP를 사용한 이중{5}}원점 이동; 및 실패-도메인 크기 조정. RDMA 패브릭의 경우 아래에서 다루는 거의-무손실 네트워크를 엔지니어링해야 합니다. 업링크 수, ECMP 너비에 필요한 스파인 수, 리프가 MLAG 쌍으로 배포되는지 여부에 영향을 미치므로 논리적 모델을 조기에 설정합니다.
1 -단계 서버 속도 및 작업 부하 정의
광학 장치가 아닌 작업 부하부터 시작하십시오. 일반 가상화 클러스터, 스토리지 패브릭 및 AI 훈련 포드는 요구 사항이 매우 다르며 트래픽에 따라 올바른 설계가 이루어집니다.
100G 업링크를 갖춘 25G 서버
대부분의 기업 및 프라이빗{0}}클라우드 환경에서는 100G 리프--스파인 업링크를 갖춘 25G 액세스가 가장 적합합니다. 즉, NIC, 케이블 및 스위치 비용을 합리적으로 유지하면서 10G를 크게 뛰어넘는 것입니다. 일반적인 빌드는 25G 다운링크, 100G 업링크 및 일반 컴퓨팅을 위한 2:1~3:1 비율로 구성되며 스토리지 및 지연 시간에 민감한 계층에는 더 낮은 초과 구독이 예약되어 있습니다.{13}} 가상화, 프라이빗 클라우드, 웹 계층 및 대규모 엔터프라이즈 데이터 센터에 적합합니다.
스토리지, AI, HPC를 위한 기본 100G
일부 작업 부하에는 서버에 대한 기본 100G가 필요합니다. 즉, 분산 및 NVMe{1}oF 스토리지, AI 및 머신러닝 교육, HPC, 대규모{3}}분석, 지연 시간이 짧은 RDMA-가 필요합니다. 여기에서 초과 구독은 볼륨뿐만 아니라 트래픽 패턴이 문제이기 때문에 낮아야 합니다. - 종종 비-차단되거나 거의 차단되지 않습니다-.
AI, HPC 및 RDMA 워크로드는 전체-에서-동방향-전체 방향으로 동기화된 조밀한 트래픽을 생성합니다. 즉, 많은 노드가 동시에 여러 노드에 전송하므로 가상화 패브릭 비용을 절감하는 통계적 평활화가 더 이상 적용되지 않습니다. RoCE(RDMA over Converged Ethernet)는 거의-무손실 패브릭을 기대하기 때문에 두 번째 제약 조건을 추가합니다. 이는 실제로 PFC(우선 순위 흐름 제어) 및 ECN(명시적 혼잡 알림)이 엔드 투 엔드로 조정됨을 의미합니다. 혼잡 시 프레임을 삭제하는 패브릭은 RoCE 성능 붕괴를 감시하므로 이러한 클러스터는 일반적으로 신중한 버퍼 및 혼잡 구성을 통해 1:1로 구축됩니다.
2 -단계 100G 패브릭의 리프 및 스파인 스위치 포트를 계산하는 방법
항구 계획은 척추가 아닌 잎사귀에서 시작됩니다. 서버 외부에서 작업:
- 랙당{0}}서버 방향 포트 수를 계산합니다.
- 각각이 기본 25G인지, 기본 100G인지, 브레이크아웃 레인인지 결정합니다.
- 스파인 업링크용으로 QSFP28 포트를 예약합니다.
- 확장, 중복성, 테스트 및 교체를 위해 예비 포트를 추가합니다.
- 초과 구독은 이전이 아닌 브레이크아웃이 할당된 후에 다시 계산됩니다.
서버 방향 포트 수-
각 랙에 대해 서버 수, NIC 속도, 서버당 NIC, 단일- 또는 이중-홈, 필수 예비 부품을 파악하세요. 각각 1개의 25G NIC가 있는 48개의 서버 랙에는 48개의 호스트 포트가 필요합니다. 이중-해당 서버를 리프 쌍에 홈으로 지정하면 쌍 전체의 액세스 포트 수가 두 배로 늘어납니다.
업링크 포트를 예약하고 이중-카운트를 확인하세요.
호스트 포트 다음에는 스파인용으로 QSFP28 포트를 예약합니다. 여기에 가장 일반적인 실수가 숨겨져 있습니다. 동일한 QSFP28 포트가 4x25G 브레이크아웃에 사용되면 더 이상 업링크로 사용할 수 없습니다. 가장 큰 계획 오류는 100G 업링크를 잘못 계산한 것이 아니라, 브레이크아웃이 발생하여 남은 업링크 포트를 과대평가한 것입니다. 초과 구독 계산 전에 브레이크아웃을 할당하십시오. 그렇지 않으면 계산한 비율이 허구입니다.
실제 사례가 도움이 됩니다. 48개의 SFP28 호스트 포트와 8개의 QSFP28 포트가 있는 공통 1U 리프를 선택합니다.
| 포트 그룹 | 역할 | 용량 |
|---|---|---|
| 48x25G(SFP28) | 단일-홈 서버 액세스 | 1,200G |
| 100G(QSFP28) 6개 | 척추 업링크 | 600G |
| 100G(QSFP28) 2개 | 예약됨: 확장, 스토리지 또는 예비 | - |
1,200G의 액세스 트래픽을 전달하는 6개의 업링크를 통해 리프는 2:1로 실행되고 2개의 QSFP28 포트는 예비로 유지됩니다. 다른 크기를 조정하기 전에 모든 포트에 스프레드시트에서 명시적인 단일 역할을 부여하십시오.
여유 용량을 남겨두세요
첫날에 모든 포트를 소비하지 마십시오. 새 서버, 추가 스파인, 임시 테스트 링크, 실패한-포트 교환, 모니터링 탭 및 마이그레이션을 위한 여유 공간을 확보하세요. 약간의 사용되지 않은 용량은 재설계보다 훨씬 저렴합니다.
3 - 단계 N-1을 포함한 초과 구독 계산
초과 구독은 리프의 총 서버{0}대면 대역폭과 스파인의 총 업링크 대역폭을 비교합니다.
초과 가입률=총 다운링크 대역폭 / 총 업링크 대역폭
위 리프의 경우 48 x 25G=1,200G 아래 및 6 x 100G=600G 위로, 1,200 / 600=2:1을 제공합니다. 이는 업링크 대역폭({11}})보다 이론상 액세스 대역폭이 2배 더 많다는 것을 의미합니다. - 일반적으로 서버가 모두 동시에 회선 속도로 전송하는 경우는 거의 없지만 스토리지, AI, HPC 및 RDMA에는 실질적인 제약이 되는 일반 컴퓨팅에는 적합합니다.
N-1 케이스를 항상 확인하세요
패브릭은 정상 작동 시 건강해 보일 수 있지만 장애가 발생하면 질식할 수 있습니다. 8개의 100G 업링크가 4개의 스파인에 균등하게 분산된 리프를 생각해 보세요. - 스파인당 2개, 총 800G이므로 1,200G 액세스는 1.5:1을 제공합니다. 하나의 스파인이 손실되고 리프는 2개의 업링크를 600G로 떨어뜨려 가동 중단 기간 동안 비율을 2:1로 높입니다. 목표가 "실패하더라도 2:1보다 나쁘지 않은 것"이라면 1.5:1 근처에서 시작해야 합니다. 하나의 스파인 또는 업링크가 손실된 후 정상 비율과 N-1 비율을 모두 계산합니다. 두 번째 숫자는 유지 관리 중에 물린 숫자입니다.
워크로드별 계획 범위
보편적인 비율은 없으므로 다음을 표준이 아닌 계획 범위로 취급하고 측정된 트래픽에 대해 검증합니다.
| 작업량 | 디자인 방향 |
|---|---|
| AI / HPC / RDMA | 1:1 또는 거의 비차단- |
| 분산 스토리지 | 1:1 ~ 2:1 |
| 일반 가상화 | 2:1 ~ 3:1 |
| 웹/애플리케이션 계층 | 트래픽이 예측 가능한 경우 3:1 이상 |
| 개발/테스트 | 비용-최적화 비율 허용 가능 |
업그레이드 시 비율을 결정하기 전에 현재 업링크 사용률, 최대 및 동{0}}서 패턴, 스토리지 흐름, 백업 기간을 검토하세요.
단계 4 - QSFP28 광학 장치 및 케이블 선택
QSFP28 100G 인터페이스는 IEEE 802.3 -에 의해 표준화되었습니다.802.3bm 개정단일-모드 LR4 PHY와 함께 100GBASE-SR4를 추가했습니다. 거리, 광섬유 유형, 커넥터, 전원 및 스위치 호환성에 따라 광학 장치를 선택하고 가장 긴 도달 범위를 기본으로 삼지 마십시오. 필요하지 않은 도달 범위는 일반적으로 필요하지 않은 비용과 전력을 의미합니다. 합리적인 여유를 두고 실행에 모듈을 일치시킵니다.
짧은 서버 링크를 위한 DAC 및 AOC
내부{0}}랙 및 인접{1}}랙 연결의 경우 QSFP28 직접 연결 구리(DAC) 및 활성 광 케이블(AOC)이 실용적입니다. 패시브 DAC는 가장 낮은 비용과 전력으로 가장 짧은 홉 - 몇 미터 -에 적합한 반면, AOC는 도달 범위를 확장하고 구리 벌크가 문제가 되는 곳에서 더 가볍고 유연합니다. 25G 액세스의 경우 스위치가 브레이크아웃을 지원하면 QSFP28-4x SFP28 브레이크아웃 DAC 또는 AOC가 일반적입니다.
짧은 다중 모드 업링크용 100GBASE-SR4
SR4는 100G 이상을 전달합니다.병렬 다중 모드의 8개 광섬유MPO/MTP 커넥터를 사용하면{0}}짧은 리프-에서{2}}행 내부의 스파인 실행을 위한 비용 효율적인 선택이 됩니다. 도달 범위는 섬유 등급에 따라 다르므로 - OM3에서는 대략 70m, OM에서는 100m4 -이므로 예상할 수 있는 도달 범위를 아는 것이 좋습니다.OM3, OM4 및 OM5 다중 모드 광섬유당신 바닥에. 주요 계획 제약은 병렬 케이블 연결입니다. MPO 패치 및 극성을 미리 해결해야 합니다.
단일-모드용 CWDM4 또는 FR은 약 2km까지 실행됩니다.
행 간,-간, 방 간, 또는 홀 간 링크의 경우-CWDM4 또는 FR과 같은 단일{3}}모드 광학 장치가 더 적합합니다. 그만큼100G CWDM4 MSA이중 LC 커넥터와 FEC가 있는 단일{1}}모드 광섬유 쌍을 통해 2km 도달 범위를 정의합니다. 병렬 MPO 대신 이중 광섬유를 사용하기 때문에 CWDM4 및 FR 광학 장치는 종종 SR보다 더 깔끔하게 단일{4}}모드 플랜트에 들어가며4 - 이러한 거리에서는 두 가지 중 하나를 선택합니다.OS1 및 OS2 단일-모드 광섬유손실 예산에 중요해지기 시작합니다. DR과 같은 더 짧은 단일{1}}모드 변형은 대략 500m를 커버하며 필요한 전부입니다.
캠퍼스 및 DCI용 100GBASE-LR4
LR4는 100G를 전송하는 장거리-옵션입니다.이중 단일-모드 광섬유를 통해 최대 약 10km캠퍼스, 건물-간-건물 또는 데이터{2}}센터-상호 연결 링크. 거리가 정말 필요한 경우에만 사용하십시오. 짧은 내부-데이터-센터 홉의 긴-거리 광학 장치는 패브릭을 개선하지 않고도 비용, 전력 및 열을 추가할 뿐입니다.
QSFP28 100G 광학 비교
표에는 각 옵션이 적합한 위치가 요약되어 있습니다. 도달 범위를 일반적인 계획 수치로 간주하고 각 모듈의 데이터시트에서 정확한 숫자, 섬유 등급 및 FEC 요구 사항을 확인하세요.
| 옵션 | 미디어/섬유 | 커넥터 | 일반적인 도달범위 | 어디에 맞는지 |
|---|---|---|---|---|
| QSFP28 DAC(패시브 구리) | 트윈액스 구리 | 통합 | ~1–3 m | -랙 서버 또는 리프-에서-리프까지 |
| QSFP28 AOC | 다중 모드(통합) | 통합 | ~최대 30m | 인접한-랙 서버, 짧은 링크 |
| 100GBASE-SR4 | 병렬 다중 모드, 8개 파이버(OM3/OM4) | ~70m OM3 / 100m OM4 | 짧은-행 리프-에서 척추까지- | |
| 100G CWDM4 | 이중 단일-모드 | LC | 최대 2km | 행간-/행간-홀 업링크 |
| 100GBASE-FR/DR | 이중 단일-모드 | LC | ~500m(DR) ~ ~2km(FR) | 중간 단일{0}}모드 실행 |
| 100GBASE-LR4 | 이중 단일-모드 | LC | 최대 10km | 캠퍼스/건물-대-건물/DCI |
작업 예: 소형, 중형 및 대형 직물
이는 청사진이 아닌 단순화된 계획 모델입니다. 스파인 수는 일반적으로 업링크를 균등하게 나누고 ECMP 너비를 설정하기 위해 선택됩니다. 스파인 2개는 중복성을 위한 실질적인 최소값이고, 4개는 더 미세한 N-1 세분성과 더 나은 로드 분산을 제공하며, 8개는 대형 패브릭에 적합합니다. 리프 수는 필요한 서버 포트에 따라 확장됩니다.
작은 천
- 8개의 리프 스위치
- 스파인 스위치 2개
- 리프당 48 x 25G 서버 포트
- 리프당 100G 업링크 4개
- 384개의 단일-홈 25G 서버 포트
리프당: 아래로 1,200G, 위로 400G이므로 3:1입니다. 일반 컴퓨팅에는 실행 가능하지만 대용량 스토리지나 AI에는 적합하지 않습니다. 더 낮은 비율이 필요한 경우 업링크를 추가하거나 리프당 액세스를 잘라냅니다.
미디엄 원단
- 리프 스위치 16개
- 스파인 스위치 4개
- 리프당 48 x 25G 서버 포트
- 리프당 100G 업링크 6개
- 768개의 단일-홈 25G 서버 포트
리프당: 아래로 1,200G, 위로 600G이므로 2:1입니다. 가상화와 엔터프라이즈 워크로드를 위한 견고한 균형과 4개의 스파인이 ECMP를 2개보다 더 효과적으로 분산시킵니다.
대형 원단
- 리프 스위치 32개
- 스파인 스위치 8개
- 리프당 48 x 25G 서버 포트
- 리프당 100G 업링크 8개
- 1,536개의 단일-홈 25G 서버 포트
리프당: 아래로 1,200G, 위로 800G이므로 1.5:1입니다. 업링크 여유 공간은 더 많지만 관리해야 할 광학 장치, 광섬유, 비용, 전력 및 케이블도 더 많습니다. 이 규모에서는 문서화가 설계의 일부입니다. 라벨링, 포트 맵, 극성, 예비 광학 장치, 공기 흐름 및 모니터링은 모두 설치 전에 계획되어야 합니다.
QSFP28 브레이크아웃 계획(100G~4x25G)
브레이크아웃은 QSFP28 설계에서 가장 유용하면서도 가장 오해가 많은 부분입니다. 스위치, 케이블 및 구성이 허용하는 경우 하나의 QSFP28 포트는 4개의 25G SFP28 링크로 분할되어 단일 100G 포트에서 4개의 25G 서버를 연결합니다. 높은 25G 밀도가 필요하거나, QSFP28 포트가 많거나, 서버 연결당 비용을 낮추고 싶거나, QSFP28-4x SFP28 DAC, AOC를 사용하여 전환적인 25G/100G 패브릭을 구축하려는 경우에 적합합니다.MTP/MPO 브레이크아웃 케이블거리에 따라.
문제는 브레이크아웃이 QSFP28 포트를 소비한다는 것입니다. 32-포트 QSFP28 스위치가 16개의 포트를 4x25G 브레이크아웃 전용으로 지정하는 경우 해당 16개 포트는 64개의 서버를 지원하지만 업링크, 스토리지, 상호 연결 및 예비용으로 16개의 QSFP28 포트만 남습니다. 경험적으로 보면 브레이크아웃 포트 수를 먼저 계산한 다음 업링크에 남은 포트 수를 계산하는 것입니다.
커밋하기 전에 몇 가지 사항을 확인하고 각 실행이 커밋되어야 하는지 여부를 조기에 결정하세요.트렁크 또는 브레이크아웃 어셈블리:
- 브레이크아웃을 지원하는 포트는 무엇이며, 포트-그룹 제한이 있나요?
- 브레이크아웃을 활성화하면 인접한 포트가 비활성화됩니까?
- 스위치 운영 체제가 필요한 모드를 지원합니까?
- 각 실행마다 DAC, AOC 또는 브레이크아웃 광학 장치가 있습니까?
- 지금 4개 차선이 모두 필요한가요, 아니면 나중에 필요한가요?
- 브레이크아웃은 향후 네이티브 100G 서버로의 전환에 어떤 영향을 미치나요?
전원, 냉각 및 케이블 관리
100G 패브릭은 대역폭보다 더 많은 것을 생성합니다. - 열, 공기 흐름 부하 및 케이블 밀도를 생성합니다. 전력 예산 책정에는 스위치 섀시와 팬, QSFP28 광학 모듈(및 사용되는 경우 DAC 또는 AOC), 중복 공급 장치, 랙-수준 용량 및 성장 마진이 포함되어야 합니다. 냉각은 열기- 및 냉기-통로 레이아웃, 일관적인 전면-간-후면 또는 후면-일관된 공기 흐름, 블랭킹 패널, 케이블 방해, 주변 온도 및 모듈{12}}온도 모니터링을 고려해야 합니다. 왜냐하면 광학 장치로 채워진 척추는 실제 열 부하이기 때문입니다.
케이블링은 빠르게 확장됩니다. 16개의 리프에서 4개의 스파인은 이미 64개의 리프-에서-스파인 링크이며, 각 링크에는 라벨을 지정하고 라우팅하고 테스트하고 문서화해야 합니다. 풀-메시 패브릭은 사전 마감 처리를 통해 제작 및 유지 관리가 훨씬 더 쉽습니다.-MPO/MTP 트렁크 케이블링필드-종단 광섬유보다 또한 팀은 커넥터 및 극성 규칙을 미리 정해야 합니다. 그만큼MTP와 MPO의 실질적인 차이점주문하기 전에 확인해 볼 가치가 있습니다. 엉성한 문서화는 첫날에는 비용이 들지 않으며 첫 번째 가동 중단 중에는 많은 비용이 듭니다.
400G 업그레이드를 위한 설계
현실적인 업그레이드 경로로 패브릭을 디자인합니다. 처음에는 모든 곳에서 400G가 필요하지 않지만 나중에 이동을 어렵게 만드는 선택은 피해야 합니다. 스파인 업링크가 이미 과도하게 로드되어 있거나, 100G 스파인을 추가하는 것이 어색해지거나, ECMP 경로 수가 플랫폼 제한에 가까워지거나, AI, 스토리지 또는 동{5}}동서 성장이 가속화되는 경우 400G 준비 상태에 대해 생각해 보세요.
일반적인 전략은 스파인을 먼저 업그레이드하는 것입니다. 리프는 100G 업링크를 유지하고 다음과 같은 포트를 사용하여 더 높은-용량 스파인-을 유지합니다.QSFP-DD-는 종종 400G 포트가 기존 리프를 향해 다시 4x100G로 분할되는 헤드룸을 추가합니다. 더 넓은 궤적은 업계에 의해 설정됩니다.이더넷 얼라이언스 로드맵이제 주로 AI에 의해 주도되는 400G, 800G 이상을 실행합니다. 스위치를 평가할 때 플랫폼이 단계적 업그레이드에 필요한 속도, 광학, 브레이크아웃 모드 및 소프트웨어 기능을 지원하는지 확인하십시오.
100G 스파인-리프 디자인이 올바른 선택이 아닌 경우
이 디자인은 보편적이지 않으며 일부 경우에는 다른 디자인이 필요합니다. 한두 개의 랙에 있는 소수의 서버는 한 쌍의 중복 스위치가 더 간단하고 저렴한 전체 스파인-리프 빌드를 정당화하는 경우가 거의 없습니다. 대규모 AI 교육 클러스터는 100G 액세스 및 100G 스파인 패브릭이 잘 처리하는 수준을 넘어 처음부터 400G 또는 800G 패브릭- 또는 전용 InfiniBand 네트워크-에 도달할 수 있습니다. 그리고 거의 모든 트래픽이 랙 사이의 동서가 아닌 게이트웨이의 남북-인 경우 스파인 리프의 동-서쪽 이점-은 중요하지 않으므로 토폴로지는 가정하기보다는 성장 및 운영 기반에서 정당화되어야 합니다. 아키텍처를 트래픽과 규모에 맞추십시오. 반대가 아닙니다.
일반적인 100G 스파인-리프 디자인 실수
- QSFP28 포트를 두 번 계산합니다.포트는 4x25G 브레이크아웃 또는 100G 업링크 중 하나이며 둘 다일 수는 없습니다. 모든 포트에 하나의 역할을 부여하십시오.
- 최대 도달 범위를 기준으로 광학 장치를 선택합니다.도달 거리가 길어지면 비용과 전력이 추가됩니다. 실제 광섬유 거리 및 유형에 광학 장치를 일치시킵니다.
- N-1을 무시합니다.정상 작동 중과 척추를 잃은 후에 비율을 확인하십시오.
- 광전력과 열은 잊어버리세요.QSFP28 모듈로 가득 찬 척추는 실제 열 부하이므로 전력 및 냉각 계산에 광학 장치를 포함시킵니다.
- 케이블 연결을 나중에 생각하는 것입니다.라우팅, 라벨링, 극성 및 문서화는 설치가 아닌 설계에 속합니다.
- 오늘날의 서버 속도에만 맞춰 설계합니다.25G 액세스가 100G로 전환되면 기본 100G 또는 400G 스파인을 위한 공간을 남겨두십시오.
FAQ
Q: 100G 스파인-리프 네트워크에 대한 최적의 초과 구독 비율은 얼마입니까?
A: 단일한 최고 비율은 없습니다. 일반적인 컴퓨팅의 경우 2:1 또는 3:1이 실용적인 경우가 많습니다. 스토리지, AI, HPC 또는 RDMA 워크로드의 경우 가능하면 1:1 이하의-초과 구독 설계를 사용하고 측정된 트래픽에 대해 검증하세요.
Q: 리프--스파인 링크에 QSFP28 SR4 또는 CWDM4를 사용해야 합니까?
A: MPO/MTP 케이블 연결이 가능한 짧은 멀티모드 실행에는 SR4를 사용하십시오. 거리가 더 길거나 이중 LC 단일{4}}모드 플랜트를 선호하는 경우(최대 약 2km) CWDM4 또는 유사한 단일{3}}모드 광학 장치를 사용하십시오.
Q: QSFP28이 4x25G로 분할될 수 있습니까?
A: 예. 많은 QSFP28 플랫폼은 4x25G 브레이크아웃을 지원하지만 지원 여부는 스위치 모델, 포트 그룹, 운영 체제 및 케이블 유형에 따라 다릅니다. 브레이크아웃을 설계하기 전에 항상 스위치 호환성 매트릭스를 확인하십시오.
Q: 400G가 존재하는데 100G 스파인-리프가 여전히 가치가 있나요?
A: 예, 25G 또는 100G 서버 액세스를 갖춘 대부분의 기업 및 클라우드 환경에서{2}}G는 업링크 용량, AI 트래픽 또는 대규모{3}}동-대역폭이 정당화될 때 더 높은 비용을 벌 수 있습니다.
Q: 스파인 스위치는 몇 개나 필요합니까?
A: 중복성을 위해 최소 2개입니다. 대규모 패브릭에서는 더 나은 ECMP 배포와 더 많은 업링크 용량을 위해 4개 이상을 사용하는 경우가 많습니다. 올바른 숫자는 리프 수, 업링크 속도, 초과 구독 목표 및 플랫폼 제한에 따라 다릅니다.
Q: 가장 흔한 디자인 실수는 무엇입니까?
A: 포트 계산이 잘못되었습니다. 팀은 먼저 업링크를 계획하고 나중에 브레이크아웃 케이블이 스파인에 사용할 것으로 예상했던 QSFP28 포트를 소비했다는 사실을 발견합니다. 업링크 용량을 확정하기 전에 브레이크아웃 포트를 할당하십시오.
결론
좋은 100G 스파인{1}}리프 설계는 하드웨어가 도착하기 전에 내려진 결정의 합입니다. 즉, 워크로드 정의, 포트 수를 올바르게 계산, 정상 및 오류 조건 모두에서 초과 구독 계산, 거리별로 광학 장치 선택, 의도적인 브레이크아웃 계획, 전력 및 냉각 예산, 400G를 위한 공간 확보 등이 있습니다. 대부분의 기업 데이터 센터에서 100G QSFP28 업링크를 갖춘 25G 액세스는 성능, 비용 및 규모의 강력한 균형을 유지하는 반면, 스토리지, AI 및 HPC는 단순히 초과 가입을 줄이고 더 엄격한 검증을 요구합니다. 안정적인 접근 방식은 변하지 않습니다. 즉, 서버 외부에서 설계하고, 정상 및 N-1 조건에서 수학을 증명하고, 배포 전에 모든 링크를 문서화합니다.
