100G QSFP28 Spine-Design listov: Izogibajte se napakam pri vratih

100G spine{1}}leaf fabric je eden najbolj zanesljivih načinov povezovanja 25G strežnikov, 100G navzgornjih povezav, gruč za shranjevanje in vzhod-zahod-težkih delovnih obremenitev v sodobnem podatkovnem centru. Privlačnost QSFP28 je njegova prilagodljivost: ena sama vrata lahko prenašajo izvorno 100G povezavo ali se razkrijejo v štiri 25G strežniške povezave, tako da lahko eno stikalo služi tako robu dostopa kot jedru tkanine.

Hitri preklopi so lahek del. Zasnova 100G živi ali umre glede na odločitve, sprejete pred nakupnim naročilom: kako so dodeljena posamezna vrata, kako izgleda razmerje prevelike naročnine v normalnih in okvarjenih pogojih, katera optika se ujema z dejanskimi kabli, koliko toplote doda ta optika in ali lahko tkanina raste proti 400G brez nadgradnje viličarja.

Ta priročnik je-nevtralna referenca za načrtovanje za skupine za omrežja in infrastrukturo. Spodnje številke sledijo trenutnim specifikacijam IEEE 802.3 Ethernet in ustreznim sporazumom o optičnih več-izvorih, vendar ima vsako stikalo in oddajnik-sprejemnik svoj podatkovni list, zato potrdite točne številke za strojno opremo, ki jo kupite.

Kako brati primere v tem priročniku.Če ni navedeno drugače, predpostavljajo eno-domače strežnike z enim 25G NIC na vsakem, 48 gostiteljskimi vrati na list, 100G povezavami-do-navzgornjim listom, polno mrežo, v kateri se vsak list povezuje z vsakim hrbtenico, in omogočenim odpravljanjem napak naprej, kjer to zahteva optika. Dvojno-navajanje, hitrejše omrežne kartice ali različno število vrat bodo spremenili vsako naslednjo številko.

Kaj je 100G Spine{1}}Leaf Network?

Spine{0}}leaf je dvonivojska-arhitektura podatkovnega centra, zgrajena iz listnih stikal in hrbteničnih stikal. Listna stikala so nameščena na vrhu vsake omare in zagotavljajo vrata-obrnjena proti strežniku ter navzgornje povezave do hrbtenice. Hrbtenična stikala tvorijo -hrbtenico visoke hitrosti. Vsak list je povezan z vsako hrbtenico, tako da se promet med regali premika od lista do hrbta do lista po enako-dolgi poti.

Dizajn je priljubljen, ker zagotavlja:

• Predvidljiva, enaka dolžina poti med katerima koli dvema omarama
• Izvorna podpora za gost promet vzhod-zahod
• Vse povezave navzgor so aktivne prek ECMP, namesto da bi jih blokiralo vpeto drevo
• Enostavno vodoravno skaliranje - dodajte liste za vrata, dodajte trne za zmogljivost

V strukturi 100G povezave od-do-hrbtenice delujejo pri 100G, medtem ko vrata,-obrnjena proti strežniku, delujejo pri 10G, 25G, 50G ali 100G, odvisno od delovne obremenitve. Danes je 25G dostop s 100G povezavami navzgor najpogostejša kombinacija za podjetja.

Fizična zasnova proti logični zasnovi

"Načrt omrežja" zajema dve plasti, ki ju je enostavno združiti. Ta vodnik se osredotoča na fizično in zmogljivostno plast - vrata, optiko, prekomerno naročnino, kable -, ker se temu zavežete, ko kupujete strojno opremo. Toda logična plast odloča o tem, kako tkanina posreduje promet, in oblikuje več fizičnih izbir.

Na fizični strani so stikalo in izbira vrat, hitrosti omrežne kartice, prekomerna naročnina, optika, kabli, napajanje in hlajenje. Na logični strani je ECMP,-uravnoteženje obremenitve med povezavami navzgor; prekrivanje, kot je VXLAN z nadzorno ravnino BGP EVPN za več-najemniško plast 2 in 3 preko usmerjene podlage; dvojno-navajanje z MLAG ali MC-LAG in LACP na robu dostopa; in neuspešno-določanje velikosti domene. Za tkanine RDMA morate načrtovati tudi omrežje skoraj-brez izgub, opisano spodaj. Zgodaj določite logični model, ker vpliva na število povezav navzgor, na to, koliko trnov želite za širino ECMP in ali so listi razporejeni kot pari MLAG.

Korak 1 - Določite hitrost in delovno obremenitev strežnika

Začnite z delovno obremenitvijo, ne z optiko. Splošna virtualizacijska gruča, pomnilniška struktura in enota za usposabljanje AI imajo zelo različne potrebe in prava zasnova sledi prometu.

25G strežniki s 100G povezavami navzgor

Za večino poslovnih in zasebnih-obočij v oblaku je 25G dostop s 100G leaf{3}}to-navzgornjimi povezavami najboljša točka: velik skok nad 10G, pri čemer so stroški NIC, kabla in stikala razumni. Običajna zgradba združuje 25G navzdolnjih povezav, 100G navzgornjih povezav in razmerje od 2:1 do 3:1 za splošno računanje, z nižjo prekomerno naročnino, rezervirano za nivoje, ki so-občutljivi za shranjevanje in zakasnitev. Ustreza virtualizaciji, zasebnemu oblaku, spletnim nivojem in večini poslovnih podatkovnih centrov.

Native 100G za shranjevanje, AI in HPC

Nekatere delovne obremenitve potrebujejo izvorno 100G do strežnika: porazdeljeno in NVMe-oF shranjevanje, AI in strojno-učenje, HPC,-analiza velikega obsega in nizka-zakasnitev RDMA. Tu bi morala biti prekomerna naročnina nizka - pogosto ne-blokirna ali blizu -, ker je problem prometni vzorec, ne le obseg.

Delovne obremenitve AI, HPC in RDMA ustvarjajo gost, sinhroniziran promet od vse-do-vsega vzhoda-zahoda: številna vozlišča prenašajo v več vozlišč v istem trenutku, tako da statistično glajenje, ki vam prihrani virtualizacijsko strukturo, ne velja več. RDMA prek konvergentnega Etherneta (RoCE) dodaja drugo omejitev, ker pričakuje strukturo skoraj- brez izgub, kar v praksi pomeni prednostni nadzor pretoka (PFC) in eksplicitno obveščanje o zastoju (ECN), ki sta nastavljena od konca do konca. Tkanina, ki izpušča okvirje pod prezasedenostjo, bo spremljala sesutje zmogljivosti RoCE, zato so te gruče običajno zgrajene v razmerju 1:1 s skrbno konfiguracijo medpomnilnika in zastojev.

Korak 2 - Kako izračunati stikalna vrata za list in hrbtenico za 100G tkanino

Načrtovanje pristanišča se začne pri listu, ne pri hrbtenici. Delajte navzven od strežnikov:

1. Preštejte vrata,-obrnjena proti strežniku, na omaro.
2. Odločite se, ali je vsak izvorni 25G, izvorni 100G ali prebojni pas.
3. Rezervirajte vrata QSFP28 za hrbtenične povezave navzgor.
4. Dodajte rezervna vrata za rast, redundanco, testiranje in zamenjavo.
5. Ponovno izračunajte presežek naročnine po dodelitvi preboja, ne prej.

Štetje vrat,-obrnjenih proti strežniku

Za vsako omaro določite število strežnikov, hitrost omrežne kartice, omrežne kartice na strežnik, eno- ali dvojno-homeding in potrebne rezervne dele. Stojalo za 48 strežnikov z eno 25G NIC potrebuje 48 gostiteljskih vrat. Dvojno-postavite te strežnike na par listov in število dostopnih vrat v paru se podvoji.

Rezervirajte vrata za povezavo navzgor in opazujte dvojno-štetje

Po gostiteljskih vratih rezervirajte vrata QSFP28 za hrbtenico. Tukaj se skriva najpogostejša napaka: če se ista vrata QSFP28 uporabljajo za preboj 4x25G, niso več na voljo kot povezave navzgor. Največja napaka pri načrtovanju ni napačno štetje 100G navzgornjih povezav, ampak precenjevanje vrat navzgornjih povezav, ki ostanejo, ko jih zajede zlom. Dodelite preboj pred matematiko prevelike naročnine ali pa je razmerje, ki ste ga izračunali, fikcija.

Delovni primer pomaga. Vzemite navaden list 1U z 48 gostiteljskimi vrati SFP28 in 8 vrati QSFP28:

S šestimi navzgornjimi povezavami, ki prenašajo 1200 G dostopovnega prometa, list deluje v razmerju 2:1, dve vrati QSFP28 pa ostaneta v rezervi. Vsakemu pristanišču dodelite eno samo eksplicitno vlogo v preglednici, preden določite velikost česar koli drugega.

Pustite proste kapacitete

Ne zaužijte vsakega portovca prvi dan. Rezervirajte prostor za nove strežnike, dodatne hrbtenice, začasne testne povezave, neuspele-zamenjave vrat, nadzorne priključke in selitev. Malo neizkoriščene zmogljivosti je veliko ceneje kot prenova.

Korak 3 - Izračunajte presežek naročnine, vključno z N-1

Prekomerna naročnina primerja skupno pasovno širino-strežnika na listu z njegovo skupno pasovno širino navzgornje povezave do hrbtenice:

Razmerje prevelike naročnine=skupna pasovna širina povezave navzdol / skupna pasovna širina povezave navzgor

Za zgornji list 48 x 25G=1,200G navzdol in 6 x 100G=600G gor, kar daje 1200 / 600=2:1. To pomeni dvakrat večjo teoretično pasovno širino dostopa kot pasovna širina navzgornje povezave -, ki je običajno v redu za splošno računanje, kjer strežniki redko vsi prenašajo s hitrostjo povezave hkrati, vendar je to prava omejitev za shranjevanje, AI, HPC in RDMA.

Vedno preverite primer N-1

Tkanina je lahko med normalnim delovanjem videti zdrava in se ob okvari zaduši. Razmislite o listu z osmimi 100G navzgornjimi povezavami, ki so enakomerno razporejene po štirih hrbtenicah - dve na hrbtenico, skupno 800G, tako da 1200G dostopa daje 1,5:1. Izguba ene hrbtenice in list spusti dve navzgornji povezavi na 600G, kar poveča razmerje na 2:1 za čas izpada. Če vaš cilj ni "nič slabši od 2:1 tudi pri neuspehu," morate začeti blizu 1,5:1. Izračunajte normalno razmerje in razmerje N-1 po izgubi ene hrbtenice ali navzgornje povezave; druga številka je tista, ki grize med vzdrževanjem.

Načrtovanje obsegov po obremenitvah

Univerzalnega razmerja ni, zato obravnavajte naslednje kot obsege načrtovanja, ne kot standarde, in preverite glede na izmerjeni promet, kjer lahko:

Pri nadgradnji preglejte trenutno uporabo navzgornje povezave, vzorce vrha in vzhod-zahoda, tokove shranjevanja in varnostna okna, preden se zavežete razmerju.

Korak 4 - Izberite optiko in kable QSFP28

Vmesnike QSFP28 100G standardizira IEEE 802.3 -802.3bm dopolnitevdodal 100GBASE-SR4, poleg enojnega-načina LR4 PHY. Izberite optiko glede na razdaljo, vrsto vlakna, priključek, moč in združljivost stikala ter se uprite privzetemu najdaljšemu dosegu: doseg, ki ga ne potrebujete, običajno pomeni stroške in moč, ki ju ne potrebujete. Uskladite modul s serijo z razumno rezervo.

DAC in AOC za kratke strežniške povezave

Za povezave v -omari in sosednjih-omajah sta praktična QSFP28 direktni-attach bakreni (DAC) in aktivni optični kabli (AOC). Pasivni DAC ustreza najkrajšim skokom - nekaj metrov - pri najnižjih stroških in moči, medtem ko AOC razširja doseg ter je lažji in bolj prilagodljiv, kjer postane količina bakra problem. Za 25G dostop je QSFP28-to-4x SFP28 breakout DAC ali AOC običajen, če stikalo podpira breakout.

100GBASE-SR4 za kratke večmodne povezave navzgor

SR4 prenese 100Gosem vzporednih večmodnih vlakenz uporabo priključka MPO/MTP, zaradi česar je stroškovno-učinkovita izbira za kratke trakove od listov-do-hrbtenice znotraj vrste. Njegov doseg je odvisen od razreda vlaken - približno 70 m na OM3 in 100 m na OM4 -, zato se splača poznati doseg, ki ga lahko pričakujete.Večmodna vlakna OM3, OM4 in OM5v tvojem nadstropju. Glavna omejitev pri načrtovanju je vzporedna napeljava kablov: MPO popravke in polarnost je treba določiti vnaprej.

CWDM4 ali FR za enojni način-teče do približno 2 km

Za povezave med-vrstami,-sobami ali-halami je bolj-primerna enomodna optika, kot je CWDM4 ali FR. The100G CWDM4 MSAdoloča doseg 2 km prek enega para eno-modnih vlaken z dupleksnim priključkom LC in FEC. Ker uporabljajo dupleksna vlakna namesto vzporednih MPO, CWDM4 in FR optika pogosto padejo v eno-napravo bolj čisto kot SR4 - in na teh razdaljah izbira medOS1 in OS2 eno-optično vlaknopostane pomemben za vaš proračun izgube. Krajše enonačin-različice, kot je DR, pokrivajo približno 500 m, kjer je to vse, kar potrebujete.

100GBASE-LR4 za kampus in DCI

LR4 je možnost-z dolgim ​​dosegom, ki nosi 100Gdo približno 10 km prek dupleksnega eno-modnega vlaknaza medsebojne povezovalne povezave med kampusom,-z-zgradbo ali podatkovnim{2}}centrom-. Uporabljajte ga samo tam, kjer razdalja to resnično zahteva; optika z dolgim-dosegom na kratkih skokih znotraj-podatkovnega-centra preprosto poveča stroške, moč in toploto brez izboljšanja tkanine.

Primerjava optike QSFP28 100G

Tabela povzema primernost posamezne možnosti. Obravnavajte dosege kot tipične številke načrtovanja in potrdite točne številke, razred vlaken in zahteve FEC na podatkovnem listu vsakega modula.

Obdelani primeri: majhne, ​​srednje velike in velike tkanine

To so poenostavljeni modeli načrtovanja, ne načrti. Število hrbtenic je običajno izbrano za enakomerno razdelitev navzgornjih povezav in nastavitev širine ECMP: dve hrbtenici sta praktičen minimum za redundanco, štiri omogoča boljšo razdrobljenost N-1 in boljšo porazdelitev obremenitve, osem pa ustreza velikim tkaninam. Število listov se meri s strežniškimi vrati, ki jih potrebujete.

Majhna tkanina

• 8 krilnih stikal
• 2 hrbtni stikali
• 48 x 25G strežniških vrat na list
• 4 x 100G navzgornje povezave na list
• 384 enojnih-domačih vrat strežnika 25G

Na list: 1200G navzdol, 400G gor, torej 3:1. Uporabno za splošno računanje, a tesno za težko shranjevanje ali AI. Dodajte navzgornje povezave ali zmanjšajte dostop na list, če potrebujete nižje razmerje.

Srednje blago

• 16 krilnih stikal
• 4 stikala za hrbtenico
• 48 x 25G strežniških vrat na list
• 6 x 100G povezav navzgor na list
• 768 enojnih-domačih vrat strežnika 25G

Na list: 1200G navzdol, 600G gor, torej 2:1. Solidno ravnotežje za virtualizacijo in delovne obremenitve v podjetjih, štiri hrbtenice pa ECMP širijo bolje kot dve.

Velika tkanina

• 32 krilnih stikal
• 8 stikal za hrbtenico
• 48 x 25G strežniških vrat na list
• 8 x 100G povezav navzgor na list
• 1536 enojnih-domačih vrat strežnika 25G

Na list: 1200G navzdol, 800G gor, torej 1,5:1. Več prostora za navzgornjo povezavo, vendar več optike, vlaken, stroškov, moči in kablov za upravljanje. V tem obsegu je dokumentacija del zasnove: pred namestitvijo je treba načrtovati označevanje, zemljevide vrat, polarnost, rezervno optiko, pretok zraka in nadzor.

Načrtovanje preboja QSFP28 (100G do 4x25G)

Breakout je najbolj uporaben in najbolj napačno razumljen del zasnove QSFP28. Kjer stikalo, kabel in konfiguracija to dopuščajo, se ena vrata QSFP28 razdelijo na štiri povezave 25G SFP28, ki povezujejo štiri strežnike 25G z enim samim vratom 100G. Zasluži si svoje mesto, ko potrebujete visoko gostoto 25G, imate veliko vrat QSFP28, želite znižati stroške na povezavo s strežnikom ali gradite prehodno strukturo 25G/100G z uporabo QSFP28-to-4x SFP28 DAC, AOC aliPrelomni kabli MTP/MPOodvisno od razdalje.

Ulov je v tem, da preboj porabi vrata QSFP28. Če 32-vratno stikalo QSFP28 nameni 16 vrat prelomu 4x25G, teh 16 vrat podpira 64 strežnikov – vendar ostane samo 16 vrat QSFP28 za povezave navzgor, shranjevanje, medsebojne povezave in rezervne dele. Osnovno pravilo je, da najprej preštejete prekinitvena vrata, nato pa preštejte, kar ostane za navzgornje povezave.

Preden se zavežete, potrdite nekaj stvari in se zgodaj odločite, ali naj bo vsak zagon aprtljažnik ali odklopni sklop:

• Katera vrata podpirajo preboj in ali obstajajo omejitve-skupine vrat?
• Ali omogočanje preboja onemogoči sosednja vrata?
• Ali operacijski sistem Switch podpira način, ki ga potrebujete?
• DAC, AOC ali prelomna optika za vsako vožnjo?
• So potrebni vsi štirje pasovi zdaj ali šele kasneje?
• Kako bo preboj vplival na prihodnji prehod na domače 100G strežnike?

Napajanje, hlajenje in upravljanje kablov

Tkanina 100G proizvede več kot pasovno širino - proizvaja toploto, obremenitev zračnega toka in gostoto kabla. Proračun za napajanje bi moral zajemati ohišja stikala in ventilatorje, optične module QSFP28 (in DAC ali AOC, kjer se uporablja), redundantne napajalnike, zmogljivost -na ravni omare in rezervo rasti. Hlajenje mora upoštevati razporeditev vročih- in hladnih-hodov, dosleden pretok zraka od spredaj-do-zadaj ali zadaj-proti-spredaj, slepe plošče, ovire kablov, temperaturo okolja in-temperaturo modula, ker je hrbtenica, napolnjena z optiko, prava toplotna obremenitev.

Kabli se hitro spreminjajo: 16 listov na 4 hrbtenice je že 64 povezav med-listom-hrbtenicami, od katerih mora biti vsaka označena, napeljana, preizkušena in dokumentirana. Polno-mrežasto tkanino je veliko lažje izdelati in vzdrževati s pred-končanoMPO/MTP trank kablikot z optičnimi-zaključenimi vlakni. Ekipe bi se morale dogovoriti tudi za konektorje in polarnost; thepraktične razlike med MTP in MPOjih je vredno potrditi pred naročilom. Površna dokumentacija prvi dan ne stane nič, ob prvem izpadu pa veliko.

Oblikovanje za nadgradnjo 400G

Oblikujte tkanino z realistično potjo nadgradnje. Ne potrebujete 400G povsod prvi dan, vendar se morate izogibati odločitvam, zaradi katerih bo selitev pozneje boleča. Začnite razmišljati o pripravljenosti na 400G, ko so hrbtenične povezave navzgor že močno obremenjene, ko postaja dodajanje novih 100G spinov nerodno, ko se število poti ECMP približuje mejam platforme ali ko se umetna inteligenca, shranjevanje ali rast vzhod{-zahoda pospešujejo.

Običajna strategija je, da najprej nadgradite hrbtenico: listi ohranijo svojih 100G navzgornjih povezav, medtem ko hrbtenica z večjo-zmogljivostjo - uporablja vrata, kot soQSFP-DD- doda prostor za višino, pogosto z vrati 400G, ki se razširijo v 4x100G nazaj proti obstoječim listom. Širšo pot določa industrija:Načrt Ethernet Alliancezdaj deluje prek 400G, 800G in naprej, v veliki meri ga poganja AI. Ko ocenjujete stikala, preverite, ali platforma podpira hitrosti, optiko, načine preboja in funkcije programske opreme, ki jih potrebuje postopna nadgradnja.

Ko 100G Spine{1}}Design listov ni prava izbira

Ta oblika ni univerzalna in nekaj primerov zahteva nekaj drugega. Peščica strežnikov v enem ali dveh omarah le redko upraviči celotno konstrukcijo hrbtenice-leaf, kjer je par redundantnih stikal preprostejši in cenejši. Zelo veliki izobraževalni grozdi z umetno inteligenco lahko presežejo tisto, kar dobro obvladata 100G dostopna in 100G hrbtenica, in pristanejo na 400G ali 800G tkaninah - ali celo namenskem omrežju InfiniBand - že od samega začetka. In če je skoraj ves promet sever-jug do prehoda in ne vzhod-zahod med omarami, so vzhodno-zahodne prednosti hrbtenice-listov manj pomembne, zato je treba topologijo utemeljiti na podlagi rasti in delovanja in ne domnevati. Arhitekturo uskladite s prometom in obsegom, ne obratno.

Pogoste napake pri načrtovanju hrbtenice-100G

• Dvakratno štetje vrat QSFP28.Vrata so bodisi 4x25G breakout ali 100G uplink, nikoli oboje. Vsakemu pristanišču dodelite eno vlogo.
• Izbira optike po največjem dosegu.Daljši doseg poveča stroške in moč; uskladite optiko z dejansko razdaljo in vrsto vlaken.
• Ignoriranje N-1.Preverite razmerje med normalnim delovanjem in po izgubi hrbtenice.
• Pozabimo na optično moč in toploto.Hrbtenica, polna modulov QSFP28, je prava toplotna obremenitev, zato vključite optiko v matematiko moči in hlajenja.
• Obravnavanje kablov kot naknadna misel.Usmerjanje, označevanje, polarnost in dokumentacija spadajo v zasnovo, ne v namestitev.
• Oblikovanje samo za današnjo hitrost strežnika.Če se bo dostop 25G premaknil na 100G, pustite prostor za izvirno 100G ali hrbtenico 400G.

Zaključek

Dobra zasnova hrbtenice-leaf 100G je vsota odločitev, sprejetih pred prihodom strojne opreme: določite delovno obremenitev, pravilno preštejte vrata, izračunajte prekomerno naročnino v normalnih in okvarjenih pogojih, izberite optiko glede na razdaljo, namerno načrtujte preboj, proračun za napajanje in hlajenje ter pustite prostor za 400G. Za večino podjetniških podatkovnih centrov 25G dostop s 100G QSFP28 povezavami navzgor ostaja močno ravnovesje med zmogljivostjo, stroški in obsegom, medtem ko prostor za shranjevanje, umetna inteligenca in HPC preprosto zahtevajo nižjo prekomerno naročnino in strožje preverjanje. Zanesljiv pristop se ne spremeni: načrtujte od strežnika navzven, dokažite matematiko pod običajnimi pogoji in pogoji N-1 ter dokumentirajte vsako povezavo pred uvedbo.