Zasnova omrežja gruče AI: Spine-Leaf, RoCE & NIC

Načrtovanje omrežja gruče z umetno inteligenco je postopek določanja velikosti NIC-jev strežnika GPE, pasovne širine leaf-hrbtenice, razmerja prekomerne naročnine, nastavitev RoCE, optike in kablov, tako da porazdeljeni promet za usposabljanje ostaja predvidljiv, ko se gruče širijo. Če naredite katero koli od teh napak, bo omrežje - in ne GPE - postalo ozko grlo.

Zakaj je mreženje gruče AI drugačno

V tradicionalnem podatkovnem centru podjetja omrežje upravlja mešanico uporabniškega prometa sever-jug, dostop do shrambe, virtualizacijo in upravljanje. Vz-zahodni promet obstaja, vendar je redko prevladujoča obremenitev. V gruči AI se situacija obrne. Strežniki GPU, ki izvajajo porazdeljeno usposabljanje, izmenjujejo gradiente in sinhronizirajo parametre med vsakim korakom opravila. Ta komunikacija je del računanja in ne njegov stranski učinek.

Če GPU v vrednosti 30.000 USD porabi 30 % svojega časa za čakanje v omrežju med vsemi-operacijami zmanjševanja, gruča dejansko plača 30 % svoje računalniške zmogljivosti, da miruje. To je ekonomski razlog, da mreženje AI dobiva toliko pozornosti.

Zasnovo vodijo tri značilnosti delovne obremenitve:

• Buren promet vzhod-zahod.Skupinske komunikacijske operacije, kot so all{0}}reduce, all-gather in reduce{2}}scatter, proizvajajo sinhronizirane izbruhe v več vozliščih hkrati.
• Občutljivost-zakasnitve repa.Eno samo počasno vozlišče zakasni celoten korak usposabljanja. Predvidljiva zakasnitev je pomembnejša od povprečne zakasnitve.
• Povečanje rasti-.Grozdi, ki se začnejo pri 32 grafičnih procesorjih, se pogosto povečajo na 256 ali 1024 v 18 mesecih. Tkanina se mora meriti brez preoblikovanja.

Zakaj Spine{0}}Leaf ustreza grozdom AI

Hrbten-list je standardna struktura za podatkovne centre hiperscale, ker omogoča vsaki poti od-strežnika do-strežnika enako število skokov in enako teoretično pasovno širino. Pri delovnih obremenitvah z umetno inteligenco se ta enotnost neposredno prevede v bolj predvidljive čase korakov usposabljanja.

Pri spine{0}}leaf topologiji se strežniki GPU povežejo z listnimi stikali in vsak list se poveže z vsakim hrbtom. Vsaka komunikacija -med-GPU prečka točno en list, eno hrbtenico in še en list. Ni agregacijskih plasti, ki bi uvedle spremenljivo zakasnitev ali zadrževalne točke.

Predvidljiva latenca

Equal{0}}cost multi-usmerjanje (ECMP) razprši tokove prek hrbteničnih stikal. Ko je pravilno konfiguriran s prilagodljivim usmerjanjem ali dinamičnim uravnoteženjem obremenitve, to prepreči kolizije zgoščevanja, ki povzročijo, da so nekateri tokovi veliko počasnejši od drugih - znana težava v statičnih tkaninah ECMP, ki prenašajo malo, a velike tokove, kar je natanko tisto, kar ustvari usposabljanje AI.

Visoka pasovna širina bisekcije

Bisekcijska pasovna širina je prepustnost, ki je na voljo med katerima koli dvema enakima polovicama gruče. Usposabljanje z umetno inteligenco ima koristi od ne{1}}blokirnih ali skoraj-ne-blokirnih načrtov, pri katerih je zmogljivost navzgornje povezave od-do-hrbtenice enaka ali skoraj enaka zmogljivosti navzdolnje povezave, obrnjene proti strežnikom. IETF opredeljuje in obravnava te koncepte vRFC 7938, ki pokriva BGP-usmerjene Clos tkanine, ki se pogosto uporabljajo v velikih-podatkovnih centrih.

Lažje skaliranje-

Če želite dodati več strežnikov, dodajte več listov. Dodajte več bodic, da dodate več razpolovljene pasovne širine. Za gruče, ki presegajo nekaj tisoč grafičnih procesorjev, super-hrbtenična (5-stopenjska Clos) ali topologija, optimizirana za tračnice, razširi isto načelo še eno plast dlje.

Osrednje komponente omrežja gruče AI

Strežniki GPU in omrežne kartice

NIC je tam, kjer se tkanina sreča z gostiteljem. V gručah AI izbira omrežne kartice poganja vse navzdol - hitrost vrat stikala, izbiro optike in gostoto kablov.

Izbirna merila za delovne obremenitve AI:

• Hitrost vrat:200G, 400G ali 800G na vrata. Ujemanje z generacijo GPE in pasovno širino PCIe.
• Generacija PCIe:400G NIC potrebuje PCIe Gen5 x16, da se izogne ​​dušenju-na strani gostitelja. Omejitve PCIe Gen4 x16 pri ~256 Gbps uporabne.
• Podpora za RDMA in RoCEv2:Zahtevano za jedro-obhod komunikacijskih knjižnic GPE, kot je NCCL.
• GPUDirect RDMA:Omogoča neposredno GPU-na-NIC DMA, odstranjevanje kopij pomnilnika gostitelja.
• Zmogljivost več{0}}tirnic:Številni strežniki z umetno inteligenco uporabljajo 4 ali 8 omrežnih kartic na vozlišče, eno na par GPE, za rail{2}}optimizirane topologije.

Tipičen strežnik z 8 GPE danes uporablja bodisi 4 × 400G NIC (enega na dva GPU) ali 8 × 400 G NIC (enega na GPE), odvisno od delovne obremenitve in proračuna. Referenčne arhitekture izDokumentacija o omrežju NVIDIApodrobno pokrivajo kompromise pri oblikovanju.

Listna in hrbtna stikala

Kriteriji izbire stikala za tkanine AI se razlikujejo od izbire podjetja. Velikost medpomnilnika, vedenje pri nadzoru zastojev in telemetrija so pomembnejši od širine funkcij.

• Hitrost in radiks na-vrata:ASIC stikala 51,2 Tbps zagotavlja 64 × 800G vrat ali 128 × 400G vrat. Radix določa, kako ravna je lahko tkanina.
• Arhitektura medpomnilnika:Globoki medpomnilniki absorbirajo incast izbruhe, vendar dodajo zakasnitev. Plitki medpomnilniki zmanjšajo zakasnitev, vendar zahtevajo natančen nadzor zastojev.
• Nabor funkcij RoCE:Označevanje ECN, PFC, DCQCN ali enakovreden nadzor prezasedenosti in pravilno ravnanje s prednostnimi čakalnimi vrstami od konca-do-konca.
• Telemetrija:Telemetrija znotrajpasovnega omrežja (INT), poročanje o-globini čakalne vrste in števci ločljivosti mikrosekund-za oznake ECN in premore PFC.

Kabli za optiko, DAC in AOC

Pri 400G in 800G postaja polaganje kablov pravi inženirski problem. Faktorji oblike, proračuni povezav in prelomne konfiguracije zahtevajo zgodnje načrtovanje.

• DAC (bakreni neposredni priklop):Do ~3 metre za 400G, najnižji stroški in najnižja moč. Težko in zajetno v obsegu.
• AOC (aktivni optični kabel):Do ~30 metrov, tanjši od DAC, vendar fiksne-dolžine in porablja optično moč na obeh koncih.
• Priključljiva optika:Zahtevano preko razdalje AOC. QSFP-DD in OSFP prevladujeta pri 400G/800G. Sklopi vlaken MPO/MTP skrbijo za vzporedne-povezave vlaken.

Za povezave med-omarami in strukturirane kable pri 400G/800G je vzporedna optika prek zaključkov MPO zdaj standardna. Izbira med glavnimi kabli in odklopnimi sklopi je odvisna od dodelitve vrat stikala - glejte našeMPO prelomni vodnik kablaza praktično izbirno logiko in širšePrimerjava prtljažnika MPO in prebojapri načrtovanju poti-do-hrbtenice.

RoCE in Ethernet brez izgub v AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) je prevladujoč ethernetni transport za delovne obremenitve AI. Omogoča NIC-jem premikanje podatkov neposredno med regijami pomnilnika GPE brez vpletenosti jedra na obeh straneh. NCCL, komunikacijska knjižnica GPE, ki je podlaga za skoraj vse porazdeljene okvire za usposabljanje, uporablja RoCEv2, ko InfiniBand ni na voljo.

RoCE deluje dobro, če je pravilno konfiguriran. Če je nepravilno konfiguriran, grdo odpove. TheTrgovsko združenje InfiniBandobjavlja specifikacije RoCE, večina prodajalcev omrežnih kartic in stikal pa objavlja podrobna navodila za konfiguracijo, ki jih je treba upoštevati od-do-konca.

Zakaj je vedenje brez izgube pomembno

RDMA je bil zasnovan ob predpostavki prenosa brez izgub. Ko paketi padejo, je obnovitev RDMA draga - pojdi-nazaj-N ponovni prenos lahko ustavi korak usposabljanja za milisekunde, kar je ogromno glede na mikrosekundni-proračun RDMA.

Za približevanje obnašanja brez izgub na Ethernetu tkanina uporablja dva mehanizma, ki delujeta skupaj:

• PFC (nadzor prednostnega pretoka, IEEE 802.1Qbb):Stikalo začasno ustavi dohodni promet v določeni prednostni čakalni vrsti, ko se njegov medpomnilnik napolni. To je mehanizem-zadnje možnosti.
• ECN (Explicit Congestion Notification, RFC 3168):Stikala označijo pakete, ko se čakalne vrste približajo pragu. NIC zmanjša hitrost pošiljanja, preden se medpomnilniki dejansko napolnijo, v idealnem primeru pa se popolnoma izogne ​​PFC.

Cilj je, da ECN izvaja skoraj vse upravljanje zastojev, s PFC kot varnostno mrežo. Če opazite pogoste prekinitve PFC v-prometu stabilnega stanja, so vaši pragovi ECN napačni ali pa je vaša tkanina premajhna.

Pogoste napake pri uvajanju RoCE

Kako oblikovati omrežje gruče AI: Delovni okvir

To je razdelek, ki ga večina člankov o omrežju AI preskoči. Spodnjih sedem korakov vam daje konkretne vnose in rezultate na vsaki stopnji.

1. korak: Določite delovno obremenitev in obseg

Vhodi:Vrsta delovne obremenitve (predusposabljanje, fina{0}}nastavitev, sklepanje, mešano), ciljno število GPE danes, ciljno število GPE v 18 mesecih, obseg velikosti modela.

Izhod:Profil delovne obremenitve, ki obvešča o hitrosti NIC in toleranci za preveliko naročnino. Veliko predhodno usposabljanje mejnih modelov zahteva tkanine 400G+, ki ne{1}}blokirajo. Delovne obremenitve-natančnega prilagajanja lahko dopuščajo prekomerno naročnino 2:1. Sklepne gruče pogosto potrebujejo manjšo pasovno širino, vendar manjšo zakasnitev repa.

2. korak: Izberite hitrost omrežne kartice in število na strežnik

Logika odločitve:

• Predhodno usposabljanje velikih modelov, strežniki z 8 GPE → 4–8 × 400G NIC na strežnik ali 4 × 800G
• Usposabljanje-srednjega obsega, strežniki z 8 GPU → 2–4× 400G NIC na strežnik
• Storitev sklepanja → 1–2 × 200G ali 400G NIC na strežnik, odvisno od vzporednosti modela

Preverite pasovno širino PCIe na gostitelju. Ena vrata 400G zahtevajo PCIe Gen5 x16 za delovanje s hitrostjo linije; podvojitev na 800G zahteva Gen6 ali razdelitev na dve reži.

3. korak: določite velikost plasti listov

Delujoč primer - 32-gruče vozlišč, 8 grafičnih procesorjev na vozlišče, 4× 400G NIC na vozlišče:

• Skupno število potrebnih vrat,-obrnjenih proti strežniku: 32 × 4=128 vrat pri 400G
• Pasovna širina povezave navzdol na vozlišče: 4 × 400=1.6 Tbps
• Skupna pasovna širina gruče navzdol: 32 × 1.6=51.2 Tbps

Z uporabo 64-portnega 400G leaf stikala (skupna zmogljivost 25,6 Tbps) lahko vsak leaf poveže 32 vrat strežnika in uporabi preostalih 32 vrat kot povezave navzgor. S 4 listi pokrijete vseh 128 strežniških vrat. Vsak list prispeva 32 × 400G=12.8 Tbps navzgornje povezave proti hrbtenici.

4. korak: določite velikost plasti hrbtenice

Pri zasnovi brez{0}}blokiranja (1:1) mora skupna zmogljivost povezave navzgor biti enaka skupni zmogljivosti povezave navzdol. Od 3. koraka:

• Skupna potrebna navzgornja povezava do listov: 4 listi × 12,8 Tbps=51.2 Tbps
• Če ima vsaka hrbtenica 32× 400G vrat=12.8 Tbps, potrebujete 4 hrbtenice
• Vsak list se poveže z vsemi 4 trni z uporabo 8 navzgornjih povezav na hrbtenico (8 × 400 G × 4=12.8 Tbps na list - se ujema)

Če uporabljate hrbtenična stikala s 64 vrati 400G, ima vsak hrbtenik rezervno zmogljivost za rast gruče, kar je uporabno za 18-mesečni načrt od 1. koraka.

5. korak: Nastavite razmerje prevelike naročnine

6. korak: Ločite promet za računalništvo, shranjevanje in upravljanje

Tri možnosti po naraščajoči izolaciji:

• Tkanina v skupni rabi z razredi QoS:Računanje, shranjevanje in upravljanje na ločenih prioritetah DSCP. Najnižji stroški; zahteva skrbno konfiguracijo QoS.
• Logično ločeni VLAN/VRF:Ista strojna oprema, ločene nadzorne ravnine. Uporabno za gruče z več-najemniki.
• Fizično ločene tkanine:Namenske omrežne kartice, stikala in kabli za računalništvo v primerjavi s shranjevanjem. Najvišji stroški; običajno v grozdih mejnega-modela, kjer je vsaka trditev nesprejemljiva.

Promet shranjevanja za AI je sam po sebi velik - zapisi kontrolnih točk za velik model lahko premaknejo stotine gigabajtov v kratkih zaporedjih. Načrtujte to eksplicitno. Strukturirano kabliranje visoke{3}}zgote, ki uporabljaMPO/MTP magistralni kablipoenostavlja izvajanje vzporednih tkanin v isti fizični infrastrukturi.

7. korak: Preverjanje pred proizvodnjo

Preskusi-na ravni omrežja odkrijejo nekatere težave. Preizkusi ravni-delovne obremenitve ujamejo ostalo.

• Pasovna širina:iperf3 ali ib_send_bw med vsakim parom vozlišč; mora doseči 90 %+ hitrosti linije NIC.
• Zakasnitev:ib_read_lat ali podobno; preverite porazdelitev, ne samo povprečje. P99.9 je pomembnejši od povprečja.
• Izguba paketa:Opravite 24-urni preskus namakanja pod obremenitvijo; vsaka neničelna izguba v prometnem razredu RoCE je problem.
• Vedenje označevanja ECN:Preverite, ali se oznake pojavijo, preden se PFC sproži; če so premori PFC pogosti v stabilnem stanju, ponovno nastavite.
• Kolektivna komunikacija:Zaženite teste NCCL (all_reduce_perf, all_gather_perf) pri polni velikosti gruče. Primerjajte z referenčnimi številkami prodajalcev.
• Delovni-izpit:Vodite reprezentativno usposabljanje za 4–6 ur. Oglejte si izkoriščenost GPE - trajne vrednosti pod 50 % na pravilno-velikem modelu običajno kažejo na težavo z omrežjem.

Tradicionalno omrežje podatkovnih centrov v primerjavi z AI Spine{0}}Leaf Fabric

Ethernet RoCE proti InfiniBand: Vodnik za hitre odločitve

To vprašanje se pojavi pri skoraj vsakem projektu gruče AI. Oboje deluje. Izbira se običajno zmanjša na operativno ujemanje, ne na čisto zmogljivost.

• Izberite InfiniBand, če:Vaša ekipa že upravlja s tkaninami InfiniBand, želite najpreprostejšo pot do transporta brez izgub ali pa kupujete popolnoma-integrirano referenčno arhitekturo prodajalca.
• Izberite Ethernet RoCE, če:Vaša operativna ekipa je-izvorna za Ethernet, želite možnosti preklopa-različnih prodajalcev, morate integrirati strukturo AI z obstoječimi omrežji podatkovnih centrov ali pa pričakujete, da boste dosegli večjo stopnjo, ki jo trenutno podpirajo topologije InfiniBand.

Konzorcij Ultra Ethernet, ustanovljen leta 2023, aktivno dela na standardizaciji izboljšav Etherneta posebej za delovne obremenitve z umetno inteligenco. Za večino novih gruč v letu 2026 je Ethernet RoCE upravičljiva privzeta vrednost, razen če obstaja poseben razlog za izbiro drugače.

Pogoste napake, ki se jim je treba izogibati

Nadgradnja stikal brez preverjanja omrežnih vmesnikov

Tkanina stikala 800G vam ne pomaga, če vaše omrežne kartice delujejo pri 400G ali vašemu gostiteljskemu PCIe zmanjka pasovne širine. Najprej oblikujte gostiteljsko stran, nato stran stikala. PCIe Gen5 x16 omejuje posamezna vrata na približno 504 Gbps v-resničnem svetu - udobno za 400G, obrobno za 800G.

Optimizacija hitrosti vrat, vendar brez upoštevanja gostote kablov

Pri 64-vratih 400G lahko napeljava pod vsakim stikalom brez načrtovanja postane fizično neobvladljiva. Uporabite prelomne kable, kjer je to primerno, napeljite vlakna skozi strukturirane poti in standardizirajte vrste konektorjev. Kakovost konektorja in zaključek sta pomembna pri visokih hitrostih - našvodnik po vrstah konektorjev za optična vlaknapokriva kompromise med LC, MPO in nastajajočimi oblikami z visoko{0}}gostoto.

Obravnavanje RoCE kot Plug{0}}and-Play

Največja načrtovalska napaka v resničnih gručah umetne inteligence je, da ne izberete napačnega stikala - podcenjujete, koliko-do-končnega konfiguracijskega dela RoCE je potrebno. Proračunski čas za prilagajanje pragov ECN, prioritet PFC in doslednosti MTU. Načrtujte namensko fazo validacije, preden se zažene kakršna koli proizvodna delovna obremenitev.

Mešanje celotnega prometa na enem omrežju brez QoS

Podvajanje shrambe, nadzorni agenti in upravljalni promet lahko uničijo čas korakov usposabljanja, če delijo medpomnilnike z računalniškim prometom. Fizično jih ločite ali uveljavite stroge razrede QoS z ločenimi prioritetami in konfiguracijo ECN.

Gradnja samo za današnji grozd

Večina gruč umetne inteligence se v dveh letih po začetni uvedbi poveča za 4–8 ×. Izberite preklopni radiks in kapaciteto hrbtenice, ki omogoča ne-motečo širitev. Vlečenje kablov v živem podatkovnem centru AI je drago; načrtovanje vodov in zmogljivost popravkov v času uvajanja je poceni.

Kdaj stopiti s 400G na 800G

800G NIC in stikala so na voljo, vendar dražji na vrata. Razmislite o povečanju, ko:

• Potrebe po pasovni širini-GPE presegajo tisto, kar lahko zagotovi 400G - na primer, H100 in novejše GPE z NVLink 5 pričakujejo večjo zunanjo pasovno širino
• NCCL vse-zmanjšuje časovno lestvico slabo glede na velikost gruče, kar kaže na nasičenost omrežja
• Gostota kablov pri 400G postaja fizično neobvladljiva - manj vrat 800G lahko nadomesti več vrat 400G
• Pričakuje se, da ga bo naslednja generacija GPE v vašem načrtu potrebovala v amortizacijskem oknu gruče
• Gradite mejni{0}}model vadbene gruče, kjer kakršen koli čas nedejavnosti računalništva stane bistveno več kot nadgradnja optike

Za večino proizvodnih grozdov v letu 2026 ostaja 400G pravo razmerje med stroški, zrelostjo ekosistema in zmogljivostjo. 800G je smiseln na višji ravni in kot prihodnja naložba za grozde, ki se gradijo danes in naj bi delovali 4–5 let.

Zaključek

Najmočnejše omrežje gruče AI ni tisto z najhitrejšimi stikali. To je tista, kjer izbira NIC, velikost lista/hrbtenice, prevelika naročnina, konfiguracija RoCE, ločevanje prometa in fizično kabliranje podpirajo drug drugega in delovno obremenitev, za katero so bili izbrani.

Začnite z delovno obremenitvijo in 18-mesečnim načrtom rasti. Izračunajte potrebe po pasovni širini na vsaki plasti z uporabo dejanskih številk, ne le s praktičnimi pravili. Konfigurirajte RoCE od-do-konca in potrdite s pravimi merili uspešnosti kolektivne komunikacije. Proračun za tovarno kablov – pri 400G in 800G fizična plast ni več trivialna.

Grozd, ki ohranja svoje GPU zaposlene pri 95 %+ izkoriščenosti skozi vsak korak usposabljanja, je tisti, ki je bil pozoren na vse te plasti. Grozd, ki je dobavljen s hitrejšim stikalom in počasnejšo strukturo, bo leta razlagal, zakaj so grafični procesorji nedejavni.

Nadaljnje branje

• RFC 7938 - BGP v velikih-podatkovnih centrih
• InfiniBand Trade Association - Specifikacije RoCE
• Omrežna dokumentacija NVIDIA
• Navodila za namestitev optičnega kabla
• Razlaga vstavljene izgube v primerjavi s povratno izgubo