Vodnik za načrtovanje omrežja gruče AI: RoCEv2, Ethernet brez izgub in 400G/800G GPU Fabric

Jul 07, 2026

Pustite sporočilo

V gruči GPE omrežje ni podporna plast - odloča, ali dragi pospeševalci računajo ali mirujejo in čakajo na podatke. Omrežje v gručah z umetno inteligenco neposredno oblikuje hitrost usposabljanja, uporabo GPE-ja in čas dokončanja opravila ter se obnaša zelo drugače kot splošno{2}}omrežje podatkovnih centrov. Ta vodnik pokriva, kako oblikovati strukturo brez izgub za delovne obremenitve GPU: topologijo, konfiguracijo RoCEv2, optiko in kable 400G/800G ter validacijo, ki loči tkanino, ki prestane preizkus pasovne širine, od tiste, ki dejansko pravočasno zaključi opravila usposabljanja.

Oblikovanje omrežja gruče AI

Dobro-zgrajena gručasta tkanina AI ločuje čelni in zadnji promet, uporablja ne-blokirno ali nizko{2}}prenaročniško listo-topologijo hrbtenice za zaledje, izvaja RoCEv2 s PFC, ECN in DCQCN, nastavljenimi tako, da ECN deluje pred PFC, širi velike tokove z zastoji-zavedanjem uravnoteženja obremenitve namesto privzetega Samo ECMP danes standardizira 400G z jasno potjo do 800G in je preverjen s telemetrijo, ki je povezana z umetno inteligenco-kot skupni promet - in ne le preprosti testi prepustnosti.

Kratek pregled načrtovanja omrežja gruče AI

Odločitev Priporočena privzeta vrednost
Prometne domene Ločite frontend in backend tkanine
Backend topologija Leaf{0}}hrbtenica, ne-blokiranje ali nizka prevelika naročnina
Transport RoCEv2 s PFC + ECN + DCQCN
Izravnavanje obremenitve Zavedanje-zastojev/dinamično, ne samo privzeti ECMP
Hitrost vrat 400G zdaj, z načrtovano migracijo 800G
Validacija Telemetrija plus kolektivni (NCCL) promet, ne samo iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Kaj je AI Cluster Networking?

Omrežje gruče umetne inteligence je visoko{0}}zmogljivo tkivo, ki povezuje strežnike GPU, pomnilnik, upravljalna vozlišča in včasih več domen podatkovnega centra za usposabljanje ali sklepanje. Posamezna gruča prenaša več vrst prometa - GPU-to-komunikacijo GPU, RDMA med strežniki, branje in pisanje v pomnilnik, zaužitje nabora podatkov, kontrolne točke, beleženje in orkestracijo -, vendar je najbolj{6}}občutljiv del zaledne vadbene strukture, ki med porazdeljenim usposabljanjem prenaša promet GPE-to-GPE. Ko je ta tkanina počasna ali nepredvidljiva, grafični procesorji čakajo namesto računanja.

Zato se tkanina AI ocenjuje drugače kot običajno omrežje podatkovnega centra. Pomembna je neobdelana pasovna širina, pomembna pa je tudi doslednost zakasnitev, obnašanje prezasedenosti, izguba paketov, globina telemetrije, topologija in celo poraba optične energije.

Zakaj delovne obremenitve AI različno obremenjujejo omrežje

Porazdeljeno usposabljanje se nenehno sinhronizira

Veliki modeli se usposabljajo v številnih grafičnih procesorjih, ki izmenjujejo gradiente in aktivacije v usklajenih fazah - skupnih vzorcev, kot sta All-Reduce in All-to-All. Posledica je očitna: najpočasnejša pot lahko zakasni celoten korak usposabljanja. Tudi če je 99 % povezav zdravih, lahko ena preobremenjena povezava med rack-to-spine spremeni GPE v zaostalo osebo, na katero čakajo vsi drugi.

Zakasnitev repa zapravlja grafične procesorje, ne povprečne zakasnitve

Povprečna zakasnitev je tukaj napačna metrika. Ker korak sinhronizacije čaka na zadnji GPE, ki prispe, lahko peščica zakasnjenih paketov zadrži celotno opravilo. V gruči s 256 GPE lahko ena sama povezava vroče hrbtenice, ki doda zakasnitev repa enemu tiru, zmanjša izkoriščenost celotnega opravila.

Promet z umetno inteligenco je sestavljen iz slonjih tokov

Tradicionalna omrežja žonglirajo s številnimi majhnimi tokovi; Grozdi umetne inteligence ustvarjajo nekaj velikih,-dolgoživih pretokov GPE-v-GPE. Privzeto zgoščevanje ECMP porazdeli tokove, ne bajtov, tako da ko več slonskih tokov posreduje zgoščeno vrednost na isto povezavo od -do-hrbtenice, se ta povezava segreje, medtem ko vzporedne povezave mirujejo -, kar povzroči kopičenje čakalne vrste, skoke zakasnitev in sčasoma padce. Večja hitrost vrat sama po sebi tega ne odpravi: povezava 400G je še vedno preobremenjena, če elephant slabo pretaka hash nanjo.

Izguba paketov je še posebej draga

Navadni TCP dopušča izgubo; RDMA, ki temelji na RoCEv2-, ne. Pričakuje se, da se bo tkanina obnašala kot nizka-izguba ali brez izgube, padci med zastoji pa lahko zmanjšajo zmogljivost RDMA. To je glavni razlog, zakaj tkanina RoCEv2 potrebuje načrtno načrtovanje brez izgub namesto posredovanja po najboljših močeh.

Osnovne zahteve za omrežje gruče z umetno inteligenco

Dobra zaledna tkanina mora izpolnjevati več zahtev hkrati: visoko razpolovljeno pasovno širino, tako da lahko več grafičnih procesorjev govori hkrati, ne da bi tkanina postala ozko grlo; nizkain predvidljivozakasnitev, saj so občasni skoki zastojev enako škodljivi kot visoka povprečna zakasnitev; prenos brez izgub ali skoraj{0}}brez izgub za RoCEv2; topologija, ki se spreminja brez kopičenja skokov in kablov; in globoko operativno vidljivost. Na zadnji točki - brez telemetrije ekipe rutinsko napačno diagnosticirajo težavo z omrežno prezasedenostjo kot težavo z grafično procesorsko enoto ali računalniško težavo in cele dneve lovijo napačno plast.

Arhitektura omrežja AI Cluster: Frontend proti Backend Fabric

Najposledičnejša zgodnja odločitev je, ali ločiti čelno omrežje od zaledne vadbene tkanine. Sprednji del omogoča uporabniški dostop, upravljanje, orkestracijo, spremljanje, beleženje, dostop do shranjevanja, vnos nabora podatkov in prenose kontrolnih točk - lahko izgleda podobno kot običajno omrežje podatkovnih centrov, čeprav shranjevanje in preverjanje še vedno zahtevata resnično prepustnost. Zaledje je namenjeno vadbenemu prometu od GPU-do-GPU in je optimizirano za RDMA, nizko zakasnitev, prenos brez izgub in predvidljivo pasovno širino.

Ta ločitev ni teoretična. Metino objavljeno delo oOmrežja RoCE za porazdeljeno usposabljanje z umetno inteligenco v velikem obseguopisuje natančno to razdelitev: čelno omrežje za naloge, kot so vnos podatkov, kontrolne točke in beleženje, ter namensko zaledno strukturo RoCEv2, ki povezuje RDMA NIC v ne-blokirni arhitekturi za komunikacijo GPU. NjihovoDokument SIGCOMM 2024 o RDMA prek Etherneta v Meta meriluoblikuje isto idejo kot načelo oblikovanja: najprej razumejte delovno obremenitev, nato pa ločite usposabljanje GPE v lastno zaledno omrežje, da se lahko neodvisno razvija in povečuje.

Zakaj se splača: ločevanje domen izboljša predvidljivost delovanja, jasnost odpravljanja težav, izolacijo in-uravnavanje nadzora nad zastoji. Če si shranjevanje, upravljanje in usposabljanje delijo eno strukturo brez skrbnega QoS, lahko veliko zapisovanje kontrolnih točk ustavi komunikacijo usposabljanja v najslabšem možnem trenutku. V Metini zasnovi listna stikala povezujejo grafične procesorje znotraj omare prek bakrenega DAC-ja, medtem ko povezave omare-to-hrbtenišče potekajo po eno-optičnih vlaknih s 400G sprejemniki-sprejemniki - vzorec, ki se čisto preslika v strukturiranoMPO/MTP trank kablimed plastmi listov in hrbtenice.

Frontend and backend network separation in an AI cluster

RoCEv2 in Ethernet brez izgub: kako delujeta skupaj

RDMA (oddaljeni neposredni dostop do pomnilnika) omogoča enemu sistemu branje ali pisanje pomnilnika drugega sistema z minimalno vključitvijo procesorja, kar omogoča nizko-zakasnitev in visoko-prepustnost GPE-na-GPE prenos. RoCEv2 prenaša ta promet RDMA prek Etherneta tako, da ga enkapsulira v UDP/IP, tako da lahko zgradite strukturo na standardnem preklapljanju Ethernet.

Privlačnost je širina ekosistema. Ethernet ima ogromno bazo dobaviteljev, zrelo poslovanje in hiter razvoj stikalnega silicija, optike in orodij. TheKonzorcij Ultra Ethernetje to njegov osrednji argument: odprt, interoperabilen ethernetni sklad več ponudnikov, ki je zdaj formaliziran v svoji specifikaciji 1.0, namensko-zgrajen za povečanje AI in HPC omrežij brez zaklepanja-prodajalca. NVIDIA je s strani izdelka potisnila isto smer -Platforma Spectrum-X Ethernetje postavljen kot Ethernet, zasnovan posebej za umetno inteligenco, ki standardnemu Ethernetu dodaja prenos brez izgub, prilagodljivo usmerjanje in-omrežno telemetrijo.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

Tkanina RoCEv2 brez izgub, komponenta za komponento

"Lossless" ni eno stikalo, je kup sodelujočih mehanizmov. Spodnja tabela prikazuje raven podrobnosti, ki jo dizajn dejansko potrebuje.

Komponenta Vloga Zakaj je pomembno
Klasifikacija prometa (DSCP/PCP) Uvršča RDMA v razred brez izgub Napačno označevanje pošlje RDMA v čakalno vrsto z izgubo
PFC Začasno ustavite-nivo povezave, da preprečite padce Varnostna mreža; napačna uporaba povzroči nevihte začasne zaustavitve in blokiranje-glav-linije
ECN Označi pakete pred prepolnitvijo čakalnih vrst Da bi bil uporaben, se mora sprožiti pred PFC
DCQCN Nadzor hitrosti NIC, ki ga poganja povratna informacija ECN/CNP Zmanjša pogostost sprožitve PFC
Dinamično / prilagodljivo uravnoteženje obremenitve Širi slonje tokove po poteh Privzeto zgoščevanje ECMP pusti povezave vroče in nedejavne
Telemetrija Izpostavlja padce, oznake ECN, premore PFC, globino čakalne vrste Edini način za povezovanje zdravja tkanine z zdravjem na delovnem mestu

Te je treba uglasiti skupaj. Kritično razmerje je, da mora biti prag ECN doseženspodajvhodni prag PFC, tako da se pošiljatelji upočasnijo, preden so kadar koli potrebni okvirji za premor. BrinovegaDokumentacija DCQCNnatančno opisuje to izravnavo: naj ECN izvaja nadzor pretoka tako, da zgodaj zmanjša hitrost prenosa, tako da je PFC -, ki popolnoma ustavi pretok -, minimiziran. Konfigurirajte ECN previsoko in PFC se sproži prvi in ​​pogosto; konfigurirajte PFC preveč agresivno in dobite nevihte pavze.

Kaj to pomeni v praksi: števci PFC niso metrika uspeha. Če se okvirji za premor PFC vztrajno vzpenjajo med običajnimi vadbenimi vožnjami, tkanina ni zdrava - preživi zastoje z zaustavitvijo prometa. Resnično zdrava tkanina kaže, da ECN opravlja svoje delo, PFC pa le redko sodeluje.

Pogosti izzivi pri povezovanju v gruče AI in kako jih rešiti

Izziv 1: Zakasnitev repa in zaostali

Težava:pri sinhroniziranem treningu ena počasna pot zakasni celotno delo.naredite:naj bo zaledje nizko-hop; izogibajte se nepotrebnemu prenaročanju; spremljajte zakasnitev repa, ne povprečja; uporabite prezasedenost-uravnavanje obremenitve; preverite s skupnimi prometnimi vzorci namesto s testi od točke-do-točke.V praksi:opravilo, katerega izkoriščenost GPU-ja je žagasta v vsakem sinhronizacijskem intervalu, običajno doseže zaostalo pot in ne omejitev računanja.

2. izziv: Zastoji in trčenja-slonovega toka

Težava:nekaj velikih tokov pristane na isti povezavi in ​​ustvari vročo točko.naredite:ne zanašajte se na privzeti ECMP za veliko strukturo AI; omogoča dinamično/adaptivno uravnoteženje obremenitve; spremljajte izkoriščenost hrbtenice na-povezavo in globino čakalne vrste; pustite, da oddajnika plina ECN in DCQCN dušita, preden se zastoji nadaljujejo.V praksi:neenakomerna izkoriščenost hrbtenice-povezave z vsem drugim nominalnim je znak slabega zgoščevanja pretoka, ne pa nezadostne pasovne širine.

3. izziv: Povečanje velikosti od 400G do 800G

Težava:ko število GPE raste, povezave z nižjo-hitrostjo zahtevajo več stikal, ravni, optike in kablov.naredite:izračuna zahtevano pasovno širino na GPE in na omaro (strežnik z 8-GPE in 400G NIC na GPE je zelo drugačna struktura kot 200G zasnova); odločite se za ne-blokiranje v primerjavi z namerno rahlo preveliko naročnino; upoštevajte radiks stikala, hitrost vrat in globino topologije skupaj; načrtujte pot od 400G do 800G, preden ste vanjo prisiljeni; ohranite optiko, kable in napajanje v načrtu od prvega dne.

4. izziv: izbira moči, hlajenja in optike

Težava:Tkanine AI črpajo resno moč, zlasti pri visokih hitrostih vrat in optični gostoti.naredite:uporabite DAC za kratke in-povezave v omari, kjer je praktično; uporabite AOC ali optične oddajnike-sprejemnike za daljšo pot od stojala-do-hrbtenice; primerjajte moč med optičnimi možnostmi; potrdi toplotne meje pri -pristaniščih visoke gostote; načrtovanje kablov in pretoka zraka skupaj. Izbira medeno{0}}modni in večmodni oddajniki-sprejemnikije v veliki meri odločitev o dosegu-v-ceni in jo je treba sprejeti za razred povezave, ne enkrat za celotno gručo.

Optična moč je zdaj -omejitev načrtovanja prvega reda in ne opomba. NVIDIA dela naprejenergijsko-učinkovite tkanine AI s Spectrum-X Ethernet Photonicsneposredno ponazarja trend: ko-zapakirana silicijeva fotonika se uporablja za zmanjšanje moči na-vrata in zmanjšanje loput povezav v primerjavi s tradicionalno vtičnico optike, prav zato, ker so sprejemniki in oddajniki med komponentami z največjo-močjo in najvišjo-odpovedjo-komponente v veliki gruči.

5. izziv: Vidljivost in odpravljanje težav s slepimi koti

Težava:brez telemetrije je težava z omrežjem videti kot težava z računanjem.naredite:spremljajte padce paketov, oznake ECN, okvirje za premor PFC, zasedenost čakalne vrste, napake povezave, uporabo vrat, porazdelitev pretoka, števce prezasedenosti NIC, uporabo GPE in čas dokončanja opravila - nato povežite metrike strukture z metrikami opravil AI. Tiho-stikalo ne zagotavlja zdravega dela pri usposabljanju, zaseden GPE pa ne zagotavlja koristnega napredka.

RoCEv2 proti InfiniBand za mreženje gruče z umetno inteligenco

RoCEv2/Ethernet in InfiniBand poganjata prave gruče AI in HPC; izbira je odvisna od obsega, skupinskih sposobnosti, ekosistema, stroškovnega modela in operativnih ciljev. Spodnja tabela je uredniška primerjava, ne absolutna razvrstitev - pravi odgovor je delovna obremenitev- in-organizacija.

Faktor RoCEv2 / Ethernet InfiniBand
Ekosistem Široko, več prodajalcev, znane operacije Močna dediščina HPC, zrel visoko{0}}zmogljiv sklad
Operacije Ponovno uporablja veščine Etherneta, vendar potrebuje skrbno nastavitev brez izgub Bolj specializiran, namensko-zgrajen za tesno povezana HPC
Prilagodljivost pri pridobivanju virov Na splošno večja izbira prodajalca Pogosto bolj integriran sklad
Učinkovitost Močan, če je pravilno oblikovan in uglašen Znan po nizki zakasnitvi v tesno povezanih grozdih
Skaliranje Potrebuje premišljeno topologijo, nadzor prezasedenosti, telemetrijo Močne možnosti za velike HPC{0}}tkanine
Najboljše prileganje Ekipe, ki želijo prilagodljivost Etherneta in zasnovo RoCEv2,-pripravljeno na umetno inteligenco Ekipe, ki dajejo prednost integriranemu, dokazano tesno povezanemu HPC

Pravo vprašanje ni, katera tehnologija abstraktno zmaga. To je, ali lahko izbrana tkanina zagotovi predvidljivo pasovno širino, nizko zakasnitev, nizko izgubo in vidnost delovanja na vašem ciljnem merilu GPE.

Merilo GPU proti načrtovanju omrežja

Laboratorijska gruča s 64-GPU in produkcijska gruča z več-tisočmi GPE nista isti projekt z različnim številom vrat. Lestvica spremeni dizajn.

Lestvica grozda Tipična oblika Primarni fokus
Do ~64 grafičnih procesorjev (laboratorij / pilot) Enostopenjski-ali majhen dvo{1}}nivojski list-hrbtenice, pogosto ena preklopna domena Pravilna konfiguracija RoCEv2, čisto kabliranje, osnovna telemetrija
~128–512 grafičnih procesorjev Ne{0}}blokirajoča dvo{1}}nivojska{2}}hrbtenica, ločevanje sprednjega in zadnjega dela Cilj prevelike naročnine, dinamično uravnoteženje obremenitve, nastavitev ECN/PFC
~1.000–4,000+ grafičnih procesorjev (proizvodnja) Več{0}}nivojsko ali železniško-optimizirano, podatkovno{2}}centralno-zaledje Razpored-ob upoštevanju topologije, 400G/800G, moč in gostota optike

Korak-za-ogrodje za načrtovanje omrežja gruče umetne inteligence

1. korak: Določite delovno obremenitev in obseg GPE

Začnite z delovno obremenitvijo, ne z modelom preklopa. Pojasnite število GPE zdaj in v naslednjem ciklu, ali gre za usposabljanje, fino-uravnavanje, sklepanje ali mešano, pričakovane skupne vzorce, velikost kontrolne točke, obseg prometa za shranjevanje in ali je gruča eno- ali več-najemnik.

2. korak: Ločite prometne domene

Odločite se, kaj sodi v sprednji del v primerjavi z zadnjim: upravljanje, shranjevanje in kontrolna točka, usposabljanje/RDMA in spremljanje prometa. Za majhne razmestitve lahko zadostuje logična ločitev z VLAN-i in QoS; pri večjih grozdih je fizično ločevanje med sprednjim in zadnjim delom običajno lažje upravljati in razmišljati o tem.

3. korak: Izberite topologijo in cilj prevelike naročnine

Leaf-spine je privzeta nastavitev za razširljive AI Ethernet tkanine. Odločite se za eno, dve ali več stopenj; ne-blokiranje v primerjavi s preveč naročenimi; GPU-ji na stojalo; NIC na strežnik; hitrost in število navzgornje povezave; zmogljivost hrbtenice; in velikost domene napake. Za promet za usposabljanje v ozadju nižja prekomerna naročnina kupi predvidljivost - in če se preveč naročite, naj bo to premišljeno razmerje, ki temelji na izmerjenem vedenju delovne obremenitve, ne pa naključju števila vrat.

4. korak: Izberite hitrost preklopa in gostoto vrat

Izberite preklopne platforme glede na zahtevano pasovno širino, topologijo in rast - z oceno 400G v primerjavi z 800G, radixom, skupno zmogljivostjo, arhitekturo medpomnilnika, podporo RoCEv2/PFC/ECN/DCQCN, telemetrijo, močjo na vrata in NOS/avtomatizacijo. Ne ocenjevajte samo hitrosti: hitro preklapljanje brez pravega nadzora zastojev, medpomnilnika in telemetrije bo še vedno povzročalo težave pri prometu z umetno inteligenco.

5. korak: Načrtujte NIC, optiko, DAC/AOC in kable

Tkanina je več kot stikala. Načrtujte hitrost omrežne kartice na GPE, vrsto povezave -na-preklop NIC, DAC za kratke bakrene povezave, AOC in optične module za daljša obdobja, optiko z enim-načinom za razdaljo in instalacijo vlaken, postavitev popravkov, označevanje in dostop do storitev. Tu je pomembna pravilna oblika, ki jo je mogoče priključiti - aQSFP-DD in OSFP{1}}pregled faktorjev oblikeje vreden ogleda, preden vključite stikala in vrata NIC pri 400G/800G. Na strani kablov prekinitev vrat stikala z visoko-gostoto v povezave na-strežnik običajno pomeniPrelomni kabli MPO-to-LC, kakovost vlaken pa mora ustrezati razdalji - praktičnomeje dosega večmodnega vlakna (OM1–OM5)odločite, kje večnačin še deluje in kje je potreben eno-način. Slaba zasnova kablov lahko oteži delovanje tehnično pravilne topologije.

Razred povezave Tipična razdalja Skupna izbira
V-omari GPE-na-list Pod ~3 m DAC (baker)
Sosednje-ohišje ~3–7 m AOC ali DAC
Od-do-hrbtenice znotraj dvorane Več deset metrov do ~100 m Večmodni (OM4/OM5) + SR optika ali eno-način
Po dvoranah/merilo DC- ~100 m do 2 km Oddajniki-sprejemniki-G/800G v enem načinu + 400

6. korak: Konfigurirajte transport brez izgub in nadzor zastojev

To je najbolj občutljiv del uvajanja. Pravilno razvrstite promet RoCEv2 in ga preslikajte na pravo prioriteto; omogoči PFC na tej prioriteti; nastavite pragove ECN pod pragom PFC; potrdite, da NIC izvajajo predvideni odziv DCQCN; prepreči nepovezani promet iz razreda brez izgub; in izrecno preizkusite za zaustavitev neviht in blokiranje-glav-linije. Obravnavajte PFC kot varnostni mehanizem, ne kot vsakodnevni način vodenja preobremenjenega omrežja.

7. korak: preverite s telemetrijo in testnim prometom, podobnim-AI

Preden se zaženejo produkcijska opravila, preverite pasovno širino od-do-konca, porazdelitev zakasnitev, zakasnitev repa, padce paketov, vedenje označevanja ECN, pogostost premora PFC, obnovitev-po okvari povezave, porazdelitev pretoka in zmogljivost opravil GPE pod obremenitvijo. Enostavna prepustnost iperf ni dovolj - preverite oznako ECN, premor PFC, globino čakalne vrste in NCCL, kar-zmanjša zmogljivostskupaj, ker se lahko tkanina, ki opravi-to-točkovne preizkuse, še vedno zaduši v sinhronizirani kolektivni komunikaciji.

Pogosta vprašanja: AI Cluster Networking

V: Ali lahko RoCEv2 res nadomesti InfiniBand za usposabljanje z umetno inteligenco?

O: Za številne gruče da -, ko je ethernetno tkivo pravilno zasnovano in nastavljeno. Veliki operaterji izvajajo proizvodno usposabljanje na ozadju RoCEv2, konzorcij Ultra Ethernet in platforme prodajalcev, kot je NVIDIA Spectrum-X, usmerjajo Ethernet posebej k zmogljivosti na ravni umetne inteligence-. Opozorilo je, da RoCEv2 zahteva premišljeno inženirstvo brez izgub; ne deluje "kar tako" takoj, kot bi lahko namensko{7}}zgrajena tkanina HPC.

V: Kdaj dejansko potrebujem 800G namesto 400G?

O: Ko povpraševanje po pasovni širini na-GPU in na-omarico preseže tisto, kar lahko prenesejo povezave 400G brez dodajanja ravni, kablov in optike. Običajni sprožilci so zgoščeni strežniki z-hitrimi omrežnimi karticami na grafično procesorsko enoto in večjimi grozdi, kjer bi sicer prišlo do prevelike naročnine. Načrtujte selitveno pot zgodaj, tako da je 800G korak, ne prenova.

V: Kaj se zgodi, če je PFC napačno konfiguriran?

O: Slaba konfiguracija PFC lahko povzroči nevihte začasne zaustavitve, blokiranje glave--linije in širjenje zastojev, kjer zaustavitev ene povezave varnostno kopira promet po omrežju. Zato bi moral ECN prenesti večino signalizacije zastojev, PFC pa bi se moral redko vključiti; naraščajoči števci PFC med običajnimi poteki so opozorilni znak, ne indikator uspeha.

V: Ali mora biti omrežje gruče AI fizično izolirano?

O: Ne vedno, vendar večjim grozdom običajno koristi fizično ločevanje zaledne vadbene strukture od sprednje strani. Manjše uvedbe lahko pogosto uporabljajo logično ločevanje z VLAN-i in QoS, pod pogojem, da so izbruhi pomnilnika in kontrolnih točk izven razreda usposabljanja brez izgub.

V: Kako izberem med DAC, AOC in optičnimi sprejemniki?

O: Z razdaljo in močjo. DAC ustreza kratkim v-bakrenim povezavam; AOC pokriva nekoliko daljše, prilagodljive proge; in optični oddajniki-sprejemniki z večnačinovnimi ali eno{2}}načinskimi optičnimi ročaji od-do-hrbtenične in-prečne razdalje. Ujemajte razred vlaken, da dosežete, in pretehtajte optično moč, saj imajo oddajniki-sprejemniki velik delež moči tkanine in stopnje napak.

V: Ali majhne gruče GPE potrebujejo celotno strukturo brez izgub?

O: Še vedno potrebujejo pravilno konfiguracijo RoCEv2 - klasifikacijo, PFC na pravi prioriteti in ECN pod PFC -, vendar lahko majhna eno-gruča domene pogosto preskoči več-nivojsko topologijo in močno načrtovanje prekomerne naročnine, ki ju zahtevajo velike mreže. Vedenje brez izgube ni izbirno; povečana-zapletenost je.

Zaključek in naslednji korak

Omrežje gruče umetne inteligence odloča, ali grafični procesorji delujejo kot en usklajen sistem ali pa čakajo na podatke v mirovanju. Močna zasnova združuje visoko pasovno širino, predvidljivo zakasnitev, prenos RoCEv2 brez izgub, razširljivo topologijo leaf-spine, pravo optiko in kable ter telemetrijo, ki je dovolj globoka, da poveže zdravje tkanine z zdravjem pri delu. Majhne gruče vodijo s čisto topologijo in pravilno konfiguracijo RoCEv2; velike gruče morajo obravnavati tudi ločevanje čelnega/zadnjega dela,-uravnavanje obremenitve, ki se zaveda zastojev, migracijo 400G/800G, gostoto moči in-telemetrične operacije.

Najboljši naslednji korak je, da najprej popravite svoje vnose: obseg GPE, vzorec delovne obremenitve, zasnovo stojala in prometne domene. Nato izberite stikala, omrežne kartice, optiko in konfiguracijo Ethernet brez izgub, ki se ujemajo. Če vzporedno preučujete optično in strukturno{2}}kabelsko stran strukture GPE, našoptične in kablovske rešitve za podatkovne centrevam lahko pomaga uskladiti izbire trank, breakout in sprejemno-sprejemnih enot z vašo topologijo in razdaljami povezav. V infrastrukturi umetne inteligence pravo omrežje ni samo hitrejše - je bolj predvidljivo, bolj opazljivo in lažje za prilagajanje.

 

Pošlji povpraševanje