InfiniBand proti RoCE za sklepna omrežja AI

IzberiteInfiniBandko vaša delovna obremenitev sklepanja živi ali umre zaradi predvidljive zakasnitve repa, in izberiteRoCE(RDMA prek konvergentnega Etherneta), če želite zmogljivost razreda RDMA-na omrežju Ethernet, lahko prilagajate, delite in upravljate z ekipo, ki jo že imate. Nobena možnost ne zmaga povsod. Pravi klic je odvisen od vašega vzorca sklepanja, vaših ciljnih zakasnitev p99 in p999, obsega GPE, proračuna in tega, koliko brezizgubnega{5}}strokovnega znanja o nastavljanju Etherneta dejansko imate v vaši ekipi.

Zakaj je omrežje pomembnejše od pričakovanj skupin za sklepanje

Dolga leta je bilo sklepanje obravnavano kot preprosta polovica zgodbe o GPU: model, naložen na eno vozlišče, zahteve, ki so bile postrežene neodvisno, zelo malo vzhodno-zahodnega prometa. Ta slika je zdaj zastarela. Sodobno sklepanje je vse bolj razširjeno in več vzorcev povzroča pravi pritisk na tkanino.

• Tenzorski paralelizemrazdeli eno plast med grafične procesorje, tako da vsak korak žetona sproži vse-zmanjšane ali vse-zbrane operacije med njimi. To je pogost, na zakasnitev-občutljiv, navzkrižni-promet GPE, ki ga GPE blokirajo med čakanjem.
• Vzporednost cevovodapredaje aktivacij iz ene stopnje v drugo, pogosto prek vozlišč, pri čemer vsakemu prehodu naprej dodaja odvisnosti med-vozlišči.
• Razčlenjeno predizpolnjevanje in dekodiranjeloči fazo-težkega predizpolnjevanja računanja od-faze dekodiranja, občutljive na zakasnitev, nato med njima premakne predpomnilnik KV. Ti prenosi so veliki in hitri, vsaka zamuda pa se neposredno pokaže kot počasnejši čas-do-prvega-žetona in med-zakasnitvijo žetonov.
• Retrieval{0}}augmented generation (RAG)vektorskim in iskalnim storitvam doda vzhod{0}}zahodni promet. Običajno je zakasnitev-kritična kot skupne operacije, vendar še vedno nalaga strukturo, zlasti pri velikem obsegu poizvedb.
• Storitev za več{0}}najemnikepostavlja veliko modelov in uporabnikov na isto tkivo, kjer mikroizbruhi in hrupni-sosednji učinki postanejo glavno tveganje.

Ko je omrežje ozko grlo, so simptomi dragi: daljši čas-do-prvega-žetona, GPU-ji, ki se ustavljajo, medtem ko čakajo na podatke, prepustnost, ki se zruši pod izbruhi, in nestabilna p95 in p99. In tukaj je del, ki spotakne merila uspešnosti: povprečna zakasnitev skrije vse. Sklep o proizvodnji se ocenjuje na repu, ne na povprečju.

InfiniBand proti RoCE: Zbirna tabela za sklepanje AI

Kaj je InfiniBand?

InfiniBand je namensko{0}}zgrajena omrežna struktura, zasnovana že od začetka za nizko zakasnitev, visoko prepustnost in komunikacijo brez izgub. To ni hitrejša različica Etherneta. Na voljo je z lastnimi adapterji gostiteljskega kanala, stikali, upraviteljem podomrežij, kabelskim ekosistemom in-modelom nadzora zastojev. Njegova odločilna vrednost je deterministično vedenje: številni grafični procesorji lahko komunicirajo s tesnimi časovnimi zahtevami, tkanina pa se obnaša dosledno, tudi če je skupni promet gost.

Sodobne platforme InfiniBand,-usmerjene z umetno inteligenco, to bazo razširjajo z zmogljivostmi, ki so usmerjene neposredno v velike gruče GPE. Linija NVIDIA Quantum InfiniBand na primer dodajaprilagodljivo usmerjanje,-omrežno računalništvo in-nadzor zastojev na podlagi telemetrije, ki tkanini pomagajo inteligentno porazdeliti promet in izolirati obremenitev enega najemnika od drugega. Za sklepanje si InfiniBand prisluži svoje mesto, ko delovna obremenitev ne prenese tresenja ali ko mora več vozlišč GPE hitro in dosledno izmenjevati podatke.

Kompromis-so stroški, koncentracija ekosistema in operativna specializacija. Namenska tkanina InfiniBand pomeni namenska stikala, adapterje, kable ali optične module, inženirji pa so zadovoljni z upravljanjem tkanine InfiniBand. Za organizacijo, ki že uporablja velike ethernetne posesti, pritrditev ločene strukture dodatno zaplete nabavo, načrtovanje rezervnih-delov in stroške spremljanja.

Kaj je RoCE (RDMA prek konvergentnega Etherneta)?

RoCE prinaša RDMA, neposredno premikanje podatkov iz-v-pomnilnik z nizko obremenitvijo procesorja, v omrežja Ethernet. RoCEv2, različica, ki se uporablja v sodobnih podatkovnih centrih, je usmerljiva v omrežjih IP plasti 3 in jo je standardiziralTrgovsko združenje InfiniBand. Ta usmerljivost je tisto, kar omogoča, da se RoCE naravno prilega zasnovam hrbtenice-etherneta, medtem ko ponovno uporablja znane omrežne kartice, stikala, optiko in orodja za spremljanje.

Ulov je v tem, da prenosi RDMA predvidevajo skoraj-omrežje brez izgub. Izpustite paket in transport se vrne k vedenju ponovnega prenosa, ki uniči zakasnitev repa. Torej RoCE potrebuje Ethernet pod seboj, da se obnaša kot tkanina brez izgub, kar je odvisno predvsem od skrbne konfiguracije dveh mehanizmov:Priority Flow Control (IEEE 802.1Qbb), ki začasno ustavi posamezen prometni razred, da prepreči padce, inEksplicitno obvestilo o zastoju (ECN), ki zgodaj sporoči zastoje, tako da se pošiljatelji upočasnijo, preden se medpomnilniki prepolnijo. Če temu dodamo upravljanje čakalne vrste, dodelitev medpomnilnika in preslikavo QoS, postane jasno, da visoko-zmogljiv RoCE ni navaden Ethernet.

Če je dobro opravljeno, RoCE zagotavlja dovolj zakasnitve in prepustnosti za širok nabor storitev sklepanja o proizvodnji, številne delovne obremenitve sklepanja pa so manj tesno sinhronizirane kot porazdeljeno usposabljanje, kar je v prid RoCE. Če je izvedeno slabo, povzroča izgubo paketov, blokiranje--linije, širjenje zastojev in nestabilne repe, kar se vse neposredno prevede v poslabšano kakovost storitve.

Zakasnitev InfiniBand proti RoCE: Kaj je boljše za sklepanje p99?

Obe mreži lahko zagotovita visoko-pasovno širino in nizko-zakasnitev omrežja. Razlikujejo se po tem, kako pridejo tja. InfiniBand je po konstrukciji determinističen, tako da tresenje ostane nizko tudi pri mešani obremenitvi. RoCE se lahko ujema s številnimi delovnimi obremenitvami, vendar je rezultat odvisen od ethernetne strukture in tega, kako dobro je nastavljena.

Z vidika uvajanja je resnična težava v proizvodnji redko največja pasovna širina. Tresenje je pod mešanim, hitrim, več-najemniškim prometom. Tkanina RoCE, ki opravi čisti preizkus prepustnosti v slogu iperf-lahko še vedno zgreši svoj cilj p99 v trenutku, ko nastopijo mikroizbruhi in spor. Ta vrzel med laboratorijskim merilom in produkcijsko pogodbo o ravni storitev je tista, kjer živi največ presenečenj.

InfiniBand ima prednost, ko:

• Storitev ima stroge cilje zakasnitve p99 ali p999.
• Sklepanje obsega več vozlišč GPU s tenzorskim ali cevovodnim paralelizmom ali uporablja razčlenjeno vnaprejšnje izpolnjevanje in dekodiranje.
• Uporaba GPE je zelo občutljiva na zakasnitev omrežja, zato so stojnice drage.
• Grozd izvaja majhno število visoko{0}}prioritetnih delovnih obremenitev, kjer predvidljivost prevlada nad prilagodljivostjo.

RoCE je običajno dovolj dober, ko:

• Zahteve so večinoma neodvisne ali pa je povezava ohlapna.
• Delo poteka znotraj vozlišča ali majhnega števila vozlišč.
• Paketna prepustnost je pomembnejša od ultra-nizke zakasnitve repa.
• Ekipa že uporablja Ethernet, prednostna naloga pa je prilagodljivost stroškov ali prodajalca.
• Grozd podpira več najemnikov ali mešane delovne obremenitve.

RoCE v primerjavi s stroški InfiniBand: Kaj dejansko poganja TCO?

RoCE se pogosto imenuje cenejša možnost, vendar je cena zamenjave majhen del slike. Realistična primerjava obravnava celoten sklad: omrežne kartice ali HCA, stikala, optične module, DAC, AOC in optične kable, topologijo stojala, napajanje in hlajenje, omrežni operacijski sistem, nadzor in telemetrijo, čas inženiringa, rezervne dele, podporo prodajalca in pot do 400G ali 800G.

InfiniBand običajno nosi višje vnaprejšnje stroške, ker zahteva namensko tkanino in specializirane komponente. V okoljih, kjer je deterministično vedenje glavna prednostna naloga, lahko zmanjša trud pri nastavljanju in odpravljanju težav, ki ga zahteva ethernetno tkivo brez izgub. RoCE zniža stroške strojne opreme, ko je obstoječo ethernetno posest s pravo podporo za premostitev podatkovnega centra mogoče ponovno uporabiti, vendar preusmeri trud v načrtovanje, potrjevanje, spremljanje in odpravljanje težav s strukturo brez izgub. Nizko{3}}stroškovna zasnova RoCE postane hitro draga, če povzroča nestabilno zakasnitev in ponavljajoče se gašenje požara.

Stroški in tveganje se z naraščanjem hitrosti koncentrirajo na fizični ravni. Pri 400G in 800G optika prevladuje tako v načinu računa kot v načinu okvare. Večina hitrih-pristanišč pristane naQSFP-DD ali primerljive oblike, in se ujema z desnoeno-modna ali večmodna optikado vašega dejanskega dosega je eden najpreprostejših načinov, da se izognete preveliki porabi za tkanino, ki ne potrebuje modulov za-razdalje.

Odkrito povedano: RoCE ni cenejša možnost, če vaša ekipa nima strokovnega znanja o brezizgubnem-Ethernetu. Prihranke pri strojni opremi lahko hitro pojedo inženirski stroški vzdrževanja stabilnosti tkanine.

Razširljivost in operacije

Razširljivost je več kot samo število vrat. Vključuje, kako enostavno je tkanina uvedena, nadzorovana, razširjena in obnovljena, ko nekaj odpove.

InfiniBand je močan, ko je gruča že od prvega dne zasnovana kot namensko visoko{0}}zmogljivo tkivo. Zagotavlja dosledno vedenje v velikem obsegu, vendar pričakuje posebna orodja za InfiniBand-, kot sta upravitelj podomrežja in enotno upravljanje strukture, ter osebje, ki se razume s koncepti InfiniBand. Zaradi tega je naravno primeren za centralizirane gruče AI, zgrajene okoli delovnih obremenitev GPU.

RoCE vgrajuje v zasnove podatkovnih centrov Ethernet: topologije hrbtenice -leaf, usmerjanje IP, ECMP in znane prakse spremljanja. Ravno zato je všeč v-slogu oblaka in infrastrukturi GPE z več-najemniki. Disciplina, ki jo zahteva, je doslednost. PFC, ECN, QoS, upravljanje vmesnega pomnilnika in nadzor prezasedenosti morajo biti zasnovani skladno po celotni poti, ker lahko majhna napačna konfiguracija v enem kotu strukture razširi in poslabša veliko delovnih obremenitev hkrati. Tudi fizična plast mora biti čisto skalirana; visoka-gostotaMPO in MTP trank in prelomni kabliohranja obvladljivo rastočo-sistem hrbtenice, namesto da vsako razširitev spremeni v uganko s kabli.

Vredno je poudariti zrcalno sliko: InfiniBand je težko utemeljiti, če sklepanje ostaja večinoma znotraj enega vozlišča in se tkanina komaj izvaja.

Katero omrežje za vsako delovno obremenitev sklepanja

Ko je RoCE dovolj dober in ko postane tvegan

RoCE je dovolj dober za neodvisne ali ohlapno povezane zahteve, prepustnost-usmerjeno paketno delo in več-najemniške gruče, kjer lahko prilagodite izolacijo, zlasti če ekipa tekoče obvlada podatkovni center Bridging Ethernet. Tvegano postane na posebne, prepoznavne načine:

• PFC nevihte.Začasno ustavljeni okvirji se širijo navzgor in zamrznejo promet, ki ni imel nič skupnega s prvotnim zastojem.
• Blokiranje glave--linije.Grobo preslikavo prioritet omogoča, da en preobremenjeni razred zadrži druge, ki si delijo čakalno vrsto.
• Napačna nastavitev ECN.Označite prepozno in dobite kapljice; označite preveč agresivno in po nepotrebnem zmanjšate pretok.
• Microburst zastoji.Pod-sekundni izbruhi prepolnijo medpomnilnike, vendar ostanejo nevidni za spremljanje vzorcev pri-sekundni ločljivosti.
• Nedosledna konfiguracija.Neusklajene nastavitve v listu in hrbtenici povzročajo širjenje zastojev, namesto da ostanejo lokalni.

Nobeden od teh razlogov ni razlog za izogibanje RoCE. To so razlogi, da strukturo brez izgub oblikujete koherentno od konca do konca in da vlagate v fino{1}}telemetrijo, ki pozna-mikrorazpoke, preden začnete prilagajati.

Ko se InfiniBand splača in ko kupujete preveč

InfiniBand je vreden svoje premije za stroge cilje p99 in p999, tesno povezano strežbo z več-vozlišči in-kritične delovne obremenitve, kjer so kazni SLA visoke, zlasti na namenski gruči GPE, oblikovani okoli strukture. Verjetno pretiravate, ko sklepanje ostane znotraj vozlišča, ko je delo-usmerjeno v paket, ko potrebujete isto strukturo tudi za prenos shrambe, upravljanja in več{6}}najemniškega prometa v oblaku ali ko preprosto nimate operativnih zmogljivosti za dobro izvajanje InfiniBand.

Stroški, ki niso navedeni v ponudbi za zamenjavo, so resnični: koncentracija ekosistema, režijski stroški vzporednega delovanja druge strukture z vašim omrežjem Ethernet in ločeno načrtovanje rezervnih delov, optike in nadzora.

Kako preizkusiti InfiniBand proti RoCE, preden se odločite

Ne odločajte se o ugledu protokola ali specifikacijah. Odločite se za merilo uspešnosti, ki spominja na proizvodnjo. Praktično zaporedje:

• Določite SLA v repih.Nastavite p50, p95, p99 in p999 za zakasnitev časa-do-prvega-žetona in med-žetonom, ne le povprečje.
• Ponovno predvajajte realističen promet.Uporabite razpočne, mešane velikosti modelov in sočasnost več{0}}najemnikov namesto enega čistega toka.
• Obremenitev do zastojev.Tkanino potiskajte, dokler ni resnično stisnjena, nato izmerite izkoriščenost GPE. Če GPU-ji v omrežju zastajajo, je tkanina vaše ozko grlo.
• Pazi na prave števce.Sledite okvirjem premora, oznakam ECN, padcem paketov, ponovnim pošiljanjem, števcem napak vrat in pri 400G in 800G napakam FEC.
• Potrdite fizični sloj.Čista, pravilno nameščena vlakna so pomembna;skrbna namestitev vlakenpreprečuje občasne,-težko-diagnosticirane napake, h{-ki so nagnjene hitre povezave.

Če RoCE ohranja svoj cilj p99 pod realistično, konkurenčno obremenitvijo več-najemnikov s stabilnimi števci, je to močna in stroškovno-učinkovita izbira. Če prestane samo čiste eno-preizkuse toka, še niste preizkusili stvari, ki odloča o vaši SLA.

Pogoste napake, ki se jim je treba izogibati

• Ob predpostavki, da je vse sklepanje lahkotno mreženje.Nekateri sklepi so preprosti in neodvisni; nekatere so porazdeljene,-občutljive na zakasnitve in-požrešne pasovne širine. Obravnavanje vsega kot enostavno vodi v premalo zgrajeno infrastrukturo.
• Primerjava samo povprečne zakasnitve.Sklep o proizvodnji je odvisen od repa. Vedno ocenite p95, p99 in p999 pod realnim prometom.
• Obravnava RoCE kot plug{0}}and-Ethernet.Visoko{0}}zmogljiv RoCE potrebuje namerno brezizgubno{1}}zasnovo strukture, nadzor prezasedenosti in stalno opazovanje.
• Izbira InfiniBand samo zato, ker je hitrejši.Možnost najboljše učinkovitosti ni vedno najboljša poslovna možnost. Če delovna obremenitev ne potrebuje determinističnega vedenja, lahko RoCE zagotovi boljšo vrednost.
• Ignoriranje fizičnega sloja.Pri 400G in 800G kabli, optika, konektorji in čistost vlaken ustvarjajo občasne napake, ki jih je težko najti in jih je drago popraviti.

Bottom Line

Za sklepanje z umetno inteligenco sta InfiniBand in RoCE oba veljavna in služita različnim prioritetam. Izberite InfiniBand, ko potrebujete najbolj dosledno omrežje z nizko-zakasnitvijo za realno{2}}časovno,-občutljivo na SLA ali tesno povezano sklepanje. Izberite RoCE, ko potrebujete razširljivo,-osnovano na Ethernetu, stroškovno-učinkovito strukturo za paketno sklepanje, več-najemniške storitve GPU, delovne obremenitve RAG in prilagodljivo infrastrukturo.

Odločitev se mora začeti z delovno obremenitvijo, ciljno zakasnitvijo, obsegom gruče, vašo operativno zmogljivostjo in načrtom nadgradnje, ne pa s protokolom. Če mora vaša gruča vzdrževati strogi p99 pod veliko obremenitvijo, si InfiniBand zasluži resno obravnavo. Če je vaš cilj ekonomično razširiti sklepanje v podatkovnem centru Ethernet, je RoCE običajno bolj praktična pot. Kakor koli že, primerjajte uspešnost v proizvodnji-kot nalaganje, preden se zavežete.