Umetna inteligenca preoblikuje zasnovo podatkovnih centrov. Večina pozornosti je namenjena GPE-jem, pospeševalnikom in hlajenju, vendar je plast, ki tiho odloča, ali bo preostala zgradba uspešna, kabli. V gruči umetne inteligence fizična plast določa, ali lahko dejansko dosežete 400G in 800G, ali visoko-hitrostne povezave ostanejo dovolj čiste, da prenesejo promet, ali zračni tok preživi popolnoma naseljeno omarico in ali je vaš naslednji skok hitrosti zamenjava kartice ali nadgradnja viličarja.
Ta vodnik je napisan za skupine za infrastrukturo in-optična omrežja. Pojasnjuje, v čem so kabli z umetno inteligenco drugačni, zahteve, ki so pomembne za dejanske številke, kako primerjati DAC, AOC in strukturirana vlakna, potek dela--načrtovanja po korakih, kaj pripraviti pred prehodom na 400G ali 800G in kontrolni seznam, ki ga lahko dejansko uporabite. Tehnične reference tukaj temeljijo na trenutnih standardih IEEE 802.3 in ANSI/TIA-942.
Zakaj delovne obremenitve umetne inteligence spreminjajo zahteve za kable podatkovnega centra
Tradicionalni podatkovni centri podjetij so bili zgrajeni okoli dokaj predvidljivega prometa aplikacij, večinoma od sever-juga, ki se premika med uporabniki, aplikacijami in zunanjimi omrežji. Grozdi AI obrnejo ta vzorec. Med usposabljanjem in -sklepanjem v velikem obsegu je prevladujoč tok vzhod-zahod: GPE-ji med seboj nenehno izmenjujejo gradiente in aktivacije s skupnimi operacijami, kot je vse-reduce, običajno prek strukture oddaljenega neposrednega pomnilniškega dostopa (RDMA).
To je vidno v referenčnih načrtih prodajalca. NVIDIA zgradi računalniško omrežje GPE kot RDMA-osnovano leaf{2}}spine fabric z uporaborail-optimizirana topologija, tako da je katera koli GPE največ en skok od katere koli druge, kar ohranja komunikacijo z več-grafičnimi procesorji učinkovito v velikem obsegu. Posledica kablov je samo število vrat: eno samo osem-vozlišče GPU lahko predstavi osem 400G (ali 800G) vzhodno-zahodnih vrat, vadbena enota z več listnimi stikali na omaro pa zelo hitro pomnoži trunk fiber in popravljanje.
Ko je fizična plast premalo-načrtovana, se težave ne pokažejo prvi dan. Pojavijo se pozneje kot preobremenjene poti, ki dušijo pretok zraka, kot izolacija napak, ki traja ure namesto minut, in kot predelava med prvim ciklom nadgradnje. Podrobnost, ki je videti nepomembna, kot je obrnjena polarnost MPO ali kontaminirana končna stran, lahko celotno tirnico onemogoči. Pri infrastrukturi umetne inteligence sodi kabliranje v arhitekturo od začetka in ne kot zadnja naloga pred zagonom.
Tradicionalno v primerjavi s kabli za podatkovne centre-, pripravljeni za AI
Vrzel med tradicionalnimi kabli in kabli, ki so-pripravljeni na umetno inteligenco, je sprememba prednostnih nalog pri načrtovanju in ne le večje število kablov. Tradicionalne zasnove so optimizirane za današnjo povezljivost; Zasnove, pripravljene- za umetno inteligenco, optimizirajo hitrost selitve, gostoto, predvidljivo kakovost povezave in servisiranje v več ciklih nadgradnje.
| Dejavnik oblikovanja | Tradicionalno kabliranje podatkovnega centra | Kabli podatkovnega centra-pripravljeni za AI |
|---|---|---|
| Vzorec prometa | Predvidljivo, pogosto severno-južno močno | Gost-GPU vzhod-zahodni-promet-GPE promet prek vrst RDMA fabrics |
| Načrtovanje hitrosti | Velikost za trenutne hitrosti omrežja | Načrtovano za 400G in 800G, s potjo proti 1,6T |
| Gostota | Zmerna gostota vrat in vlaken | Vzporedna vlakna visoke-gostote, osnova 8 in osnova 16 MTP/MPO |
| Upravljanje kablov | Obravnavana predvsem kot organizacija | Obravnava se kot del pretoka zraka, časa delovanja in vzdrževanja |
| Pot nadgradnje | Pogosto je treba ponovno povleči-kabel | Modularno: zamenjajte optiko in kasete, ohranite rastlino vlaken |
| Vzdrževanje | Ročno sledenje, počasneje | Testirano, označeno, dokumentirano, z definiranimi potmi |
Cilj je tovarna vlaken, ki lahko absorbira vsaj en skok hitrosti in eno razširitev zmogljivosti brez preoblikovanja.
Ključne zahteve za kable za podatkovne centre z umetno inteligenco
Načrtujte fizični sloj za 400G in 800G, ne le za današnjo hitrost
Grozdi AI hitro napredujejo po lestvici hitrosti, od 100G proti 400G, 800G in na koncu 1,6T. Vmesnika 400G in 800G sta zdaj uradno standardizirana:IEEE 802.3df, odobren leta 2024, opredeljuje MAC, fizično plast in parametre upravljanja za 400 Gb/s in 800 Gb/s Ethernet, vključno s fizičnimi vrstami medijev, kot sta 800GBASE-SR8 in 800GBASE-DR8. Na strani opreme je 400G običajno v obliki QSFP-DD ali QSFP112, medtem ko 800G uporablja OSFP ali QSFP-DD800. Če primerjate embalažo oddajnika-sprejemnika in zemljevid voznega pasu, toQSFP-DD tehnični pregledje koristno izhodišče.
Praktično pravilo: velikost, vrsta vlaken, število vlaken in osnova konektorja, da rastlina preživi naslednji skok. Prtljažnik, dimenzioniran le za današnjo hitrost pristanišča, postane ozko grlo v trenutku, ko se zamenjata silicij in optika premakneta naprej.
Uporabite vlakna MTP/MPO z visoko{0}}gostoto za povezljivost gruče-GPU
Visoko{0}}povezave umetne inteligence so vzporedna optika in vzporedna optika preslika neposredno na število vlaken. Povezava 400G-DR4 uporablja štiri steze ali osem vlaken, ki se običajno zaključijo s ferulo MPO-12. Povezava 800G-SR8 ali 800G-DR8 uporablja osem pasov ali šestnajst vlaken, pogosto MPO-16 s končnimi površinami APC. MTP/MPO tranki Base-8 in Base-16, združeni s kasetami, utrdijo na stotine teh povezav na omaro in spremenijo namestitev v ponovljive, tovarniško preizkušene poteze namesto spajanja na terenu. Vnaprej prekinjenoMTP/MPO magistralni kabliin prelomni sklopi (MPO v LC ali MPO v MPO) so hrbtenica tega pristopa.
Gostoto je treba še vedno načrtovati, ne povečati. Zapakiranje vlaken v omaro brez razmišljanja o polnjenju poti in pretoku zraka ustvarja povratni-tlak na izpuhu opreme in onemogoča servisiranje vrat. Nastavite razmerja polnjenja in pravila upravljanja slack-pred in ne po prvi namestitvi.
Upravljajte vstavljeno izgubo, čistočo konektorja in polarnost
Op-hitrost umetne inteligence je manj prizanesljiva kot povezave pred njimi. Signalizacija PAM4, ki se uporablja pri 400G in 800G, deluje na manjšem proračunu za izgube kanalov kot pri starejših povezavah NRZ in vsak par MPO ali LC par doda vstavljeno izgubo, pogosto nekaj desetink decibela na povezavo. V strukturiranem kanalu z več priključnimi točkami in dolžino vlaken ta proračun hitro izgine, zato je število konektorjev spremenljivka zasnove in ne naknadna misel. Razliko med vneseno izgubo in povratno izgubo ter zakaj sta obe pomembni pri vzporedni optiki, je vredno razumeti, preden dokončate kanal; ta razlagalnik navnesene izgube v optičnih omrežjihpokriva mehaniko.
Kontaminacija je eden glavnih vzrokov za okvare povezav na terenu, zato je treba pred spajanjem pregledati in očistiti vsako končno stran. Za polarnost je potrebna eksplicitna shema (metoda A, B ali C), vzporedne povezave z enim-načinom pa običajno uporabljajo kotne konektorje APC za nadzor povratne izgube. Polmer upogiba je pomemben pri gostih ploščah, kjer vlakna, neobčutljiva na upogibanje, pridobijo maržo. Zanesljivost je tukaj tako disciplina namestitve in vzdrževanja kot izbira komponente.
Oblikujte modularno, razširljivo strukturirano{0}}arhitekturo kablov
Infrastruktura umetne inteligence se spreminja v kratkem ciklu, zato obrat, ki ga je težko spremeniti, upočasni vsako prihodnjo uvedbo. Strukturirano ožičenje, zgrajeno iz debel, kaset, ohišij in definiranih poti, omogoča ekipam dodajanje zmogljivosti ali pre-razvijanje strukture brez ponovnega{2}}vlečenja kabla.ANSI/TIA-942 določa minimalne zahteve telekomunikacijske infrastrukture za podatkovne centrein topologijo kablov, ki je namenjena prilagajanju prihodnjih aplikacij, kar je natanko drža, ki jo potrebuje zgradba AI. S to osnovo postane večina nadgradenj hitrosti stvar zamenjave optike in kaset, namesto ponovne izgradnje fizične plasti.
Napeljite kable za pretok zraka in hlajenje v -omare z visoko gostoto
Regali z umetno inteligenco se segrejejo. Gostota moči v najgostejših omarah GPE lahko preseže 100 kW in na teh ravneh preobremenjeni kabli neposredno povzročijo kroženje in lokalizirana vroča mesta.Vodilni okvir ASHRAE TC 9.9 določa toplotno kontrolo okoli vhoda IT opreme in čisto ločevanje toplega-hoda/hladnega-hoda, kabli pa to podpirajo ali delujejo proti. V praksi to pomeni nadzemne optične poti, kjer je to mogoče, jasno ločevanje moči in podatkov, navpične in vodoravne upravljalnike velikosti za dejansko število kablov, disciplinirano ohlapnost in napeljavo, ki nikoli ne blokira zadnjega izpuha ali dimniške omare. Upravljanje kablov, ki omogoča sledljivost povezav, zmanjša tudi človeške napake med premiki in spremembami.
DAC, AOC ali strukturirana vlakna? Izbirna matrika kablov podatkovnega centra AI
Za gruče AI ni najboljšega medija; prava izbira je odvisna od dosega in vloge. Znotraj omare je baker s kratkim{1}}dosegom še vedno boljši pri ceni, moči in zakasnitvi. Ker se povezave raztezajo po vrstah in dvoranah, eno-načinovno vlakno postane razširljiva hrbtenica. Spodnja matrika primerja skupne možnosti na način, na katerega jih pregled dizajna dejansko tehta.
| Možnost | Tipičen doseg | Tipična hitrost | Kjer se spodobi | Medij in priključek | Stroški in moč | Primer-najprimernejše uporabe |
|---|---|---|---|---|---|---|
| Pasivni DAC | Do približno 3 m | Do 400G (na primer 400G-CR8) | Znotraj-omarice in sosednje-omarice na vrhu--omarice | Twinax baker, integrirani konci | Najnižji stroški, najnižja moč, najnižja latenca | GPE ali strežnik za listanje v isti ali naslednji omarici |
| AOC | Nekaj metrov do približno 30 m, v nekaterih primerih tudi dlje | 400G in 800G | V vrsti, čez bližnje police | Večmodno jedro, fiksni oddajno-sprejemni konci | Nizka moč, brez čiščenja končne površine | Stalni strežnik-za-puščanje povezav zunaj dosega DAC |
| Večmodno strukturirano vlakno (OM4/OM5) | Več deset metrov, do približno 100 m, krajše pri 800G | 400G in 800G SR/VR | Listna-hrbtenica znotraj dvorane | OM4/OM5 z MTP/MPO in LC | Za večkratno uporabo in servisiranje | Kratke povezave-do-hrbtenice in-vrste do-vrstice |
| Enomod-strukturirana vlakna (OS2) | 500 m do 2 km (DR/FR), do 10 km (LR) | 400G in 800G DR/FR/LR | Hrbtenica, križna-soba, križna-zgradba | OS2 z MTP/MPO (APC) in LC/APC | Najvišji doseg in razširljivost | Spine navzgornje povezave, cross-hall in večje GPU tkanine |
To je tudi razlog, zakaj splošna izjava, kot je "vlakna so vedno prednostna", zahteva opozorilo: vlakna so razširljiva podlaga za tkanino, vendar je pasivni DAC še vedno boljša inženirska izbira za en-metrski skok znotraj stojala.
Kako načrtovati kable podatkovnega centra AI, korak za korakom
1. korak: preslikajte delovno obremenitev AI in topologijo omrežja
Začnite z delovno obremenitvijo. Velika enota za usposabljanje,-flota sklepanja z visoko{1}}prepustnostjo, gruča HPC in-težka uvedba pomnilnika nimajo enakega profila prometa. Nato preslikajte, kje se povezujejo omrežja za upravljanje GPE (vzhod-zahod), shranjevanje, sever-jug in zunaj-pasovna omrežja. Razmestitev s čistim sklepanjem morda sploh ne bo potrebovala velike vzhodno-zahodne tkanine, medtem ko bo vadbena enota z več-stojali. Oblikujte glede na dejanski prometni tok, ne le na višino stojala.
2. korak: Zaklenite trenutne in prihodnje cilje hitrosti
Določite prvo in naslednjo fazo. Če strok danes poganja 400 G in naslednje leto 800 G, je treba rastlino vlaken zdaj dimenzionirati za 800 G. Za tem obzorjem delo na terabitnem-Ethernetu razreda že poteka:Delovna skupina IEEE P802.3dj definira delovanje 200G, 400G, 800G in 1,6 Tb/s z uporabo signalizacije 200 Gb/s-na-pas. Če veste, kam pelje načrt, vam pove, koliko vlaken in zmogljivosti poti morate rezervirati.
3. korak: Izberite medije in priključke z robom
Vprašanje OS2-proti-OM4 je večinoma vprašanje dosega. OM4 je primeren za pod-100 m povezave list-hrbtenica, vendar se doseg zmanjša, ko hitrost narašča, tako da ko povezave prečkajo vrste ali dvorane ali ko želite 800G DR/FR prostora, je enonačinovni OS2 varnejša osnova. Pregledovanjeomejitve razdalje OM1 do OM5 večmodnega vlaknanaredi kompromis-konkreten. Ujemite bazo MPO (12 proti 16) z zemljevidom optičnih vlaken in vnaprej načrtujte polariteto; za plošče z visoko-gostoto toVodnik za izbiro MTP proti MPOpokriva razlike, ki so pomembne. Kjer se oddajnik-sprejemnik in hitrost vrat ne ujemata, načrtujte preboje (MPO v LC) in ne improvizirajte med namestitvijo.
4. korak: Načrtujte gostoto stojala, poti in pretok zraka skupaj
Postavitev omare, napeljava kablov in hlajenje so ena odločitev v okolju z-umetno inteligenco z visoko gostoto, ne tri. Pred namestitvijo preštejte, koliko kablov vstopa in izstopa iz posameznega omarice, odločite se, kje se nahajajo priključne plošče, načrtujte ohlapnost in potrdite, da lahko tehnik doseže in zamenja vrata, ne da bi motil žive povezave. Pustite prostor za rast v pladnjih in razmerjih polnjenja. Stojalo, ki je ob zagonu videti čisto, po dveh ciklih nadgradnje postane neuporabno, če so bile poti prvi dan maksimalne.
5. korak: preizkusite, dokumentirajte in vzdržujte do specifikacije
Preizkusite vsako povezavo do specifikacije projekta, kar za visoko{0}}hitrostno vlakno pomeni testiranje vstavitve-izgube, OTDR, kjer je primerno, preverjanje polarnosti in pregled čelne strani. Dokumentirajte vsa vrata, trank, kaseto in pot, vključno s shemo polarnosti, dolžino in izmerjeno izgubo, z oznakami, ki se preslikajo v-izdelane risbe. Vzdrževanje nato postane rutina: čiščenje čelne strani, redne revizije ter nadzor nalepk in sprememb. Sledi zvokpraksa namestitve optičnih kablovza vlečno napetost in polmer upogiba ščiti proračun izgube, ki ste ga testirali.
Kaj pripraviti pred prehodom na 400G ali 800G
Migracije na fizični ravni pogosteje ne uspejo kot na optiki. Preden prerežete, opravite naslednje:
- Potrdite vrsto in število vlaken ter preverite, ali obstoječi OM4 še vedno dosega ciljno hitrost, ker se podprta razdalja zmanjšuje, ko se hitrost povezave povečuje.
- Preverite, ali se osnova konektorja ujema z novo optiko (MPO-12 proti MPO-16) in ali shema polarnosti še vedno drži od konca do konca.
- Znova izračunajte proračun izgube povezave za PAM4, nato zmanjšajte število povezav, kjer lahko, in ponovno-preglejte vsako končno stran.
- Potrdite zmogljivost poti in pladnja za dodane kable ter potrdite toplotno višino stojala za optiko z večjo-močjo.
- Stage kasete, kovčki, nalepke in načrt testiranja vnaprej, tako da je prekinitev zamenjava-in ne ponovni-vlečenje.
Pogoste napake, ki se jim je treba izogibati
Dimenzioniranje samo za današnjo pasovno širino.Obrat, zgrajen za trenutne hitrosti, hitro zastara. Zgradite realistično pot do višje hitrosti in večje gostote vrat.
Obravnavanje upravljanja kablov kot kozmetike.Urejena napeljava kablov je uporabna, vendar je upravljanje v resnici pretok zraka, dostop in izolacija napak, ne videz.
Žrtvovanje dostopa za vzdrževanje zaradi gostote.Visoka-gostota ni »kar se da kompaktna«. Če tehnik ne more varno izslediti in zamenjati povezave, vas bo zasnova med resničnimi operacijami stala.
Nakup komponent v izolaciji.Kabli, konektorji, plošče, oddajniki-sprejemniki, stojala in poti tvorijo en kanal. Del, ki je sam po sebi videti poceni, lahko prekrije celotno tkanino, ko se poveča.
Kontrolni seznam-pripravljenosti kablov za umetno inteligenco
Preglejte jih, preden povečate GPE. Vsak element ima konkreten pogoj za uspešnost, ne pa nejasnega da ali ne.
- Prostor za hitrost:Ali lahko nameščeno vlakno podpira vsaj en preskok hitrosti (na primer 400G na 800G) brez ponovnega-vlečenja in ali je število vlaken prilagojeno zemljevidu voznega pasu optike (osem ali šestnajst vlaken)?
- Proračun izgube:Ali je vsak-kanal visoke hitrosti znotraj svojega dovoljenja za-izgube PAM4, s preverjenim številom povezav in pregledom končne strani?
- Gostota v primerjavi s storitvijo:Ali lahko tehnik doseže, izsledi in zamenja kateri koli priključek, ne da bi motil tirnico pod napetostjo?
- Pretok zraka:Ali poti zadržujejo zadnji izpuh in zadrževanje prehodov proste in ali sta moč in podatki ločeni?
- Dokumentacija:Ali je vsaka povezava preizkušena in zabeležena s shemo polarnosti, dolžino in izgubo ter označena, da se ujema z-zgrajenimi risbami?
- Lestvica:Ali se topologija-spine, rail-optimizirana leaf{0}}razširja na naslednjo enoto brez preoblikovanja?
- Prileganje medijem:Ali je medij vsake povezave izbran glede na doseg, hitrost, toplotni vpliv in uporabnost, z DAC v-omari in OS2 po dvoranah?
Če je več odgovorov ne, preoblikujte fizično plast, preden se povečajo delovne obremenitve AI, ne po prvi razširitvi.
pogosta vprašanja
V: Kakšne kable potrebujejo omrežja AI 400G in 800G?
O: Delujejo na vzporedni optiki preko vlaken MTP/MPO. Povezava 400G-DR4 uporablja osem vlaken, običajno MPO-12, medtem ko 800G-SR8 ali 800G-DR8 uporablja šestnajst vlaken, pogosto MPO-16 z APC. OM4 ali OM5 pokriva kratek doseg, OS2 pokriva daljši doseg, pasivni DAC pa obravnava najkrajše skoke v omari. Sami vmesniki so definirani v IEEE 802.3df.
V: Ali je eno-modno ali večmodno vlakno boljše za podatkovne centre z umetno inteligenco?
O: Odvisno od razdalje. Večnačinski OM4 ali OM5 je stroškovno-učinkovit za-vezne hrbtenice pod približno 100 m, vendar se podprta razdalja skrči pri 800G. Enojni-način OS2 je boljša osnova, ko povežete prečne vrste ali dvorane ali ko želite doseg 800G DR/FR in prihodnji 1,6T prostora za glavo. Številne velike tkanine so zaradi tega standardizirane na OS2.
V: Kdaj naj podatkovni center AI uporablja DAC, AOC ali optične oddajnike?
O: Uporabite pasivni DAC za povezave do približno treh metrov znotraj ali med sosednjimi omarami, kjer zagotavlja najnižjo ceno, moč in zakasnitev. Uporabite AOC za stalne povezave od nekaj metrov do približno deset metrov. Uporabite vtične sprejemnike s strukturiranimi vlakni, ko potrebujete doseg, ponovno uporabo in možnost servisiranja povezave.
V: Kako izračunate proračun za izgube kablov za-hitrostne povezave?
O: Začnite z dovoljeno-izgubo za vstavljanje kanala, ki jo določa standard oddajnika-sprejemnika (na primer 800GBASE-SR8 ali 800GBASE-DR8). Odštejte slabljenje vlaken, pomnoženo z dolžino, plus izgubo vsakega spojenega para konektorjev, ki je pogosto nekaj desetink decibela, plus morebitne spojke, in ohranite rezervo. Proračuni PAM4 so manjši od starejših povezav NRZ, zato število povezav in čistost končne strani neposredno odločata o uspešnosti kanala.
V: Kako napeljava kablov vpliva na hlajenje v -omarah z umetno inteligenco z visoko gostoto?
O: Preobremenjeni kabelski snopi ovirajo pretok zraka, ustvarjajo povratni-tlak na izpuhu opreme ter povzročajo recirkulacijo in vroče točke, kar je pomembno pri gostoti omar GPE, ki lahko presega 100 kW. Nadzemne poti, ločeno napajanje in podatki, pravilno dimenzionirani upravljalniki in usmerjanje, ki ohranja izpušne pline in zadrževanje proste, vse to ščiti zasnovo hlajenja.
V: Ali je baker še vedno primeren za podatkovne centre z umetno inteligenco?
O: Da, na kratko za povezave v-omari in sosednjih-omajih, kjer je DAC učinkovita izbira. Visoka-gostota in daljše razdalje se premaknejo na optična vlakna za pasovno širino, doseg in razširljivost.
V: Zakaj so konektorji MTP/MPO pogosti v kablih AI?
O: Prenašajo od osem do štiriindvajset-vlaken v eni napeljava, kar je natanko tisto, kar potrebuje vzporedna optika, in omogočajo-prekončana vodila za hitre, ponovljive namestitve z visoko-gostoto.
Ključni zaključki
Delovne obremenitve umetne inteligence spreminjajo zahteve za kable podatkovnih centrov glede na višjo pasovno širino, gostejša vzporedna vlakna, nizke proračune za izgube, usmerjanje-z upoštevanjem pretoka zraka in kratke cikle nadgradnje. Fizična plast sama po sebi ne bo pospešila grafičnih procesorjev, napačna pa omejuje zmogljivost, zanesljivost in hitrost nadgradnje celotnega okolja.
Najvarnejše načelo načrtovanja je načrtovanje tovarne vlaken, zmogljivosti poti, arhitekture popravkov in modela dokumentacije, preden pristanejo stojala GPE, ne po prvem ciklu razširitve. Ustvarite za vsaj en skok hitrosti, izberite medije po vlogi in ne po navadi ter obravnavajte čistočo, polariteto in pretok zraka kot-prvorazredne oblikovalske omejitve. Pred uvedbo ali razširitvijo preglejte trenutno napeljavo kablov glede na zgornji kontrolni seznam; za strukturno kabliranje in komponente MTP/MPO raziščite našerešitve z optičnimi vlakni.
