Umjetna inteligencija preoblikuje dizajn centra podataka. Najviše pažnje je usmjereno na GPU-ove, akceleratore i hlađenje, ali sloj koji tiho odlučuje da li će ostatak izgradnje uspjeti je kabliranje. U AI klasteru, fizički sloj određuje možete li zaista dostići 400G i 800G, da li-veze velike brzine ostaju dovoljno čiste da propuštaju saobraćaj, da li protok zraka preživi potpuno popunjen stalak i da li je vaš sljedeći skok brzine zamjena kartice ili nadogradnja viljuškara.
Ovaj vodič je napisan za timove za infrastrukturu i optičku{0}}mrežu. Objašnjava po čemu se AI kabliranje razlikuje, zahtjevi koji su bitni sa stvarnim brojevima, kako uporediti DAC, AOC i strukturirana vlakna, korak po{2}}po-proces planiranja, šta pripremiti prije 400G ili 800G migracije i kontrolnu listu koju zapravo možete koristiti. Tehničke reference su zasnovane na trenutnim standardima IEEE 802.3 i ANSI/TIA-942.
Zašto AI radna opterećenja mijenjaju zahtjeve za kabliranje data centra
Tradicionalni poslovni centri podataka izgrađeni su oko prilično predvidljivog saobraćaja aplikacija, veći dio na sjever-jug, krećući se između korisnika, aplikacija i vanjskih mreža. AI klasteri invertiraju taj obrazac. Tokom treninga i-zaključivanja velikih razmjera, dominantan tok je istok-zapad: GPU-ovi konstantno razmjenjuju gradijente i aktivacije jedni s drugima kroz kolektivne operacije kao što su sve-smanjenje, obično preko mreže udaljenog direktnog pristupa memoriji (RDMA).
To je vidljivo u referentnim dizajnima dobavljača. NVIDIA gradi računarsku mrežu GPU-a kao RDMA-baziranu lisnu-fabriku koristećirail-optimizirana topologija tako da je bilo koji GPU udaljen najviše jedan skok od bilo kojeg drugog, što je ono što održava komunikaciju više-GPU-a efikasnom na velikom nivou. Posljedica kabliranja je veliki broj portova: jedan osam-GPU čvor može predstaviti osam 400G (ili 800G) istočnih-zapadnih portova, a modul za obuku sa nekoliko lisnih prekidača po rack-u umnožava trunk vlakna i zakrpe vrlo brzo.
Kada je fizički sloj nedovoljno{0}}planiran, problemi se ne pojavljuju prvog dana. Pojavljuju se kasnije, kao zagušeni putevi koji guše protok vazduha, kao izolacija kvara koja traje satima umjesto minutama i kao dorada tokom prvog ciklusa nadogradnje. Detalj koji izgleda trivijalno, kao što je obrnuti polaritet MPO ili kontaminirana krajnja površina, može cijelu šinu isključiti. Za AI infrastrukturu, kabliranje pripada arhitekturi od samog početka, a ne kao posljednji zadatak prije puštanja u rad.
Tradicionalno u odnosu na AI-spremno kabliranje data centra
Jaz između tradicionalnog i AI{0}}spremnog kabliranja je promjena u prioritetima dizajna, a ne samo veći broj kablova. Tradicionalni dizajni optimiziraju za današnje povezivanje; Dizajni spremni za AI-optimiziraju za brzu migraciju, gustinu, predvidljiv kvalitet veze i mogućnost servisiranja tokom više ciklusa nadogradnje.
| Faktor dizajna | Tradicionalno kabliranje data centra | Kabliranje data centra spremno za AI{0}} |
|---|---|---|
| Saobraćajni obrazac | Predvidljivo, često sjeverno{0}}teško | Teški saobraćaj sa istoka-zapada GPU-do-GPU-a preko RDMA tkanina |
| Planiranje brzine | Veličina za trenutne brzine mreže | Planirano za 400G i 800G, sa stazom prema 1.6T |
| Gustina | Umjerena gustoća portova i vlakana | Paralelno vlakno velike gustine, baza-8 i baza-16 MTP/MPO |
| Upravljanje kablovima | Tretira se uglavnom kao organizacija | Tretira se kao dio protoka zraka, vremena rada i održavanja |
| Putanja za nadogradnju | Često je potrebno ponovno{0}}izvlačenje kabla | Modularno: zamijeniti optiku i kasete, zadržati pogon za vlakna |
| Održavanje | Ručno praćenje, sporije | Testirano, označeno, dokumentovano, sa definisanim putevima |
Cilj je postrojenje za proizvodnju vlakana koja može apsorbirati barem jedan skok brzine i jedno proširenje kapaciteta bez redizajna.
Ključni zahtjevi za kabliranjem za AI podatkovne centre
Planirajte fizički sloj za 400G i 800G, a ne samo za današnju brzinu
AI klasteri se brzo kreću na lestvici brzine, od 100G prema 400G, 800G i na kraju 1,6T. 400G i 800G interfejsi su sada formalno standardizovani:IEEE 802.3df, odobren 2024. godine, definira MAC, fizički sloj i upravljačke parametre za 400 Gb/s i 800 Gb/s Ethernet, uključujući fizičke vrste medija kao što su 800GBASE-SR8 i 800GBASE-DR8. Što se tiče opreme, 400G obično živi u QSFP-DD ili QSFP112 faktorima oblika, dok 800G koristi OSFP ili QSFP-DD800. Ako uspoređujete pakovanje primopredajnika i mapiranje traka, ovoQSFP-DD tehnički pregledje korisna polazna tačka.
Praktično pravilo: veličina vrste vlakana, broj vlakana i baza konektora tako da biljka preživi sljedeći skok. Trank dimenzionisan samo za današnju brzinu porta postaje usko grlo u trenutku kada prebacite silikon i optika napred.
Koristite MTP/MPO vlakna velike gustine-za GPU-klaster povezivanje
AI veze velike brzine{0}}su paralelna optika, a paralelna optička mapa direktno na broj vlakana. 400G-DR4 veza koristi četiri trake, ili osam vlakana, obično završava u MPO-12 ferulu. 800G-SR8 ili 800G-DR8 veza koristi osam traka, ili šesnaest vlakana, često MPO-16 sa APC završnim površinama. Base-8 i base-16 MTP/MPO kanali upareni sa kasetama konsoliduju stotine ovih veza po rack-u i pretvaraju implementaciju u ponovljive, fabrički testirane poteze, a ne u spajanje na terenu. Unaprijed prekinutMTP/MPO trunk kablovia sklopovi za razbijanje (MPO na LC ili MPO na MPO) su okosnica ovog pristupa.
Gustina se i dalje mora planirati, a ne maksimizirati. Pakovanje vlakana u stalak bez razmišljanja o punjenju puta i protoku vazduha stvara povratni-pritisak na izduvni gas opreme i onemogućava servisiranje portova. Postavite omjere punjenja i pravila za{3}}upravljanje labavosti prije, a ne nakon prve instalacije.
Upravljajte gubitkom umetanja, čistoćom konektora i polaritetom
{0}}Brza AI optika manje oprašta od linkova koji su bili prije njih. PAM4 signalizacija koja se koristi na 400G i 800G radi sa manjim budžetima za gubitke kanala od starijih NRZ veza, a svaki spojeni MPO ili LC par dodaje gubitak umetanja, često nekoliko desetina decibela po konekciji. Preko strukturiranog kanala sa nekoliko tačaka povezivanja i dužinom vlakana, taj budžet brzo nestaje, tako da je broj konektora varijabla dizajna, a ne naknadna misao. Razliku između gubitka umetanja i povratnog gubitka, i zašto su oba važna za paralelnu optiku, vrijedi razumjeti prije nego što finalizirate kanal; ovo objašnjenje uključenogubitak umetanja u optičkim mrežamapokriva mehaniku.
Kontaminacija je jedan od vodećih uzroka kvarova veze na polju, tako da svaki kraj treba pregledati i očistiti prije spajanja. Polaritetu je potrebna eksplicitna šema (Metoda A, B ili C), a jedno-mod paralelne veze općenito koriste ugaone APC konektore za kontrolu povratnog gubitka. Radijus savijanja je bitan u gustim panelima, gdje vlakno-neosjetljivo na savijanje kupuje marginu. Pouzdanost je ovdje disciplina instalacije i održavanja koliko i izbor komponenti.
Dizajnirajte modularnu, skalabilnu strukturiranu{0}}kabelsku arhitekturu
AI infrastruktura se mijenja u kratkom ciklusu, tako da postrojenje koje je teško modificirati usporava svaku buduću primjenu. Strukturirano kabliranje, napravljeno od kanala, kaseta, kućišta i definisanih puteva, omogućava timovima da dodaju kapacitet ili ponovo-pokreću tkaninu bez ponovno-povlačenja kabla.ANSI/TIA-942 specificira minimalne zahtjeve telekomunikacijske infrastrukture za centre podatakai topologija kabliranja koja je namijenjena budućim aplikacijama, a to je upravo položaj koji je potreban za AI izgradnju. Sa ovom osnovom, većina nadogradnji brzine postaje stvar zamjene optike i kaseta, a ne ponovne izgradnje fizičkog sloja.
Provedite kablove za protok zraka i hlađenje u regalima visoke{0}}gustine
AI stalci su vrući. Gustina snage u najgušćim GPU rackovima može premašiti 100 kW, a na tim nivoima zagušeni kablovi direktno izazivaju recirkulaciju i lokalizirane vruće tačke.ASHRAE TC 9.9 navođenje uokviruje termičku kontrolu oko ulaza IT opreme i čisto razdvajanje toplih-hoda/hladnih- prolaza, a kabliranje to podržava ili radi protiv toga. U praksi to znači puteve vlakana iznad glave gdje je to moguće, jasno razdvajanje napajanja i podataka, vertikalne i horizontalne upravljače veličine za stvarni broj kablova, discipliniranu labavost i usmjeravanje koje nikada ne blokira stražnji izduvni sistem ili ormarić za dimnjak. Upravljanje kablovima koje omogućava praćenje veza takođe smanjuje ljudske greške tokom selidbe i promena.
DAC, AOC ili strukturirana vlakna? Matrica za odabir kablova za AI centar podataka
Ne postoji najbolji medij za AI klaster; pravi izbor je vođen dosegom i ulogom. Unutar stalka, bakar kratkog-dohvata i dalje pobjeđuje na cijeni, snazi i kašnjenju. Kako veze protežu redove i hodnike, jedno-modno vlakno postaje skalabilna okosnica. Matrica u nastavku uspoređuje uobičajene opcije na način na koji ih pregled dizajna zapravo odmjerava.
| Opcija | Tipičan doseg | Tipična brzina | Gde stane | Mediji i konektor | Cijena i snaga | Najbolji-prikladan slučaj upotrebe |
|---|---|---|---|---|---|---|
| Pasivni DAC | Do oko 3 m | Do 400G (na primjer 400G-CR8) | Unutar{0}}rack i susjedni-gornji dio-rack of- | Twinax bakar, integrisani krajevi | Najniža cijena, najmanja snaga, najmanja latencija | GPU ili server za prelazak u isti ili sljedeći rack |
| AOC | Nekoliko metara do otprilike 30 m, u nekim slučajevima i duže | 400G i 800G | U nizu, preko obližnjih regala | Višemodna jezgra, fiksni krajevi primopredajnika | Mala snaga, bez čišćenja krajnjeg dijela polja | Stalni server-za-napuštanje linkova izvan dometa DAC-a |
| Višemodno strukturirano vlakno (OM4/OM5) | Desetine metara, do oko 100 m, kraće na 800G | 400G i 800G SR/VR | Leaf{0}}kičma unutar hodnika | OM4/OM5 sa MTP/MPO i LC | Za višekratnu upotrebu i servisiranje | Veze kratki list-do-kičme i red{2}}do-veze |
| Jedno{0}}strukturirano vlakno (OS2) | 500 m do 2 km (DR/FR), do 10 km (LR) | 400G i 800G DR/FR/LR | Kičma, križ{0}}soba, križ-zgrada | OS2 sa MTP/MPO (APC) i LC/APC | Najveći doseg i skalabilnost | Spine uplinks, cross-hall i veće GPU tkanine |
Ovo je također razlog zašto opšta izjava kao što je "vlakna se uvijek preferira" treba upozorenje: vlakna su skalabilna osnova za tkaninu, ali pasivni DAC je i dalje bolji inženjerski izbor za skok od jednog-metra unutar stalka.
Kako planirati kabliranje AI data centra, korak po korak
Korak 1: Mapirajte AI radno opterećenje i topologiju mreže
Počnite sa opterećenjem. Velika jedinica za obuku,-flota za zaključivanje velike propusnosti, HPC klaster i pohrana-teška implementacija ne dijele isti prometni profil. Zatim mapirajte gdje se GPU računarske mreže (istok-zapad), pohrana, sjever-jug i van{6}}iz-opsežne mreže upravljanja povezuju. Čista implementacija zaključivanja možda uopće neće trebati veliku istok-zapadnu strukturu, dok će modul za obuku s više{10}}raka biti. Dizajnirajte prema stvarnom protoku prometa, a ne samo prema visini nosača.
Korak 2: Zaključajte trenutne i buduće ciljeve brzine
Definirajte i prvu i sljedeću fazu. Ako kapsula ima 400G danas i 800G sljedeće godine, fabrika vlakana sada mora biti veličine 800G. Iza tog horizonta, rad na Ethernetu klase terabit- već je u toku:IEEE P802.3dj radna grupa definiše 200G, 400G, 800G i 1,6 Tb/s rad koristeći 200 Gb/s-po-lane signalizacije. Poznavanje kuda ide mapa puta govori vam koliko vlakana i kapaciteta puta da rezervišete.
Korak 3: Odaberite Mediji i konektori s marginom
Pitanje OS2-protiv-OM4 je uglavnom pitanje dometa. OM4 je u redu za veze ispod-100 m listova i kičme, ali doseg se smanjuje kako brzina raste, tako da kada veze ukrste redove ili hodnike, ili kada želite 800G DR/FR prostora za glavu, single-mode OS2 je sigurnija osnova. Pregledavanjeograničenja udaljenosti od OM1 do OM5 multimodnog vlaknačini kompromis-konkretnim. Uskladite MPO bazu (12 naspram 16) sa mapom optičkih vlakana i rano isplanirajte polaritet; za panele visoke{4}}gustine ovoMTP vs MPO vodič za odabirpokriva bitne razlike. Tamo gdje se brzina primopredajnika i porta ne podudaraju, planirajte prekide (MPO do LC) radije nego improvizirajte u vrijeme instalacije.
Korak 4: Planirajte zajedno gustinu stalka, puteve i protok zraka
Raspored stalka, usmjeravanje kablova i hlađenje su jedna odluka u-okruženju visoke gustine AI, a ne tri. Prije instalacije, izbrojite koliko kablova ulazi i izlazi iz svake police, odlučite gdje se nalaze patch paneli, isplanirajte labavost i potvrdite da tehničar može doći i zamijeniti port bez ometanja veza uživo. Ostavite prostor za rast u posudama i omjere punjenja. Stalak koji izgleda čisto pri puštanju u rad postaje neupotrebljiv nakon dva ciklusa nadogradnje ako su putevi bili maksimalno iskorišteni prvog dana.
Korak 5: Testirajte, dokumentirajte i održavajte prema specifikacijama
Testirajte svaku vezu do specifikacije projekta, što za-brzo vlakno znači testiranje gubitka{1}}umetanja, OTDR gdje je prikladno, provjeru polariteta i inspekciju krajnjeg dijela. Dokumentirajte svaki port, trunk, kasetu i put, uključujući šemu polariteta, dužinu i izmjereni gubitak, sa oznakama koje mapiraju kao-izrađene crteže. Održavanje tada postaje rutinsko: čišćenje krajnjeg dijela, periodične revizije i kontrola etiketa i promjena. Slijedeći zvukpraksa instalacije optičkih kablovaza povlačenje napetosti i radijusa savijanja štiti budžet gubitaka za koji ste testirali.
Šta pripremiti prije 400G ili 800G migracije
Migracije češće ne uspijevaju na fizičkom sloju nego na optici. Prije nego što presječete, poradite na sljedećem:
- Potvrdite vrstu i broj vlakana i provjerite da li postojeći OM4 još uvijek dostiže ciljnu brzinu, jer podržana udaljenost opada kako se brzina linije povećava.
- Proverite da li baza konektora odgovara novoj optici (MPO-12 naspram MPO-16) i da li šema polariteta i dalje važi od kraja do kraja.
- Ponovo izračunajte budžet za gubitak veze za PAM4, zatim smanjite broj veza gdje možete i ponovo-provjerite svaki krajnji kraj.
- Potvrdite kapacitet putanje i ležišta za dodatne kablove, i potvrdite termalni prostor u visini stalka za više{0}}optike.
- Unaprijed postavite kasete, kofere, naljepnice i plan testiranja, tako da je prelazak zamjena-u, a ne ponovno-povlačenje.
Uobičajene greške koje treba izbjegavati
Određivanje veličine samo za današnju propusnost.Fabrika izgrađena za trenutne brzine brzo stari. Izgradite realističan put do veće brzine i veće gustine portova.
Tretiranje upravljanja kablovima kao kozmetike.Uredno kabliranje je korisno, ali upravljanje se zapravo odnosi na protok zraka, pristup i izolaciju kvara, a ne na izgled.
Žrtvovanje pristupa za održavanje radi gustine.Visoka-gustina nije "što je kompaktnija moguće." Ako tehničar ne može bezbedno pratiti i zameniti vezu, dizajn će vas koštati tokom stvarnih operacija.
Kupovina komponenti u izolaciji.Kablovi, konektori, paneli, primopredajnici, stalci i putevi čine jedan kanal. Dio koji sam po sebi izgleda jeftino može prekriti cijelu tkaninu kada se skalira.
AI-Kontrolna lista spremnosti za kabliranje
Proradite kroz njih prije skaliranja GPU-a. Svaka stavka ima konkretan uslov prolaznosti, a ne nejasno da ili ne.
- Brzina glave:Može li instalirano vlakno podržati barem jedan skok brzine (na primjer 400G na 800G) bez ponovnog povlačenja, i da li je broj vlakana veličine mape optičkih traka (osam ili šesnaest vlakana)?
- Budžet za gubitak:Da li je svaki-kanal velike brzine unutar svog PAM4 umetanja{2}}dopuštenog gubitka, sa provjerenim brojem veza i inspekcijom krajnjeg dijela?
- Gustina u odnosu na uslugu:Može li tehničar doći, pratiti i zamijeniti bilo koji priključak bez ometanja šine pod naponom?
- Protok zraka:Da li staze održavaju stražnji izduvni sistem i zaštitnu jedinicu jasnim i da li su snaga i podaci odvojeni?
- dokumentacija:Je li svaka veza testirana i snimljena sa svojom šemom polariteta, dužinom i gubitkom i označena da odgovara kao-izgrađeni crteži?
- Skala:Da li se topologija-kičma, tračnica-optimizirana na sljedeću podlogu bez redizajna?
- Uklapanje medija:Da li je medij svake veze odabran prema dosegu, brzini, termičkom utjecaju i mogućnosti servisiranja, s DAC-om u-racku i OS2 u svim halama?
Ako je nekoliko odgovora ne, redizajnirajte fizički sloj prije skaliranja AI opterećenja, a ne nakon prvog proširenja.
FAQ
P: Koji kablovi trebaju 400G i 800G AI mreže?
O: Oni rade na paralelnoj optici preko MTP/MPO vlakana. Veza 400G-DR4 koristi osam vlakana, obično MPO-12, dok 800G-SR8 ili 800G-DR8 koristi šesnaest vlakana, često MPO-16 sa APC. OM4 ili OM5 pokrivaju kratak domet, OS2 pokriva veći doseg, a pasivni DAC upravlja najkraćim skokovima u rack-u. Sami interfejsi su definisani u IEEE 802.3df.
P: Je li jedno-modno ili višemodno vlakno bolje za AI podatkovne centre?
O: Zavisi od udaljenosti. Višemodni OM4 ili OM5 su -efikasni za veze sa kičmom lista{4}} ispod otprilike 100 m, ali podržana udaljenost se smanjuje na 800G. Jednostruki-način OS2 je bolja osnova kada povežete unakrsne redove ili hodnike, ili kada želite 800G DR/FR doseg i budući prostor od 1,6T. Mnoge velike tkanine standardiziraju se na OS2 iz tog razloga.
P: Kada bi AI centar podataka trebao koristiti DAC, AOC ili optičke primopredajnike?
O: Koristite pasivni DAC za veze do oko tri metra unutar ili između susjednih rekova, gdje daje najnižu cijenu, snagu i latenciju. Koristite AOC za trajne veze od nekoliko metara do otprilike desetina metara. Koristite priključne primopredajnike sa strukturiranim vlaknima kada vam je potreban doseg, ponovna upotreba i mogućnost servisiranja veze.
P: Kako izračunavate budžet za gubitak kablovske mreže za{0}}veze velike brzine?
O: Počnite od umetanja kanala-nadoknade gubitka koju standard primopredajnika navodi (na primjer 800GBASE-SR8 ili 800GBASE-DR8). Oduzmite slabljenje vlakana pomnoženo dužinom, plus gubitak svakog spojenog para konektora, koji je često nekoliko desetina decibela, plus sve spojeve, i ostavite marginu u rezervi. PAM4 budžeti su manji od starijih NRZ veza, tako da broj veza i čistoća krajnjeg dijela direktno odlučuju da li će kanal proći.
P: Kako kabliranje utiče na hlađenje u-AI rekovima velike gustine?
O: Zagušeni snopovi kablova ometaju protok vazduha, stvaraju povratni-pritisak na izduvni gas opreme i izazivaju recirkulaciju i vruće tačke, što je bitno pri gustinama GPU rack-a koje mogu premašiti 100 kW. Putevi iznad glave, odvojena struja i podaci, menadžeri odgovarajuće veličine i usmjeravanje koje održava ispuh i zatvorenost jasnim, sve to štiti dizajn hlađenja.
P: Da li je bakar još uvijek pogodan za AI data centre?
O: Da, ukratko u-rack i susjednim-rack vezama, gdje je DAC efikasan izbor. Visoka-gustina i duže staze prelaze na vlakna za propusni opseg, doseg i skalabilnost.
P: Zašto su MTP/MPO konektori uobičajeni u AI kablovima?
O: Oni nose osam do dvadeset-četiri vlakna u jednom ferrulu, što je upravo ono što je potrebno paralelnoj optici, i omogućavaju unaprijed-terminirane kanale za brzu, ponovljivu instalaciju velike-gustine.
Key Takeaways
AI radna opterećenja mijenjaju zahtjeve za kabliranje centara podataka oko veće propusnosti, gušćeg paralelnog vlakna, malih budžeta za gubitke, rutiranja{0}}svjesnog protoka zraka i kratkih ciklusa nadogradnje. Fizički sloj neće sam po sebi učiniti GPU-ove bržim, ali pogrešan sloj ograničava performanse, pouzdanost i brzinu nadogradnje cijelog okruženja.
Najsigurniji princip dizajna je planirati postrojenje za vlakna, kapacitet putanje, arhitekturu zakrpanja i dokumentacijski model prije nego što GPU stalci sleti, a ne nakon prvog ciklusa proširenja. Napravi za barem jedan skok u brzinu, biraj medije prema ulozi, a ne po navici, i tretiraj čistoću konektora, polaritet i protok zraka kao prvo-ograničenje dizajna. Prije implementacije ili proširenja, provjerite svoje trenutne kablove u odnosu na gornju kontrolnu listu; za strukturirano kabliranje i MTP/MPO komponente, istražite našerješenja optičkih vlakana.
