Dizajn mreže klastera AI: Spine-Leaf, RoCE & NIC

Dizajn mreže AI klastera je proces određivanja veličine GPU serverskih NIC-a, propusnog opsega -kočme, omjera prekomjerne pretplate, RoCE postavki, optike i kabliranja tako da distribuirani promet obuke ostaje predvidljiv kako se klaster mjeri. Pogrešite bilo šta od ovoga i mreža - a ne GPU - postaje usko grlo.

Zašto je AI Cluster Networking drugačije

U tradicionalnom poslovnom centru podataka, mreža upravlja mješavinom korisničkog saobraćaja sa sjevera-juga, pristupa skladištu, virtuelizacije i upravljanja. Istočni-zapadni saobraćaj postoji, ali je rijetko dominantno opterećenje. U AI klasteru situacija se preokreće. GPU serveri koji pokreću distribuiranu obuku razmjenjuju gradijente i sinhroniziraju parametre tokom svakog koraka posla. Ova komunikacija je dio računanja, a ne njegova nuspojava.

Ako GPU od 30.000 USD potroši 30% svog vremena čekajući na mreži tokom svih-reduciranih operacija, klaster efektivno plaća 30% svog računarskog kapaciteta da miruje. To je ekonomski razlog zašto AI umrežavanje dobija toliko pažnje.

Tri karakteristike opterećenja pokreću dizajn:

• Buran saobraćaj na istoku-zapadu.Kolektivne komunikacijske operacije kao što su sve-smanjenje, sve-prikupljanje i smanjenje-raspršenosti proizvode sinhronizirane rafale na više čvorova istovremeno.
• Osetljivost{0}}latencije repa.Jedan spori čvor odlaže cijeli korak treninga. Predvidljiva latencija je važnija od prosječne latencije.
• Smanjite{0}}rast.Klasteri koji počinju na 32 GPU-a često narastu na 256 ili 1024 u roku od 18 mjeseci. Tkanina mora biti skalirana bez redizajna.

Zašto Spine{0}}Leaf odgovara AI klasterima

Spine-leaf je standardna tkanina za hiperskalarne centre podataka jer svakom serveru-do-putanja daje isti broj skokova i istu teoretsku propusnost. Za AI radna opterećenja, ova uniformnost se direktno prevodi u predvidljivija vremena koraka treninga.

U topologiji spine{0}}lista, GPU serveri se povezuju na prekidače lista, a svaki list se povezuje sa svakim kičmom. Bilo koja komunikacija između GPU-na-GPU-a prelazi tačno jedan list, jednu kičmu i još jedan list. Ne postoje slojevi agregacije koji uvode varijabilnu latenciju ili chokepoints.

Predvidljiva latencija

Rutiranje jednakih{0}}više-staza (ECMP) širi tokove preko spinskih prekidača. Kada se ispravno konfigurira s adaptivnim usmjeravanjem ili dinamičkim balansiranjem opterećenja, ovo sprječava haš kolizije koje uzrokuju da neki tokovi budu mnogo sporiji od drugih - poznati problem u statičkim ECMP tkaninama koje nose malo, ali velike tokove, što je upravo ono što AI trening generiše.

Visoki bisekcioni propusni opseg

Bisekcioni propusni opseg je propusnost dostupna između bilo koje dvije jednake polovine klastera. Obuka AI ima koristi od dizajna koji ne-blokiraju ili skoro{2}}ne-ne blokiraju gdje je kapacitet uzlazne veze između listova{4}}do-jedan ili skoro jednak kapacitetu downlinka prema serverima. IETF definiše i razmatra ove koncepte uRFC 7938, koji pokriva BGP-usmjerene Clos tkanine koje se široko koriste u velikim-centrima podataka.

Lakše skaliranje{0}}

Dodajte još listova da dodate više servera. Dodajte više bodlji da dodate veću širinu pojasa bisekcije. Za klastere preko nekoliko hiljada GPU-a, super-kičma (5-stepeni Clos) ili topologija optimizirana za željeznicu proširuju isti princip još jedan sloj dalje.

Osnovne komponente AI Cluster mreže

GPU serveri i NIC-ovi

NIC je mjesto gdje se tkanina susreće sa domaćinom. U AI klasterima, odabir NIC-a pokreće sve nizvodno - brzinu porta prekidača, izbor optike i gustinu kablova.

Kriterijumi odabira za AI radna opterećenja:

• Brzina porta:200G, 400G ili 800G po portu. Usklađivanje sa GPU generacijom i PCIe propusnim opsegom.
• PCIe generacija:400G NIC treba PCIe Gen5 x16 kako bi se izbjeglo prigušivanje-strane hosta. PCIe Gen4 x16 ograničava na ~256 Gbps upotrebljivo.
• RDMA i RoCEv2 podrška:Potrebno za jezgro{0}}zaobilazeći GPU komunikacione biblioteke kao što je NCCL.
• GPUDirect RDMA:Omogućava direktno GPU-na-NIC DMA, uklanjajući kopije memorije hosta.
• Mogućnost više{0}}šina:Mnogi AI serveri koriste 4 ili 8 NIC-a po čvoru, jedan po GPU paru, za topologije-optimizirane za željeznicu.

Tipičan 8-GPU server danas koristi ili 4× 400G NIC-a (jedan na dva GPU-a) ili 8× 400G NIC-a (jedan po GPU-u) u zavisnosti od radnog opterećenja i budžeta. Referentne arhitekture izNVIDIA mrežna dokumentacijadetaljno pokrijte kompromise u dizajnu.

Prekidači za listove i kičmu

Kriterijumi odabira prekidača za AI tkanine razlikuju se od odabira preduzeća. Veličina bafera, ponašanje kontrole zagušenja i telemetrija važniji su od širine funkcije.

• Brzina i radix po{0}}portu:ASIC prekidač od 51,2 Tbps isporučuje 64× 800G portova ili 128× 400G portova. Radix određuje koliko ravna tkanina može biti.
• Arhitektura bafera:Duboki baferi apsorbuju incast rafale, ali dodaju kašnjenje. Plitki baferi smanjuju kašnjenje, ali zahtijevaju preciznu kontrolu zagušenja.
• RoCE skup funkcija:ECN označavanje, PFC, DCQCN ili ekvivalentna kontrola zagušenja i pravilno rukovanje prioritetnim redovima od-do-kraja.
• telemetrija:Unutarnja mrežna telemetrija (INT), po-izvještavanje o dubini reda i mikrosekundni-brojači rezolucije za ECN oznake i PFC pauze.

Optika, DAC i AOC kablovi

Na 400G i 800G, postrojenje za kabliranje postaje pravi inženjerski problem. Faktori oblika, budžeti veza i konfiguracije razdvajanja zahtijevaju rano planiranje.

• DAC (Direct Attach Copper):Do ~3 metra za 400G, najniža cijena i najmanja snaga. Težak i glomazan u veličini.
• AOC (aktivni optički kabl):Do ~30 metara, tanji od DAC-a, ali fiksne-dužine i troši optičku snagu na oba kraja.
• Priključna optika:Obavezno iznad AOC udaljenosti. QSFP-DD i OSFP faktori oblika dominiraju 400G/800G. MPO/MTP sklopovi vlakana upravljaju paralelnim-vezama vlakana.

Za među{0}}veze i strukturirano kabliranje na 400G/800G, paralelna optika preko MPO završetaka je sada standardna. Izbor između trunk kablova i sklopova za razbijanje zavisi od vaše alokacije porta za komutator - pogledajte našeMPO vodič kabla za razbijanjeza praktičnu logiku selekcije, i širePoređenje MPO trupa i probojakada planirate prolaze od-do-kičme.

RoCE i Ethernet bez gubitaka u AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) je dominantni Ethernet transport za AI radna opterećenja. Omogućava mrežnim karticama da premještaju podatke direktno između GPU memorijskih regija bez uključivanja kernela na oba kraja. NCCL, GPU komunikaciona biblioteka koja leži u osnovi gotovo svih distribuiranih okvira za obuku, koristi RoCEv2 kada InfiniBand nije dostupan.

RoCE dobro radi kada je ispravno konfigurisan. Ružno ne uspijeva kada je pogrešno konfigurisan. TheInfiniBand trgovinsko udruženjeobjavljuje RoCE specifikacije, a većina dobavljača NIC-a i prekidača objavljuje detaljne konfiguracijske vodiče koje treba pratiti od-do-kraja.

Zašto je važno ponašanje bez gubitaka

RDMA je dizajniran pod pretpostavkom transporta bez gubitaka. Kada paketi padnu, RDMA oporavak je skup - idi-nazad-N ponovni prijenos može zaustaviti korak obuke za milisekunde, što je enormno u odnosu na mikrosekundni-razmjerni RDMA budžet.

Za aproksimaciju ponašanja bez gubitaka na Ethernetu, tkanina koristi dva mehanizma koji rade zajedno:

• PFC (Prioritetna kontrola toka, IEEE 802.1Qbb):Prekidač pauzira dolazni saobraćaj na određenom redu čekanja prioriteta kada se njegov bafer napuni. Ovo je -mehanizam posljednje utočište.
• ECN (Explicit Congestion Notification, RFC 3168):Prekidači označavaju pakete kada se redovi približavaju pragu. NIC smanjuje brzinu slanja prije nego što se baferi zaista popune, idealno izbjegavajući PFC u potpunosti.

Cilj je da ECN obavi gotovo cjelokupno upravljanje zagušenjima, uz PFC kao sigurnosnu mrežu. Ako vidite česte PFC pauze u prometu u stabilnom- stanju, vaši ECN pragovi su pogrešni ili je vaša tkanina premala.

Uobičajeni neuspjesi RoCE implementacije

Kako dizajnirati AI Cluster mrežu: Radni okvir

Ovo je odjeljak koji većina članaka o "AI umrežavanju" preskače. Sedam koraka u nastavku daje vam konkretne ulaze i izlaze u svakoj fazi.

Korak 1: Definirajte radno opterećenje i veličinu

Ulazi:Vrsta radnog opterećenja (prethodna obuka, fino{0}}podešavanje, zaključivanje, miješano), ciljni broj GPU-a danas, ciljni broj GPU-a za 18 mjeseci, raspon veličina modela.

Izlaz:Profil radnog opterećenja koji informiše brzinu NIC-a i toleranciju prevelike pretplate. Velika prethodna obuka graničnih modela zahtijeva -neblokirajuće 400G+ tkanine. Radna opterećenja za fino{5}}podešavanje mogu tolerisati prekomjernu pretplatu 2:1. Klasterima zaključivanja često je potreban manji propusni opseg, ali niže kašnjenje repa.

Korak 2: Odaberite brzinu i broj NIC-a po serveru

Logika odluke:

• Prethodna obuka velikih modela, serveri sa 8 GPU → 4–8× 400G NIC-a po serveru, ili 4× 800G
• Obuka srednje{0}}razmjere, 8-GPU serveri → 2–4× 400G NIC-a po serveru
• Posluživanje zaključaka → 1–2× 200G ili 400G NIC-a po serveru, u zavisnosti od paralelizma modela

Provjerite PCIe propusni opseg na hostu. Jedan 400G port zahtijeva PCIe Gen5 x16 da radi na linijskoj brzini; udvostručenje na 800G zahtijeva Gen6 ili podjelu na dva slota.

Korak 3: Odredite veličinu sloja lista

Radni primjer - 32-klastera čvorova, 8 GPU-a po čvoru, 4× 400G NIC-a po čvoru:

• Ukupni potrebni-portovi okrenuti serveru: 32 × 4=128 porta na 400G
• Propusni opseg downlink po čvoru: 4 × 400=1.6 Tbps
• Ukupna propusnost za downlink klastera: 32 × 1.6=51.2 Tbps

Koristeći 64-portni 400G leaf switch (25,6 Tbps ukupnog kapaciteta), svaki list može povezati 32 serverska porta i koristiti preostala 32 porta kao uplink-e. Sa 4 lista pokrivate svih 128 serverskih portova. Svaki list doprinosi 32 × 400G=12.8 Tbps uplink-a prema kičmi.

Korak 4: Odredite veličinu sloja kičme

Za dizajn koji nije-blokira (1:1), ukupni kapacitet uplink-a mora biti jednak ukupnom kapacitetu downlink-a. Od koraka 3:

• Potrebna ukupna veza uzlaznog lista: 4 lista × 12,8 Tbps=51.2 Tbps
• Ako svaka kičma ima 32× 400G porta=12.8 Tbps, potrebna su vam 4 spina
• Svaki list se povezuje sa sva 4 bodlje koristeći 8 uzlaznih veza po kralježnici (8 × 400G × 4=12.8 Tbps po listu - odgovara)

Ako koristite 400G spin prekidače sa 64 porta, svaki spin ima rezervni kapacitet za rast klastera, što je korisno za 18-mjesečni plan iz 1. koraka.

Korak 5: Postavite omjer prekomjerne pretplate

Korak 6: Odvojite promet računanja, pohrane i upravljanja

Tri opcije, redoslijedom sve veće izolacije:

• Zajednička tkanina sa QoS klasama:Računanje, skladištenje i upravljanje na odvojenim DSCP prioritetima. Najniža cijena; zahtijeva pažljivu QoS konfiguraciju.
• Logički odvojeni VLAN/VRF-ovi:Isti hardver, odvojene upravljačke ravni. Korisno za više-klastere zakupaca.
• Fizički odvojene tkanine:Namjenski NIC-ovi, prekidači i kablovi za računanje u odnosu na pohranu. Najviša cijena; uobičajeno u klasterima graničnih-modela gdje je bilo kakva svađa neprihvatljiva.

Saobraćaj pohrane za AI je sam po sebi težak - upisivanje kontrolne tačke za veliki model može premjestiti stotine gigabajta u kratkim rafalima. Planirajte to eksplicitno. Postrojenje sa strukturiranim kablovima visoke{3}}gustine koje koristiMPO/MTP trunk kablovipojednostavljuje pokretanje paralelnih tkanina u istoj fizičkoj infrastrukturi.

Korak 7: Validacija prije proizvodnje

Testovi na{0}}mrežnom nivou otkrivaju neke probleme. Testovi{2}}nivoa radnog opterećenja hvataju ostalo.

• Širina pojasa:iperf3 ili ib_send_bw između svakog para čvorova; treba da dostigne 90%+ od brzine NIC linije.
• Latencija:ib_read_lat ili slično; provjerite distribuciju, ne samo prosjek. P99.9 je više važan od proseka.
• Gubitak paketa:Izvršite 24-test namakanja pod opterećenjem; svaki gubitak koji nije nula u RoCE prometnoj klasi je problem.
• Ponašanje ECN oznake:Proverite da se oznake pojavljuju pre nego što se PFC aktivira; ako su PFC pauze česte u stabilnom stanju, ponovo podesite.
• Kolektivna komunikacija:Pokrenite NCCL testove (all_reduce_perf, all_gather_perf) u punoj veličini klastera. Uporedite sa referentnim brojevima dobavljača.
• Test{0}}nivoa posla:Vodite reprezentativan posao obuke u trajanju od 4-6 sati. Gledajte da je iskorištenost GPU-a - održavana ispod 50% na modelu odgovarajuće{5}}veličine obično ukazuje na problem mreže.

Tradicionalna mreža centara podataka u odnosu na AI kičmu-Leaf Fabric

Ethernet RoCE vs InfiniBand: Vodič za brzu odluku

Pitanje se postavlja u gotovo svakom projektu klastera AI. Oba rade. Izbor se obično svodi na operativno uklapanje, a ne na čistu izvedbu.

• Odaberite InfiniBand ako:Vaš tim već koristi InfiniBand tkanine, želite najjednostavniji put do transporta bez gubitaka ili kupujete potpuno-integrisanu referentnu arhitekturu dobavljača.
• Odaberite Ethernet RoCE ako:Vaš operativni tim je eternet{0}}domaći, želite opcije za prebacivanje sa više-prodavača, trebate integrirati AI tkaninu sa postojećim mrežama centara podataka ili predviđate skaliranje izvan onoga što trenutne InfiniBand topologije podržavaju čisto.

Ultra Ethernet konzorcij, formiran 2023., aktivno radi na standardizaciji Ethernet poboljšanja posebno za AI radna opterećenja. Za većinu novih klastera u 2026. Ethernet RoCE je odbrambena zadana vrijednost osim ako ne postoji poseban razlog da se odluči drugačije.

Uobičajene greške koje treba izbjegavati

Nadogradnja prekidača bez provjere NIC-a

800G switch fabric ne čini ništa za vas ako vaši NIC-ovi rade na 400G ili vaš host PCIe ostane bez propusnog opsega. Prvo dizajnirajte host stranu, a zatim stranu prekidača. PCIe Gen5 x16 ograničava jedan port na oko 504 Gbps stvarnog-svjetskog protoka - koji je ugodan za 400G, marginalni za 800G.

Optimiziranje brzine porta, ali zanemarivanje gustine kablova

Na 64-portu 400G izlazi, kablovi ispod svakog prekidača mogu postati fizički neupravljivi bez planiranja. Koristite kablove za razdvajanje gde je to prikladno, usmerite vlakna kroz strukturirane puteve i standardizujte tipove konektora. Kvalitet konektora i završetak su važni pri velikim brzinama - našvodič za tipove optičkih konektorapokriva kompromise između LC, MPO i novih faktora oblika visoke-gustine.

Tretiranje RoCE-a kao Plug-and-Plug-Play

Najveća greška u dizajnu u pravim AI klasterima nije odabir pogrešnog prekidača -, već podcjenjivanje koliko je potrebno od-do-konfiguracije RoCE rada. Budžetsko vrijeme za podešavanje ECN pragova, PFC prioriteta i MTU konzistentnosti. Planirajte namjensku fazu validacije prije pokretanja bilo kakvog radnog opterećenja.

Miješanje cjelokupnog prometa na jednom tkanju bez QoS-a

Replikacija pohrane, agenti za praćenje i upravljanje prometom mogu uništiti vrijeme koraka obuke ako dijele bafere sa računarskim prometom. Ili ih fizički odvojite ili nametnite stroge QoS klase s odvojenim prioritetima i ECN konfiguracijom.

Izgradnja samo za današnji klaster

Većina AI klastera raste 4-8 puta u roku od dvije godine od početnog postavljanja. Odaberite prebacivanje radiksa i kapaciteta kičme koji omogućavaju ne-neometano širenje. Povlačenje kablova u živom AI data centru je skupo; planiranje kapaciteta vodova i zakrpa u vrijeme implementacije je jeftino.

Kada povećati sa 400G na 800G

800G NIC i svičevi su dostupni, ali su skuplji po portu. Razmislite o pojačavanju kada:

• Po-GPU potrebe za propusnim opsegom premašuju ono što 400G može pružiti - na primjer, H100 i noviji GPU-ovi sa NVLink 5 očekuju veću eksternu propusnost
• NCCL sve-loše smanjuju vremensku skalu s veličinom klastera, što ukazuje na zasićenost mreže
• Gustoća kablova na 400G postaje fizički neupravljiva - manje 800G portova može zamijeniti više 400G portova
• Očekuje se da će sljedeća GPU generacija u vašoj mapi puta trebati u okviru vremenskog okvira amortizacije klastera
• Gradite granični{0}}modelski klaster za obuku u kojem svako računanje vremena mirovanja košta znatno više od nadogradnje optike

Za većinu proizvodnih klastera u 2026. godini, 400G ostaje pravi balans troškova, zrelosti ekosistema i sposobnosti. 800G ima smisla na visokom nivou i kao investicija unaprijed za klastere koji se danas grade i za koje se očekuje da će raditi 4-5 godina.

Zaključak

Najjača AI klaster mreža nije ona sa najbržim prekidačima. To je onaj u kojem izbor NIC-a, veličina lista/kičme, prekomjerna pretplata, RoCE konfiguracija, razdvajanje prometa i fizičko kabliranje podržavaju jedni druge i radno opterećenje za koje su odabrani.

Počnite od radnog opterećenja i 18-mjesečnog plana rasta. Izračunajte potrebe za širinom pojasa na svakom sloju koristeći realne brojeve, a ne samo pravila. Konfigurirajte RoCE end-to-end i potvrdite sa stvarnim referentnim vrijednostima za kolektivnu komunikaciju. Budžet za postrojenje za kabliranje - na 400G i 800G, fizički sloj više nije trivijalan.

Klaster koji drži svoje GPU zaposlene pri 95%+ iskorištenosti kroz svaki korak obuke je onaj koji je obratio pažnju na sve ove slojeve. Grupa koja se isporučuje sa bržim prekidačem i sporijom strukturom će potrošiti godine objašnjavajući zašto GPU-ovi miruju.

Dalje čitanje

• RFC 7938 - BGP u velikim-centrima podataka
• InfiniBand Trade Association - RoCE specifikacije
• NVIDIA mrežna dokumentacija
• Vodič za instalaciju optičkog kabla
• Objašnjenje gubitka umetanja u odnosu na gubitak povrata