Prebacite bafere: Smanjite gubitak i kašnjenje AI mreže

Jun 22, 2026

Ostavi poruku

AI data center network fabric with switch buffers

Baferi prekidača su mali skupovi memorije unutar mrežnog prekidača koji drže pakete na trenutak kada promet stigne brže nego što ga port može poslati. Na tihom poslovnom LAN-u to zvuči kao hardverska fusnota. Unutar AI trening klastera ili gustog oblaka, istih nekoliko megabajta memorije može odlučiti hoće li se distribuirani posao završiti na vrijeme ili će se zaustaviti čekajući na jednoj zagušenoj vezi.

Osnovna ideja je jednostavna, ali izaziva mnoge odluke o kupovini: baferi su vrijedni jer apsorbiraju rafale, a ipakviše bafera nije automatski bolje. Pravi dizajn zavisi od vašeg obrasca saobraćaja, koliko je radno opterećenje osjetljivo na kašnjenje ili gubitak, koji metod{1}}kontrole zagušenja koristite i kako prekidač širi međumemoriju po portovima i redovima čekanja. Prekidač s vrlo velikim baferom i dalje može raditi lošije od manjeg ako ta memorija skriva zagušenje umjesto da je isprazni.

Ovaj vodič je napisan na osnovu uzoraka koji se uobičajeno viđaju u RoCEv2 tkaninama i -gustoći listova-primjenama kičme. Objašnjava šta zapravo rade baferi za prebacivanje, zašto ih AI i GPU saobraćaj različito naglašavaju, kako izbor bafera utiče na kašnjenje i gubitak paketa i šta treba testirati pre nego što se posvetite komutatoru.

Šta su prekidači međuspremnika?

Bafer prebacivanja je privremena memorija paketa. Kada nekoliko paketa treba da prođe kroz isti port u istom trenutku, komutator ih ne može prenijeti sve odjednom, tako da dodatke stavlja u red čekanja i prosljeđuje ih kako se izlazni port oslobodi.

Ovo čekanje se dešava tokom nekoliko predvidljivih trenutaka:

  • Mnogo-do-jedan (incast) saobraćaj, gdje više pošiljatelja cilja na isti prijemnik ili uplink
  • Microbursts, kratki i intenzivni šiljci koji traju mikrosekunde do nekoliko milisekundi
  • Neusklađenost brzine interfejsa, kao što je 400G port koji hrani sporiji nizvodni link
  • Prekomjerno pretplaćeni linkovi i sinhronizirani rafali koji stižu iz više izvora odjednom
  • Zagušenje na jednom određenom izlaznom redu ili klasi prometa

Bez dovoljno upotrebljivog bafera, prekidač ispušta pakete. Sa previše zauzetim baferom, paketi sjede u redu i latencija se povećava. Dobar dizajn bafera živi u napetosti između ta dva kvara: apsorbuje prave rafale bez pretvaranja reda u olovku za zadržavanje.

Zašto AI i GPU saobraćaj opterećuju različito prebacivanje bafera

AI radna opterećenja ne izgledaju kao web ili uredski promet. GPU klasteri generišu ogroman istok-zapad saobraćaj između servera, a tokom distribuirane obuke komunikacija je često sinhronizovana: mnogi akceleratori razmjenjuju podatke u istom trenutku, u istom smjeru, na istom tkivu.

Kolektivne operacije ovo pogoršavaju. Korak za sve{1}}smanjenje, sinhronizacija parametara ili razmjena gradijenta može se srušiti u mnogo-do-jedan ili više{4}}do{5}}mnogo rafala koji zamahne skup izlaznih redova u roku od mikrosekundi. Budući da su rafali kratki i usko povezani, lako ih je propustiti grubim praćenjem. Na primjer, link može očitati samo oko 40% prosječne iskorištenosti u jednom-sekundi ili pet{10}}programu za glasanje dok još uvijek postiže brzinu linije za milisekunde, što je dovoljno dugo da popuni red čekanja, označi ECN ili pokrene PFC pauzu.

Razlog zašto je ovo toliko važno u AI tkaninama je struktura zavisnosti posla. Distribuirani trening teži da se kreće brzinom svog najsporijeg toka. Kada jedan GPU čvor čeka na odloženi promet, ostatak klastera često miruje s njim, a skupi akceleratori troše vrijeme čekanja na mreži umjesto računanja. Događaj bafera koji bi bio nevidljiv na web nivou može ovdje direktno produžiti vrijeme završetka posla.

Taj istočni{0}}zapadni materijal je također razlog zašto izbori fizičkog-sloja idu uz ponašanje bafera. GPU pozadinske -pozadine visoke gustine se obično povezujuMTP/MPO trunk kablove velike-gustineizmeđu lista i kralježnice, a brzina veze je sve više postavljena optikom koju odaberete400G i 800G moduli kao što je QSFP-DD. Što su ti linkovi brži i pretplaćeniji, to više posla moraju obaviti bafer prekidača i postavke zagušenja tokom sinhronizovanog rafala.

AI GPU traffic burst filling a switch buffer

Kako preklopni baferi utiču na kašnjenje, gubitak paketa i propusnost

Baferi oblikuju performanse na tri povezana načina.

Premalo bafera uzrokuje gubitak paketa

Kada burst premaši raspoloživi bafer, rep switch-ispušta pakete. U TCP-baziranom saobraćaju koji pokreće ponovne prijenose i smanjuje efektivnu propusnost. U skladištu i AI saobraćaju može povećati vrijeme završetka posla i učiniti performanse nepravilnim. Zamka je u tome što prosječna propusnost često izgleda dobro: u incast događaju, nekoliko pošiljatelja pogodi isti izlazni red u gotovo istom trenutku, a red se prepuni iako grafikon-po{6}}minutni grafikon izgleda mirno.

Previše saobraćaja u čekanju povećava kašnjenje

Veliki tampon nije besplatna sigurnosna margina. Ako paketi stoje u dubokom redu čekanja, akumuliraju kašnjenje čekanja i mreža klizi ubufferbloat, gdje su padovi rijetki, ali je latencija velika i nepredvidiva. Ovaj način kvara je biodetaljno dokumentovani od strane Gettysa i Nicholsa u ACM Queue, i to je upravo pogrešan ishod za pozadinske programe{0}}osjetljive GPU-a, gdje je predvidljiva niska latencija važnija od skrivanja zagušenja unutar memorije.

Loša alokacija bafera stvara nepravednost

Ukupna veličina bafera skriva važnije pitanje: kako prekidač dijeli tu memoriju na portove, redove i klase prometa. Prekidač može nositi puno agregatnog bafera i dalje se ponašati loše ako jedan port ili klasa isprazni zajednički skup, a ostatak izgladi. U okruženju veštačke inteligencije i skladištenja, ta nepravednost usporava ceo posao, jer najsporiji tok postavlja vreme završetka.

Comparison of shared dedicated and deep switch buffers

Shared Buffer vs Dedicated Buffer vs Deep Buffer

Kada uporedite prekidače centara podataka, arhitektura bafera je važnija od broja glavnog kapaciteta.

Zajednički bafer

Zajednički međuspremnik je zajednički memorijski skup iz kojeg portovi i redovi crpe na zahtjev. Budući da se neiskorištena memorija u tihom području može posuditi gdje god se pojavi zagušenje, dijeljeni baferi dobro apsorbiraju rafale u podatkovnim centrima, gdje port koji je neaktivan u jednom trenutku može doći do rafala u sljedećem. Njihova slabost je u tome što se oslanjaju na dobru logiku alokacije kako bi spriječili jedan vrući red da pojede bazen.

Namjenski bafer

Namjenski bafer je rezerviran za određeni port, red čekanja ili klasu prometa. Poboljšava izolaciju, budući da je jedna zagušena klasa manje sposobna sve potrošiti, ali preko-rezerviranje gubi kapacitet, jer memorija zaključana na tihi port nije dostupna tamo gdje se rafal zapravo spusti.

Duboki tampon

Duboki-bafer prekidač nosi mnogo veće međuspremnike, dizajniran za velike rafale,-veze na daljinu ili trajne neusklađenosti brzine. Duboki baferi zaslužuju svoje mjesto u nekim ulogama WAN-a, usmjeravanja i agregacije, često uparene sajedno-modno vlakno za veze-na duže udaljenosti, ali su često pogrešne zadane vrijednosti za pozadinu GPU-a s niskom-latencijom, gdje imaju tendenciju da maskiraju zagušenje i dodaju kašnjenje. Za tkanine osjetljive na kašnjenje{2}}predvidljivo prosljeđivanje obično nadmašuje dubinu neobrađenog bafera.

Brzo poređenje

Buffer type Snaga Glavni rizik Best fit
Shared Fleksibilna apsorpcija praska Potrebna je čvrsta logika alokacije Dinamičan promet centara podataka
Posvećeno Jaka izolacija između klasa Potrošeni kapacitet ako je preko-rezervisano Klase saobraćaja koje se moraju zaštititi
Duboko Apsorbuje veoma velike praske Veća latencija čekanja WAN, rutiranje, posebna agregacija

Baferi prekidača i kontrola zagušenja RoCEv2: ECN i PFC

Većina AI Ethernet tkanina pokreće RoCEv2 za nisku-latenciju, visoku-propusnost RDMA. U ovim mrežama, baferi i kontrola zagušenja su neodvojivi: pragovi bafera koje postavite određuju kada se ECN označava, a kada se aktivira PFC.

ECN bi trebao rano signalizirati zagušenje

Eksplicitna obavijest o zagušenju (ECN), definirana u RFC 3168, omogućava prekidaču da označi pakete kako se zagušenje stvara umjesto da ih ispušta. Prijemnik vraća taj signal tako da pošiljalac usporava prije nego što se red prepuni. U RoCEv2 tkaninama prag označavanja je odluka podešavanja sa stvarnim posljedicama: označiti prekasno i red je već dubok kada izvori reaguju; označite prerano i smanjite propusnost ne morate odustati.

PFC bi trebao biti sigurnosna mreža, a ne prva reakcija

Prioritetno{0}}bazirana kontrola protoka (PFC), standardizirana kao IEEE 802.1Qbb, pauzira promet na klasi prioriteta da spriječi gubitak na redovima bez gubitaka. To je neophodno, ali je tup instrument. Oslonite se na njega prečesto i on širi zagušenje uzvodno, stvarajući oluje pauze i-glavne-blokiranje koje kažnjavaju tokove koji nikada nisu bili uzrok. Zdraviji obrazac je dobro uspostavljen: inMicrosoftov-veliki RDMA rad koji je uveo DCQCN, kontrola zagušenja zasnovana na stopi- koju pokreće ECN upravlja rutinskim događajima dok PFC ostaje u rezervi kao posljednja linija odbrane, a taj dokument također daje konkretne smjernice za podešavanje pragova bafera prekidača.

Pragovi međuspremnika moraju odgovarati radnom opterećenju

Pragovi kopirani iz referentnog dizajna rijetko preživljavaju kontakt sa stvarnim prometom. AI obuka, zaključivanje, skladištenje i mješovita radna opterećenja u oblaku pucaju na različite načine, a prave ECN/PFC postavke zavise od burnosti, brzine veze, omjera prekomjerne pretplate, dizajna reda čekanja i toga koliko radno opterećenje toleriše kašnjenje u odnosu na gubitak. Tretirajte zadane postavke dobavljača kao početnu tačku, a zatim prilagodite svoj promet.

Dijagnostikovanje problema u vezi sa baferom-: simptomi, uzroci i metrika

Kada performanse aplikacije padnu, ali kontrolne ploče izgledaju zeleno, pritisak bafera je čest skriveni uzrok. Koristan prvi korak je čitanje telemetrije po uzročno-posledičkom redu, a ne gledanje u korištenje veze. Tabela u nastavku prikazuje simptome na vjerovatne probleme s baferom i metriku koja ih potvrđuje.

 

Simptom Vjerovatni uzrok -povezan sa baferom Metrika koju treba prvo provjeriti
Retransmisije sa normalnom prosječnom iskorištenošću Rep Microburst pada na izlaznom redu Vrhovi popunjenosti redova, pad i pad izlaza
Latencija se povećava sa nekoliko ili bez padova Preko-dubok red čekanja/napuhanost međuspremnika Percentili kašnjenja (p99), dubina reda čekanja
Propusnost pada ispod više-na-jedan Incast prelijeva zajednički bazen Pada tokom incast, po-zauzetosti u redu
Periodični zastoji širom klastera PFC pauziraju oluje koje se šire uzvodno PFC okviri pauze i trajanje pauze
Jedan spor tok vuče cijeli posao Nepravedno dijeljenje bafera između klasa Po-prioritetna popunjenost, vrući- brojači
GPU-ovi u mirovanju čekaju na mreži Zagušenja koja proširuju kolektivne operacije Stopa ECN oznake, vrijeme završetka protoka, korištenje GPU-a

Čitajte od vrha do dna, prirodni dijagnostički lanac je dubina čekanja, zatim ECN oznake, zatim spuštanja repa, zatim PFC okviri pauze, zatim vrijeme završetka toka, zatim korištenje GPU-a. Ako su mrežne metrike čiste, ali su poslovi i dalje spori, problem je vjerovatno uzvodno od tkanine, a ne unutar bafera prekidača.

Laboratorijski testovi koje vrijedi provesti i kako izgleda "prošao".

Prije implementacije u AI ili tkaninu visokih{0}}performansi, testirajte sa prometom koji liči na vaše stvarno radno opterećenje i definirajte kriterij prolaznosti za svaki test umjesto da samo pratite brzinu linija.

  • Više-do-jedan incast:povežite ventilator-u omjeru; prolaz znači da nema spuštanja repa i ograničene p99 latencije na vašoj ciljnoj prekomjernoj pretplati.
  • Mnogi-do-mnogi, svi-smanji stil:sinkronizirani rafali; prolaz znači pošteno vrijeme završetka niz tokova bez jednog zaostalog.
  • Mješoviti kratki- i dugi-tok:pokrenuti tokove slona i miša zajedno; pass znači da kratki tokovi održavaju nisku latenciju dok dugi tokovi i dalje ispunjavaju vezu.
  • RoCEv2 zagušenje sa ECN/PFC validacijom:potvrditi ECN oznake prije PFC pauze; prolaz znači da ECN radi svoj posao, a PFC se rijetko pokreće.
  • Prekomjerna pretplata i ponovna konvergencija neuspjeha:ispusti vezu usred{0}}rafala; prolaz znači graciozno preusmjeravanje bez pada ili litice kašnjenja.

Cilj nije dokazati propusnost linije-na neaktivnom prekidaču. Treba vidjeti kako se prekidač ponaša kada promet postane buran, sinkroniziran i nepravedan, što je jedino stanje koje je bitno u proizvodnji. Kada planirate kablove i konektore da podrže te testove na velikom nivou, aninženjersko poređenje MTP i MPO opcijaje koristan pratilac.

Duboki-bafer ili nisko-prekidač?

Ne postoji najbolji prekidač, samo onaj koji najbolje odgovara datoj tkanini. Koristite donju tabelu da brzo suzite izbor, a zatim ga potvrdite laboratorijskim testovima iznad.

Ako je vaša tkanina Odredite prioritete Naslon na tampon
AI GPU backend (sinhronizirani rafali, kašnjenje{0}}kritično) Mala latencija, jaka telemetrija, ECN/PFC podešavanje Niska-latencija, podijeljeno s dobrom dodjelom
Skladištenje / bez gubitaka Pravednost, vrijeme završetka posla, kašnjenje pod opterećenjem Umjereno, sa dobro{0}}izolovanim razredima
Mješoviti oblak (različite brzine veze) Fleksibilna alokacija, izolacija klasa, vidljivost Zajedničko i fleksibilno
WAN /-agregacija na daljinu Apsorbiranje velikih rafala i neusklađenosti brzine Duboki međuspremnik (još uvijek provjeren u odnosu na ciljeve kašnjenja)

Mješoviti oblak tkanine su najzahtjevniji slučaj, jer često kombinuju veće-uplinkove sa sporijim pristupnim vezama. Ako planirate te pristupne brzine, vodič za10GBASE-T i SFP+ 10GbE interfejsimože vam pomoći da planirate gdje će tranzicije brzine, a samim tim i pritisak puferiranja, sletjeti.

FAQ

P: Da li su veći baferi prekidača uvijek bolji?

O: Ne. Veći baferi smanjuju padove paketa tokom rafala, ali takođe puštaju pakete u red čekanja, što povećava kašnjenje i može uzrokovati napuhavanje bafera. Za latenciju-osjetljivu umjetnu inteligenciju i tkanine za pohranu, umjereni, dobro{3}}upravljani bafer obično nadmašuje veoma dubok. Najbolji bafer je onaj veličine i dodijeljen da apsorbira vaše stvarne rafale bez dodavanja kašnjenja koje se može izbjeći.

P: Koja je razlika između zajedničkog bafera i namjenskog bafera?

O: Zajednički bafer je zajednički skup iz kojeg svaki port ili red može izvući kada mu je potreban, što ga čini efikasnim u apsorbiranju nepredvidivih rafala. Namjenski bafer je rezerviran za određeni port, red čekanja ili klasu, što poboljšava izolaciju, ali može trošiti memoriju ako rezervirani prostor miruje. Mnogi prekidači centara podataka koriste hibrid ova dva.

P: Zašto mikroburstovi uzrokuju gubitak paketa čak i kada korištenje izgleda slabo?

O: Standardno praćenje prosječuje promet u sekundama ili minutama, tako da izglađuje skokove. Mikroburst može dostići brzinu linije za samo nekoliko milisekundi, ispunjavajući izlazni red i prisiljavajući spuštanje repa, dok prosječni graf i dalje prikazuje vezu kao slabo učitanu. Trebate milisekundni-razmjerni red čekanja i ispuštanje telemetrije da vidite ove događaje.

P: Da li su AI centrima podataka potrebni duboki-bafer prekidači?

O: Obično nije na pozadini GPU-a. Duboki baferi imaju tendenciju da maskiraju zagušenje i dodaju kašnjenje, što radi protiv predvidljivog, niskog-prosljeđivanja sa malim kašnjenjem koje je potrebno za distribuiranu obuku. Duboki baferi su prikladniji za WAN, usmjeravanje ili uloge agregacije. Za AI klastere, telemetrija, poštena alokacija i dobro{4}}podešeni ECN/PFC obično su važniji od dubine bafera.

P: Kako preklopni baferi utiču na performanse RoCEv2?

O: U RoCEv2, pragovi bafera odlučuju kada ECN označava pakete, a kada PFC pauzira prioritet. Dobro podešen, ECN usporava pošiljaoce rano i drži redove plitke; loše postavljen, redovi se preplavljuju ili se PFC okida prečesto i širi zagušenje. Podešavanje pragova bafera prema radnom opterećenju jedan je od najvažnijih koraka u postizanju dobrog ponašanja RoCEv2.

P: Koje metrike bafera trebam pratiti u proizvodnji?

O: Gledajte zauzetost u redu čekanja, padove repa i izlaza, brzinu ECN oznaka i PFC okvire pauze i trajanje, a zatim ih povežite sa signalima aplikacije kao što je vrijeme završetka toka i, za AI tkanine, korištenje GPU-a. Ako su performanse aplikacije loše dok prosječna iskorištenost veze izgleda normalno, vjerovatno se sumnja na skriveni pritisak bafera i mikrorafale.

Key Takeaways

Baferi prekidača igraju odlučujuću ulogu u AI i performansama mreže centara podataka, ali kapacitet sam po sebi ne govori da li je prekidač pravi izbor. Dobar dizajn bafera apsorbuje realistične rafale, ograničava gubitak paketa, održava kašnjenje predvidljivim, podržava ECN i PFC signalizaciju i izlaže dovoljno telemetrije za rešavanje problema. Za AI podatkovne centre, procijenite arhitekturu međuspremnika zajedno s kontrolom zagušenja, balansiranjem opterećenja, upravljanjem redovima i ponašanjem vašeg stvarnog radnog opterećenja, a ne kao izolovani broj na listu sa specifikacijama.

Prije nego što uključite, testirajte prekidač u uvjetima incast, microburst i zagušenja i gledajte kako dijeli memoriju kada promet postane nepravedan. Najbolji bafer nije najveći. To je arhitektura koja održava vaše aplikacije brzim, poštenim i predvidljivim u stvarnom prometu.

Pošaljite upit