100G QSFP28 Spine-Dizajn lista: Izbjegnite greške u otvoru

100G spine-tkanina je jedan od najpouzdanijih načina za povezivanje 25G servera, 100G uplinkova, skladišnih klastera i istočno-zapada-teških radnih opterećenja u modernom data centru. Privlačnost QSFP28 je njegova fleksibilnost: jedan port može nositi izvornu 100G vezu ili rastaviti na četiri 25G serverske veze, tako da jedan prekidač može služiti i pristupnoj ivici i jezgri tkanine.

Brzi prekidači su laki dio. Dizajn od 100G živi ili umire na odlukama donesenim prije narudžbenice: kako se dodjeljuje svaki port, kako izgleda omjer prekomjerne pretplate u normalnim i kvarnim uvjetima, koja optika odgovara stvarnim kablovima, koliko topline ta optika dodaje i može li tkanina rasti do 400G bez nadogradnje viljuškara.

Ovaj vodič je{0}}neutralna referenca za planiranje za mrežne i infrastrukturne timove. Slike ispod prate trenutne IEEE 802.3 Ethernet specifikacije i relevantne ugovore o optičkim više-izvorima, ali svaki prekidač i primopredajnik imaju svoj vlastiti list sa podacima, pa potvrdite tačne brojeve za hardver koji kupujete.

Kako čitati primjere u ovom vodiču.Osim ako nije drugačije navedeno, pretpostavljaju jedno-domaće servere sa jednim 25G NIC-om svaki, 48 host portova po listu, 100G leaf-to- uzlaznim vezama, punu mrežu u kojoj se svaki list povezuje sa svakim spinom i omogućenu korekciju grešaka naprijed gdje to zahtijeva optika. Dual-homing, brži NIC-ovi ili različiti broj portova će promijeniti svaki broj koji slijedi.

Šta je 100G spine-mreža?

Spine-leaf je dvoslojna-arhitektura data centra izgrađena od prekidača lista i prekidača za kičmu. Listovi prekidači se nalaze na vrhu svakog stalka i obezbjeđuju portove okrenute-serveru plus uplinkove do kičme. Prekidači za kičmu čine brzu-kičmu. Svaki list se povezuje sa svakim kičmom, tako da se saobraćaj između regala pomiče od lista do hrpta do lista duž puta jednake{7}}dužine.

Dizajn je popularan jer pruža:

• Predvidljiva, jednaka dužina puta između bilo koje dvije police
• Izvorna podrška za gust saobraćaj na istoku{0}}zapadu
• Sve uzlazne veze su aktivne preko ECMP-a, a ne blokirane razapinjućim stablom
• Jednostavno horizontalno skaliranje - dodajte listove za portove, dodajte bodlje za kapacitet

U tkanju od 100G, veze od-do-kičme rade na 100G, dok portovi okrenuti prema serveru{4}} rade na 10G, 25G, 50G ili 100G u zavisnosti od opterećenja. Danas je 25G pristup sa 100G uplink-om najčešća kombinacija preduzeća.

Fizički dizajn protiv logičkog dizajna

"Dizajn mreže" pokriva dva sloja koja je lako spojiti. Ovaj vodič se koncentriše na fizički sloj i nivo kapaciteta - portove, optiku, prekomjernu pretplatu, kabliranje - jer se na to obavezujete kada kupujete hardver. Ali logički sloj odlučuje kako tkanina prosljeđuje promet i oblikuje nekoliko fizičkih izbora.

Na fizičkoj strani sjedite prekidač i izbor portova, brzine NIC-a, prekomjerna pretplata, optika, kablovi, napajanje i hlađenje. Na logičkoj strani sjedi ECMP opterećenje-balansirajući preko uzlaznih veza; preklapanje kao što je VXLAN sa BGP EVPN kontrolnom ravninom za više-zakupničkih slojeva 2 i 3 preko rutirane podloge; dual-homing sa MLAG ili MC-LAG i LACP na pristupnoj ivici; i greška-dimenzioniranja domena. Za RDMA tkanine također morate izraditi skoro-mrežu bez gubitaka, što je pokriveno u nastavku. Odredite logički model rano, jer utiče na broj uplink-a, koliko spinova želite za ECMP širinu i da li su listovi raspoređeni kao MLAG parovi.

Korak 1 - Definirajte brzinu servera i radno opterećenje

Počnite od opterećenja, a ne od optike. Opći virtuelizacijski klaster, skladišni materijal i AI modul za obuku imaju vrlo različite potrebe, a pravi dizajn prati promet.

25G serveri sa 100G uplinkovima

Za većinu poslovnih i privatnih-cloud okruženja, 25G pristup sa 100G leaf-to-povezanim uzlaznim vezama je slatka tačka: veliki skok preko 10G uz održavanje razumnih troškova NIC-a, kabla i prekidača. Tipična izgradnja uparuje 25G downlink-ove, 100G uplink-ove i omjer 2:1 do 3:1 za opće računanje, sa nižim prekomjernim pretplatom rezerviranim za nivoe osjetljive na pohranu i kašnjenje{13}}. Odgovara virtuelizaciji, privatnom oblaku, web nivoima i većini poslovnih centara podataka.

Native 100G za skladištenje, AI i HPC

Nekim radnim opterećenjima je potreban izvorni 100G na serveru: distribuirana i NVMe-oF pohrana, AI i mašinsko-učenje, HPC,-analitika velikih razmera i RDMA niske{4}}kašnje. Ovdje bi prekomjerna pretplata trebala biti mala - često ne-blokira ili blizu nje - jer problem predstavlja obrazac saobraćaja, a ne samo obim.

AI, HPC i RDMA radna opterećenja generiraju gust, sinkroniziran, sve-na-cijeli istok-zapadni promet: mnogi čvorovi prenose na više čvorova u istom trenutku, tako da se statističko izglađivanje koje štedi na virtuelizacijskoj strukturi više ne primjenjuje. RDMA preko konvergentnog Etherneta (RoCE) dodaje drugo ograničenje, jer očekuje skoro-fabrikovanje bez gubitaka, što u praksi znači da su prioritetna kontrola toka (PFC) i eksplicitno obavještenje o zagušenju (ECN) podešene s kraja na kraj. Tkanina koja ispušta okvire pod zagušenjem će gledati kako RoCE performanse kolabiraju, tako da se ovi klasteri obično grade u omjeru 1:1 sa pažljivim baferom i konfiguracijom zagušenja.

Korak 2 - Kako izračunati portove za prebacivanje listova i kičme za 100G tkaninu

Planiranje luka počinje od lista, a ne od kičme. Radite izvan servera:

1. Brojite-portove okrenute prema serveru po raku.
2. Odlučite da li je svaki izvorni 25G, izvorni 100G ili prolazna traka.
3. Rezervirajte QSFP28 portove za uzlazne veze.
4. Dodajte rezervne portove za rast, redundantnost, testiranje i zamjenu.
5. Ponovo izračunajte prekomjernu pretplatu nakon dodjele proboja, a ne prije.

Brojite{0}}portove okrenute serveru

Za svaki rack, odredite broj servera, brzinu NIC-a, NIC-ove po serveru, jedno- ili dual-domaćene i potrebne rezervne dijelove. Za stalak od 48 servera sa jednim 25G NIC-om potrebno je 48 host portova. Udvostručite-te servere na par listova i broj pristupnih portova u paru se udvostručuje.

Rezervirajte uplink portove i gledajte dupli-broj

Nakon host portova, rezervišite QSFP28 portove za kičmu. Tu se krije najčešća greška: ako se isti QSFP28 portovi koriste za 4x25G breakout, oni više nisu dostupni kao uplinkovi. Pojedinačna najveća greška u planiranju nije pogrešno računanje 100G uplink-ova, već precjenjivanje uplink portova koji su preostali nakon što ih probijanje pojede. Dodijelite prekid prije matematike prevelike pretplate ili je omjer koji ste izračunali izmišljena.

Proveden primjer pomaže. Uzmite uobičajeni 1U list sa 48 SFP28 host portova i 8 QSFP28 portova:

Sa šest uplink-ova koji nose 1,200G pristupnog saobraćaja, list radi na 2:1, a dva QSFP28 porta ostaju u rezervi. Dajte svakom portu jednu, eksplicitnu ulogu u proračunskoj tablici prije nego što odredite veličinu bilo čega drugog.

Ostavite rezervni kapacitet

Nemojte konzumirati svaki port prvog dana. Rezervirajte prostor za nove servere, dodatne spinove, privremene testne veze, neuspjele-zamjene portova, nadgledanje dodira i migraciju. Malo neiskorištenog kapaciteta je daleko jeftinije od redizajna.

Korak 3 - Izračunajte prekomjernu pretplatu, uključujući N-1

Prekomjerna pretplata upoređuje ukupni{0}}propusni opseg servera na listu sa njegovom ukupnom propusnošću uplink-a do kičme:

Odnos prekomjerne pretplate=ukupna propusnost za silaznu vezu / ukupna propusnost uzlazne veze

Za list iznad, 48 x 25G=1, 200G dolje i 6 x 100G=600G gore, dajući 1,200 / 600=2:1. To znači dvostruko veću teoretsku propusnost za pristup od propusnog opsega uzlazne veze - obično dobro za opće računanje, gdje serveri rijetko svi prenose linijskom brzinom odjednom, ali je stvarno ograničenje za pohranu, AI, HPC i RDMA.

Uvijek provjerite kućište N-1

Tkanina može izgledati zdravo u normalnom radu i zagušiti se tokom kvara. Zamislite list sa osam 100G uplink-ova ravnomjerno raspoređenih na četiri bodlje - dva po bodlu, ukupno 800G, tako da 1200G pristupa daje 1,5:1. Gubite jednu kičmu i list pada dvije uzlazne veze na 600G, gurajući omjer na 2:1 za vrijeme trajanja prekida. Ako vaš cilj nije gori od 2:1 čak ni pod neuspjehom, morate početi blizu 1,5:1. Izračunajte i normalni omjer i omjer N-1 nakon gubitka jedne kičme ili uzlazne veze; drugi broj je onaj koji grize tokom održavanja.

Rasponi planiranja prema opterećenju

Ne postoji univerzalni omjer, stoga tretirajte sljedeće kao raspone planiranja, a ne standarde, i provjerite u odnosu na izmjereni promet tamo gdje možete:

Prilikom nadogradnje, pregledajte trenutno korištenje uplink-a, vršne i istočno-zapadne obrasce, tokove pohrane i rezervne prozore prije nego što se posvetite omjeru.

Korak 4 - Odaberite QSFP28 optiku i kablove

QSFP28 100G interfejsi su standardizovani od strane IEEE 802.3 -802.3bm amandmandodao je 100GBASE-SR4, uz jedno-mod LR4 PHY. Odaberite optiku prema udaljenosti, tipu vlakna, konektoru, napajanju i kompatibilnosti prekidača i oduprite se zadanom najdužem dometu: domet koji vam nije potreban obično znači trošak i snagu koji vam nisu potrebni. Uskladite modul sa serijom sa razumnom marginom.

DAC i AOC za kratke serverske veze

Za -rack i susedne-rekove veze, QSFP28 direktno{3}}bakarni (DAC) i aktivni optički kablovi (AOC) su praktični. Pasivni DAC odgovara najkraćim skokovima - nekoliko metara - po najnižoj cijeni i snazi, dok AOC proširuje doseg i lakši je i fleksibilniji gdje količina bakra postaje problem. Za 25G pristup, QSFP28-to-4x SFP28 DAC ili AOC je uobičajen kada prekidač podržava prekid.

100GBASE-SR4 za kratke višemodne uzlazne veze

SR4 prenosi 100Gosam paralelnih multimodnih vlakanakorištenjem MPO/MTP konektora, što ga čini isplativim izborom za kratke linije-do-kralje unutar reda. Njegov domet zavisi od stepena vlakana - otprilike 70 m na OM3 i 100 m na OM4 - tako da se isplati znati domet od kojeg možete očekivatiOM3, OM4 i OM5 višemodno vlaknou tvom spratu. Glavno ograničenje planiranja je paralelno kabliranje: MPO patching i polaritet moraju biti razrađeni unaprijed.

CWDM4 ili FR za single-način rada traje do oko 2 km

Za veze između-redova,-prostorija ili između-hala, jednostruka-optika kao što je CWDM4 ili FR bolje odgovara. The100G CWDM4 MSAdefinira domet od 2 km preko jednog para single-modnih vlakana sa dupleks LC konektorom i FEC. Budući da koriste duplex vlakna umjesto paralelnih MPO, CWDM4 i FR optika se često spuštaju u jedno- postrojenje čistije od SR4 - i na tim udaljenostima izbor izmeđuOS1 i OS2 jednomodno-optično vlaknopočinje biti važno za vaš budžet za gubitke. Kraće single{1}}varijante kao što je DR pokrivaju otprilike 500 m gdje je to sve što vam treba.

100GBASE-LR4 za kampus i DCI

LR4 je opcija-dugo dosega, nosi 100Gdo oko 10 km preko dupleks jednog-modnog vlaknaza veze između kampusa,{0}}do-zgrada ili data{2}}centra-. Koristite ga samo tamo gdje to udaljenost istinski zahtijeva; Optika dugog{5}}dohvata na kratkim skokovima unutar-data-centra jednostavno dodaju cijenu, snagu i toplinu bez poboljšanja tkanine.

QSFP28 100G Optika Poređenje

Tabela sažima gdje se svaka opcija uklapa. Tretirajte dosege kao tipične planske brojke i potvrdite tačne brojeve, kvalitet vlakana i FEC zahtjeve na tablici podataka svakog modula.

Obrađeni primjeri: male, srednje i velike tkanine

Ovo su pojednostavljeni modeli planiranja, a ne nacrti. Broj bodlji se obično bira da ravnomjerno podijeli uzlazne veze i postavi ECMP širinu: dvije bodlje su praktični minimum za redundantnost, četiri daju finiju N-1 granularnost i bolje širenje opterećenja, a osam odgovara velikim tkaninama. Broj listova se mjeri sa serverskim portovima koji su vam potrebni.

Mala tkanina

• 8 lisnih prekidača
• 2 prekidača za kičmu
• 48 x 25G serverskih portova po listu
• 4 x 100G uplink-a po listu
• 384 jedno-udomljena 25G serverska porta

Po listu: 1200G dole, 400G gore, dakle 3:1. Prikladan za opće računanje, ali čvrst za teško skladištenje ili AI. Dodajte uzlazne veze ili skratite pristup po listu ako vam je potreban niži omjer.

Srednje tkanina

• 16 lisnih prekidača
• 4 prekidača za kičmu
• 48 x 25G serverskih portova po listu
• 6 x 100G uplink-ova po listu
• 768 jedno-udomljenih 25G serverskih portova

Po listu: 1200G dole, 600G gore, dakle 2:1. Solidan balans za virtuelizaciju i poslovna opterećenja, a četiri bodlje šire ECMP bolje od dva.

Velika tkanina

• 32 lista prekidača
• 8 kičmenih prekidača
• 48 x 25G serverskih portova po listu
• 8 x 100G uplink-ova po listu
• 1,536 jedno-udomljenih 25G serverskih portova

Po listu: 1200G dole, 800G gore, dakle 1,5:1. Više prostora za uplink, ali više optike, vlakana, troškova, snage i kablova za upravljanje. U ovoj skali, dokumentacija je dio dizajna: označavanje, mape priključaka, polaritet, rezervna optika, protok zraka i praćenje moraju se planirati prije instalacije.

QSFP28 Breakout Planning (100G do 4x25G)

Breakout je najkorisniji i najviše pogrešno shvaćen dio QSFP28 dizajna. Tamo gdje prekidač, kabel i konfiguracija to dozvoljavaju, jedan QSFP28 port se dijeli na četiri 25G SFP28 veze, povezujući četiri 25G servera iz jednog 100G porta. Zaslužuje svoje mjesto kada vam je potrebna visoka gustina 25G, imate puno QSFP28 portova, želite smanjiti cijenu po serverskoj konekciji ili gradite prijelaznu 25G/100G tkaninu, koristeći QSFP28-to-4x SFP28 DAC, AOC iliMTP/MPO razvodni kablovizavisno od udaljenosti.

Kvaka je u tome što breakout troši QSFP28 portove. Ako QSFP28 komutator sa 32-porta dodijeli 16 portova za 4x25G breakout, tih 16 portova podržava 64 servera - ali samo 16 QSFP28 portova ostaje za uplinkove, pohranu, interkonekcije i rezervne. Opće pravilo je da se prvo broje portovi za prekid, a zatim preostalo za uplinkove.

Prije nego što se obavežete, potvrdite nekoliko stvari i rano odlučite da li svako trčanje treba biti aprtljažnik ili sklop za razbijanje:

• Koji portovi podržavaju razbijanje i postoje li ograničenja grupe{0}}portova?
• Da li omogućavanje breakout-a onemogućuje susjedne portove?
• Da li operativni sistem switch podržava režim koji vam je potreban?
• DAC, AOC ili breakout optika za svaku vožnju?
• Da li su sve četiri trake potrebne sada ili tek kasnije?
• Kako će proboj uticati na budući prelazak na izvorne 100G servere?

Napajanje, hlađenje i upravljanje kablovima

Tkanina od 100G proizvodi više od širine pojasa - proizvodi toplinu, opterećenje protoka zraka i gustinu kabla. Budžet za napajanje treba da pokrije šasije i ventilatore prekidača, QSFP28 optičke module (i DAC ili AOC gdje se koriste), redundantne izvore napajanja, kapacitet{4}}na nivou stalka i marginu rasta. Hlađenje treba da uzme u obzir topli- i hladni- raspored prolaza, konzistentan protok zraka sprijeda-na-pozadi ili nazad-prednji prema-prednjem dijelu zraka, slijepe ploče, opstrukciju kablova, ambijentalnu temperaturu i temperaturu modula-nadzor, jer je kičma stvarno prepuna termičkog opterećenja.

Kabliranje se brzo skalira: 16 listova do 4 bodlje je već 64 veze -do- kičme, od kojih svaka mora biti označena, usmjerena, testirana i dokumentirana. Punu-mrežastu tkaninu je mnogo lakše izgraditi i održavati sa unaprijed-završenimMPO/MTP trunk kabliranjenego sa poljem-završenim vlaknom. Timovi takođe treba da unapred dogovore konvencije o konektorima i polaritetima; thepraktične razlike između MTP i MPOvrijedi potvrditi prije narudžbe. Neuredna dokumentacija ne košta ništa prvog dana i mnogo tokom prvog prekida.

Dizajniranje za 400G nadogradnju

Dizajnirajte tkaninu sa realističnim putem nadogradnje. Ne treba vam 400G svugdje prvog dana, ali trebate izbjegavati izbore koji kasnije čine taj potez bolnim. Počnite razmišljati o spremnosti za 400G kada su uzlazne veze već jako opterećene, kada dodavanje više 100G spinova postaje nezgodno, kada se ECMP broj putanja približava ograničenjima platforme, ili kada se AI, skladištenje ili rast na istoku{5}}zapadu ubrzavaju.

Uobičajena strategija je da se prvo nadogradi kralježnica: listovi zadržavaju svoje 100G uplinkove dok veći-kičmeni stub - koristi portove kao što suQSFP-DD- dodaje prostor, često sa 400G portovima koji se razbijaju u 4x100G nazad prema postojećim listovima. Širu putanju postavlja industrija:Mapa puta Ethernet Alijansesada prolazi kroz 400G, 800G i dalje, uglavnom vođen AI. Kada procjenjujete prekidače, provjerite podržava li platforma brzine, optiku, načine prekidanja i softverske karakteristike koje će biti potrebne za faznu nadogradnju.

Kada 100G kičme-dizajn lista nije pravi izbor

Ovaj dizajn nije univerzalan, a nekoliko slučajeva zahtijeva nešto drugo. Pregršt servera u jednom ili dva stalka rijetko opravdava kompletnu-lisnu konstrukciju, gdje je par redundantnih prekidača jednostavniji i jeftiniji. Veoma veliki AI trenažni klasteri mogu prevazići ono što 100G pristup i 100G kičmeni materijal dobro rukuju, slijetajući na 400G ili 800G tkanine - ili čak namjensku InfiniBand mrežu - od samog početka. A ako je skoro sav saobraćaj usmjeren na sjever-jug do kapije, a ne na istok-zapad između regala, istočne-zapadne prednosti bodljikavog lista-manje su bitne, tako da topologiju treba opravdati rastom i operativnim osnovama, a ne pretpostaviti. Uskladite arhitekturu sa prometom i razmjerom, a ne obrnuto.

Uobičajene greške u dizajnu lista 100G-

• Brojanje QSFP28 portova dvaput.Port je ili 4x25G breakout ili 100G uplink, nikad oboje. Dajte svakom portu jednu ulogu.
• Odabir optike prema maksimalnom dosegu.Duži doseg povećava troškove i snagu; uskladiti optiku sa stvarnom udaljenosti i tipom vlakana.
• Ignorisanje N-1.Provjerite omjer tokom normalnog rada i nakon gubitka kičme.
• Zaboravljajući optičku snagu i toplotu.Kičma puna QSFP28 modula je pravo toplotno opterećenje, pa uključite optiku u matematiku za napajanje i hlađenje.
• Kabliranje se tretira kao naknadna misao.Usmjeravanje, označavanje, polaritet i dokumentacija pripadaju dizajnu, a ne instalaciji.
• Dizajniran samo za današnju brzinu servera.Ako pristup 25G pređe na 100G, ostavite mjesta za izvorni 100G ili 400G kičmu.

Zaključak

Dobar dizajn 100G spine-lista je zbir odluka donesenih prije nego što hardver stigne: definirajte radno opterećenje, ispravno brojite portove, izračunajte prekomjernu pretplatu iu normalnim i u uvjetima kvara, birajte optiku prema udaljenosti, namjerno planirajte proboj, budžet za napajanje i hlađenje i ostavite mjesta za 400G. Za većinu poslovnih centara podataka, 25G pristup sa 100G QSFP28 uplink-ima ostaje jaka ravnoteža između performansi, cijene i obima, dok skladištenje, AI i HPC jednostavno zahtijevaju manju pretplatu i strožu validaciju. Pouzdan pristup se ne menja: dizajnirajte od servera ka spolja, dokažite matematiku pod normalnim i N-1 uslovima i dokumentujte svaku vezu pre implementacije.