Potpuno tekućinom hlađen server za hladne ploče

 

Da bi dalje unapredio razvoj tehnologije tečnog hlađenja i sazreo ekosistem, Inspur Information se, u saradnji sa Intelom, fokusirao na optimizaciju dizajna tečnog hlađenja za servere visoke gustine opšte namene.

 

Pored široko rasprostranjenog industrijskog usvajanja tečnog hlađenja CPU-a i GPU-a, provedeno je dubinsko istraživanje i istraživanje o tekućem hlađenju za memoriju velike snage, SSD-ove, OCP mrežne kartice, PSU-ove, PCIe kartice i optički moduli.

 

Ovaj napor je rezultirao postizanjem najveće pokrivenosti tekućim hlađenjem u industriji, ispunjavanjem različitih zahtjeva za primjenom za različite razine pokrivenosti tekućim hlađenjem i pružanjem općih infrastrukturnih mogućnosti i raznolike tehničke podrške za korisnike u industrijama kao što su internet i telekomunikacije.

 

Ovaj razvoj potpuno tečno hlađenog sistema hladnih ploča zasnovan je na Inspur Information 2U računarskom serveru visoke gustine sa četiri čvora i24. Svaki čvor hlađen tekućinom podržava dva Intel Xeon skalabilna procesora 5. generacije, uparena sa 16 DDR5 memorijskih modula, jednom PCIe karticom za proširenje i jednom OCP 3.{10}} mrežnom karticom. Cijeli sistem može podržati do osam SSD-ova, zadovoljavajući potrebe kupaca za skladištenjem uz postizanje računarske snage visoke gustine.Glavne komponente servera koje stvaraju toplinu uključuju CPU, memoriju, I/O kartice, lokalne čvrste diskove i napajanje šasije.

 

Rešenje za tečno hlađenje omogućava da se približno 95% toplote sistema direktno ukloni tečnošću kroz kontakt hladne ploče sa izvorom toplote. Preostalih 5% toplote odvodi rashladna voda u izmenjivaču toplote vazduh-tečnost koji se nalazi iza PSU-a, postižući skoro 100% hvatanje toplote tečnosti na nivou sistema.

 

 

I Sastav sistema i raspored cjevovoda

 

1. Pregled potpuno tekućinom hlađenog serverskog sistema

2U četveročvorni potpuno hlađen tekućinom serverski sistem sastoji se od čvorova, šasije, srednje ravni i SSD modula. Veza između čvorova i komponenti šasije se ostvaruje preko slijepih veza za vodu, struju i signale putem brzih konektora, konektora za napajanje i signala.

 

▲ Slika 1. 2U Four-Node Full Wave Cooled Server

 

2. Pregled potpuno hlađenog tekućinom jednog čvora servera

Potpuno tekućinom hlađeni serverski čvor sastoji se od školjke čvora, matične ploče, CPU čipova, memorijskih modula, memorijske hladne ploče, CPU hladne ploče, I/O hladne ploče, napajanja i stražnjeg izmjenjivača topline za napajanje.

 

▲ Slika 2. Potpuno tekućinom hlađeni serverski čvor

 

 

II Izbor obrasca protoka i izračunavanje brzine protoka

 

Da bi se pojednostavila složenost dizajna putanje protoka, ovaj potpuno tekućinom hlađeni server koristi serijski dizajn putanje protoka za rashladnu tekućinu. Rashladna tečnost teče od komponenti male snage do komponenti velike snage radi odvođenja topline. Detaljan smjer protoka prikazan je na dijagramu i tabeli ispod.

 

▲ Putanja serije 2U servera sa četiri čvora potpuno hlađenog tekućinom

 

▲ Tabela 3. Redoslijed protoka medija za hlađenje

 

Brzina protoka potpuno tečnog-coovodioserver mispunjavamo zahtjeve sistema za hlađenje:

• Da bi se osigurala dugoročna pouzdanost materijala za cijevi sekundarne strane, temperatura povratne vode na sekundarnoj strani ne bi trebala prelaziti 65 stepeni.
• Kako bi se osiguralo da sve komponente potpuno tekućinom hlađenog servera ispunjavaju zahtjeve hlađenja unutar definiranih graničnih uvjeta, bakarna hladna ploča i PG25 su odabrani za analizu brzine protoka.

 

Da bi se ispunio zahtjev da temperatura povratne vode na sekundarnoj strani ne prelazi 65 stepeni, minimalni protok od PG25 po čvoru, Qmin, izračunava se pomoću sljedeće formule:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Dizajn ključnih komponenti potpuno hlađene tečnošću serverske hladne ploče

 

1. CPU Cold Plate dizajn

CPU modul hladne ploče je referentni dizajn optimizovan na osnovu Intelovih zahteva za dizajnom hladne ploče Xeon skalabilnog procesora 5. generacije. Uzima u obzir faktore kao što su hlađenje, strukturne performanse, stopa prinosa, cijena i kompatibilnost s različitim materijalima. CPU hladna ploča se prvenstveno sastoji od aluminijumskog nosača CPU hladne ploče, hladne ploče CPU-a i konektora za hladnu ploču.

 

▲ Slika 4. CPU Cold Plate modul

 

2. Dizajn tečnog hlađenja memorije

Dizajn tečnog hlađenja memorije usvaja inovativno rješenje za tečno hlađenje hladnjaka za spavanje, nazvano po memorijskim modulima koji su raspoređeni kao pragovi na željezničkoj pruzi. Ovo rješenje kombinuje tradicionalno zračno hlađenje i hladno pločasto hlađenje. Hladnjak, koji ima ugrađene toplotne cijevi (ili čiste aluminijske/bakrene ploče, komoru za isparavanje, itd.), prenosi toplinu sa memorijskih modula na oba kraja. Toplota se zatim prenosi na hladnu ploču kroz odabrane termalne jastučiće, i konačno, rashladna tečnost unutar hladne ploče odvodi toplotu, postižući hlađenje memorije.

 

Memorija i hladnjak se mogu sastaviti u najmanju jedinicu za održavanje izvan sistema (u daljem tekstu memorijski modul). Memorijska hladna ploča ima strukturu za fiksiranje memorijskog modula kako bi se osigurao dobar kontakt između hladnjaka i hladne ploče memorije. Ova struktura za pričvršćivanje može se učvrstiti vijcima ili održavati bez alata po potrebi. Gornji dio memorijske hladne ploče hladi memoriju, dok donji dio može hladiti druge komponente na matičnoj ploči koje stvaraju toplinu, kao što su VR. Da bi se pojednostavio dizajn hladne ploče za memoriju, može se dizajnirati nosač adaptera između memorije i matične ploče kako bi se zadovoljila ograničenja visine različitih matičnih ploča.

 

▲ Slika 5. Sleeper Heat Sink Liquid Cooling Solution

 

U poređenju sa postojećim rješenjima za tekuće hlađenje cijevne memorije na tržištu, rješenje za tekuće hlađenje hladnjaka za spavanje ima sljedeće glavne prednosti:

 

Lako održavanje:Održavanje memorije je jednostavno kao održavanje vazdušno hlađenog memorijskog modula, bez potrebe za uklanjanjem hladnjaka i zatvarača. Ovo uvelike poboljšava efikasnost montaže i pouzdanost tečno hlađene memorije, smanjujući potencijalno oštećenje memorijskih čipova i termalnih podloga tokom rastavljanja i ponovnog sastavljanja u sistemu.

 

Dobra kompatibilnost:Različite debljine memorijskog čipa i memorijski razmak ne utiču na performanse odvođenja toplote ovog rešenja. Kompatibilan je s minimalnim memorijskim razmakom od 7,5 mm i više. Razdvojeni dizajn hladnjaka i hladne ploče omogućava ponovnu upotrebu i standardizaciju tečnog hlađenja memorije.

 

Veća isplativost:Memorijski hladnjak se može odabrati na osnovu potrošnje energije memorije, s različitim procesima i tehnologijama hlađenja, a količina se može konfigurirati prema potrebi prema memoriji. U scenariju memorijskog razmaka od 7,5 mm, može zadovoljiti potrebe za hlađenjem memorijskih modula od preko 30 W.

 

Lakoća proizvodnje i montaže:Između memorijskih slotova nema cijevi za hlađenje tekućinom, eliminirajući potrebu za složenim zavarivanjem cijevi i kontrolom procesa. Mogu se koristiti tradicionalni zračno hlađeni hladnjak i opći procesi proizvodnje hladnih ploča CPU-a. Prilikom sastavljanja hladnjaka, performanse odvođenja topline nisu osjetljive na tolerancije između hladnjaka i matične ploče u smjeru okomitom na ravninu memorijskog čipa, izbjegavajući loš termalni kontakt i olakšavajući montažu.

 

Dobra pouzdanost:Rješenje za tečno hlađenje za spavanje izbjegava potencijalno oštećenje memorijskih čipova i termalnih jastučića tokom montaže i može izdržati višestruka umetanja i uklanjanja. Osim toga, sprječava rizik od otkazivanja kontakta signala uzrokovanog naginjanjem između memorije i slotova nakon instaliranja rješenja za tečno hlađenje memorije i cijevi, značajno poboljšavajući pouzdanost sistema.

 

3. Dizajn tekućeg hlađenja tvrdog diska

Inovativno rješenje za hlađenje tečnim čvrstim diskovima (SSD) koristi hladnjak sa ugrađenim toplotnim cijevima za prijenos topline od područja tvrdog diska na hladnu ploču izvan područja tvrdog diska kroz direktan kontakt sa termalnim jastučićima, postižući razmjenu topline.

 

Ovo rješenje za tekuće hlađenje SSD-a sastoji se uglavnom od SSD modula opremljenog hladnjakom, SSD hladnom pločom, mehanizmom za zaključavanje modula tvrdog diska i nosačem tvrdog diska. Mehanizam za zaključavanje modula tvrdog diska fiksiran je na nosač tvrdog diska kako bi se osigurala odgovarajuća sila prednaprezanja, osiguravajući dugoročnu pouzdanost kontakta između SSD modula i SSD hladne ploče. Da bi se olakšala instalacija petlje za hladnu ploču tvrdog diska u skučenom prostoru, nosač tvrdog diska je dizajniran sa metodom ugradnje tipa ladice u smjeru dubine servera.

 

▲ Slika 6. Inovativno rešenje za tečno hlađenje SSD uređaja

 

Napredne karakteristike ovog rješenja u poređenju sa postojećim pokušajima tekućeg hlađenja tvrdog diska u industriji uključuju:

 

• Podržava više od 30 hot-swap-ova bez isključivanja sistema.
• Nema rizika od smicanja oštećenja materijala termičkog interfejsa tokom instalacije čvrstog diska; dizajn mehanizma za zaključavanje osigurava dugoročnu pouzdanost kontakta.
• Niski zahtjevi za obradu tečnog rashladnog rješenja; potrebne su samo tradicionalne tehnike hlađenja zraka i CPU hladne ploče.
• Bez vodenog dizajna između tvrdih diskova; više tvrdih diskova može dijeliti istu hladnu ploču, smanjujući broj spojeva i smanjujući rizik od curenja.
• Fleksibilno se prilagođava sistemima sa različitim debljinama i količinama SSD diskova (SSD).

 

4. Dizajn tečnog hlađenja PCIe/OCP kartice

 

PCIe rješenje za tekuće hlađenje

Rješenje za tekuće hlađenje PCIe kartice je bazirano na postojećoj PCIe kartici sa vazdušnim hlađenjem. Postiže hlađenje za optički modul i glavne čipove na PCIe kartici razvojem modula za hlađenje PCIe kartice koji može kontaktirati hladnu ploču sistema. Toplota sa optičkog modula se prenosi preko toplotnih cevi do glavnog rashladnog modula na čipu PCIe kartice, a modul za hlađenje zatim razmenjuje toplotu sa IO hladnom pločom preko odgovarajućeg termalnog materijala interfejsa.

 

Tečno hlađena PCIe kartica sastoji se uglavnom od QSFP hladnjaka, modula za hlađenje PCIe čipa i same PCIe kartice. QSFP kopča hladnjaka je dizajnirana sa odgovarajućom elastičnošću kako bi se osiguralo pravilno plutanje kada su QSFP hladnjak i kavez na PCIe modulu za hlađenje spojeni, pružajući dobro korisničko iskustvo, izbjegavajući oštećenje optičkog modula i osiguravajući stabilan kontakt za efikasno hlađenje.

 

▲ Slika 7. Modul za tečno hlađenje PCle kartice

 

OCP3.{1}} Rješenje za hlađenje tekućinom

Rješenje za tečno hlađenje kartice OCP3.0 je slično PCIe kartici, gdje se za OCP3.{4}} karticu koristi prilagođeni hladnjak hlađen tekućinom. Toplota koju generiraju čipovi na kartici prenosi se na hladnjak hlađen tekućinom, a toplina se konačno raspršuje kroz kontakt između hladnjaka i IO hladne ploče sistema.

 

OCP3.{1}} modul za tečno hlađenje se uglavnom sastoji od modula hladnjaka, OCP3.0 kartice i njenog nosača. Zbog ograničenja prostora, opružni vijak se koristi kao mehanizam za zaključavanje kako bi se osigurala dugoročna pouzdanost kontakta između modula hladnjaka i IO hladne ploče nakon sklapanja tečno hlađene OCP3.0 kartice.

 

▲ Slika 8. OCp3.0 Modul za hlađenje tekućinom

 

Uzimajući u obzir lakoću budućeg održavanja i potrebu za višestrukim zamjenama OCP3.0 kartice, dizajn mehanizma za zaključavanje i izbor materijala termičkog interfejsa optimizirani su kako bi se poboljšala ukupna pouzdanost i jednostavnost rada i održavanje.

 

IO Cold Plate Solution

IO hladna ploča je višenamjenska hladna ploča koja ne samo da odvodi toplinu iz grijaćih komponenti unutar IO područja matične ploče, već i hladi tekućinom hlađenu PCIe karticu i tekućinom hlađenu OCP3.0 karticu.

 

▲ Slika 9. lO hladna ploča

 

▲ Slika 10. Položaj PCle kartice hlađene tekućinom, OCP3.0 hlađene tekućinom i IO hladne ploče

 

IO hladna ploča se prvenstveno sastoji od tijela IO hladne ploče i kanala bakarne cijevi. Telo IO hladne ploče napravljeno je od legure aluminijuma, dok su bakarne cevi odgovorne za kanale rashladnog fluida i povećanje odvođenja toplote. Specifičan dizajn treba optimizirati na osnovu rasporeda matične ploče i zahtjeva za hlađenjem komponenti. Moduli hladnjaka na tečno hlađenoj PCIe kartici i tečno hlađenoj OCP3.0 kartici kontaktiraju IO hladnu ploču duž smjera strelice. Odabir materijala za kanale rashladnog fluida treba uzeti u obzir kompatibilnost sa rashladnim fluidom sistema i materijalima za vlaženje.

 

Ovo IO rješenje za hlađenje tečnom pločom zadovoljava višedimenzionalne zahtjeve za montažom više komponenti. Kombinovana upotreba bakra i aluminijuma rešava probleme kompatibilnosti materijala, obezbeđuje efikasnost hlađenja, pomaže u smanjenju težine hladne ploče za 60% i smanjuje troškove.

 

5. Dizajn hladne ploče napajanja

Rješenje za tečno hlađenje izvora napajanja uključuje hlađenje izduvnog zraka ventilatora PSU spajanjem vanjskog izmjenjivača toplote vazduh-tečnost na postojeće vazdušno hlađeno napajanje, čime se smanjuje sistemsko predgrijavanje okruženja eksternog data centra.

 

Stražnji izmjenjivač topline PSU ima višeslojnu strukturu, sa kanalima i rebrima naslaganim jedan na drugi. Veličina stražnjeg izmjenjivača topline PSU mora uravnotežiti zahtjeve za hlađenjem, težinu i cijenu, istovremeno osiguravajući da ne ometa funkciju umetanja/uklanjanja kabla za napajanje i da zadovoljava prostorna ograničenja sistemskog ormarića. Stražnji izmjenjivač topline PSU je nezavisno montiran na nosač čvora.

 

▲ Slika 11. Stražnji izmjenjivač topline PSU

 

Ovo inovativno rješenje za hlađenje tekućinom za napajanje eliminira potrebu za razvojem novih izvora napajanja s tekućim hlađenjem, skraćujući razvojni ciklus i smanjujući troškove razvoja. Njegova izvrsna svestranost omogućava mu da se fleksibilno prilagodi rješenjima za napajanje od više dobavljača, štedeći više od 60% u usporedbi s prilagođenim izvorima napajanja hlađenim tekućinom.

 

Za aplikacije koje uključuju čitave ormare, tečno hlađenje napajanja također može koristiti centralizirano rješenje izmjenjivača topline zrak-tečnost. Ovo uključuje zaptivanje prednjih i stražnjih vrata ormarića i postavljanje centraliziranog izmjenjivača topline zrak-tečnost na dnu ormarića, zamjenjujući distribuiranu strukturu izmjenjivača topline zrak-tečnost iza PSU-a centraliziranom.

 

Centralizovani izmenjivač toplote vazduh-tečnost sastoji se od aluminijumskih rebrastih rebara obloženih hidrofilnim slojem za poboljšanje razmene toplote, u kombinaciji sa bakrenim cevima sa visokim koeficijentom prenosa toplote. Može da obezbedi najmanje 8 kW rashladnog kapaciteta sa temperaturnom razlikom od 10 stepeni. Putanja protoka izmjenjivača topline optimizirana je simulacijom kako bi se izdržao veći protok uz niski otpor. Odlikuje ga dizajn protiv kondenzacije i sveobuhvatna detekcija curenja radi eliminisanja sigurnosnih rizika. Specijalni dizajn šarki zadovoljava zahtjeve za visokim opterećenjem, a dizajn veze za karticu i utor olakšava instalaciju i održavanje.

 

Sa više od 95% toplote iz jednog servera hlađenog tečnošću kojim upravlja hladna ploča, manje od 5% toplote treba da se nosi preko izmenjivača toplote vazduh-tečnost. Svaki čvor zahtijeva samo 40-50W razmjene topline zrak-tečnost, a jedan centralizovani izmenjivač toplote vazduh-tečnost podržava 8kW kapaciteta razmene toplote, omogućavajući hlađenje za ne manje od 150 čvorova, po ceni daleko nižoj od 150 distribuiranih izmjenjivači topline zrak-tečnost.

 

Ovo rešenje omogućava da izvori napajanja servera ostanu nepromenjeni, pri čemu se proizvedena toplota ujednačeno sakuplja i razmenjuje preko centralizovanog izmenjivača toplote vazduh-tečnost na zadnjoj strani kabineta. Toplota formira samostalnu cirkulaciju unutar kabineta, bez uticaja na okruženje data centra, čime se zaista postiže „Rack kao računar“.