Primjena servera hlađenih tekućinom u podatkovnim centrima

 

Posljednjih godina industrije aktivno promiču digitalnu transformaciju, a kineska digitalna ekonomija ubrzano raste, s računarskom snagom koja daje novi zamah u ekonomski i društveni razvoj. Kako bi se zadovoljila sve veća potražnja za računarskom snagom, razmjere podatkovnih centara brzo rastu širom zemlje. Do kraja 2023. godine, ukupan broj rackova u upotrebi u kineskim data centrima premašio je 8,1 milion standardnih rekova, a ukupna računarska snaga dostigla je 230 EFLOPS, što je drugo na globalnom mestu. Sa širenjem računarske snage, potrošnja električne energije u podatkovnim centrima također se brzo povećava.

 

Prema "Bijeloj knjizi o razvoju industrije kineskih podatkovnih centara (2023.)", očekuje se da će do 2025. nacionalna potrošnja električne energije u podatkovnim centrima dostići 1,2×10¹¹ kW•h, a ukupna emisija ugljika će biti oko 100 miliona tona, što čini oko 1,23% ukupnog nacionalnog. Kako bi implementirala "ugljični maksimum i neutralnost ugljika", vlada je izdala niz politika za promoviranje uštede energije i smanjenja potrošnje u podatkovnim centrima, pri čemu su zahtjevi PUE (Efektivnost upotrebe energije) brzo evoluirali na ispod 1,3, pa čak i 1,25. Tradicionalne tehnologije hlađenja u podatkovnim centrima postepeno ne uspijevaju zadovoljiti ove nove zahtjeve.

 

Istovremeno, kako gustina računarske snage pojedinačnih čipova nastavlja da raste, vazdušno hlađenje je postepeno postalo usko grlo, a pojava opreme velike snage kao što su AI serveri pogoršala je problem nedostatka prostora u kabinetu. Pod dvostrukim pritiskom nacionalnih politika ugljika i povećanjem gustine računarske snage čipova, uvođenje tehnologije hlađenja tekućinom postaje sve hitnije.

 

 

I Prednosti tehnologije hlađenja tekućinom

 

U poređenju sa tradicionalnim vazdušnim hlađenjem, tečno hlađenje može značajno poboljšati efikasnost hlađenja i operativnu pouzdanost, uz dobru prilagodljivost okolini i smanjeno zauzimanje zemljišta.

 

1. Smanjenje potrošnje energije opreme i podrška uštedi energije i smanjenju ugljika

U eri digitalne ekonomije, potražnja za računarskom snagom brzo raste, zajedno sa široko rasprostranjenom primjenom 5G, što pokreće razvoj informacijske infrastrukture. Ovo je značajno povećalo potrošnju električne energije i emisije ugljika u podatkovnim centrima. Tečno hlađenje može smanjiti PUE centra podataka na oko 1,1–1,2, efektivno smanjujući potrošnju energije i emisije ugljika. Na primjer, za 100 20kW tečno hlađene police, smanjenje PUE sa 1,45 na 1,15 može uštedjeti više od 10⁷ kW•h električne energije godišnje, uštedjeti preko 7 miliona juana u troškovima električne energije i smanjiti emisije ugljika za 6,{{ 14}} tona. Dodatno, okruženja za tečno hlađenje mogu smanjiti ili eliminirati ventilatore, dodatno smanjujući potrošnju energije servera.

 

2. Produženje vijeka trajanja opreme i smanjenje pritiska održavanja

Prema pravilu od 10 stepeni za čipove, životni vek komponenti se smanjuje za oko 50% za svakih 10 stepeni povećanja temperature. Tečno hlađenje može efikasno smanjiti temperaturu CPU spoja za preko 10 stepeni (temperatura spoja je stvarna radna temperatura poluprovodnika u elektronskim uređajima), produžavajući životni vek servera. U poređenju sa tradicionalnim vazdušnim hlađenjem, tečno hlađenje uronjavanjem može ukloniti ventilatore, smanjiti buku i prašinu i ima nižu stopu termičkih kvarova. Podaci pokazuju da je stopa kvarova tvrdih diskova u okruženjima sa hlađenjem uronjenjem oko 50% niža nego u okruženjima hlađenim zrakom. Smanjenje stope otkazivanja servera i produženje životnog vijeka servera mogu značajno poboljšati stabilnost poslovanja i smanjiti pritisak održavanja.

 

3. Dobra prilagodljivost okolini i visoka stopa raspoređivanja stalka

Tradicionalni zračno hlađeni regali imaju visoke zahtjeve za okoliš i na njih značajno utiču vanjski faktori okoline. Stalci hlađeni tekućinom imaju niske zahtjeve za okoliš i mogu održavati stabilan PUE u regijama s velikim temperaturnim razlikama. Stalci hlađeni tekućinom imaju visoku gustinu implementacije, otprilike 3-4 puta veću od tradicionalnih zračno hlađenih rekova, štedeći oko 75% prostora u podatkovnom centru za istu računarsku snagu. Centri podataka hlađeni tekućinom mogu eliminirati klimatizaciju i smanjiti potrebu za rashladnim jedinicama, dodatno štedeći prostor.

 

 

II Putevi tehnologije hlađenja tekućinom

 

Serveri hlađeni zrakom koriste zrak kao medij za prijenos topline, dok serveri hlađeni tekućinom koriste tekućine kao što su voda ili fluorirane tekućine. Zbog razlike u gustini, specifičnom toplotnom kapacitetu i toplotnoj provodljivosti, kapacitet hlađenja tečnosti pri istoj brzini protoka može biti i do 3.500 puta veći od rashladnog kapaciteta vazduha. Visoko efikasno hlađenje tečnog hlađenja može značajno povećati gustinu postavljanja servera, smanjujući zauzetost prostora u racku i prostoriji.

 

Tehnologije hlađenja tekućinom mogu se podijeliti na beskontaktno tečno hlađenje i kontaktno hlađenje tekućinom na osnovu načina na koji rashladna tekućina stupa u interakciju s izvorima topline.

 

1. Beskontaktno hlađenje tekućinom

Beskontaktno tečno hlađenje se prvenstveno odnosi na hlađenje hladnim pločama, gde tečnost teče kroz hladne ploče kako bi raspršila toplotu iz komponenti kao što su CPU/GPU/VRD/DIMM, rashladni delovi servera. Tečnost u tečnom hlađenju hladne ploče ne dolazi u direktan kontakt sa izvorom toplote.

 

Sa svojim većim specifičnim toplotnim kapacitetom i toplotnom provodljivošću, tečno hlađenje hladnim pločama može smanjiti potrošnju energije za 60%–90% u poređenju sa tradicionalnim vazdušnim hlađenjem i smanjiti PUE centara podataka na oko 1,2. Tečno hlađeni serveri s hladnom pločom koriste tradicionalnu montažu u stalke, čineći naknadnu ugradnju postojećih podatkovnih centara relativno jednostavnom i isplativom. Međutim, kako se tečno hlađenje primjenjuje samo na određene komponente koje se zagrijavaju, neki ventilatori su i dalje potrebni, a klima uređaj je potreban za hlađenje drugih komponenti na serveru koje nisu hlađene tekućinom.

 

Tečno hlađenje toplotnih cevi takođe spada u beskontaktno tečno hlađenje, prenoseći toplotu sa komponenti poput CPU-a iz servera kroz toplotne cevi, koja se zatim raspršuje cirkulišućom vodom. Prvenstveno koristi vodu, rashladna sredstva i tekućine na bazi alkohola, iako ima ograničenu trenutnu primjenu.

 

2. Kontaktirajte Liquid Cooling

 

2.1 Tečno hlađenje potapanjem

Kod hlađenja tečnim uronjavanjem, cijeli server je potopljen u rashladnu tečnost, pri čemu rashladna tečnost direktno kontaktira server. Cirkulirajući tok ili kondenzacija isparavanja rashladne tekućine uklanja toplinu. Obično se koriste neprovodne, nekorozivne tekućine poput mineralnog ulja, silikonskog ulja ili fluoriranih tekućina.

 

Kod tečnog hlađenja uronjavanjem, sve komponente koje stvaraju toplotu odvode toplotu kroz tečno hlađenje, omogućavajući potpuno uklanjanje ventilatora i eliminišući potrebu za klimatizacijom u data centru. U poređenju sa tečnim hlađenjem sa hladnom pločom, tečno hlađenje uronjavanjem obezbeđuje bolji prenos toplote, uštedu energije i smanjenje buke, potencijalno smanjujući PUE na 1,1 ili niže. Međutim, imerzijsko hlađenje često zahtijeva primenu u obliku kutije, sa nižom gustinom implementacije od tečnog hlađenja s hladnom pločom, a naknadna ugradnja prateće infrastrukture je složenija i skuplja. Serveri hlađeni tekućinom potapanjem također podržavaju samo SSD diskove i diskove punjene helijumom, a optički konektori i kablovi moraju biti zapečaćeni ili prilagođeni za otpornost na koroziju.

 

Na osnovu toga da li rashladna tečnost prolazi kroz faznu promenu, hlađenje imersionom tečnošću se može podeliti na jednofazno i ​​hlađenje sa promenom faze. Kod jednofaznog hlađenja potapanjem, tekućina ne mijenja fazu, uklanjanjem topline kroz temperaturu se povećava, i ostaje u tečnom obliku tokom cijelog ciklusa hlađenja. Kod hlađenja s promjenom faze, tečnost isparava nakon zagrijavanja, odvodeći toplinu u svom plinovitom stanju, i hladi se nazad u tečni oblik pomoću kondenzatora, gdje teče natrag u komoru gravitacijom, dovršavajući ciklus hlađenja.

 

2.2 Raspršivanje tekućine za hlađenje

Tečno hlađenje raspršivanjem uključuje raspršivanje rashladne tečnosti sa vrha šasije servera kroz modul za raspršivanje, pri čemu se toplota prenosi konvekcijom između rashladne tečnosti i hladnjaka, hlađenje svih komponenti servera koje stvaraju toplotu. Toplota se zatim odvodi kroz izmjenjivač topline. Neprovodne, nekorozivne tečnosti kao što su mineralno ulje i fluorisane tečnosti se obično koriste kao rashladne tečnosti.

 

Kao i uranjajuće hlađenje, raspršivanje tekućine može u potpunosti ukloniti ventilatore servera, eliminirajući potrebu za klimatizacijom u podatkovnim centrima, sa PUE smanjenim na oko 1,1. Za razliku od imerzionog hlađenja, serveri hlađeni tekućinom sprejom obično koriste postavljanje u blade stilu, što zahtijeva modifikacije stalka i šasije servera. Hlađenje raspršivanjem ima manju potrošnju rashladne tečnosti i troškove održavanja.

 

3. Poređenje tehnologija hlađenja tekućinom

Pogledajte tabelu 1 za poređenje različitih tehnologija hlađenja tekućinom.

 

▲ Tehnologija hlađenja tekućinom

 

Uzimajući u obzir faktore kao što su početni troškovi ulaganja, mogućnost održavanja, efikasnost PUE-a i zrelost industrije, tečno hlađenje hladnom pločom i jednofazno tečno hlađenje potapajući su u prednosti od drugih tehnologija hlađenja tekućinom, postajući glavna rješenja u industriji. Tečno hlađenje hladnim pločama omogućava nesmetan prelazak sa tradicionalnih modela sa vazdušnim hlađenjem i ima širu primenu u data centrima. Sljedeća analiza će se prvenstveno fokusirati na hlađenje tekućine hladne ploče.

 

 

III Glavne komponente tekućeg hlađenja hladnih ploča

 

Glavne komponente sistema za hlađenje tečnim pločama koje su u bliskoj interakciji sa IT opremom su prvenstveno na sekundarnoj strani, uključujući rashladnu tečnost, brze konektore i jedinicu za distribuciju hlađenja (CDU).

 

1. Rashladna tečnost

Trenutni industrijski izbori za rashladne tečnosti uključuju rastvore etilen glikola, rastvore propilen glikola i dejonizovanu vodu. Otopine etilen glikola i propilen glikola su industrijski standardni proizvodi i lako su dostupni, a etilen glikol je isplativiji. Dejonizovana voda ima dobra svojstva prenosa toplote, nije toksična i sigurna, ali zahteva uzimanje u obzir antifriza na 0 stepenu.

 

Rashladne tekućine moraju biti dopunjene inhibitorima korozije i biocidima kako bi se spriječio rast bakterija koji mogu uzrokovati blokade ili curenja. Preporučuje se koncentracija od 20% – 30%, jer previsoke koncentracije mogu utjecati na rasipanje topline, dok preniske koncentracije mogu smanjiti sposobnost rashladnog sredstva da spriječi smrzavanje i inhibira rast mikroba.

 

2. Brzi konektori

Brzi konektori povezuju modul hladne ploče u serverima hlađenim tekućinom s razdjelnikom u stalku hlađenom tekućinom. Postoje dvije vrste brzih konektora: ručni brzi konektori i brzi konektori za slijepo spajanje. Ručni konektori zahtijevaju veću vještinu osoblja za održavanje, pri čemu uključivanje i isključivanje ovisi o ručnom radu osoblja centra podataka, što olakšava odvajanje servera od stalka. Blind-mate konektorinemaju posebne operativne zahtjeve i automatski se povezuju tokom umetanja servera u stalak hlađen tekućinom. Brzi konektori moraju imati jaku otpornost na koroziju i minimalan gubitak tekućine kada se odvoje kako bi se spriječilo izlijevanje rashladne tekućine.

 

3. Jedinica za distribuciju hlađenja (CDU)

CDU je sistem koji se koristi za distribuciju rashladne tečnosti između servera sa tečnim hlađenjem, obezbeđujući sekundarnu distribuciju bočnog protoka, kontrolu pritiska, fizičku izolaciju i karakteristike protiv kondenzacije. Također može izolirati primarnu i sekundarnu stranu kako bi se prilagodili različitim zahtjevima kvaliteta vode. Na osnovu svog oblika i lokacije postavljanja, CDU se može klasificirati na centralizirane i distribuirane CDU-ove.

 

Centralizovani CDU je obično povezan sa više serverskih ormara, obezbeđujući kapacitet hlađenja za nekoliko serverskih ormara istovremeno. Višestruki CDU klasteri mogu postići N+M redundantnost, nudeći visoku pouzdanost i čineći ga pogodnim za široku implementaciju tečno hlađenih serverskih ormara. Distribuirani CDU, koji ne zahtijeva sekundarni cjevovod, osigurava hlađenje samo za servere u svom vlastitom ormariću i ne može ponuditi redundantnost između kabineta, čime ima manju pouzdanost u odnosu na centralizirani CDU. Poređenje centralizovanih i distribuiranih CDU može se naći u tabeli 2.

 

▲ Poređenje između centraliziranog CDU-a i distribuiranog CDU-a

 

 

IV Tehnički zahtjevi za servere i ormare hlađene tekućinom hladnim pločama

 

1. Tehnički zahtjevi servera

Dizajn servera sa hladnom pločom tečnim hlađenjem mora zadovoljiti tehničke zahtjeve navedene u tabeli 3.

 

▲ Zahtjevi dizajna servera za tečno hlađenje hladne ploče

 

Pored ispunjavanja različitih zahtjeva navedenih u tabeli, dizajn servera sa hladnim hlađenjem tekućinom također mora biti u skladu sa zahtjevima dizajna za tradicionalne servere sa zračnim hlađenjem, uključujući komponente kao što su CPU, memorija, tvrdi diskovi i matična ploča.

 

2. Tehnički zahtjevi kabineta

U scenarijima tekućeg hlađenja, povezanost između servera i ormara je velika. Konstrukcija ormara hlađenih tekućinom mora ispunjavati tehničke zahtjeve navedene u tabeli 4.

 

▲ Ormari hlađeni tekućinom

 

Osim ispunjavanja zahtjeva navedenih u tabeli, dizajn ormara hlađenih tekućinom mora također biti usklađen sa zahtjevima dizajna za tradicionalne zračno hlađene ormare, kao što su transport i instalacija, kabliranje unutar ormara i funkcionalno pregrađivanje.

 

 

V. Promjene koje donosi uvođenje hlađenja tekućinom u podatkovne centre

 

Kada se u podatkovne centre uvedu tečno hlađeni serveri, doći će do promjena u pratećoj infrastrukturi, radu i održavanju, kao i modelima isporuke.

 

1. Infrastruktura za podršku

Uvođenje servera hlađenih tekućinom povećava gustinu implementacije, što postavlja veće zahtjeve za nosivost data centra. Osim toga, promjene se dešavaju u područjima kao što su visina podignutih podova, napajanje i prostor za održavanje. Promjene u pratećoj infrastrukturi prikazane su u tabeli 5.

 

▲ Podržavanje infrastrukturnih promjena

 

2. Operacije i održavanje

Trenutno su serveri hlađeni tekućinom uglavnom prilagođeni za implementaciju, koji se razlikuju od tradicionalnih servera hlađenih zrakom u smislu kompatibilnosti komponenti, metoda implementacije i alata za održavanje. Specifične razlike prikazane su u tabeli 6.

 

▲ Promjene u radu i održavanju

 

3. Modeli isporuke

Tečno hlađenje u podatkovnim centrima uključuje povezivanje između primarnog rashladnog sistema, sekundarnog sistema hlađenja, CDU-a, ormara hlađenih tekućinom i servera hlađenih tekućinom. Nivo standardizacije je nizak, a kompatibilnost između različitih proizvođača ograničena. Na osnovu sadržaja isporuke, trenutno postoje tri modela isporuke za servere hlađene tekućinom, kao što je prikazano u Tabeli 7.

 

 

▲ Modeli isporuke

 

Prilikom uvođenja sistema tečnog hlađenja u centre podataka, moraju se uzeti u obzir faktori kao što su zrelost industrije, lakoća održavanja i vremenski rokovi izgradnje. U početnim fazama može se smatrati da model 2 ili model 3 stječe iskustvo u izgradnji i održavanju. Vremenom, standardizacija interfejsa između primarnog sistema, sekundarnog sistema, CDU-a, ormara hlađenih tekućinom i servera hlađenih tekućinom može se postepeno promovirati, napredujući prema Modelu 1.

 

 

VI Zaključak

 

Uvođenje tečno hlađenih servera u podatkovne centre može značajno smanjiti PUE vrijednosti, poboljšati stabilnost rada opreme i dostupnost poslovanja, povećati gustinu instalacije servera, smanjiti korištenje zemljišta u podatkovnim centrima i postići uštedu energije i smanjenje ugljika. Uz to, sve veća gustoća snage čipova i postepeno uvođenje opreme velike snage kao što su AI serveri pružaju još veće mogućnosti za usvajanje tečnog hlađenja, koje postepeno postaje važno rješenje za hlađenje podatkovnih centara.

 

Međutim, standardizacija tekućeg hlađenja je relativno niska, s različitim proizvođačima koji rade nezavisno. Spoj između servera hlađenih tekućinom i ormara hlađenih tekućinom je posebno visok, tako da je naknadna standardizacija relevantnih interfejsa neophodna. Vremenom je važno postići slijepo spajanje vode, struje i mrežnih sučelja, čineći tečno hlađenje ne samo funkcionalnim već i jednostavnim za korisnika, u potpunosti realizirajući svoju ulogu u dvostrukim ciljevima ugljika.