Tečno hlađenje - Tehnologija hlađenja sljedeće generacije za podatkovne centre i serverske klastere

 

I Pregled industrije hlađenja tekućinom

 

1. Istorija razvoja tečnog hlađenja

Što se tiče istorije servera sa tečnim hlađenjem, IBM je 1967. godine postao prvi koji je razvio System360 računar sa sistemom za hlađenje hladnom vodom.

 

Iako se kineska industrija tekućeg hlađenja razvila relativno kasno, njena tehnologija je brzo napredovala. Godine 2011. Sugon je bio pionir u industriji hlađenja tekućinom u Kini. U narednih pet godina kineske kompanije kao što su Huawei, Inspur i Sugon počele su da ulaze na tržište i povećavaju proizvodnju. Od 2019. godine tehnologija tekućeg hlađenja je napravila značajan napredak među velikim proizvođačima.

 

▲ Istorija razvoja industrije tečnog hlađenja u zemlji i inostranstvu

 

2. Industrijski lanac servera hlađen tekućinom

Industrijski ekosistem tekućeg hlađenja obuhvata uzvodni, srednji i nizvodni sektor, uključujući uzvodne dobavljače komponenti, dobavljače servera sa tekućim hlađenjem u srednjem toku i korisnike računarskih moćnih korisnika.

Upstream: Uglavnom dobavljači komponenti proizvoda i opreme za tečno hlađenje, kao što su brzi konektori, CDU-ovi, elektromagnetni ventili, rezervoari za hlađenje uronjene tekućine, razdjelnici i rashladne tekućine.

 

srednji tok:Prvenstveno tečno hlađeni proizvođači servera i čipova, kao i integrirani objekti, moduli i ormari za tečno hlađenje.

 

nizvodno:Uključuje tri glavna telekom operatera, internet kompanije kao što su Baidu, Alibaba, Tencent i JD, kao i klijente u informatičkoj industriji za telekomunikacije, internet, vladine, finansijske, transportne i energetske aplikacije.

 

▲ Industrijski lanac servera za hlađenje tečnosti

 

 

II Osnovni koncepti hlađenja tekućinom

 

1. Klasifikacija tehnologije hlađenja tekućinom

Tečno hlađenje koristi tečnost kao rashladnu tečnost, cirkulišući je za prenos toplote sa unutrašnjih komponenti IT opreme u data centrima ka spoljašnjosti, obezbeđujući bezbedan rad.

 

Prednosti tečnog hlađenja:Nudi ultra-visoku efikasnost i gustinu toplote, efikasno odvodi toplotu i na njega ne utiču nadmorska visina, geografija ili temperatura.

 

Trenutno postoje tri glavna tipa tehnologije hlađenja tekućinom: tečno hlađenje s hladnom pločom, hlađenje raspršivanjem i hlađenje tekućinom potapanjem.

 

▲ Klasifikacija tehnologija hlađenja tekućinom

 

2. Poređenje tri tehnologije hlađenja tekućinom - hladno hlađenje tekućinom

Tečno hlađenje s hladnom pločom koristi zatvorenu šupljinu napravljenu od metala koji provode toplinu (poput bakra ili aluminija) za indirektan prijenos topline sa komponenti koje stvaraju toplinu na tekući rashladni fluid koji cirkulira u zatvorenoj petlji. Sistem se obično sastoji od rashladnog tornja, CDU-a, primarnih i sekundarnih cjevovoda za tečno hlađenje, rashladne tekućine i tečno hlađenih ormara. Ormari hlađeni tekućinom sadrže komponente kao što su hladne ploče, unutrašnje cijevi, konektori za tekućinu i razdjelnici.

 

Tečno hlađenje hladnim pločama, kao beskontaktna metoda hlađenja tekućinom, ima iza sebe više od 10 godina istraživanja i najzrelija je tehnologija među tri glavna rješenja za hlađenje tekućinom. To je efikasna aplikacija za postavljanje opreme velike snage, poboljšanje energetske efikasnosti, smanjenje operativnih troškova hlađenja i smanjenje ukupnih troškova vlasništva (TCO). Međutim, budući da ne postiže 100% hlađenje tekućinom, manje je efikasan kada je potrošnja energije ormarića niska ili je udio tekućinog hlađenja minimalan. Osim toga, dizajn hladnih ploča mora uzeti u obzir postojeće rasporede komponenti, čineći strukturalni dizajn i implementaciju složenijim, a standardizaciju teže promovirati.

 

▲ Principijelni dijagram sistema za hlađenje tečnim pločama

 

3. Poređenje tri tehnologije hlađenja tekućinom - hlađenje tekućinom potapanjem

Uranjanje tečno hlađenje uključuje potpuno uranjanje komponenti koje stvaraju toplinu u rashladno sredstvo, omogućavajući direktan kontakt između komponenti i rashladnog sredstva radi razmjene topline. Spoljne komponente sistema uključuju rashladni toranj, primarni cevovod i primarno rashladno sredstvo, dok unutrašnje komponente uključuju CDU, komoru za uranjanje, IT opremu, sekundarni cevovod i sekundarno rashladno sredstvo. Budući da je IT oprema potpuno uronjena u sekundarno rashladno sredstvo, moraju se koristiti neprovodne tekućine kao što su mineralno ulje, silikonsko ulje ili fluorirane tekućine.

 

U zavisnosti od toga da li dolazi do promene faze tokom razmene toplote, imersiono tečno hlađenje se može podeliti na dva tipa:

 

1) Monofazno hlađenje potapanjem:Sekundarna rashladna tečnost podleže promeni temperature samo tokom prenosa toplote, bez promene faze, a toplota se u potpunosti prenosi putem osetljive toplote.

2) Dvofazno hlađenje potapanjem:Sekundarna rashladna tečnost prolazi kroz faznu promenu tokom prenosa toplote, koristeći latentnu toplotu za prenos toplote.

 

U poređenju sa tradicionalnim vazdušnim hlađenjem i tečnim hlađenjem sa hladnom pločom, tečno hlađenje uronjavanjem nudi prednosti kao što su ušteda energije (PUE < 1,13), kompaktnost, visoka pouzdanost i niska buka. Međutim, on se takođe suočava sa izazovima kao što su ograničenja izbora komponenti, ograničenja održavanja i specifični zahtevi za okruženje prostorija.

 

▲ Dvofazno uranjajuće hlađenje

 

4. Poređenje tri tehnologije hlađenja tekućinom - hlađenje raspršivanjem

Hlađenje raspršivanjem je metoda direktnog kontakta gdje se rashladna tečnost precizno raspršuje na komponente na nivou strugotine kroz gravitaciju ili sistemski pritisak, hlađenje komponenti koje stvaraju toplotu ili toplotno provodnih elemenata povezanih sa njima. Sistem se obično sastoji od rashladnog tornja, CDU-a, primarnih i sekundarnih cjevovoda za hlađenje tekućine, rashladne tekućine i ormara hlađenih sprejom. Ormari hlađeni raspršivanjem obično sadrže sistem cjevovoda, sistem za distribuciju tekućine, module za prskanje i povratni sistem.

 

Hlađenje raspršivanjem takođe postiže 100% tečno hlađenje, a njegova struktura je inovativnija od hlađenja potapanjem. Međutim, njegove performanse uštede energije su inferiornije u odnosu na hlađenje tečnim uronjavanjem, a ima slična ograničenja sa imerzijskim hlađenjem.

 

▲ Hlađenje sprejom

 

5. Poređenje tri tehnologije hlađenja tekućinom

 

▲ Poređenje metoda tekućeg hlađenja data centra

 

 

III Pokretači razvoja industrije hlađenja tekućinom

 

1. Nalet volumena podataka pokreće kontinuiranu nadogradnju računarske snage

Globalni obim podataka i računarska snaga brzo rastu. Prema podacima IDC-a, globalna sfera podataka dostigla je 103,66ZB u 2022., dok će obim podataka u Kini porasti sa 23,88ZB u 2022. na 76,6ZB u 2027., sa CAGR od 26,3%, što je potencijalno najbrža stopa rasta u svijetu. IDC predviđa da će u naredne tri godine novogenerisani globalni podaci premašiti ukupne podatke stvorene u proteklih 30 godina, što će dovesti do eksponencijalnog rasta računarske snage potrebne za skladištenje, prijenos i obradu podataka.

 

Inteligentna nadogradnja računarske snage postaje trend, a inteligentno računarstvo pokreće većinu rasta. Potreba za obradom velikih količina složenih podataka pokreće potrebu za moćnijim i efikasnijim računarskim resursima za podršku razvoju aplikacija umjetne inteligencije. Kao rezultat toga, računarska infrastruktura se gradi bržim tempom, postajući „temelj“ za podršku razvoju digitalne ekonomije. Potražnja za kapacitetima podataka i računarskom snagom međusobno se pojačavaju. IDC predviđa da će kineska inteligentna računarska snaga nastaviti ubrzano rasti, dostići 1.117,4 EFLOPS do 2027. godine, uz CAGR od 33,9% od 2022. do 2027. godine.

 

▲ Globalna skala volumena podataka i prognoza

 

2. AIGC-ov skok naprijed dovodi do porasta potražnje za računarskom snagom

Uz kontinuiranu evoluciju modela i algoritama, skala i složenost parametara su se značajno povećali, što je rezultiralo većim zahtjevima za računarskom snagom. Pojava velikih generativnih modela, koje predstavljaju ChatGPT i GPT-4, pokrenula je brzi razvoj u oblasti AIGC-a, dodatno podstičući porast potražnje za računarskom snagom.

 

Strana obuke: GPT-3 model sadrži oko 174,6 milijardi parametara, a njegova obuka jednom zahtijeva približno 3.640 PF-dana (trčanje 3.640 dana pri 10 petaflopsa u sekundi). Broj parametara u GPT-4 mogao bi se povećati na 1,8 triliona, sa potražnjom za obukom koja će porasti na 68 puta više od GPT-3, što zahtijeva 90-100 dana obuke 25,{{16} } A100 GPU-ovi.

Strana zaključka: Za GPT-3, prema procjenama Tianyi Think Tank-a, računska potražnja za generiranjem 500 tokena (oko 350 riječi) dostiže 1,75 PFLOPS.

 

▲ Evolucija velikih parametara modela (2018-2023)

3. Tržište centara podataka nastavlja da se širi

Kao važan dio nove infrastrukture, posljednjih godina, sa brzim razvojem lanca industrije umjetne inteligencije i primjene podataka, izgradnja podatkovnih centara u Kini se ubrzala, a broj rekova za podatkovne centre se stalno povećavao. Na osnovu standardnog stalka od 2,5 kW, broj rekova za data centar u upotrebi u Kini je dostigao 5,2 miliona u 2021. Među njima, broj velikih rekova rastao je još brže, dostigavši ​​4,2 miliona, što čini 80%. Do kraja 2022. godine, ukupan broj regala za data centar u Kini se približio 6 miliona, svrstavajući se među vodeći u svijetu. Očekuje se da će do 2023. broj nosača za data centar u Kini dostići 7,76 miliona, a veličina tržišta data centara dostići će 247 milijardi RMB.

 

▲ Trend predviđanja ukupnog broja rakova za podatkovne centre u Kini (2017-2023) (Jedinica 10,000 Racks)

 

4. Problemi s potrošnjom energije i rasipanjem topline u podatkovnim centrima postaju sve izraženiji

Sa povećanjem broja data centara, porasla je i njihova potrošnja električne energije. Prema relevantnim statističkim podacima, 2021. godine kineski podatkovni centri su potrošili 216,6 milijardi kWh, a očekuje se da će premašiti 380 milijardi kWh do 2030. U isto vrijeme, brzo rastuća skala podatkovnih centara pogoršava izazove rasipanje topline:

 

Ukupan nivo:Tradicionalni podatkovni centri imaju ogromne troškove energije, s visokim udjelom potrošnje energije koji se pripisuje hlađenju. Data centri su dugo bili energetski intenzivni, a potrošnja električne energije u nacionalnim data centrima čini oko 2%-3% ukupne potrošnje električne energije. Očekuje se da će do 2030. godine potrošnja električne energije u podatkovnim centrima premašiti 380 milijardi kWh, a emisije ugljika premašiti 200 miliona tona. Istovremeno, tradicionalni centri podataka imaju značajne troškove hlađenja. Prema "Uptime Institute Global Data Center Survey Report 2022", prosječna godišnja efektivnost upotrebe energije (PUE) uzoraka globalnih podatkovnih centara u 2022. bila je 1,55, a od 2014. prosječna godišnja PUE je ostala između 1.{12} }.65, što ukazuje da potrošnja energije vezana za hlađenje čini 35%-39%.

 

Mikro nivo:Povećanje gustine računarstva suočava se sa izazovima hlađenja. Poboljšanje performansi računara povećava potrošnju energije servera i toplotnu gustinu, a tradicionalno hlađenje vazduha više ne može da zadovolji potrebe za disipacijom toplote elektronskih uređaja visoke toplotne gustine. Kako Murov zakon blijedi, ljudi kontinuirano poboljšavaju omjer energetske efikasnosti čipova i sistema kroz tehnologije kao što je heterogeno računarstvo, ali to je također dovelo do brzog povećanja potrošnje energije pojedinačnih čipova. Trenutno, mainstream procesorski čipovi imaju potrošnju energije od oko 200W, s nekim novoobjavljenim CPU-ima koji prelaze 350W, a heterogeni čipovi za ubrzanje poput GPGPU-a čak su premašili 700W. U tom kontekstu, tradicionalno zračno hlađenje više nije dovoljno da zadovolji potrebe za hlađenjem, a podatkovni centri i serveri zahtijevaju efikasnije tehnologije hlađenja kako bi riješili probleme rasipanje topline velike snage, visoke toplinske gustine i visoke gustine računarstva. čipovi i sistemi.

 

Mikro nivo:Visoke temperature negativno utiču na elektronske komponente. U okruženjima s visokim temperaturama, materijali mašina, izolacija žice i vodootporne brtve su skloniji starenju, stvarajući sigurnosne opasnosti. Više od polovine kvarova elektronskih komponenti uzrokovano je visokim temperaturama. Kada temperatura poluvodičkih komponenti poraste za 10 stepeni, struja obrnutog curenja se udvostručuje, povećavajući rizik od požara i povećavajući vjerovatnoću sigurnosnih incidenata, što potencijalno dovodi do paralize podatkovnog centra.

 

5. Brzo povećanje gustoće snage jednog rack-a zahtijeva revoluciju hlađenja u podatkovnim centrima

Ograničeno područjem izgradnje podatkovnih centara i ekološkim propisima, povećanje gustine snage jednog raka postalo je ključno rješenje za pomirenje rastuće potražnje za računarskom snagom sa ograničenim kapacitetom data centara. Prema podacima koje je objavila Colocation America, u 2020. godini, globalna prosječna snaga data centara u jednom racku dostigla je 16,5 kW, što predstavlja povećanje od 175% u odnosu na 2008. Prema CCID Consultingu, sa brzim povećanjem računarske snage data centara, visoka power single recks će postati široko rasprostranjeni. Očekuje se da će do 2025. godine prosječna globalna snaga data centara sa jednim rackom dostići 25 kW.

 

Tehnologija tečnog hlađenja, sa svojim visoko efikasnim efektom hlađenja, može značajno poboljšati efikasnost i stabilnost servera, istovremeno omogućavajući da se više servera rasporedi u datom prostoru data centra, čime se poboljšava operativna efikasnost data centra.

 

▲ Korespondencija između gustine stalka i metoda hlađenja

 

 

IV Pregled tržišta i aplikacija za hlađenje tekućinom

 

1. Očekuje se da će kinesko tržište servera za tečno hlađenje dostići 8,9 milijardi dolara do 2027.

Kako zeleni razvoj centara podataka postaje trend, a konkurencija na polju umjetne inteligencije jača, što dovodi do skoka potražnje za računarskom snagom visokih performansi, tržište servera za tekuće hlađenje u Kini doživjelo je eksplozivan rast posljednjih godina.

 

Prema podacima IDC-a, obim kineskog tržišta servera za tečno hlađenje dostigao je 1,01 milijardu dolara u 2022. godini, što je rast od 189,9% na godišnjem nivou. Očekuje se da će 2023. godine tržište održati brz rast, a veličina tržišta se predviđa da će dostići 1,51 milijardu dolara. Očekuje se da će do 2027. veličina kineskog tržišta servera za tekuće hlađenje dostići 8,9 milijardi dolara.

 

▲ Veličina tržišta i prognoza servera za tečno hlađenje u Kini (jedinica: 100 miliona USD)

 

2. Struktura industrijske primjene podatkovnih centara za hlađenje tekućinom u Kini

U kombinaciji sa zračnim hlađenjem, podatkovni centri s tekućim hlađenjem osnažuju razvoj različitih industrija. U budućnosti će tržište hlađenja data centara vidjeti zajednički razvojni obrazac "zračno hlađenje + hlađenje tekućinom". Tehnologija zračnog hlađenja neće biti u potpunosti zamijenjena tekućim hlađenjem, već će se birati prema različitim potrebama kupaca, uz različita rješenja hlađenja za podatkovne centre.

 

U 2019, podatkovni centri za tečno hlađenje su se uglavnom koristili u aplikacijama koje predstavljaju superračunari. Kako obim poslovanja u industriji interneta, finansija i telekomunikacija brzo raste, potražnja za tekućim hlađenjem u podatkovnim centrima u ovim industrijama nastavit će rasti. Očekuje se da će do 2025 podatkovni centri sa tekućim hlađenjem činiti 24.0% internet industrije, 25,0% finansijske industrije i 23,0% industrije telekomunikacija. U međuvremenu, industrije poput energetike, biotehnologije, zdravstva i vlade će doživjeti ubrzanje integracije podatkovnih centara s tekućim hlađenjem u novi ekosistem podatkovnih centara opće namjene, uz blagi pad u ukupnom obimu. Očekuje se da će do 2025. godine podatkovni centri s tekućim hlađenjem činiti 10,5% energetske industrije, 8,5% biotehnološke industrije, 6,5% zdravstvene industrije, a drugi biznisi poput vlade će pasti na 2,5%.

 

▲ Struktura industrijske aplikacije i prognoza za podatkovne centre za hlađenje tekućinom u Kini (2019-2025)

 

3. Konkurentni krajolik kineskog tržišta servera za tečno hlađenje: Sugon vodi, a slijede Huawei, Alibaba i drugi

Domaći proizvođači, predvođeni Sugonom, akumulirali su značajno komercijalno iskustvo, a na osnovu prihoda od proizvoda, tržišnog udjela, povratnih informacija kupaca i drugih pokazatelja, Sugon je ključni tržišni lider, a iza njega su Huawei, Alibaba i Lenovo. IBM Kina se pozicionira kao potencijalni izazivač.

 

Industrija servera za tekuće hlađenje u Kini ima visoke tehničke barijere, a oni koji su prvi krenuli imaju prednost. Trenutno su glavni domaći proizvođači još uvijek u eksperimentalnim ili početnim fazama primjene tehnologije hlađenja tekućinom, a konkurentski krajolik još uvijek nije jasno definiran. Osim toga, zbog zabrinutosti za sigurnost podataka, postoje određene geografske prepreke za snabdijevanje infrastrukturom podatkovnih centara u Kini, što otežava ulazak stranih proizvođača na kinesko tržište.

 

▲ Matrica konkurentnosti dobavljača podatkovnih centara za hlađenje tekućinom u Kini (2020.)

 

4.Telekom operateriPredložitrogodišnja vizija za tekuće hlađenje u podatkovnim centrima

Kao vodeći u industriji u sektoru data centara, tri glavna telekom operatera su na čelu istraživanja i primjene tehnologije hlađenja tekućinom. U junu 2023., tri glavna operatera zajedno su objavila "Bijelu knjigu o tehnologiji hlađenja tekućinom za telekom operatere (2023.)" i iznijela trogodišnju viziju i mapu puta za primjene tečnog hlađenja.

 

Opći cilj trogodišnje vizije je okupljanje industrijskih snaga, suočavanje s izazovima, izgradnja ekosistema i proširenje aplikacija ujedinjavanjem uzvodnih i nizvodnih sektora u industriji, akademskoj zajednici i istraživanju. Fokus će biti na napadu na ključne osnovne tehnologije sa originalnošću i vodstvom, te na potpunoj izgradnji ekosistema hlađenja tekućinom na visokom nivou. Cilj je uspostaviti otvoreni ekosistem, promovirati razdvajanje tečnog rashladnih ormara i servera i voditi formiranje jedinstvenih standarda koji smanjuju PUE (Efektivnost korištenja energije) uz postizanje najnižeg TCO-a (ukupni trošak posjedovanja). Koristeći prednosti razmjera, oni imaju za cilj značajno proširiti aplikacije.

 

Što se tiče vremenskog okvira implementacije, tri glavna operatera su postavila detaljne planove za 2023-2025.

 

• 2023:Sprovesti tehničku verifikaciju, temeljno testiranje performansi tečnog hlađenja, smanjenje PUE i pripremu tehničkih mogućnosti planiranja, izgradnje i održavanja;
• 2024: Sprovesti opsežna testiranja, promovirati razdvajanje tečnog rashladnih ormara i servera, podsticati konkurenciju, sazreti industrijski ekosistem i smanjiti ukupne troškove životnog ciklusa;
• Do 2025:Ostvarite primjenu velikih razmjera, s tehnologijom tekućeg hlađenja koja se koristi u više od 50% projekata, i zajednički promovirajte formiranje jedinstvenog, standardiziranog, troškovno optimalnog i široko primjenjivog ekosistema tekućeg hlađenja. Telekomunikaciona industrija ima za cilj da postane lider u tehnologiji tekućeg hlađenja, lider u industrijskom lancu i lider u promociji aplikacija.

 

▲ Trogodišnja vizija za hlađenje tekućinom od strane telekom operatera

 

 

V Zaključak

 

Veliki razvojni potencijal u industriji tečnog hlađenja, zajedno sa izazovima i prilikama

Trenutno je kineska industrija tekućeg hlađenja u ranoj fazi, a stopa prodora aplikacija za hlađenje tekućinom ostaje relativno niska. Međutim, kao tehnologija hlađenja nove generacije za centre podataka i serverske klastere, tržišni potencijal i budući izgledi tekućeg hlađenja privukli su značajnu pažnju, a očekuje se da će se penetracija aplikacija brzo povećati.

 

Ipak, industrija tekućeg hlađenja u Kini se još uvijek suočava s nekoliko razvojnih izazova:

 

1. Nezreli industrijski ekosistem

Iako se tehnologija hlađenja tekućinom razvija više od jedne decenije, kako na domaćem tako i na međunarodnom nivou, ekosistem je i dalje nedovršen. Proizvodi se veoma razlikuju, a standardizacija nedostaje. Trenutno ne postoji jedinstveni standard interfejsa za servere i ormare u industriji. Ormari i serveri su čvrsto povezani, a formati proizvoda različitih proizvođača, kao što su serveri, rashladne tečnosti, rashladni cjevovodi i sistemi napajanja, se razlikuju, čineći interfejse proizvoda nekompatibilnim jedan s drugim. To ograničava konkurenciju i ometa visokokvalitetan razvoj industrije.

 

2. Razvoj arhitekture sistema tečnog hlađenja

Arhitektura sistema za tečno hlađenje u industriji se razlikuje, sa varijacijama između distribuiranog i centralizovanog hlađenja i podešavanja napajanja. Serveri nekih proizvođača evoluirali su u servere za visoke temperature, koji omogućavaju smanjenje broja jedinica za hlađenje vode, dodatno pojednostavljujući arhitekturu izvora hlađenja i promovišući smanjenje troškova i efikasnost.

 

3. Visoki troškovi sistema za tečno hlađenje

U poređenju sa tradicionalnim proizvodima za vazdušno hlađenje, tekuće hlađenje i dalje predstavlja izazov u smislu visokih početnih ulaganja i ukupnih troškova životnog ciklusa. Ovaj problem bi mogao uticati na široko usvajanje i promociju proizvoda za tečno hlađenje u ranim fazama.