Direkte væskekøling i datacentret: Teknik, drift og økonomi

Sådan forstår du direkte væskekøling

Ved Direct Liquid Cooling (DLC) absorberer en væske varmen direkte fra udvalgte serverkomponenter. I den udbredte Direct-to-Chip-udgave sidder en Køleplade for eksempel på en CPU eller en accelerator. Kølevæsken strømmer gennem kanaler i pladen, opvarmes og leder energien væk via tilsluttede rør.

I et enfaset system forbliver kølemidlet flydende under den tilsigtede drift. To-fase-processer udnytter derimod en faseændring i kølemediet; deres udformning og driftskrav kan ikke uden videre udledes af et enfaset kredsløb. Immersionskøling er ligeledes et andet koncept: Her befinder komponenterne sig i et egnet kølemedium i stedet for blot at være tilsluttet det via køleplader.

Kølingen leder varmen væk, men forhindrer ikke, at den opstår. En CPU har fortsat brug for elektrisk energi til sine beregninger, og denne energi afgives hovedsageligt som varme. DLC kan påvirke energibehovet i køleteknikken; installationen af køleplader medfører dog hverken et lavere strømforbrug i IT-systemerne eller automatisk en besparelse for hele datacentret.

Direct-to-Chip bliver især interessant ved høje Racktæthed: Når mange kraftfulde processorer arbejder på et begrænset område, skal der ledes meget varme væk fra et lille område. Væsken optager en del af varmen direkte fra komponenterne i stedet for først at afgive den fuldstændigt til rumluften. Om ombygningen kan betale sig, afhænger også af bygningens køling, belastningsprofilen og driften.

Artiklen om giver et overblik over andre tilgange og deres anvendelsesområder Væskekøling af servere i datacentret. Ved planlægningen af et konkret DLC-system er det desuden afgørende, hvordan væskekredsløbet tilsluttes bygningens varmeafledning.

Varmens vej

Varmestrømmen starter ved kontaktfladen mellem komponenten og kølepladen. Det opvarmede medium strømmer gennem slanger og tilslutninger til en fordelerenhed, der forbinder flere servere eller kølebaner med kredsløbet. Derfra ledes det typisk til en Cooling Distribution Unit, forkortet CDU, som forsyner og regulerer IT-kredsløbet.

I en væske-til-væske-CDU overfører en Varmeveksler energien fra IT-kredsløbet til et bygningsinternt kredsløb. De to medier behøver ikke at blandes. Pumper, sensorer og regulering sikrer den tilsigtede gennemstrømning og temperaturstyring; afhængigt af arkitekturen kan en CDU være placeret i et rack eller forsyne flere racks.

Opgaven slutter ikke ved varmeveksleren: Bygningen skal videreføre den opsamlede varme. Afhængigt af anlægget og driftsforholdene kan man her anvende f.eks. returkøler, køletårne eller kølemaskiner. Hvilken kombination der er egnet, afhænger blandt andet af de krævede temperaturer, det udendørs klima og driftsforholdene i løbet af året.

Et alternativ til udelukkende at afgive varmen til omgivelserne er at udnytte varmen via en passende aftager. Til dette skal udbud og efterspørgsel passe sammen tidsmæssigt; også temperaturniveauet og afstanden spiller en rolle. Hvis den tilgængelige temperatur ikke er tilstrækkelig, kan det være nødvendigt at anvende en varmepumpe. En eksisterende væskeledning i sig selv er ikke ensbetydende med, at varmen rent faktisk udnyttes.

Mange væskekølede servere forbliver Hybridsystemer. Køleplader dækker ikke nødvendigvis alle komponenter; de resterende komponenter afgiver fortsat varme til luften. NVIDIA beskriver sådanne luftkølede restkomponenter for GB200-konfigurationer. Derfor skal rumluftcirkulationen og den tilgængelige luftkøling også passe til den resterende belastning, selv når en stor del af varmen ledes væk via væske.

Korrekt klassificering af temperaturer og grænseflader

Angivelsen „væskekølet“ er ikke tilstrækkelig til tilslutning af en server. Planlæggere har brug for de driftsdata, der er godkendt til den konkrete konfiguration, og skal afstemme dem med CDU, fordelingssystemet og bygningens anlæg. En passende tilslutning opnås først, når alle involverede komponenter passer sammen under de forudsete belastnings- og driftsbetingelser.

Die Fremløbstemperatur angiver temperaturen på mediet på vej til det apparat, der skal køles. Den skal ligge inden for apparatets tilladte temperaturområde; samtidig har den indflydelse på, under hvilke betingelser bygningens anlæg kan aflede varme. En højere temperatur kan være fordelagtig for visse kølekoncepter, men må ikke vælges højere end den tilladte grænse for den pågældende server.

Det krævede gennemstrømningsvolumen angiver, hvor meget kølemiddel der skal strømme gennem kølebanen i et bestemt tidsrum. Det Tryktab opstår blandt andet ved køleplader, slanger og tilslutninger. Planlægningen af pumper og rørføringer skal sikre den nødvendige gennemstrømning under hensyntagen til disse modstande og samtidig overholde komponenternes tilladte trykgrænser.

Kølevæskens kvalitet og materialekompatibilitet er lige så vigtige. Producentkravene kan f.eks. vedrøre mediets sammensætning og håndtering af forureninger. Godkendte slanger, koblinger og tætninger skal passe til mediet og den pågældende tilslutning; en mekanisk passende del er ikke automatisk godkendt til den påtænkte drift.

ASHRAE skelner mellem W-klasser for vandforsyningen i bygningen. En sådan klasse hjælper med at klassificere forsyningen, men erstatter ikke en godkendelse af udstyret og fastlægger ikke automatisk betingelserne i det separate IT-kredsløb. Værdier fra en producent eller en side af kredsløbet bør derfor ikke uden nærmere undersøgelse overføres til andre enheder, tilslutninger eller medier.

Sammenligning af fire kølemetoder

Når man vælger kølesystem, er det ikke kun afgørende, om der anvendes væske. Det afgørende er, hvor varmen optages og hvilken infrastruktur der kræves til dette på serveren og i bygningen. De fire tilgange adskiller sig også i forhold til, om der fortsat strømmer luft gennem IT-udstyret.

Ved moderat og geografisk spredt belastning kan en eksisterende luftkøling være tilstrækkelig, forudsat at luftføringen og temperaturreserverne passer til den faktiske drift. En Rear-Door-varmeveksler monteres derimod på selve racket uden at omlægge varmeoptagelsen i serveren til køleplader. Væskeforsyningen og adgangen til rackets bagside skal dog stadig planlægges.

Ved høj varmetæthed kan Direct-to-Chip lette varmeafledningen direkte fra processorer og acceleratorer. Immersion flytter varmeoptagelsen til et væskebad, men medfører større ændringer i integration og vedligeholdelse. Hvilken løsning der er mest hensigtsmæssig på den pågældende lokation, afhænger derfor ikke kun af racktætheden, men også af kompatibel hardware, ombygningsomkostninger og tilgængelig varmeafledning.

Planlægning af rack med høj tæthed i den eksisterende installation

Et konkret eksempel på høj racktæthed er NVIDIAs GB200 NVL72: Producenten angiver for dette rackdesign et kølebehov på 120 kW pr. rack. Dette tal beskriver kravene til den nævnte konfiguration, ikke en generel ydeevnegrænse for Direkte væskekøling og ingen tilsagn vedrørende andre systemer.

Også i dette system er kølingen ikke begrænset til væske: NVIDIA beskriver luftkølede komponenter. Ved planlægningen af placeringen skal der derfor tages højde for både væskeforsyningen og den resterende luftbelastning for det konkret leverede system. Det er de projektspecifikke tilslutningsdata, der er gældende, ikke en fast værdi hentet fra eksemplet.

I den eksisterende installation starter planlægningen med den faktiske og forventede belastningsfordeling: Hvilke racks forbliver luftkølede, hvilke får køleplader, og hvor står de? Ud fra dette kan man Kølezoner og udlede de respektive krav til luft- og væskekøling. En enkelt høj rackbelastning bør ikke forveksles med en jævn belastning i hele salen.

Derefter skal ledningsforløb, plads til fordelingsskabe og CDU samt adgangsforhold til serviceeftersyn kontrolleres. Den eksisterende bygningskøling skal kunne aflede den ekstra varme, også under de forudsete driftsbetingelser. At der er plads til at opstille en CDU i rummet, siger i sig selv intet om den tilgængelige tilbagekølingskapacitet.

Til sidst hører der et afstemt redundanskoncept: Driftsansvarlige skal fastlægge, hvilke belastninger der fortsat skal forsynes i tilfælde af svigt i et køleanlæg, og hvordan vedligeholdelse påvirker den resterende kapacitet. Først på baggrund af disse krav og producentens data er det muligt at foretage en pålidelig dimensionering af ombygning, udvidelse og drift.

Varmebalance og mulige anvendelser

Den afgivne varmeeffekt beskriver, hvor hurtigt varmen transporteres. Den varmeenergi, der transporteres over en given periode, beregnes – ved konstant effekt – som effekt gange tid. Denne skelnen er vigtig, når man dimensionerer et køleanlæg eller vurderer en mulig varmelevering over en given periode.

Et illustrativt regneeksempel: Hvis man antager, at der konstant afledes 40 kW varme i løbet af en time, giver multiplikationen af 40 kW med en time 40 kWh transporteret varmeenergi. Dette er ikke en måling. Resultatet betyder hverken en strømbesparelse eller at den samlede varmemængde er tilgængelig eller anvendelig for en forbruger.

For en reel Udnyttelse af spildvarme Temperaturniveauet skal passe til brugerens behov. Er det for lavt, kan en varmepumpe hæve temperaturen; dens strømforbrug indgår da i den samlede balance. Højere væsketemperaturer kan gøre integrationen lettere, men erstatter ikke en gennemgang af det konkrete anlæg.

I forbindelse med planlægningen bør operatørerne sammenholde varmetilførslen med en potentiel aftagers tidsmæssige behov. I den forbindelse skal det også undersøges, om en lagringsløsning er en mulighed for det konkrete projekt. En teoretisk årlig varmemængde i sig selv er ikke ensbetydende med, at anlægget vil blive udnyttet hele året rundt.

Når der skal træffes en investeringsbeslutning, bør operatørerne desuden vurdere forbindelsen til aftageren og omkostningerne til yderligere teknik ud fra de konkrete forhold på stedet. Den transporterede varme må ikke uden videre regnes fuldt ud som udnyttet udbytte. En pålidelig vurdering kræver konkrete data om den planlagte anvendelse.

Sikre drift og vedligeholdelse

Et vedligeholdelsesvenligt væskekølesystem kræver mere end blot tilgængelige servere. For hver tilslutning bør det være klart, hvilke Hurtigkoblinger Producenten angiver, hvor det pågældende afsnit kan afspærres, og hvordan et apparat sikkert afkobles fra kredsløbet. Disse trin skal indgå i en stedsspecifik serviceprocedure, der også omfatter genindkøring og kontrol af tilslutningerne.

Inden en udskiftning skal ansvarsforhold og konsekvenser for de øvrige racks afklares. En fælles fordeling kan medføre, at en afbrydelse påvirker mere end én server. Derfor bør ledningsdiagrammer, mærkede tilslutninger og udstyrsproducentens specifikationer være tilgængelige på arbejdsstedet; nødvendige reservedele skal passe til den installerede model.

Kølevæskens kvalitet er også en opgave, der skal varetages af driftsansvarlige. Materialer, væske og behandling skal passe sammen, så f.eks. korrosion eller aflejringer ikke forringer funktionen. Hvilke kontroller, grænseværdier og skifteintervaller der gælder, afhænger af kravene til komponenterne og det pågældende kredsløb, ikke af en generel anbefaling vedrørende vand.

Til den Lækageovervågning Dertil hører korrekt placerede sensorer, en pålidelig alarmvideresendelse og en dokumenteret reaktion. Teamet skal vide, hvem der modtager alarmen, vurderer det berørte område og griber ind i henhold til virksomhedens procedurer. En automatisk nedlukning kan være fastlagt i forbindelse med et specifikt projekt, men findes ikke i alle systemer og er heller ikke den eneste mulige reaktion.

Vedligeholdelses- og fejlhåndteringsprocedurer bør være afstemt: Hvis en sensor dækkes til under servicearbejde, eller en alarmmeddelelse midlertidigt undertrykkes, skal det også være fastlagt, hvordan disse genoprettes. Protokoller over indgreb og afvigelser hjælper med at identificere tilbagevendende problemer og målrettet forberede de næste vedligeholdelsesvinduer.

Systematisk indsnævring af fejl

Hvis temperaturen på en komponent stiger, er kølepladen ikke nødvendigvis årsagen. Kontroller først IT-belastning og sammenlign temperaturforløbet med de godkendte grænseværdier for den pågældende hardware. En stigning i belastningen kan ændre varmeafgivelsen; det afgørende er, om systemet stadig fungerer inden for sine specifikationer under de forudsete driftsbetingelser.

Derefter kan køleforløbet følges trin for trin: Ligger fremløbstemperaturen ved det fastlagte målepunkt inden for det tilladte interval? Opnår gennemstrømningen den værdi, der kræves for anlægget? Begge parametre skal stemme overens med den faktisk anvendte konfiguration. En acceptabel værdi ved bygningens forsyning bekræfter i sig selv ikke, at serveren også forsynes korrekt.

En ændret Tryktab kan tyde på en ændring i strømningsvejen, men forklarer ikke årsagen hertil uden yderligere undersøgelse. Sammenlign de tilgængelige tryk- og gennemstrømningsdata med specifikationerne og den hidtidige driftstilstand. Derefter skal CDU'en, dens fejlmeldinger og varmeoverførslen til bygningen kontrolleres; indgreb må kun foretages af uddannet personale i henhold til producentens og anlæggets procedurer.

I et hybridsystem indgår restluftkøling desuden i diagnosen. Hvis luftvejene er tilstoppede, eller hvis den tiltænkte lufttilførsel ikke fungerer som planlagt, kan komponenter, der ikke er væskekølet, blive påvirket. Et væskekredsløb, der fungerer normalt, udelukker derfor ikke, at der er et termisk problem i det samme rack.

En lækagealarm behandles separat fra temperaturdiagnosen i henhold til den lokale beredskabsplan. Hvis en kølevej svigter, afgør den dokumenterede nedbrudsprocedure, hvilken belastning der skal omdirigeres, eller hvilket anlæg der skal tages ud af drift på en kontrolleret måde. Alarmering og eskalering skal fungere, selvom årsagen endnu ikke er fastslået; improviseret arbejde på rørledninger under tryk er ikke en erstatning for en diagnose.

Vurdering af rentabilitet og grøn hosting

Til en miljøsammenligning beskriver PUE Forholdet mellem den samlede årlige energiforbrug i datacentret og IT-sektorens årlige energiforbrug. WUE angiver forholdet mellem det årlige vandforbrug på anlægget og IT-sektorens årlige energiforbrug. De to værdier kan kun sammenlignes meningsfuldt, hvis tidsperioden og målegrænserne er angivet.

En lav PUE-værdi betyder ikke automatisk lave absolutte emissioner eller et lavt vandforbrug. For Grøn hosting Derfor er også det samlede energibehov, emissionsbalancen henholdsvis elmixet og det absolutte vandforbrug relevante. En stigende IT-belastning kan øge forbruget på anlægsstedet, selvom forholdet mellem det samlede energiforbrug og IT-energiforbruget bliver mere gunstigt.

Selv et lukket IT-kredsløb gør ikke nødvendigvis hele driften vandfri: Et andet trin i varmeafledningen kan få vand til at fordampe. Når det gælder spildvarme, er det ikke kun det teoretiske udbud, der tæller, men også faktisk udnyttet varme. Til det skal forbrugerens temperaturkrav og tidsbehov passe sammen; en varmepumpe kan have behov for yderligere energi.

Rentabiliteten afhænger af placeringen. Sammenlign det forventede belastningsprofil og den planlagte racktæthed med investeringerne i kompatibelt IT-udstyr, strømfordeling, CDU og bygningsændringer. Hertil kommer vedligeholdelse, energi, eventuelt vand samt omkostningerne til redundans og forebyggelse af driftsstop. Sammenlign disse poster over samme driftsperiode med et alternativ, der er realistisk tilpasset placeringen.

For hostingkunder er det en god idé at spørge udbyderne om måleperioden, placeringsdata og det faktiske omfang af udnyttelsen af spildvarme, i stedet for udelukkende at drage konklusioner om miljøpåvirkningen ud fra køleteknikken. Artiklen gennemgår yderligere udviklinger inden for infrastruktur og bæredygtighed i forbindelse med Hosting-tendenser i 2026 i.