Directe vloeistofkoeling in het datacenter: techniek, exploitatie en rendabiliteit

Inzicht in directe vloeistofkoeling

Bij Direct Liquid Cooling (DLC) voert een vloeistof de warmte rechtstreeks af van geselecteerde servercomponenten. In de veelgebruikte Direct-to-Chip-uitvoering bevindt zich een Koelplaat bijvoorbeeld op een CPU of een versneller. Het koelmiddel stroomt door kanalen in de plaat, warmt op en voert de energie af via aangesloten leidingen.

Bij een eenfasig systeem blijft het medium tijdens de beoogde werking vloeibaar. Tweefasige processen maken daarentegen gebruik van een faseverandering van het koelmedium; hun ontwerp en bedrijfseisen kunnen niet eenvoudig worden afgeleid uit een eenfasig circuit. Ook immersiekoeling is een ander concept: daarbij bevinden componenten zich in een geschikt koelmedium in plaats van er alleen via koelplaten op te zijn aangesloten.

De koeling voert warmte af, maar voorkomt niet dat deze ontstaat. Een CPU heeft voor zijn rekenwerk nog steeds elektrische energie nodig, die grotendeels als warmte wordt afgegeven. DLC kan het energieverbruik van de koeltechniek beïnvloeden; de installatie van koelplaten leidt echter noch tot een lager stroomverbruik van de IT-apparatuur, noch automatisch tot een besparing voor het gehele datacenter.

Direct-to-Chip wordt vooral interessant bij hoge Rackdichtheid: Wanneer veel krachtige processors in een kleine ruimte werken, moet er veel warmte uit een klein gebied worden afgevoerd. De vloeistof neemt een deel daarvan direct op bij de componenten, in plaats van deze eerst volledig aan de omgevingslucht af te geven. Of de aanpassing de moeite waard is, hangt ook af van de koeling van het gebouw, het belastingsprofiel en de bedrijfsvoering.

Het artikel over biedt een overzicht van andere benaderingen en hun toepassingsgebieden Vloeistofkoeling van servers in het datacenter. Bij het ontwerpen van een concreet DLC-systeem is het bovendien van cruciaal belang hoe de vloeistofkringloop wordt aangesloten op de warmteafvoer van het gebouw.

De weg van de warmte

Het warmtepaden begint bij het contactvlak tussen het onderdeel en de koelplaat. Het verwarmde medium stroomt via slangen en aansluitingen naar een verdeler, die meerdere servers of warmtepaden met het circuit verbindt. Van daaruit gaat het doorgaans naar een Cooling Distribution Unit, kortweg CDU, die het IT-circuit van koelvloeistof voorziet en regelt.

In een vloeistof-naar-vloeistof-CDU zorgt een Warmtewisselaar de energie van het IT-circuit naar een circuit in het gebouw. De twee media hoeven daarbij niet met elkaar te vermengen. Pompen, sensoren en regelingen zorgen voor de beoogde doorstroming en temperatuurregeling; afhankelijk van de architectuur kan een CDU in het rack staan of meerdere racks van energie voorzien.

De taak houdt niet op bij de warmtewisselaar: het gebouw moet de opgenomen warmte verder afvoeren. Afhankelijk van de installatie en de bedrijfsomstandigheden kunnen hiervoor bijvoorbeeld terugkoelers, koeltorens of koelmachines worden ingezet. Welke combinatie geschikt is, hangt onder andere af van de benodigde temperaturen, het buitenklimaat en de bedrijfsomstandigheden in de loop van het jaar.

Een alternatief voor het uitsluitend afvoeren van warmte naar de omgeving is het gebruik van de warmte door een geschikte afnemer. Hiervoor moeten aanbod en vraag qua tijd op elkaar aansluiten; ook het temperatuurniveau en de afstand zijn van belang. Als de beschikbare temperatuur niet voldoende is, kan een warmtepomp nodig zijn. Een bestaande vloeistofleiding op zich betekent nog niet dat er daadwerkelijk gebruik wordt gemaakt van de warmte.

Veel vloeistofgekoelde servers blijven Hybride systemen. Koelplaten bestrijken niet noodzakelijkerwijs alle onderdelen; de overige componenten geven nog steeds warmte af aan de lucht. NVIDIA beschrijft dergelijke luchtgekoelde resterende componenten voor GB200-configuraties. Daarom moeten de luchtstroom in de ruimte en de beschikbare luchtkoeling ook dan nog afgestemd zijn op de resterende belasting, wanneer een groot deel van de warmte via vloeistof wordt afgevoerd.

Temperaturen en raakvlakken correct indelen

Voor de aansluiting van een server volstaat de aanduiding „vloeistofgekoeld“ niet. Ontwerpers hebben de voor de specifieke configuratie goedgekeurde bedrijfsgegevens nodig en moeten deze afstemmen op de CDU, de distributie en de gebouwinstallatie. Er is pas sprake van een geschikte aansluiting als alle betrokken componenten onder de beoogde belastings- en bedrijfsomstandigheden op elkaar zijn afgestemd.

De Aanvoertemperatuur geeft de temperatuur aan van het medium op weg naar het te koelen apparaat. Deze moet binnen de toegestane waarden van het apparaat liggen; tegelijkertijd bepaalt deze temperatuur onder welke omstandigheden de gebouwinstallatie warmte kan afvoeren. Een hogere temperatuur kan bepaalde koelconcepten bevorderen, maar mag niet hoger zijn dan de toegestane grens voor de betreffende server.

Het vereiste debiet geeft aan hoeveel koelvloeistof er in een bepaalde tijd door het koelcircuit moet stromen. Het Drukverlies ontstaat onder andere bij koelplaten, slangen en aansluitingen. Bij het ontwerp van de pompen en leidingen moet de benodigde doorstroming worden gewaarborgd, rekening houdend met deze weerstanden, en tegelijkertijd moeten de toegestane drukgrenzen van de componenten in acht worden genomen.

Even belangrijk zijn de kwaliteit van het koelmiddel en de materiaalverenigbaarheid. De eisen van de fabrikant kunnen bijvoorbeeld betrekking hebben op de samenstelling van het medium en de omgang met verontreinigingen. Goedgekeurde slangen, koppelingen en afdichtingen moeten geschikt zijn voor het medium en de betreffende aansluiting; een mechanisch passend onderdeel is niet automatisch goedgekeurd voor het beoogde gebruik.

ASHRAE onderscheidt W-klassen voor de watervoorziening aan de gebouwzijde. Een dergelijke klasse helpt bij het indelen van de toevoer, maar vervangt geen goedkeuring van apparatuur en bepaalt niet automatisch de voorwaarden in het gescheiden IT-circuit. Waarden van een fabrikant of een circuitzijde mogen daarom niet zonder controle worden overgenomen voor andere apparaten, aansluitingen of media.

Vier koelmethoden vergeleken

Bij de keuze van het koelsysteem gaat het niet alleen om de vraag of er vloeistof wordt gebruikt. Bepalend is, waar de warmte wordt opgenomen en welke infrastructuur daarvoor in de server en in het gebouw nodig is. De vier benaderingen verschillen ook in de vraag of er nog steeds lucht door de IT-apparatuur stroomt.

Bij een gematigde en ruimtelijk verdeelde belasting kan bestaande luchtkoeling volstaan, mits de luchtstroom en de temperatuurreserves zijn afgestemd op de daadwerkelijke bedrijfsomstandigheden. Een Rear-Door-warmtewisselaar wordt daarentegen aan het rack bevestigd, zonder dat de warmteafvoer in de server fundamenteel wordt omgeschakeld naar koelplaten. De vloeistoftoevoer en de toegang tot de achterzijde van het rack moeten niettemin worden gepland.

Bij een hoge warmtedichtheid kan Direct-to-Chip de warmteafvoer rechtstreeks naar processors en versnellers vergemakkelijken. Immersion verplaatst de warmteopname naar een vloeistofbad, maar heeft grotere gevolgen voor de integratie en het onderhoud. Welke oplossing op de locatie zinvol is, hangt daarom niet alleen af van de rackdichtheid, maar ook van compatibele hardware, de kosten voor aanpassingen en de beschikbare warmteafvoer.

Racks met hoge dichtheid in de voorraad plannen

Een concreet voorbeeld van een hoge rackdichtheid is de GB200 NVL72 van NVIDIA: de fabrikant geeft voor dit rackontwerp een benodigde koelcapaciteit van 120 kW per rack aan. Deze waarde geeft de vereisten van de genoemde configuratie weer, en is geen algemene prestatielimiet voor Directe vloeistofkoeling en geen toezegging voor andere systemen.

Ook bij dit systeem blijft de koeling niet beperkt tot vloeistof: NVIDIA vermeldt luchtgekoelde overige componenten. Bij de locatieplanning moet daarom zowel rekening worden gehouden met de vloeistoftoevoer als met de resterende luchtbelasting van het daadwerkelijk geleverde systeem. Bepalend zijn de projectspecifieke aansluitgegevens van het systeem, niet een forfaitaire waarde die uit het voorbeeld is overgenomen.

Bij bestaande installaties begint de planning met de feitelijke en verwachte belastingverdeling: welke racks blijven luchtgekoeld, welke krijgen koelplaten en waar staan ze? Hieruit kan worden afgeleid Koelzones en daaruit de respectieve eisen voor lucht- en vloeistofkoeling afleiden. Een enkele hoge rackbelasting mag niet worden verward met een gelijkmatige belasting in de gehele zaal.

Vervolgens moeten de kabeltrajecten, de ruimte voor verdeelkasten en de CDU, evenals de toegankelijkheid voor onderhoud worden gecontroleerd. De bestaande gebouwkoeling moet de extra warmte ook onder de beoogde bedrijfsomstandigheden kunnen afvoeren. Dat er een CDU in de ruimte kan worden geplaatst, zegt op zich nog niets over de beschikbare terugkoelcapaciteit.

Tot slot hoort er een bijpassende redundantieconcept: Exploitanten moeten vaststellen welke belasting bij uitval van een koelcircuit moet worden blijven gevoed en welke invloed onderhoud heeft op de resterende capaciteit. Pas op basis van deze eisen en de gegevens van de fabrikant kunnen verbouwingen, uitbreidingen en de exploitatie op betrouwbare wijze worden gedimensioneerd.

Warmtebalans en mogelijke toepassingen

Het afgevoerde warmtevermogen geeft aan hoe snel warmte wordt getransporteerd. De warmte-energie die over een bepaalde periode wordt getransporteerd, wordt bij een constant vermogen berekend als vermogen maal tijd. Dit onderscheid is belangrijk bij het dimensioneren van een koelinstallatie of bij het beoordelen van een mogelijke warmtelevering over een bepaalde periode.

Een illustratief rekenvoorbeeld: als we aannemen dat er gedurende een uur constant 40 kW warmte wordt afgevoerd, levert de vermenigvuldiging van 40 kW met één uur 40 kWh getransporteerde warmte-energie op. Dit is geen meting. Uit het resultaat volgt noch een stroombesparing, noch dat de totale hoeveelheid warmte beschikbaar of bruikbaar is voor een afnemer.

Voor een daadwerkelijke Gebruik van afvalwarmte moet het temperatuurniveau aansluiten bij de behoeften van de afnemer. Als deze te laag is, kan een warmtepomp de temperatuur verhogen; het stroomverbruik daarvan wordt dan meegenomen in de totale balans. Hogere vloeistoftemperaturen kunnen de integratie vergemakkelijken, maar zijn geen vervanging voor een controle van de concrete installatie.

Bij de planning moeten exploitanten het warmteaanbod afzetten tegen de vraag in de loop van het jaar van een mogelijke afnemer. Daarbij moet ook worden nagegaan of een opslagoplossing voor het concrete project in aanmerking komt. Een theoretische jaarlijkse warmtehoeveelheid op zich is nog geen bewijs voor gebruik gedurende het hele jaar.

Bij het nemen van een investeringsbeslissing moeten exploitanten bovendien per locatie de verbinding met de afnemer en de kosten voor aanvullende techniek beoordelen. De getransporteerde warmte mag niet zomaar volledig als benut rendement worden aangemerkt. Voor een betrouwbare beoordeling zijn concrete gegevens over het geplande gebruik nodig.

Bedrijf en onderhoud waarborgen

Een onderhoudsvriendelijk vloeistofkoelsysteem vereist meer dan alleen toegankelijke servers. Voor elke aansluiting moet duidelijk zijn welke Snelkoppelingen de fabrikant aangeeft waar het betreffende gedeelte kan worden afgesloten en hoe een apparaat veilig van het circuit kan worden losgekoppeld. Deze stappen moeten worden opgenomen in een locatiespecifieke onderhoudsprocedure, die ook het opnieuw in bedrijf stellen en de controle van de aansluitingen omvat.

Voordat een vervanging plaatsvindt, moeten de verantwoordelijkheden en de gevolgen voor de overige racks duidelijk zijn. Een gezamenlijke verdeling kan ertoe leiden dat een afsluiting meer dan één server treft. Daarom moeten bedradingsschema's, gelabelde aansluitingen en de specificaties van de fabrikant ter plaatse beschikbaar zijn; benodigde reserveonderdelen moeten passen bij het geïnstalleerde model.

Ook de kwaliteit van het koelmiddel is een taak van de exploitant. Materialen, vloeistof en behandeling moeten op elkaar zijn afgestemd, zodat bijvoorbeeld corrosie of afzettingen de werking niet belemmeren. Welke controles, grenswaarden en verversingsintervallen van toepassing zijn, hangt af van de eisen van de componenten en het betreffende systeem, en niet van een algemene aanbeveling voor water.

Naar Lekdetectie Hierbij horen goed geplaatste sensoren, een betrouwbare alarmdoorgifte en een gedocumenteerde reactie. Het team moet weten wie het alarm in ontvangst neemt, de getroffen zone beoordeelt en volgens de locatieprocedures ingrijpt. Een automatische uitschakeling kan per project worden voorzien, maar is niet bij elk systeem aanwezig en ook niet de enige mogelijke reactie.

Onderhouds- en storingsprocedures moeten op elkaar zijn afgestemd: als een sensor tijdens onderhoudswerkzaamheden wordt afgedekt of een alarmmelding tijdelijk wordt onderdrukt, moet ook het herstel daarvan worden geregeld. Verslagen over ingrepen en afwijkingen helpen bij het herkennen van terugkerende problemen en het gericht voorbereiden van de volgende onderhoudsperiodes.

Storingen systematisch opsporen

Als de temperatuur van een onderdeel stijgt, is de koelplaat niet automatisch de oorzaak. Controleer eerst de IT-belasting en vergelijk het temperatuurverloop met de goedgekeurde grenswaarden van de betreffende hardware. Een toename van de belasting kan de warmteafgifte beïnvloeden; het is van cruciaal belang of het systeem onder de beoogde bedrijfsomstandigheden nog steeds binnen de specificaties blijft functioneren.

Vervolgens kan het koeltraject stap voor stap worden gecontroleerd: ligt de aanvoertemperatuur op het beoogde meetpunt binnen het toegestane bereik? Bereikt het debiet de voor het apparaat vereiste waarde? Beide grootheden moeten overeenkomen met de daadwerkelijk gebruikte configuratie. Een acceptabele waarde bij de gebouwvoorziening alleen is nog geen bevestiging dat ook de server correct wordt gevoed.

Een gewijzigde Drukverlies kan wijzen op een verandering in het stromingspad, maar verklaart zonder nader onderzoek niet de oorzaak daarvan. Vergelijk de beschikbare druk- en debietgegevens met de specificaties en de huidige bedrijfstoestand. Vervolgens moeten de CDU, de meldingen daarvan en de warmteoverdracht naar het gebouw worden gecontroleerd; ingrepen zijn voorbehouden aan opgeleid personeel volgens de procedures van de fabrikant en de locatie.

Bij een hybride systeem maakt ook de koeling via de restlucht deel uit van de diagnose. Als luchtkanalen verstopt zijn of de beoogde luchttoevoer niet naar behoren functioneert, kunnen onderdelen die niet vloeistofgekoeld zijn hierdoor worden beïnvloed. Een onopvallende vloeistofcirculatie sluit daarom een thermisch probleem in hetzelfde rack niet uit.

Een lekalarm wordt, los van de temperatuurdiagnose, behandeld volgens het lokale storingsplan. Als een koelcircuit uitvalt, bepaalt het gedocumenteerde uitvalconcept welke belasting wordt verplaatst of welke installatie op gecontroleerde wijze buiten bedrijf wordt gesteld. Alarmering en escalatie moeten ook functioneren wanneer de oorzaak nog niet vaststaat; geïmproviseerde werkzaamheden aan leidingen die onder druk staan, vormen geen vervanging voor een diagnose.

Rendabiliteit en groene hosting beoordelen

Voor een vergelijking op milieugebied beschrijft de PUE de verhouding tussen het totale jaarlijkse energieverbruik in het datacentrum en het jaarlijkse energieverbruik van de IT. De WUE verhoudt het jaarlijkse waterverbruik op de locatie tot het jaarlijkse energieverbruik van de IT. Beide waarden zijn alleen zinvol te vergelijken als de periode en de meetgrenzen bekend zijn.

Een lage PUE-waarde betekent niet automatisch lage absolute uitstoot of een laag waterverbruik. Voor Groene hosting Daarom zijn ook het totale energieverbruik, de emissiebalans of de elektriciteitsmix en het absolute waterverbruik van belang. Een toenemende IT-belasting kan het verbruik op de locatie doen stijgen, zelfs als de verhouding tussen het totale energieverbruik en het IT-energieverbruik gunstiger wordt.

Zelfs een gesloten IT-kringloop maakt de totale bedrijfsvoering niet per se watervrij: in een andere fase van de warmteafvoer kan water verdampen. Bij restwarmte telt dan weer niet alleen het theoretische aanbod, maar de daadwerkelijk gebruikte warmte. Daarvoor moeten de temperatuur en de tijdsbehoefte van de afnemer op elkaar zijn afgestemd; een warmtepomp kan extra energie nodig hebben.

De rendabiliteit hangt af van de locatie. Vergelijk het verwachte belastingsprofiel en de geplande rackdichtheid met de investeringen in compatibele IT, stroomverdeling, CDU en aanpassingen aan het gebouw. Daarnaast zijn er kosten voor onderhoud, energie, eventueel water, en de kosten voor redundantie en uitvalpreventie. Vergelijk deze posten over dezelfde exploitatieperiode met een alternatief dat realistisch is afgestemd op de locatie.

Voor hostingklanten is het zinvol om aanbieders te vragen naar de meetperiode, locatiegegevens en de daadwerkelijke omvang van het gebruik van restwarmte, in plaats van alleen op basis van de koeltechniek conclusies te trekken over de milieu-impact. Verdere ontwikkelingen op het gebied van infrastructuur en duurzaamheid worden in het artikel behandeld onder de Hostingtrends 2026 in.