Bezpośrednie chłodzenie cieczą w centrum danych: technologia, eksploatacja i opłacalność

Zrozumieć bezpośrednie chłodzenie cieczą

W systemie Direct Liquid Cooling (DLC) ciecz bezpośrednio odbiera ciepło z wybranych komponentów serwera. W powszechnie stosowanej wersji Direct-to-Chip znajduje się Płyta chłodząca na przykład w procesorze lub akceleratorze. Płyn chłodzący przepływa przez kanały w płycie, nagrzewa się i odprowadza energię przez podłączone przewody.

W układzie jednofazowym czynnik chłodniczy pozostaje w stanie ciekłym podczas przewidzianej eksploatacji. Natomiast procesy dwufazowe wykorzystują zmianę fazy czynnika chłodzącego; ich konstrukcji i wymagań eksploatacyjnych nie da się w prosty sposób wywnioskować na podstawie obiegu jednofazowego. Również chłodzenie immersyjne stanowi odmienną koncepcję: w tym przypadku elementy znajdują się w odpowiednim czynniku chłodzącym, a nie są do niego podłączone jedynie za pomocą płyt chłodzących.

Chłodzenie odprowadza ciepło, ale nie zapobiega jego powstawaniu. Procesor nadal potrzebuje energii elektrycznej do wykonywania obliczeń, która w przeważającej mierze jest oddawana w postaci ciepła. Technologia DLC może wpływać na zapotrzebowanie na energię w systemach chłodzenia; jednak montaż płyt chłodzących nie powoduje ani zmniejszenia zużycia energii przez sprzęt IT, ani automatycznie oszczędności dla całego centrum danych.

Technologia Direct-to-Chip staje się szczególnie interesująca przy wysokich Gęstość montażu w szafie: Gdy wiele wydajnych procesorów pracuje na niewielkiej przestrzeni, konieczne jest odprowadzenie dużej ilości ciepła z niewielkiego obszaru. Ciecz pochłania część tego ciepła bezpośrednio z elementów, zamiast najpierw w całości oddawać je do powietrza w pomieszczeniu. To, czy modernizacja się opłaca, zależy również od systemu chłodzenia budynku, profilu obciążenia oraz warunków eksploatacji.

Przegląd innych podejść i ich obszarów zastosowania przedstawia artykuł poświęcony Chłodzenie cieczą serwerów w centrum danych. Ponadto przy projektowaniu konkretnego systemu DLC kluczowe znaczenie ma sposób podłączenia obiegu cieczy do systemu odprowadzania ciepła z budynku.

Droga ciepła

Ścieżka cieplna rozpoczyna się na powierzchni styku między elementem a płytą chłodzącą. Podgrzane medium przepływa przez węże i przyłącza do rozdzielacza, który łączy kilka serwerów lub ścieżek chłodniczych z obiegiem. Stamtąd zazwyczaj trafia do jednostki dystrybucji chłodzenia (ang. Cooling Distribution Unit, w skrócie CDU), która zasila i reguluje obieg po stronie sprzętu IT.

W CDU typu ciecz-ciecz jeden Wymiennik ciepła energię z obiegu IT do obiegu budynku. Oba media nie muszą się przy tym mieszać. Pompy, czujniki i układ regulacyjny zapewniają wymagany przepływ i utrzymanie temperatury; w zależności od architektury system CDU może być umieszczony w szafie serwerowej lub zasilać kilka szaf.

Zadanie nie kończy się na wymienniku ciepła: budynek musi dalej odprowadzać przejęte ciepło. W zależności od instalacji i warunków eksploatacji można w tym celu zastosować np. chłodnice powrotne, wieże chłodnicze lub agregaty chłodnicze. To, która kombinacja będzie odpowiednia, zależy między innymi od wymaganych temperatur, warunków atmosferycznych na zewnątrz oraz warunków eksploatacyjnych w ciągu roku.

Alternatywą dla wyłącznego oddawania ciepła do otoczenia jest wykorzystanie go przez odpowiedniego odbiorcę. W tym celu podaż i zapotrzebowanie muszą być zsynchronizowane w czasie; istotne znaczenie mają również poziom temperatury i odległość. Jeśli dostępna temperatura jest niewystarczająca, konieczne może być zastosowanie pompy ciepła. Sama obecność przewodu cieczy nie oznacza jeszcze faktycznego wykorzystania ciepła.

Wiele serwerów chłodzonych cieczą pozostaje Systemy hybrydowe. Płyty chłodzące niekoniecznie obejmują wszystkie elementy; pozostałe komponenty nadal oddają ciepło do powietrza. Firma NVIDIA opisuje takie chłodzone powietrzem pozostałe komponenty w konfiguracjach GB200. Dlatego też przepływ powietrza w pomieszczeniu i dostępne chłodzenie powietrzem muszą być dostosowane do pozostałego obciążenia, nawet jeśli znaczna część ciepła jest odprowadzana za pomocą cieczy.

Prawidłowe klasyfikowanie temperatur i interfejsów

W przypadku podłączenia serwera samo określenie „chłodzony cieczą“ nie jest wystarczające. Projektanci potrzebują danych eksploatacyjnych zatwierdzonych dla konkretnej konfiguracji i muszą je dopasować do jednostki CDU, systemu dystrybucji oraz instalacji budynku. Odpowiednie podłączenie powstaje dopiero wtedy, gdy wszystkie zaangażowane komponenty są ze sobą zgodne w przewidzianych warunkach obciążenia i eksploatacji.

Die Temperatura zasilania oznacza temperaturę medium przepływającego do urządzenia, które ma być chłodzone. Musi ona mieścić się w zakresie dopuszczalnym dla danego urządzenia; jednocześnie wpływa na warunki, w jakich instalacja budynku może odprowadzać ciepło. Wyższa temperatura może sprzyjać niektórym koncepcjom chłodzenia, nie może jednak przekraczać dopuszczalnej granicy dla konkretnego serwera.

Wymagany przepływ określa, ile czynnika chłodniczego musi przepłynąć przez układ chłodzenia w określonym czasie. Ten Strata ciśnienia Powstaje między innymi na płytach chłodzących, wężach i przyłączach. Projektowanie pomp i orurowania musi zapewniać wymagany przepływ z uwzględnieniem tych oporów, a jednocześnie mieścić się w dopuszczalnych granicach ciśnienia poszczególnych elementów.

Równie ważne są jakość płynu chłodzącego oraz kompatybilność materiałowa. Wymagania producenta mogą dotyczyć na przykład składu płynu oraz postępowania w przypadku zanieczyszczeń. Zatwierdzone węże, złącza i uszczelki muszą być dostosowane do medium i danego przyłącza; element pasujący pod względem mechanicznym nie jest automatycznie dopuszczony do przewidzianego zastosowania.

ASHRAE wyróżnia klasy W dotyczące zasilania wodą po stronie budynku. Klasa taka pomaga w klasyfikacji systemu zaopatrzenia, nie zastępuje jednak certyfikacji urządzeń i nie określa automatycznie warunków panujących w oddzielnym obiegu IT. Wartości podane przez producenta lub dla jednej strony obiegu nie powinny zatem być bez weryfikacji przenoszone na inne urządzenia, przyłącza lub media.

Porównanie czterech metod chłodzenia

Przy wyborze systemu chłodzenia nie liczy się wyłącznie to, czy wykorzystuje się płyn. Decydujące znaczenie ma to, gdzie pochłaniane jest ciepło oraz jaka infrastruktura jest do tego potrzebna na serwerze i w budynku. Te cztery podejścia różnią się również tym, czy powietrze nadal przepływa przez urządzenia IT.

W przypadku umiarkowanego i rozłożonego przestrzennie obciążenia istniejące chłodzenie powietrzem może okazać się wystarczające, o ile przepływ powietrza i rezerwy temperaturowe są dostosowane do rzeczywistych warunków pracy. Natomiast wymiennik ciepła typu „Rear Door” jest montowany bezpośrednio na szafie rackowej, bez konieczności zasadniczej zmiany sposobu odprowadzania ciepła z serwera na płyty chłodzące. Niemniej jednak należy zaplanować doprowadzenie płynu oraz dostęp do tylnej części szafy rackowej.

W przypadku wysokiej gęstości cieplnej technologia Direct-to-Chip może ułatwić odprowadzanie ciepła bezpośrednio z procesorów i akceleratorów. Technologia Immersion przenosi pochłanianie ciepła do kąpieli cieczowej, ale w większym stopniu zmienia sposób integracji i konserwacji. To, które rozwiązanie jest odpowiednie w danej lokalizacji, zależy zatem nie tylko od gęstości montażu w szafie, ale także od kompatybilności sprzętu, nakładu związanego z przebudową oraz dostępnych możliwości odprowadzania ciepła.

Planowanie wdrożenia szaf o dużej gęstości

Konkretnym przykładem wysokiej gęstości w szafie rackowej jest model GB200 NVL72 firmy NVIDIA: producent podaje, że dla tej konstrukcji szafy rackowej wymagana wydajność chłodzenia wynosi 120 kW na szafę. Wartość ta odnosi się do wymagań tej konkretnej konfiguracji, a nie stanowi ogólnego limitu wydajności dla Bezpośrednie chłodzenie cieczą i brak zgody na inne systemy.

Również w tym systemie chłodzenie nie ogranicza się wyłącznie do cieczy: firma NVIDIA podaje informacje o pozostałych komponentach chłodzonych powietrzem. Przy planowaniu lokalizacji należy zatem uwzględnić zarówno zasilanie cieczą, jak i pozostałe obciążenie wentylacyjne konkretnego dostarczonego systemu. Obowiązujące są dane dotyczące przyłączy specyficzne dla danego projektu, a nie wartość ryczałtowa zaczerpnięta z przykładu.

W przypadku istniejących obiektów planowanie rozpoczyna się od rzeczywistego i przewidywanego rozkładu obciążenia: które szafy pozostaną chłodzone powietrzem, które zostaną wyposażone w płyty chłodzące i gdzie się znajdują? Na tej podstawie można Strefy chłodzenia i na tej podstawie określić odpowiednie wymagania dotyczące chłodzenia powietrzem i cieczą. Nie należy mylić pojedynczego dużego obciążenia w szafie z równomiernym rozkładem obciążenia w całej sali.

Następnie należy sprawdzić trasy przewodów, miejsce na rozdzielacze i CDU oraz dostępność w celu przeprowadzenia konserwacji. Istniejący system chłodzenia budynku musi być w stanie odprowadzić dodatkowe ciepło nawet w przewidzianych warunkach eksploatacyjnych. Sam fakt, że w pomieszczeniu można ustawić jednostkę CDU, nie mówi jeszcze nic o dostępnej wydajności chłodzenia powrotnego.

Na zakończenie należy dobrać odpowiednie koncepcja redundancji: Operatorzy muszą określić, które obciążenia mają być nadal zasilane w przypadku awarii jednej ścieżki chłodniczej oraz jaki wpływ ma konserwacja na pozostałą wydajność. Dopiero na podstawie tych wymagań oraz danych producenta można rzetelnie zaplanować przebudowę, rozbudowę i eksploatację.

Bilans cieplny i możliwe zastosowania

Moc cieplna odprowadzana określa, jak szybko transportowane jest ciepło. Energia cieplna przetransportowana w danym okresie, przy stałej mocy, wynika z iloczynu mocy i czasu. To rozróżnienie ma znaczenie przy doborze wymiarów instalacji chłodniczej lub przy analizie potencjalnego dostarczania ciepła w danym okresie.

Przykład obliczeniowy: Jeśli założymy, że przez godzinę odprowadzana jest stała ilość ciepła wynosząca 40 kW, to pomnożenie 40 kW przez godzinę daje 40 kWh przetransportowanej energii cieplnej. Nie jest to pomiar. Z wyniku tego nie wynika ani oszczędność energii elektrycznej, ani to, że cała ilość ciepła jest dostępna lub możliwa do wykorzystania przez odbiorcę.

Aby faktycznie Wykorzystanie ciepła odpadowego Poziom temperatury musi być dostosowany do potrzeb odbiorcy. Jeśli jest zbyt niski, pompa ciepła może podnieść temperaturę; jej zużycie energii elektrycznej jest wówczas uwzględniane w ogólnym bilansie. Wyższe temperatury cieczy mogą ułatwić integrację, ale nie zastępują sprawdzenia konkretnej instalacji.

Podczas planowania operatorzy powinni porównać dostępną ilość ciepła z zapotrzebowaniem danego odbiorcy w poszczególnych porach roku. Należy również sprawdzić, czy w przypadku konkretnego projektu można rozważyć zastosowanie rozwiązania opartego na magazynowaniu ciepła. Sama teoretyczna roczna ilość ciepła nie gwarantuje jeszcze jego wykorzystania przez cały rok.

Podejmując decyzję inwestycyjną, operatorzy powinni ponadto przeanalizować, w zależności od konkretnej lokalizacji, połączenie z odbiorcą oraz nakłady związane z dodatkowym wyposażeniem technicznym. Przenoszone ciepło nie może być od razu w całości uznane za wykorzystany przychód. Rzetelna ocena wymaga konkretnych danych dotyczących planowanego wykorzystania.

Zapewnienie prawidłowego działania i konserwacji

Aby system chłodzenia cieczą nadawał się do konserwacji, potrzeba czegoś więcej niż tylko łatwo dostępnych serwerów. Dla każdego przyłącza należy określić, które Złącza szybkiego odłączania producent podaje, gdzie można odciąć dany odcinek oraz w jaki sposób bezpiecznie odłączyć urządzenie od obiegu. Czynności te powinny być uwzględnione w procedurze serwisowej dostosowanej do konkretnego obiektu, która obejmuje również ponowne uruchomienie oraz kontrolę połączeń.

Przed wymianą należy wyjaśnić zakres odpowiedzialności oraz skutki dla pozostałych szaf. Wspólna rozbudowa może spowodować, że odcięcie zasilania dotknie więcej niż jeden serwer. Dlatego w miejscu pracy powinny być dostępne schematy okablowania, oznaczone złącza oraz wytyczne producenta sprzętu; niezbędne części zamienne muszą być zgodne z zainstalowanym modelem.

Również jakość płynu chłodzącego należy do obowiązków eksploatacyjnych. Materiały, płyn i sposób przygotowania muszą być do siebie dopasowane, aby na przykład korozja lub osady nie wpływały negatywnie na działanie układu. To, jakie badania, wartości graniczne i częstotliwości wymiany mają zastosowanie, wynika z wymagań poszczególnych elementów i danego obiegu, a nie z ogólnych zaleceń dotyczących wody.

Do Monitorowanie wycieków Obejmują one odpowiednio rozmieszczone czujniki, niezawodne przekazywanie alarmów oraz udokumentowaną reakcję. Zespół musi wiedzieć, kto przyjmuje alarm, ocenia zagrożony obszar i podejmuje działania zgodnie z procedurami obowiązującymi w danym obiekcie. Automatyczne wyłączenie może być przewidziane w ramach konkretnego projektu, jednak nie jest ono dostępne w każdym systemie ani nie stanowi jedynej możliwej reakcji.

Procedury konserwacyjne i procedury postępowania w przypadku awarii powinny być ze sobą spójne: jeśli podczas prac serwisowych czujnik zostanie zasłonięty lub sygnał alarmowy zostanie tymczasowo wyłączony, należy również uregulować sposób przywrócenia ich działania. Protokoły dotyczące interwencji i nieprawidłowości pomagają w rozpoznawaniu powtarzających się problemów oraz w celowym przygotowaniu kolejnych okien serwisowych.

Systematyczne zawężanie zakresu usterek

Jeśli temperatura jednego z elementów wzrasta, nie oznacza to automatycznie, że przyczyną jest płyta chłodząca. Najpierw sprawdź Obciążenie informatyczne i porównaj przebieg temperatury z dopuszczalnymi wartościami granicznymi dla danego sprzętu. Wzrost obciążenia może wpłynąć na wydzielanie ciepła; decydujące znaczenie ma to, czy system nadal działa w granicach swoich parametrów technicznych w przewidzianych warunkach eksploatacji.

Następnie można stopniowo sprawdzić przebieg obiegu chłodzenia: czy temperatura zasilania w wyznaczonym punkcie pomiarowym mieści się w dopuszczalnym zakresie? Czy natężenie przepływu osiąga wartość wymaganą dla urządzenia? Obie wielkości muszą odpowiadać faktycznie zastosowanej konfiguracji. Sama akceptowalna wartość na stronie zasilania budynku nie potwierdza jeszcze, że serwer jest również prawidłowo zasilany.

Zmieniony Strata ciśnienia może wskazywać na zmianę w torze przepływu, ale bez dalszej kontroli nie wyjaśnia jej przyczyny. Należy porównać dostępne dane dotyczące ciśnienia i przepływu z wartościami znamionowymi oraz dotychczasowym stanem eksploatacyjnym. Następnie należy sprawdzić CDU, jej sygnały alarmowe oraz przekazywanie ciepła do budynku; wszelkie interwencje są zastrzeżone dla przeszkolonego personelu zgodnie z procedurami producenta i obiektu.

W przypadku systemu hybrydowego diagnostyka obejmuje również chłodzenie powietrzem resztkowym. Jeśli kanały wentylacyjne są zablokowane lub przewidziany system wentylacji nie działa zgodnie z planem, może to mieć wpływ na elementy, które nie są chłodzone cieczą. Dlatego też prawidłowe działanie obiegu cieczy nie wyklucza wystąpienia problemu termicznego w tej samej szafie.

Alarm wycieku jest rozpatrywany oddzielnie od diagnostyki temperatury zgodnie z lokalnym planem awaryjnym. W przypadku awarii ścieżki chłodzenia udokumentowana procedura awaryjna określa, które obciążenie należy przenieść lub które urządzenie należy w kontrolowany sposób wyłączyć z eksploatacji. System alarmowy i procedura eskalacji powinny działać nawet wtedy, gdy przyczyna awarii nie została jeszcze ustalona; improwizowane prace przy rurociągach znajdujących się pod ciśnieniem nie zastępują diagnostyki.

Ocena opłacalności i ekologicznego hostingu

W celu porównania wpływu na środowisko opisuje PUE stosunek całkowitego rocznego zużycia energii w centrum danych do rocznego zużycia energii przez infrastrukturę IT. Wskaźnik WUE stanowi stosunek rocznego zużycia wody w obiekcie do rocznego zużycia energii przez infrastrukturę IT. Obie wartości można sensownie porównać tylko wtedy, gdy podane są okresy i granice pomiarowe.

Niska wartość wskaźnika PUE nie oznacza automatycznie niskiej emisji bezwzględnej ani niskiego zużycia wody. W przypadku Zielony hosting Dlatego też istotne znaczenie mają dodatkowo całkowite zapotrzebowanie na energię, bilans emisji lub struktura źródeł energii elektrycznej oraz bezwzględne zużycie wody. Rosnące obciążenie informatyczne może zwiększyć zużycie energii w danej lokalizacji, nawet jeśli stosunek energii całkowitej do energii zużywanej przez systemy informatyczne ulegnie poprawie.

Nawet zamknięty obieg informatyczny niekoniecznie oznacza, że cała instalacja działa bez użycia wody: na innym etapie odprowadzania ciepła może dochodzić do odparowania wody. W przypadku ciepła odpadowego liczy się z kolei nie tylko teoretyczna podaż, ale także ciepło faktycznie wykorzystane. W tym celu temperatura i zapotrzebowanie czasowe odbiornika muszą być odpowiednie; pompa ciepła może wymagać dodatkowej energii.

Opłacalność zależy od lokalizacji. Porównaj przewidywany profil obciążenia i planowaną gęstość montażu w szafach z nakładami inwestycyjnymi na kompatybilny sprzęt IT, systemy zasilania, jednostki CDU oraz dostosowanie budynku. Do tego dochodzą koszty konserwacji, energii, ewentualnie wody, a także koszty zapewnienia nadmiarowości i zabezpieczenia przed awariami. Porównaj te pozycje w tym samym okresie eksploatacji z alternatywnym rozwiązaniem realistycznie dostosowanym do danej lokalizacji.

Klientom korzystającym z usług hostingowych warto zapytać dostawców o okres pomiarowy, dane dotyczące lokalizacji oraz rzeczywisty zakres wykorzystania ciepła odpadowego, zamiast wyciągać wnioski na temat wpływu na środowisko wyłącznie na podstawie zastosowanej technologii chłodzenia. Dalszy rozwój w zakresie infrastruktury i zrównoważonego rozwoju omówiono w artykule poświęconym Trendy w branży hostingowej w 2026 r. w.