Rspamd zamiast SpamAssassin: jak sensownie porównać nowoczesne filtry antyspamowe

Cele filtrów antyspamowych i nieuniknione błędy w rozpoznawaniu

Filtr antyspamowy ocenia wiadomości w strumieniu poczty na podstawie cech technicznych i merytorycznych. W zależności od produktu obejmują one między innymi dane nadawcy i dane uwierzytelniające, nagłówki, adresy URL, treść wiadomości, strukturę HTML, klasyfikacje statystyczne oraz zapytania zewnętrzne. Celem nie jest ustalenie prawdziwości wiadomości e-mail, lecz przejrzysta ocena ryzyka związanego z jej dostarczeniem. Rspamd W tym celu łączy również liczne moduły kontrolne i może zebrać wyniki w dokument służący do podjęcia decyzji.

Kilka etapów tego procesu musi pozostać oddzielnymi czynnościami: serwer MTA najpierw przyjmuje wiadomość SMTP lub odrzuca ją podczas przesyłania. Następnie filtr oblicza wynik – przed lub w trakcie przetwarzania. Oznaczenie może na przykład uzupełniać nagłówki lub, zgodnie z kolejnymi regułami, przenosić wiadomość do folderu ze spamem. Odrzucenie natomiast kończy proces przyjmowania; jest to zatem działanie o największych konsekwencjach, a nie jedynie silniejsze oznaczenie.

A Fałszywy alarm Ma to miejsce, gdy uzasadniona wiadomość zostaje błędnie zaklasyfikowana jako spam. Może to dotyczyć na przykład prawdziwej faktury od dostawcy, której załącznik w formacie PDF, wezwanie do zapłaty lub nietypowa domena nadawcy uruchamiają szereg kontroli. Jeśli wiadomość zostanie jedynie oznaczona, odbiorca nadal może ją znaleźć; jeśli zostanie odrzucona, w ogóle nie trafi do skrzynki odbiorczej. W przypadku komunikacji biznesowej różnica ta ma kluczowe znaczenie.

Z drugiej strony, jest to Wynik fałszywie ujemny wiadomość spamowa, która przedostała się przez filtr. Typowym przykładem jest kampania zawierająca nieznacznie zmienione teksty, zmieniające się linki oraz nagłówki sprawiające wrażenie poprawnych technicznie. Takie wiadomości zwiększają ryzyko phishingu, złośliwego oprogramowania lub niechcianej reklamy, ale nie oznaczają automatycznie, że każde rygorystyczne odrzucenie byłoby uzasadnione. Filtr antyspamowy zawsze dąży do optymalizacji między tymi dwoma rodzajami błędów, a nie do osiągnięcia wskaźnika bezbłędności.

Wartości progowe stanowią zatem decyzję dotyczącą ryzyka operacyjnego. Niska wartość progowa dla odrzucanych wiadomości może ograniczyć liczbę przepuszczanych wiadomości spamowych, ale zwiększa ryzyko utraty legalnej poczty. Wyższa wartość przenosi większą odpowiedzialność na oznaczanie, kwarantannę i weryfikację przez użytkownika. Sensowne jest stosowanie strategii stopniowej: najpierw oznaczanie i obserwacja, a następnie greylisting lub bardziej rygorystyczne środki tylko w tych przypadkach, w których decyzję potwierdzają logi, informacje zwrotne i własny ruch pocztowy.

SpamAssassin: reguły, wyniki i model działania

SpamAssassin jest to rozszerzalny filtr oparty na regułach i punktach. Analizuje on między innymi nagłówki, treść, kod HTML i adresy URL; dodatkowo dostępne są metody statystyczne, zapytania sieciowe oraz wtyczki obsługujące funkcje takie jak Bayes, SPF, DKIM czy DMARC. Poszczególne trafienia przyczyniają się do wyniku w postaci punktów. Z ich sumy powstaje wynik, który można porównać ze skonfigurowaną wartością progową.

Własne dostosowania wprowadza się zazwyczaj w .cf-pliki. Pozwalają one na przykład definiować reguły dotyczące nagłówków, treści i adresów URI wraz z własnymi ocenami. Model ten jest szczególnie przejrzysty, gdy zespół musi zrozumieć, dlaczego zadziałała konkretna reguła. Jednocześnie wraz z rosnącą liczbą wyjątków, lokalnych pakietów reguł i zróżnicowanych ocen wzrasta nakład pracy związany z utrzymaniem systemu: każda reguła wymaga uzasadnienia merytorycznego, udokumentowanego efektu oraz regularnej kontroli.

W trybie ciągłej pracy serwera usługa zazwyczaj spamd przyjmuje zlecenia testowe, podczas gdy klient typu „lean” spamc przekazuje mu wiadomości. Takie rozdzielenie pozwala uniknąć konieczności uruchamiania całego programu dla każdej wiadomości i jest przeznaczone do cyklicznych kontroli. Usługa może ponadto uwzględniać konfiguracje SQL lub LDAP, a także ustawienia użytkownika.

Ma to znaczenie w przypadku środowisk hostingowych: domena może wymagać różnych białych list, podczas gdy poszczególne skrzynki pocztowe mają własne preferencje lub poziomy nauczania. Takie wykształcone struktury nie stanowią wady technicznej, ale utrudniają wymianę danych. Przed wprowadzeniem zmian należy zatem jasno określić, które reguły mają faktycznie kluczowe znaczenie dla działalności, które zostały przejęte wyłącznie z przeszłości, a które zadania są już realizowane przez MTA lub inną usługę.

Dobrze utrzymana instalacja SpamAssassin nie musi być wymieniana wyłącznie ze względu na swój wiek. Jeśli reguły są zrozumiałe, integracja działa stabilnie, a nakład pracy administracyjnej jest dostosowany do natężenia ruchu pocztowego, celowa konserwacja może być bardziej sensowna niż migracja. Z drugiej strony wysoki odsetek trudnych do utrzymania reguł specjalnych nie stanowi argumentu za ślepym kopiowaniem: jest to raczej powód, by stan magazynowy dokonać krytycznej korekty, niezależnie od wybranego później filtra.

Rspamd: procesy robocze, symbole i działania

Rspamd działa w modelu „master-worker”. Master zarządza procesami i konfiguracją, podczas gdy zwykłe procesy typu worker sprawdzają wiadomości. Pracownik-proxy może między innymi przyjmować żądania Miltera i rozdzielać je między skanery. Kontroler zapewnia funkcje administracyjne oraz interfejs internetowy, ale nie powinien być narażony na ataki w sieci publicznej. Takie rozdzielenie ról pozwala na wyraźniejsze oddzielenie ruchu pocztowego, przetwarzania i administracji.

Istotnym elementem architektury jest nieblokujący wczyt i zapis. Zapytania DNS, Redis lub HTTP mogą być realizowane asynchronicznie. Jeśli operacja czeka na odpowiedź zewnętrzną, nie musi to koniecznie wstrzymywać innych operacji tego samego pracownika. Nie oznacza to jednak ogólnej gwarancji wydajności: rzeczywiste wyniki nadal zależą od zestawu reguł, sprzętu, opóźnień DNS, Redis, połączenia z MTA oraz rzeczywistego zestawu komunikatów.

Generowanie testów w Rspamd Symbole wraz z ocenami i dodatkowymi informacjami. Filtr łączy je w jedną ogólną ocenę i może zaproponować działanie, na przykład add header, greylist lub reject. Ta akcja nie jest automatyczną decyzją dotyczącą dostarczania: dopiero konfiguracja i konkretne wdrożenie w Postfixie, Eximie lub Sendmailu decydują o tym, czy i w jaki sposób serwer MTA ją zastosuje.

Właśnie z tego powodu nie należy przyjmować istniejących wartości progowych programu SpamAssassin jako wartości liczbowych. Wynik odzwierciedla zawsze współdziałanie aktywowanych reguł, ich wagi oraz dostępnych źródeł danych. Nawet testy o tej samej nazwie mogą być w obu systemach różnie ważone, różnie agregowane lub wykonywane w różnych momentach. Bezpośrednie porównanie required_score z progiem Rspamd byłoby mylące z technicznego punktu widzenia.

Z punktu widzenia operacyjnego rozdzielenie oceny od egzekwowania stanowi zaletę: możesz najpierw obserwować pojawiające się symbole i proponowane działania, nie odrzucając ich od razu. Dopiero na podstawie własnych, uzasadnionych komunikatów, rozpoznanych kampanii i informacji zwrotnych można ustalić, które Poziomy progowe są uzasadnione. W ten sposób techniczne ustawienie domyślne staje się weryfikowalną wytyczną dotyczącą dostarczania wiadomości, a nie rzekomo obiektywnym progiem spamowym.

Porównanie codziennej obsługi poczty elektronicznej

Różnice między programami SpamAssassin i Rspamd wynikają nie tyle z poszczególnych reguł wykrywania, co z modelu działania. Oba programy oceniają wiadomości e-mail na podstawie wielu sygnałów, jednak sposoby konfiguracji, integracji i działania w trybie rozproszonym różnią się między sobą. Poniższe zestawienie porządkuje te kwestie jako podstawę planowania; nie zastępuje ono jednak analizy własnego ruchu pocztowego.

W przypadku małego, pojedynczego serwera dobrze utrzymana instalacja SpamAssassin nie stanowi zatem technicznej sytuacji kryzysowej. Jeśli własne reguły są zrozumiałe, usługa działa stabilnie, a błędne klasyfikacje są korygowane, utrzymanie obecnego rozwiązania może oznaczać mniejszy nakład pracy związany ze zmianami. Nowa konfiguracja z wykorzystaniem Rspamd pozostaje jednak realną opcją, jeśli jego integracja z Milterem oraz scentralizowane moduły lepiej pasują do planowanego środowiska.

W środowiskach hostingowych z wieloma skanerami plik Skalowanie ważniejsze niż sama liczba zainstalowanych reguł. Proxy-Worker programu Rspamd może przekazywać zapytania Miltera do innych workerów; asynchroniczne zapytania zewnętrzne nie powinny przy tym blokować całego workera. Nie oznacza to jednak ogólnej gwarancji wydajności: opóźnienia DNS, reguły, sprzęt oraz skład wiadomości determinują rzeczywistą przepustowość.

Integracja z MTA, Redis i moduły oparte na stanie

Sposób integracji technicznej decyduje o tym, w którym miejscu filtr antyspamowy poczty elektronicznej zwraca swoją ocenę do agenta transferu poczty. Rspamd można połączyć z Postfixem i Sendmailem za pośrednictwem Miltera. Exim wykorzystuje w tym celu swoją integrację poprzez spamd_address. Filtr zwraca wynik, jednak to MTA i wybrana konfiguracja nadal decydują o tym, czy wiadomość zostanie oznaczona, opóźniona czy odrzucona.

Nie każda weryfikacja wymaga wspólnego stanu. SPF, DKIM i DMARC analizują informacje uwierzytelniające; listy oparte na DNS i wyrażenia regularne sprawdzają dodatkowe cechy pojedynczej wiadomości. Chociaż takie kontrole mogą wymagać zewnętrznych odpowiedzi DNS, nie prowadzą one automatycznie historii uczenia się. Ich wiarygodność zależy między innymi od prawidłowego działania systemu DNS oraz odpowiedniego wyważenia w całym zestawie reguł.

Pracować inaczej moduły oparte na stanie. Klasyfikacja bayesowska przechowuje wyuczone cechy, greylisting musi rozpoznawać wcześniejsze próby dostarczenia, a limity częstotliwości wymagają liczników obejmujących wiele połączeń. W udokumentowanej architekturze Rspamd przewiduje wykorzystanie Redis dla klasyfikacji bayesowskiej, klasyfikacji neuronowej, greylistingu i innych stanów. Dzięki temu wiele instancji może mieć dostęp do wspólnych informacji.

Redis nie jest zatem ani elementem, który można dowolnie zastąpić, ani warunkiem koniecznym dla każdego pojedynczego testu Rspamd. W przypadku braku dostępnej pamięci moduły statyczne mogą nadal działać, podczas gdy funkcje uczenia się i oceny reputacji będą ograniczone lub przestaną działać. W związku z tym operatorzy muszą przed uruchomieniem systemu w środowisku produkcyjnym określić dostępność, połączenie sieciowe, zabezpieczenia dostępu, kopie zapasowe oraz sposób postępowania w przypadku awarii Redis.

Z praktycznego punktu widzenia sensowne jest rozdzielenie obowiązków: MTA przyjmuje połączenia SMTP i realizuje decyzję filtrującą, Rspamd ocenia wiadomości, a Redis przechowuje niezbędne stany. Taki podział ułatwia wykrywanie błędów, ale zwiększa liczbę usług, które należy monitorować. Powolnego działania lub niedostępności zależności nie należy kompensować pochopnym odrzucaniem wiadomości.

Kontrolowane przenoszenie zasad i danych dotyczących nauki

Migracja zaczyna się od analizy obecnej sytuacji, a nie od skopiowania wszystkich plików. Na szczególną uwagę zasługują własne reguły: mogą one odzwierciedlać wymagania biznesowe, ale mogą też zawierać przestarzałe wyjątki. Rspamd udostępnia moduł SpamAssassin, który przetwarza tylko część reguł. Techniczne podobieństwo reguły nie gwarantuje zatem, że osiągnie ona ten sam efekt.

Moduł może między innymi określać body-, rawbody-, header-, meta- oraz uri-przetwarzanie reguł. Natomiast wtyczki związane z siecią i HTML nie są w pełni obsługiwane. Ładowanie rozbudowanych zestawów reguł innych producentów bez ich sprawdzenia może skomplikować konfigurację i obciążyć system podczas przetwarzania. Lepiej jest stosować wyłącznie własne reguły, których potrzeba jest uzasadniona, oraz preferować moduły natywne.

Szczególnej staranności wymaga to Trening bayesowski. Zgodnie z dokumentacją Rspamd nie można importować baz danych SpamAssassin-Bayes. Dlatego też w przypadku Rspamd potrzebne są nowe, sprawdzone korpusy zawierające pożądane wiadomości oraz spam. Błędnie sklasyfikowane faktury, biuletyny lub kampanie przesuwają klasyfikację w niewłaściwym kierunku i mogą nasilać późniejsze błędne decyzje.

Również AWL nie powinno być traktowane jako przejęcie pliku. Chociaż historia wcześniejszych nadawców i aktualna ocena reputacji mają podobne cele, mogą one opierać się na różnych źródłach danych i stosować różne wagi. Dlatego należy najpierw udokumentować, jaki efekt ma przynieść istniejący wyjątek lub reguła zaufania. Dopiero potem można zdecydować, czy odpowiednia jest natywna funkcja Rspamd, czy też konkretna reguła własna.

Bezpieczne wdrożenie Rspamd w trybie równoległym

Skuteczna zmiana nie zaczyna się od zastąpienia dotychczasowego filtra, lecz od sporządzenia spisu stanu. Należy udokumentować połączenie MTA, reguły SpamAssassin, wyjątki dotyczące użytkowników, zależności DNS, akceptowanych nadawców oraz obecny sposób postępowania z podejrzanymi wiadomościami. Określ również, które wskaźniki będą miały znaczenie w przyszłości: na przykład błędnie oznaczone wiadomości służbowe, przepuszczone kampanie oraz nakład pracy związany z ręczną obsługą.

Najpierw zainstaluj Rspamd oddzielnie od głównego ścieżki poczty i skonfiguruj go tak, aby rejestrował wyniki oceny, ale nie zmieniał sposobu dostarczania wiadomości. Udokumentowany tryb cieniowy (Shadow Mode) pozwala właśnie na taką obserwację: Rspamd sprawdza wiadomości bez wdrażania proponowanych działań. Dzięki temu podczas fazy porównawczej SpamAssassin pozostaje jedynym aktywnym decydentem.

Weź pod uwagę nie tylko wynik ogólny, ale przede wszystkim wygenerowane Symbole oraz wynikające z tego działanie. Wysoka wartość może wynikać z błędów uwierzytelniania, cech adresu URL, danych dotyczących reputacji lub reguł lokalnych; przyczyny te wymagają różnych działań naprawczych. Dlatego przed zmianą wyników lub modułów sprawdź dla każdej podejrzanej wiadomości nagłówek, grupę odbiorców oraz działanie zaproponowane przez filtr.

Sensowne porównanie uwzględnia konkretne, pożądane i niepożądane przypadki graniczne. Prawdziwa faktura od znanego dostawcy może na przykład zawierać plik PDF oraz zewnętrzny link śledzący. Z kolei zróżnicowana kampania spamowa nieustannie zmienia temat, fragmenty tekstu i nadawcę, zachowując jednak typowe adresy URL lub cechy strukturalne. Oba rodzaje wiadomości pokazują, czy poszczególne symbole wnoszą zrozumiały wkład, czy też reguła ma zbyt szeroki zakres.

Jarzmo Wartości progowe dopiero wtedy, gdy dostępnych będzie wystarczająco dużo przykładów, które można zweryfikować. Skala punktacji Rspamd nie jest tożsama z dotychczasową wartością SpamAssassin; bezpośrednie przejęcie tej skali może zatem spowodować nieodpowiednie działania. Należy osobno określić, od kiedy należy jedynie uzupełniać nagłówki, kiedy tymczasowo umieszczać wiadomości na szarej liście oraz w jakich warunkach należy je odrzucać. Integracja z MTA decyduje przy tym, czy i w jaki sposób dana akcja zostanie faktycznie zrealizowana.

Po zakończeniu zaplanowanego okresu obserwacyjnego następuje kontrolowane przełączenie: Rspamd staje się aktywnym filtrem, podczas gdy SpamAssassin pozostaje zainstalowany i można go konfigurować, ale nie podejmuje już decyzji w przepływie poczty. Ten okres przejściowy powinien obejmować podział obowiązków, udokumentowaną procedurę powrotu do poprzedniego stanu oraz kryteria przerwania procesu. Dodatkowym wsparciem jest precyzyjnie ograniczona konfiguracja zapory sieciowej; podstawy stopniowej migracji reguł wyjaśniono w artykule Netfilter a nftables.

Eksploatacja, rejestrowanie i systematyczne wykrywanie błędów

W przypadku nieoczekiwanej odmowy diagnostyka rozpoczyna się od konkretnego komunikatu i łańcucha jego przetwarzania, a nie od ogólnego złagodzenia progu filtrowania. Należy sprawdzić protokół MTA, wynik Rspamd, wygenerowane symbole, wynik punktowy oraz proponowane działanie. Dopiero ta analiza pozwala ustalić, czy przyczyną odrzucenia była na przykład reguła lokalna, weryfikacja oparta na DNS czy też egzekwowanie przez MTA.

W przypadku spamu, który przedostał się przez filtr, należy przeprowadzić analizę wsteczną. Sprawdź, czy wiadomość w ogóle dotarła do Rspamd, jakich symboli brakuje oraz czy skonfigurowana akcja nie została wykonana z powodu wyniku oceny. Jeśli brakuje oczekiwanych wyników DNS, sprawdź resolvery, dostępność i czasy odpowiedzi, zanim zaczniesz tworzyć nowe reguły dotyczące treści. Nie każdą kampanię da się sensownie uchwycić za pomocą pojedynczej wartości progowej.

Awaria Redis wymaga osobnego podejścia, ponieważ może zakłócić działanie funkcji opartych na stanie. Należy sprawdzić połączenie filtra z pamięcią, logi usługi Redis, a następnie zidentyfikować moduły, które są zależne od tego stanu. Sprawdzanie statyczne może nadal dostarczać wyników, jednak uczenie bayesowskie, greylisting lub inne analizy zależne od stanu wymagają sprawnie działającej bazy danych.

Jeśli oczekiwana reguła nie zadziała, najpierw sprawdź jej rzeczywiste miejsce ładowania, składnię oraz format wiadomości, w odniesieniu do której ma działać. Sprawdzanie nagłówków, tekstu surowego, kodu HTML i adresów URL dotyczy różnych rodzajów danych. W programie SpamAssassin pliki reguł można przed wdrożeniem sprawdzić za pomocą testu składniowego; poniższe polecenie sprawdza konfigurację i nie wpływa na bieżącą dostawę poczty.

spamassassin --lint

W przypadku powtarzających się zakłóceń należy gromadzić w jednym widoku sygnatury czasowe, zachowanie kolejki, zapytania DNS oraz błędy odpowiedzi. Pozwala to ustalić, czy opóźnienie w dostarczeniu wynika z działania serwera MTA, zewnętrznego zapytania czy też procesu filtrowania. W celu uzyskania bardziej szczegółowych informacji na temat telemetrii systemu Linux oraz monitorowania działających systemów zapoznaj się z uzupełniającym artykułem bpftool do nowoczesnej analizy jądra podstawy techniczne.

Nie należy odruchowo zmieniać ogólnych wyników ani rozbudowanych zestawów reguł na podstawie pojedynczego zdarzenia. Zamiast tego należy zabezpieczyć daną wiadomość zgodnie z przepisami o ochronie danych, porównać ją z podobnymi przypadkami oraz udokumentować przyczynę wraz z wprowadzoną zmianą. To Analiza błędów zapewnia przejrzyste korekty i zmniejsza ryzyko, że reguła wyjątku będzie później nieprawidłowo traktować duże ilości uzasadnionych lub niechcianych wiadomości e-mail.

Podjąć decyzję na podstawie profilu serwera

Dalsze celowe korzystanie z SpamAssassin ma sens, jeśli istniejący serwer pocztowy jest niezawodnie zarządzany zgodnie z własnymi regułami, ustawieniami poszczególnych użytkowników i procedurami operacyjnymi. System można rozbudowywać w oparciu o reguły i punkty oraz obsługuje wtyczki, a także różne ścieżki konfiguracji i przechowywania danych. Zmiana wyłącznie ze względu na wiek instalacji nie przynosi żadnych korzyści technicznych, o ile nie występuje konkretny problem eksploatacyjny.

Rspamd jest oczywistym wyborem przy tworzeniu nowej architektury, jeśli od samego początku planuje się zintegrowanie z Milterem, nowoczesne mechanizmy uwierzytelniania, scentralizowane sterowanie oraz moduły oparte na stanie. Jego architektura obejmuje role pracowników odpowiedzialnych za przetwarzanie, połączenia proxy i zarządzanie; jednocześnie należy zapewnić niezawodne działanie DNS oraz, w razie potrzeby, Redis jako zależności operacyjnych. Jest to decyzja architektoniczna, a nie ogólna gwarancja wydajności.

W przypadku rozbudowanych środowisk hostingowych, w których występuje wiele sytuacji szczególnych, Praca równoległa zazwyczaj najbardziej niezawodna opcja. Pokazuje ona, które z własnych reguł SpamAssassin są nadal potrzebne, czy symbole Rspamd odzwierciedlają oczekiwane przyczyny oraz które grupy odbiorców są szczególnie wrażliwe na błędne klasyfikacje. Dopiero na tej podstawie można podjąć decyzję o całkowitym przejściu na nowy system lub świadomym pozostaniu przy dotychczasowym rozwiązaniu.

Wybór zależy zatem nie tyle od samej liczby skrzynek pocztowych, co od możliwości konserwacyjnych i zależności. Kto jest w stanie na stałe odpowiadać za Redis, resolver DNS, analizę protokołów i aktualizacje, ten może spójnie obsługiwać Rspamd, w tym funkcje uczące się i oparte na stanie. W przypadku braku tych zasobów mniejsze ryzyko operacyjne może stanowić uproszczona, dobrze udokumentowana konfiguracja z jasnymi zasadami.

Niezależnie od produktu obowiązuje zasada: nie należy udostępniać kontrolera Rspamd w sieci bez odpowiedniej ochrony. Dokumentacja zaleca lokalne wiązanie lub ochronę za pomocą zapory sieciowej; w przypadku zdalnego dostępu wymagana jest ochrona dostępu oraz hash hasła. Nie należy również bez weryfikacji przejmować obcych reguł ani historycznych wyników. Pojedyncze pomiary lub nietypowe kampanie nie stanowią podstawy do ustalenia globalnej polityki filtrowania.

W związku z tym właściwą decyzją jest Ocena ryzyka: Ochrona przed niechcianymi wiadomościami stoi w opozycji do konsekwencji utraty prawidłowych wiadomości e-mail. Dla każdej akcji należy określić, kto za nią odpowiada, w jaki sposób jest ona weryfikowana oraz jak można przywrócić poprzedni stan. Dzięki temu filtr antyspamowy pozostaje kontrolowanym elementem obsługi poczty elektronicznej, a nie trudnym do zrozumienia automatycznym mechanizmem.