NiX Spam filtert auf dem Mailserver

Ergänzung zu den Artikeln "Lochrezepte" in iX 5/2003 und "Gemeinsam stark" in iX 11/2003
Gemeinsam stark Unerwünschte E-Mails zentral ausfiltern

Der in iX 5/2003 vorgestellte und zur iX 11/2003 stark erweiterte Spamfilter ”NiX Spam“ lässt sich nicht nur per E-Mail testen, sondern auch live bei der Arbeit beobachten: Eine Prüfsummenliste und eine IP-Blacklist spammender Rechner stehen laufend aktualisiert zur Verfügung.

Anzeige

Das Procmail-Skript ist auf großen Durchsatz ausgelegt. Prüfsummen, Whitelist und Blacklist tragen dazu bei, dass nur ein Bruchteil aller Mails die CPU-belastende Inhaltsanalyse durchlaufen muss. NiX Spam beurteilt die (nicht schon durch Checksum bekannten) E-Mails außerdem schon nach der Header- und MIME-Analyse und lässt die besonders rechenintensive Body-Analyse bei eindeutiger Lage aus.

Etwas Statistik verdeutlicht den Effekt der über die reine Inhaltsanalyse hinausgehenden Maßnahmen: Nach einigen Wochen durchlaufen 90 % der erwünschten Mails den Filter gar nicht mehr (automatisch generierte Whitelist, genau genommen Greenlist). 80 % vom Rest werden bereits nach einer Header-Analyse als erwünscht erkannt. False-Positive-Gefahr und Rechenlast der Body-Filterung sinken damit gegenüber der Body-Analyse jeder Mail um 98 %.

Düstere Aussichten dagegen für unerwünschte Mails: Mehr als drei Viertel sind von vornherein erledigt, weil gleichartige Mails bereits als Spam erkannt wurden (Fuzzy Checksum) oder der absendende Mailserver auf der automatisch generierten Blacklist steht. 80% vom Rest fliegen schon nach der Header-Analyse auf, sodass sich nur 5 % vom ursprünglichen Spam einer Body-Analyse unterziehen müssen (dieser Statistik lagen 16 000 Spam-Mails pro Woche an 20 Anwender zugrunde).

Mit steigender Mail- und Anwenderzahl verbessert sich die Statistik, da sich alle Anwender die zentralen Spam-Informationen teilen. Die Listen der Spam-Prüfsummen und -Quellen lassen sich – wie auf dieser Seite zu sehen – schnell und einfach noch während laufender Spam-Angriffe via Internet austauschen, um die Anwenderbasis zu vergrößern und damit die Statistik weiter zu verbessern.

Die in den genannten Artikeln beschriebenen Vorläufer des heutigen NiX-Spam-Filterskripts finden sich unter ftp://ftp.ix.de/pub/ix/ix_listings/2003/11/nixspam.procmailrc und ftp://ftp.ix.de/pub/ix/ix_listings/2003/05/nixspam.procmailrc.

Tipps und Erfahrungsberichte gibts im Diskussionsforum.