DailyStuff » spam

Usenet, goodbye and thanks for all the fish

Hans — Tue, 27 Dec 2011 14:05:53 +0000

After being an usenet junky for a long time the time came that I switched from being a regular poster to a lurker. I still followed a lot of groups for many years until I realised that I only was syncing my newsspool for at least 12 to 18 months without any reading. After some catching up on some groups I saw that I wasn’t the only person. A lot of groups in the nl-tree are just empty or mostly abandoned or they contained mostly spam. Other trees like the comp-tree has more posters, but also a lot more spam and I mean really a lot more.

I still think usenet is a good platform and that it has served it’s purpose. Due to it’s openness as a platform it also lead to a lot of people abusing it and it is unforgiving. One thing that companies like Microsoft, but also XS4ALL are switching to privately hosted forums where they can control the posters and the content. This leaves certain mailinglists for me to follow, but even that number has been reduced as most of them have the Eternal September feeling. So everyone thanks for all the time and discussions on Usenet and hopefully we meet again.

IPv6 voor mailverkeer

Hans — Sun, 12 Jun 2011 12:23:10 +0000

Afgelopen woensdag was het World IPv6 Day en in navolging daarvan werden een aantal maildomeinen voorzien een AAAA-record in DNS naast het gebruikelijke A-records. Hiermee wordt zowel een IPv6 als IPv4 adres geadverteerd om mail op af te leveren. Als eerste zijn de spamtrap-domeinen om gegaan afgelopen woensdag en afgelopen zaterdag zijn enkele andere kleine domeinen omgezet. Nu de time-to-live op de oude records is verlopen komt vandaag langzaam de e-mailstroom over IPv6 op gang.

Voorlopig lijken spammers IPv6 links te laten liggen, maar hoe lang dat zo zal blijven is de vraag. Hiermee komt ook gelijk de vraag of een DNSBL voor mail over IPv6 opzetten nog wel zinvol is. Een computer met IPv6 Privacy Extensions enabled wisselt om de zoveel uur van IPv6-adres en zou dus eigenlijk eigenlijk afdwingen om op network-niveau te gaan blacklisten en misschien ook wel om te gaan whitelisten en greylisten. Hiermee komt eigenlijk ook de vraag hoe valide Spamhaus nog is en wat voor impact dit gaat hebben op de Bayesian filtering opstelling die nu zijn werk doet.

Bayesian database na ruim een jaar

Hans — Fri, 18 Mar 2011 22:55:23 +0000

Na meer dan een jaar na het op de automatische piloot zetten van een bayesian filtering oplossing voor alle inkomende e-mail begint het langzaam aan tijd te worden om de balans op te maken. Dus eerst even wat grafiekjes en eerste laat de hoeveelheid tokens in de database.
De tweede grafiek laat het aantal geleerde berichten zien en dit zijn zowel berichten die via spamtraps en hamtraps binnen zijn gekomen.
Hier komt ook gelijk het opvallende punt. Het aantal berichten blijft gelijkmatig oplopen op de kleine sprong in april na, want toen waren de spamtraps als test niet voorzien van DNSBL-filtering. Voorlopig lijkt hiermee opzet redelijk stabiel te zijn en met een plugin voor Roundcube kunnen gebruikers nu ook fouten netjes zelf melden en worden die verwerkt in de database.

Over de effectiviteit zijn op dit moment geen harde cijfers en de vraag is dan ook hoe die te meten zijn. Dus wat is er nog te verbeteren aan de opstelling? Op dit moment worden performance gegevens over hoeveelheid berichten die worden geweigerd of aangenomen nog niet verwerkt, maar ook niet hoeveel berichten als spam worden gemarkeerd en wat de gemiddelde doorloop tijd is om een bericht te verwerken. Binnenkort dus maar eens een blik werpen op een aantal logfiles om te kijken of dit mogelijk is om zo beter inzicht te krijgen.

IMAP migreren naar IMAP, deel 2

Hans — Sat, 16 Jan 2010 07:57:16 +0000

In september ging een posting over het migreren van IMAP en afgelopen weekend was het zover. Dovecot 1.0.15 werd upgrade naar 1.2.9 waardoor oa een bug in de delivery agent werd geholpen en bewust werd van namespace prefixen. Maar ook werd Sieve-ondersteuning verbetert en redelijk veel performance verbeteringen.

Een van de belangrijkste reden van de migratie was niet om Dovecot te upgraden, maar om mailbox-layout op een dermate manier te wijzigen dat Dovecot zoveel mogelijk out-of-the-box gebruikt kon worden. De INBOX-prefix moest dus verdwijnen en na veel testen met oa Evolution, Roundcube, Thunderbird en Microsoft Outlook 2007 kwam de volgende layout eruit rollen.
Trash Drafts INBOX.Test Junk Sent INBOX
Een van de keuzes was om dubbele algemene mappen aan te maken, maar gezien het feit hoe makkelijk vele clients de nieuwe layout oppakte zijn de algemene mappen op het hoogste niveau geplaatst. Elke client lijkt hier redelijk goed mee om te gaan. Alleen Evolution behoefte in sommige speciale gevallen een opschoning van de lokale cache, maar in veel gevallen is het niet eens nodig. De keuze gaf ook de mogelijkheid om Dovecot zo in te stellen dat de algemene mappen altijd beschikbaar zijn en door de gebruiker eigenlijk niet weg te gooien zijn. De mappen worden bij het eerst volgende bericht weer automatisch aangemaakt en beschikbaar gesteld.
protocol lda { mail_plugins = autocreate ... } plugin { autocreate = Trash autocreate2 = Junk autocreate3 = Drafts autosubscribe = Trash autosubscribe2 = Junk autosubscribe3 = Drafts }
Door de vaste locatie en het automatisch beschikbaar stellen van mappen is het vooraf wegfilteren van Spam wel een optie geworden. En hoewel dit natuurlijk wel een heikel punt is, want de gebruiker heeft ineens geen invloed meer of spam opzij wordt gezet. Dit is misschien het belangrijkste punt wat van XS4ALL te leren is en dat is om niet te veel keuzes te geven, maar een veilige oplossing aan te bieden.
protocol lda { mail_plugins = sieve ... } plugin { sieve_before = /etc/dovecot/sieve/discard-junk.sieve }
Door tegen de Sieve-plugin te vertellen dat hij voor elke lokale delivery van een mailbericht het discard-junk.sieve script moet afwerken. Nu zijn er vele voorbeelden in omloop met wildcard en dat men de wildcards telt, maar waarom niet gewoon de beslissing in bijvoorbeeld Amavisd-new laten maken en zoeken naar de juiste header.
require ["fileinto"]; # rule:[spamfilter] if anyof (header :contains "X-Spam-Flag" "YES") { fileinto "Junk"; }
Wat nu eigenlijk nog overblijft is om het Sieve-script met de hand te compileren.
$ sudo sievec /etc/dovecot/sieve/discard-junk.sieve
Er zijn nog veel meer wijzigingen geweest, maar die komen binnenkort vanzelf aan de orde.

DKIM verifiëren

Hans — Tue, 29 Dec 2009 20:08:49 +0000

DKIM aka DomainKeys Identified Mail is een alternatief op SPF aka Sender Policy Framework en hoewel het lastiger is op te zetten aan de verzenderkant is het wel goed te gebruiken als ontvanger. Zeker omdat oa grote partijen zoals Google en Yahoo het ook gebruiken om hun e-mail te versturen. Gelukkig zijn er ook steeds meer kleinere partijen die DKIM gebruiken.

Op Debian kan door het installeren van Mail::DKIM het oa worden gebruikt door SpamAssassin en Amavisd-new.
$ sudo apt-get install libmail-dkim-perl

Voor SpamAssassin om gebruik te maken van DKIM hoeft in het bestand /etc/spamassassin/v312.pre de volgende regel staan zonder #-teken ervoor.
loadplugin Mail::SpamAssassin::Plugin::DKIM

Je kan los een DKIM-proxy installeren om een header te laten toevoegen of de DKIM-signature voldoet, maar als je al al gebruikt maakt van Amavisd-new dan kan het al automatisch worden gedaan door Amavisd-new. Zorg dat in het bestand /etc/amavis/conf.d/50-user de volgende regel staan en herstart de daemon.
$enable_dkim_verification = 1;

Je zal nu zien dat de volgende regels zien verschijnen in /var/log/mail.log:
Dec 29 20:36:45 server amavis[7162]: Module Mail::DKIM 0.32 Dec 29 20:36:45 server amavis[7162]: DKIM code loaded

Als je bijvoorbeeld RoundCube gebruikt dat kan je met DKIM verification plugin de status automatisch laten weergegeven als de gebruiker zijn e-mail leest. Het zal je ook opvallen waar het voorlopig niet verstandig is om e-mail te rejecten op basis van een invalide DKIM signature. Bij sommige mailinglisten worden extra regels aan de body van de e-mail toegevoegd waardoor het signature niet meer valide is.

Zakelijke spammers

Hans — Mon, 09 Nov 2009 22:14:26 +0000

Op 1 oktober werd nieuwe wetgeving actief met betrekking tot reclame-uitingen en hiermee zouden zakelijke gebruikers ook spamvrij moeten zijn. Helaas was het op 1 oktober om 00h19 al prijs en daarna leek het even stil, maar helaas was de stilte na een paar dagen al over. Tot nu heb ik al tientallen klachten bij de Opta ingediend.

Als ik sommige berichten lees dan vraag ik me af of mensen de wetgeving wel hebben gelezen en begrepen. De volgende twee vielen echt goed op en getuigen van hoever men wil gaan.

Nieuwe Spam-wet m.i.v. 1 oktober! De verplichte optin-regeling voor zakelijke email-nieuwsbrieven is uitgesteld naar 1 oktober 2009. Toch blijven wij U om uw expliciete toestemming vragen voor het versturen van onze nieuwsbrief. Mocht u dat nog niet hebben gedaan, dan kunt u via onderstaande link doen;

Vanwege de veranderde Telecom-wetgeving hebben wij eenmalig uw expliciete toestemming nodig om u het E-Nieuws te kunnen blijven sturen. Een klik op onderstaande link is hiervoor voldoende. Bij voorbaat dank voor de aanmelding!

Dit belooft wat voor de toekomst totdat de eerste zakelijke spammer wordt beboet.

De oliebollen staan klaar

Hans — Wed, 30 Sep 2009 21:52:19 +0000

Met nog een paar minuten te gaan en dan is het 1 oktober. En misschien wel de mooiste datum van dit jaar. Een datum waarop het spamverbod ook voor zakelijke e-mailadressen van kracht wordt. Veel partijen doen nog snel hun laatste spamruns de deur uit om hun lijst op te schonen op zelfs hele slinkse wijze met opt-out praktijken. Maar vanaf 5 oktober gaat elk spambericht zonder pardon naar de Opta om hier vanaf te komen.

Marketeers are awakening

Hans — Wed, 17 Jun 2009 20:57:16 +0000

The Dutch government is making an end to the spam business in The Netherlands with October 1st as the deadline. Some marketeers are starting to validate their records. So also Heliview and they start to understand that I never requested for their shit and now are asking for my details and to accept or deny.

Als relatie van Heliview Conferences & Training BV houden wij u graag op de hoogte van de laatste ontwikkelingen. Om te voldoen aan de wettelijke eisen, vragen wij u actief te registreren voor onze nieuwsbrief. Klik op een van onderstaande buttons. In beide gevallen vragen wij u om uw gegevens te controleren en waar nodig aan te passen.

Sorry Heliview, I never requested anything so I’m not going to accept or deny. But I’m going to react when you spam again after October 1st.

Aggressive marketeers

Hans — Sat, 30 May 2009 16:10:56 +0000

The financial crisis or as we’re being told to believe, now also starts to make marketeers and sales more aggressive. In the Netherlands there are a lot of companies again who say they spoke to you about three months ago, made a deal and if we could confirm it. After requesting for something on paper the conversation normally ends quickly.

Now they have a new strategy and start calling that they spoke with you last year and that you would skip this year as well on god knows what, but they want to confirm this and start requesting your details. They then sent you a form with your details and the request to confirm it that everything is correct. But with the urge to do it quickly or else they need to remove you from there database.

It sounds like some companies are trying to work around the new law that becomes effective on July 1st 2009. This law limits marketeers what they may sent to businesses for there marketing campaigns as now also is for normal people. It also raises a question with me who is site scraping for contact details since they had the VoIP-number for voice, but now for fax or e-mail. And they refused to use the info@ mail address as a nice detail to this all. Again July 1st 2009 becomes interesting for spammers, marketeers and sales.

Je eerste spambericht

Hans — Tue, 21 Apr 2009 09:46:23 +0000

Het is al veel te lang geleden om te herinneren wanneer mijn eerste spambericht binnenkwam, maar irritant was het wel. Het was ook redelijk duidelijk dat het ongewenst was en ook hoe ik op z’n lijst gekomen was. Zeker omdat ik wat onvoorzichtig op usenet had lopen posten. Maar tegenwoordig zouden mensen beter moeten weten, maar zelfs als je heel voorzichtig doet.

De vraag is misschien hoe je dan op een spamlijst komt als je heel voorzichtig bent. Er zijn een paar mogelijkheden als het adres niet met oa Google te vinden is. De twee belangrijkste zijn de mailservers onderweg waar je mailadres wordt opgepikt of bij een eindgebruiker die vrolijk zijn adresboek met de wereld deelt. Dat laatste kan moedwillig, maar ook met behulp van spyware die ongezien is geinstalleerd. We zullen het misschien nooit weten, maar het geeft wel aan dat er voldoende gaten in net zitten helaas. Maar dit gesprek over iemands eerste spambericht zal ik nooit vergeten.