Anti-spam DSPAM

par **boblefou** » 27 Déc 2006 13:17

Bonjour a tous,
Bon je me lance, avec un pavé dans la marre.
Tout d'abord j'aimerais savoir si certains d'entre vous connaisse et/ou utilise l'anti-spam DSPAM.

Personnellement, je connais bien cet anti-spam et j'ai une très forte envi de me lancé dans l'avanture d'une installation sur SME, hélas, aucun rpm n'est disponible pour SME, il va donc falloir que je fasse une compilation sur une machine de test.

J'aimerais savoir si vous êtes pour ou contre un changement d'anti-spam et si vous seriez intéréssé par un partage de futur contribution de ma part ou si vous trouvez complètement acceptable le fonctionnement de spamassassin.
En fait, tout cela pour savoir si je bricole tout seul dans mon coin ou si je fais les choses proprement pour vous en faire profiter.

Sur ces belles paroles, bonnes fêtes de fin d'année à tous !

par **Busy47** » 27 Déc 2006 18:54

Merci pout yon idée sa peut très interressant pour sme car je troufve que spamassasin sur SME 7 et vraiment leger vu qu'on ne peut meme pas le configurer dans le server-manager.
Alors si tu es motive pour essayer de realiser un rpm je suis de tout coeur avec toi.
Juste une question peut il filtrer les messagerie de type orange ou free ou est il uniquement utilisable pour la messagerie de SME car l'idée d'un proxy pop3 est vraiment interssant du genre copfilter sur ipcop

par **MasterSleepy** » 28 Déc 2006 09:24

Salut boblefou,

Il existe un rpm DAG.
Tu trouveras ton bonheur ici
http://dag.wieers.com/packages/dspam/

A+

par **boblefou** » 28 Déc 2006 12:00

Salut,
Oui effectivement, il existe un rpm DAG, j'étais déja tombé dessus ; le problème c'est que les rpm ne sont pas du tout mais pas du tout à jour (ils datent de 2004) et qu'il y a eu de très gros changement de dspam depuis ce temps la.
Il va falloir recommencer le boulot.

par **jibe** » 28 Déc 2006 20:32

Salut voisin :wink:

,

J'hésite à me manifester depuis que j'ai vu ton post... Il serait certainement intéressant qu'on bosse ensemble sur ton projet, d'autant plus qu'il serait assez facile de se rencontrer pour en discuter de vive voix et y travailler. Mon problème principal est le manque de temps !

Puisque tu poses la question de l'intérêt de faire une belle contrib, je te pose déjà la question en public, avant de décider si je te contacte en privé pour aller plus avant : quel intérêt de faire une contrib avec DSPAM alors que SME est déjà équipée d'un antispam et que spamassassin est bien connu des utilisateurs de SME qui l'installent depuis très longtemps ? Je pense que les développeurs de SME l'ont choisi pour cette raison...

Alors, si tu veux des avis et de l'aide pour ta contrib, si tu veux que les utilisateurs de SME prennent la peine de l'installer lorsqu'elle sera faite, argumente et essaie de convaincre :wink:

Je n'ai à priori rien contre le fait de proposer que FreeEOS V.2 (basé sur SME 7) intègre cet antispam plutôt que spamassassin. Mais il va me falloir de sérieux arguments pour convaincre l'équipe de dev de se taper ce boulot supplémentaire... Alors, commence par me convaincre, et en même temps tous les lecteurs :wink:

par **Gaston** » 29 Déc 2006 15:33

bonjour,
juste pour signaler , qu'il me semble qu'il y ait des évolutions côté spam sur la V7.1 qui vient de sortir en rc1, à suivre donc ...
G.

par **boblefou** » 29 Déc 2006 20:23

Bonjour à tous,
Bon alors a la demande de mon voisin (on se croirait au boulot !), je vais essayé de vous convaincre sur le fait de passer de Spamassassin à Dspam.
Tout d'abord, je suis sur que beaucoup d'entre vous se demande pourquoi s'embêter à utiliser ce Dspam alors que mon Spamassassin marche très très bien, et que tout le monde l'utitise. C'est vrai ca, si Dspam était mieux que SA, tout le monde utiliserait Dspam, non ?

Et bien non. Pourquoi ? La cela devient phylosophique et presque horsujet alors je ne répondrais pas, enfin pas pour le moment.

Si mes sources sont exactes, SA est écrit en Perl.
Encore une fois si mes sources sont exactes, Dspam est écrit en C intégralement. De ce fait un gain de performance peu être apporter grâce à cette migration ; ceux qui ont de petites machines me comprendront.
Ensuite, et j'ai peur d'être seul pour pouvoir vous expliquer tout ca, Dspam permet une configuration "personnalisée" par utilisateur du serveur de mail. Et c'est bien la que réside la grosse puissance de Dspam. Une configuration correcte comporte une base de tockens "spams" communes à tous les utilisateurs du systèmes, afin que Dspam filtre tout de suite les emails. Ensuite, chaque utilisateur va pouvoir indiquer à Dspam quel est un "bon" mail et qu'est un "mauvais" mail. Les bases de tockens sont alors personnalisés. L'utilisateur peu aussi choisir s'il décide de recevoir TOUS les mails dans sa boite, s'il désire déplacer les spams dans un dossier spécifique, s'il souhaite les mettre en quarantaine.

Pour parler de quarantaine ; les utilisateurs ont accès à une interface web en cgi à partir de laquel ils font leurs réglages. Depuis cette interface, ils peuvent visualiser le contenu de leur quarantaine, et récupérer s'il le désire des mails "non-spam". En fait ils ont aussi accès à l'hystorique de leur boite email et peuvent aussi indiqué qu'un mail recu dans leur boite est un spam et ainsi le déplacer dans la quarantaine. Les plugins pour par exemple "squirrelmail" sont dispo afin d'indiquer depuis squirrel que tel ou tel mail est un spam.

Pour les geeks, l'interface comporte aussi des graphique de "productivité" du serveur, sur le nombre de mails recu, le nombre de spam, etc...

Le gros intérré c'est que l'ont peu indiquer à dspam qu'un mail est innocent s'il a été classé en spam, et il apprend...enfin vous m'avez compris.

Les tockens et les paramètres sont placés dans une base de son choix (Mysql, Postgres...).

Dspam comporte un mini serveur lmtp pour une plus facile intégration avec le MTA ; plus besoin de passer par exemple par un amavis. La connexion à Clamav est supporté de base, ainsi que la connexion à un annuaire LDAP. Il peu fonctionner en daemon.

Dspam c'est en fait un mélange de bayesien et de statistique, d'ou sa faculté à très très bien filtrer les messages.

Bref, JE suis convaincu et j'espère vous apporter un petit bout de ma persuasion...en espérant apporter à la communauté.
Je reste à disposition pour tout autre questionssss !

par **jibe** » 29 Déc 2006 21:05

Salut,

boblefou a écrit:si mes sources sont exactes, Dspam est écrit en C intégralement.

Ca, c'est un excellent point : c'est vrai que spamassassin est assez gourmand en ressources et assez lent...

Pour le reste, je retiens le paramétrage individuel : c'est effectivement un plus intéressant. L'histoire des plugins, c'est à voir... Cela veut probablement dire que le traitement se fait après le travail de Qmail ? Et quels plugins sont disponibles ? Limitations en vue pour les clients mail...

Peux-tu nous en dire plus en ce qui concerne l'interfaçage avec qmail ? Te parait-il possible de gérer IMAP et POP, ainsi que le webmail (bon, si IMAP fonctionne, le webmail devrait probablement aussi...) ?

As-tu quelques liens intéressants à propos de DSpam ? Je veux dire, des points de vue d'utilisateurs, voire de développeurs de contribs et/ou distribs ?

Bref, remplacer spamassassin, peut-être. Mais peut-être aussi serait-il plus intéressant de faire en sorte de mieux pouvoir l'utiliser via le server-manager ? Spamassassin est très complet, avec possibilité de définir des règles faisant intervenir des expressions régulières, des White et Black listes, l'apprentissage bien sûr (qui gagnerait à être affiné sur SME) etc. C'est juste une question de rapport qualité/coût de développement...

@ Gaston : Je n'ai pas cherché :oops:

As-tu des précisions sur les "évolutions côté spam" de la V. 7.1 ?

par **boblefou** » 30 Déc 2006 14:49

Salut,
Bon je vais essayé de rentrer encore un peu plus dans le vif du sujet.

Pour ce qui est de l'interfacage avec Qmail, aucun problème, c'est prévu de base, voir le lien suivant provenant du site de dspam :
http://www.wimble.info/articles/dspam-q ... opmail.php

Pour ce qui est de la possibilité d'indiquer à dspam depuis un webmail les spams, tout existe déja et par exemple pour horde/imp :
http://lists.freebsd.org/pipermail/free ... 18776.html
Ces type de plugins pour horde ou pour squirrel rajoutent un bouton dans l'interface.

Si les clients possède des clients lourds tels que thunderbird ou Eudora, il suffit de REDIRIGER les mails non classés en spam vers une adresse du type mail-spam@truc.truc. Si le mail a été classé spam alors qu'il est corecte il faut REDIRIGER le mail vers une adresse du type mail-nonspam@truc.truc. Les clients tels que thunderbird ou Eudora peuvent REDIRIGER. Pour ce qui est des clients Outlook et cie, a ma connaissance, cela ne fonctionne pas car il faut bien REDIRIGER et non FORWARD ou FAIRE SUIVRE.

Ensuite, pour ce qui est des expressions régulières, des whitelist et blacklist, le fait n'est pas sous dspam puisque c'est un filtre bayesien. Les black et white listes seront automatiquement créées dès que l'on apprend a dspam à reconnaitre un bon d'un mauvais mail.

Pour les avis utilisateurs, j'en ai, autour de moi beaucoup (enfin quelques uns) et je pourrais bien sur en discuter avec toi en MP Jibe.

Enfin pour les existantes installations de dspam, je peux vous renvoyer à la page de dspam qui indique quelques références, bien sur à prendre a mon avis avec des pincettes :
http://dspam.nuclearelephant.com/
Le site annonce une utilisation de dspam pour 350000 utilisateurs...

A bientot.

par **Cool34000** » 30 Déc 2006 16:26

Ca sent bon tout ca... Je trouve ce programme plein de bonnes fonctionnalités !

Je trouve SA vraiment pas mauvais (c'est un très bon début) mais il faut pas mal le tweaker pour arriver à un résultat correct, et il faut l'avouer, il ne filtre pas tout !

Perso, je me sers de SA et je rajoute souvent un petit 'popfile' sur une autre machine pour achever le prétravail de SA. Popfile n'est pas un antispam mais un classificateur de mail, d'ou son efficacité (phase d'apprentissage nécessaire). Avec cette solution, je filtre environ 99% des spams, pub et autres pourriels !

par **jibe** » 31 Déc 2006 22:52

Salut,

Tu ne pensais quand même pas t'en tirer à si bon compte, boblefou ? Il va quand même falloir répondre à de nouvelles questions ambarassantes avant de me convaincre :wink:

Bon, ceci dit je n'ai pas encore été visiter tes liens. On verra ça l'année prochaine :wink:

En attendant, questions :

1 - Comment font ceux qui utilisent Outlook ? Même si je me bats pour convaincre qu'une solution libre est bien meilleure, il y en a encore beaucoup qui refusent de changer, ne serait-ce que pour certains avantages dont soprom te parlerait bien mieux que moi... Si on se coupe d'emblée tous les utilisateurs d'Outlook, c'est quand même un énorme point négatif...

2 -

boblefou a écrit:Ensuite, pour ce qui est des expressions régulières, des whitelist et blacklist, le fait n'est pas sous dspam puisque c'est un filtre bayesien. Les black et white listes seront automatiquement créées dès que l'on apprend a dspam à reconnaitre un bon d'un mauvais mail.

Peux-tu préciser ? Y a-t-il oui ou non des black et white list ? Je comprends mal ta négation au départ, puis cette histoire de création des listes par apprentissage ? Une black/white list est une liste d'adresses bannies, alors que l'apprentissage d'un filtre bayesien aboutit à des mails ou catégories de mail bannies, ce qui n'est pas pareil... De plus, l'avantage des black/white lists est d'éviter le lourd traitement du passage par le filtre bayesien... Et pour finir, quid des expressions régulières qui, pour ceux qui savent les manier bien sûr, sont AMHA un complément intéressant au filtre bayesien ?

3 - Si on excepte les deux points ci-dessus, DSpam semble effectivement un très bel outil. Mais je renouvelle la question : quel avantage à remplacer SpamAssassin que beaucoup connaissent et maitrisent bien plutôt que chercher à l'améliorer ?

Allez, si tu arrives à me convaincre, on se contactera probablement en début d'année prochaine :wink:

Termine bien celle-là en attendant !

par **boblefou** » 02 Jan 2007 15:35

Bonjour à tous,
Bon alors, on continue tout doucement à rentrer dans le vif du sujet.

Pour ce qui est de l'utilisation d'outlook. Je te comprend complètement car mon parc professionnel ne comprend QUE des outlook.
Pas de panique, les plugins dont j'ai parlé précédement sont fait pour simplifier la vie des personnes utilisant les "bons "logiciel. Pour outlook l'interface en cgi de dspam est toujours accéssible ; les utilisateurs peuvent donc faire leurs manipulations depuis la.

Enfin je pourrait redire que chaque utilisateur fait ce qu'il veut. S'il désire recevoir TOUS les emails dans sa boite et les spam taggué en [SPAM], il le peut, pas de problème. Il peut même s'il le désire recevoir tous les mails normalement et les spams uniquement taggué dans le header avec un "X-DSPAM-Result".

Avec ce procédé, ils n'ont plus besoin de l'interface.

Pour ce qui est des white/black listes, je suis en train d'approfondir le sujet. Ce que je peux dire tout de suite, c'est que l'on a la possibilité de dire a dspam de mettre en whitelist les adresses de notre correspondance fréquente, il n'y a donc plus de traitement par le filtre bayesien. Pour la blacklist, je travail sur le sujet.

Pour la question des expressions régulières, je t'avouerais franchement que je travail essentiellement avec procmail et que je ne m'occupe pas des anti-spam pour faire le boulot. J'ai mon fichier perso procmail à la racine de ma boite, et il s'occupe de rediriger tout ce qu'il faut.

La grande question "Pourquoi changer ?". Tout simplement je pense pour trouver LE meilleur. Pour se convaincre, on peu faire un petit tour sur google. On y trouve ainsi un artocle de L'université de Toulouse1 qui utilise DSPAM et qui annonce un résultat supérieur à 99.9% de mails bien classé au bout de 15 jours d'utilisation.
Le filtrage de mails est a mon avis une des choses les plus compliqué, et il existe tellement de possibilité que l'on a tous du mal à choisir. Quand je pense à votre futur version de FREEEOS, je ne peux être que enthousiaste et aurais des milliers d'idées à partager. Dspam serait pour ma part un début et je pense a beaucoup d'autres choses pour perfectionner tout cela, tout en restant compatible.
Est-ce que certain d'entre vous utilisent eux aussi le greylisting ? C'est merveilleux comme cela filtre beaucoup, beaucoup de spam...mais je m'égard.

Je pourrais rajouter :
- interfacage avec la bdd de son choix : mysql, psotgresql, oracle, sqllite, hash
- interfacage avec le MTA de son choix : postfix, sendmail, qmail, exim, courier
- choix du mode d'apprentissage du spam
- choix de l'algorithm de statistique : graham, burton, robinson, naive
- configuration personnalisée par utilisateur
- whitelist créé automatiquement
- possibilité de ne pas vérifier les message portant le header d'un autre logiciel (X-Spam-Status...)
- Gestion compliqué de blacklist à l'aide de RBLs...
- un outil "tout en un" : statistique ET bayesien
- j'en oublie

Au plaisir de vous relire, tous.

par **jibe** » 02 Jan 2007 20:08

Salut,

Je ne suis pas encore convaincu, mais de plus en plus intéressé... Je t'envoie mes coordonnées par MP, on essaiera de se voir pour que tu me fasses une démo :wink:

boblefou a écrit:Pour la question des expressions régulières, je t'avouerais franchement que je travail essentiellement avec procmail et que je ne m'occupe pas des anti-spam pour faire le boulot. J'ai mon fichier perso procmail à la racine de ma boite, et il s'occupe de rediriger tout ce qu'il faut.

Euh... Je ne sais pas si on s'est bien compris, sur le coup... Il ne s'agit pas tant de rediriger les mails que d'éliminer les v1agrha et autres vaLllom... Comme l'explique très bien mickjack :wink:

boblefou a écrit:Quand je pense à votre futur version de FREEEOS, je ne peux être que enthousiaste et aurais des milliers d'idées à partager.

Rien ne t'empêche de le faire sur le forum FreeEOS, ni même de joindre l'équipe de dev : toute bonne volonté est toujours accueillie avec joie :wink:

par **boblefou** » 04 Jan 2007 18:11

Bonjour tout le monde,
Excusez moi par avance de mon manque d'assiduité au post, mais je boss, je boss...bref.
Je me suis lancé hier soir dans une compilation de dspam sur un SME 7.0.

Jusque la tout va bien, dspam est compilé et tourne en daemon avec mysql5.
Je suis en train de galérer à l'intégration de dspam pour qmail, mais c'est en bonne voix ; le cgi fonctionne très très mal aussi pour le moment.

Bref, beaucoup de possibilité sont afferte avec qmail et je suis très très confient !
Par exemple, en faisant les choses bien, et a l'aide des fichiers .qmail de chaque utilisateur, on peu très bien choisir d'activer ou non dspam pour les utilisateurs.
Le fonctionnement avec IMAP est sans souci et il y a la aussi beaucoup de possibilité ; je parlais précédement du fait qu'il fallait apprendre à dspam quel était un mail spam et un mail non spam. Avec IMAP, cela devient très très simple : il suffit de créer un dossier spam dans lequel l'utilisateur met ses mails non-classés en spam et toute les nuits à l'aide d'une tache cron, on envoi le contenu du dossier à dspam.

Je reviens sur procmail. Je n'ai peut-etre pas été assez clair, mais je pensais bien à faire du trie en supprimant les messages.

Jibe, c'est promis je te contacte très prochainement !
Bonne continuation.

par **jibe** » 26 Fév 2007 18:34

Salut,

boblefou a écrit:Jibe, c'est promis je te contacte très prochainement !

J'attends toujours... :lol:

Bon, je ne dis rien, j'ai moi aussi d'énormes problèmes de planning avec ces put*** de journées qui ne font plus que 24h (je me trompe, ou elles étaient effectivement plus longues lorsque j'étais à l'école ?).

Mais bon, j'avais fait passer le message dans l'équipe de dev FreeEOS, et ils voudraient bien sûr en savoir plus avant de prendre des décisions...

Anti-spam DSPAM

Anti-spam DSPAM

Qui est en ligne ?