Problème: filtrage et apprentissage bayesien Spamassassin

Forum traitant de la distribution sécurisée montante nommée IP cop et basée sur la distribution Smoothwall. C'est à l'heure actuelle le forum le plus actif du site.

Modérateur: modos Ixus

Problème: filtrage et apprentissage bayesien Spamassassin

Messagepar ludox59 » 05 Sep 2007 15:54

Bonjour,

J'essaye tant bien que mal de mettre en place l'apprentissage bayesien de spamassassin (sur ipcop 1.4.16).

J'ai créé un serveur IMAP sous Windows, j'ai créé un compte email auquel j'accède sans problème, mais Spamassassin semble ne pas y avoir accès et voici le message qui m'est retourné:


CopFilter: Apprentissage du filtre Bayesien de Spamassassin


###### Base de données Bayes actuelle
###### Pas de classification bayes possible si moins de 200 emails et 200 spam ne sont pas traités.
0.000 0 3 0 non-token data: bayes db version
0.000 0 1 0 non-token data: nspam
0.000 0 0 0 non-token data: nham
0.000 0 143 0 non-token data: ntokens
0.000 0 1188998499 0 non-token data: oldest atime
0.000 0 1188998499 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction count

###### Traitement par sa-learn (un point par email) IMAP Login Failed at /var/log/copfilter/default/opt/tools/bin/DMZS-sa-learn.pl line 39.

###### redémarrage de spamd
envoyé un signal HUP à monit
en attente 1 seconde(s)
spamd tué
en attente 2 seconde(s)
spamd ne fonctionne pas
changement du paramètre trusted_networks dans local.cf 192.168.
changement du paramètre required_hits dans local.cf 8 Amélioration du filtrage antispam (moins rapide) en activant razor,dcc,dns&rbl_checks activation de rulesdujour activation de german rules démarrage spamd en attente 1 seconde(s) spamd en fonction avec le PID 22642



J'ai pourtant bien suivi les instructions:

1. Cette option permet de lancer l'apprentissage du filtre Bayesien par SpamAssassin en lisant les emails sur un serveur IMAP distant.
2. Sur le serveur IMAP, créer deux dossiers au même niveau, par exemple, dans Boite de réception, "spam" et "not-spam".
3. Copier 200 Spam et 200 emails non-spam dans chaque dossier.
4. L'apprentissage ne se fera pas si moins de 200 emails de chaque type ne sont pas présents dans chaque dossier.


J'ai bien créé les 2 dossiers "spam" et "not-spam" dans la boite de réception avec 400 spams et 220 non-spams.

Je ne vois pas où se trouve le problème, quelqu'un aurait une idée svp ?

Merdi d'avance :)
Dernière édition par ludox59 le 12 Sep 2007 11:20, édité 1 fois au total.
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44

Messagepar ludox59 » 06 Sep 2007 10:18

Personne n'a une petite idée ? :(
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44

Messagepar ludox59 » 07 Sep 2007 10:03

J'ai trouvé le moyen d'y arriver.

Avec Mercury 32, tout fonctionne sans problème contrairement à hMailServer et VisNetic Mailserver.
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44

Messagepar ludox59 » 07 Sep 2007 11:08

L'apprentissage semble s'être bien déroulé:

CopFilter: Apprentissage du filtre Bayesien de Spamassassin



###### Base de données Bayes actuelle
###### Pas de classification bayes possible si moins de 200 emails et 200 spam ne sont pas traités.
0.000 0 3 0 non-token data: bayes db version
0.000 0 430 0 non-token data: nspam
0.000 0 219 0 non-token data: nham
0.000 0 73858 0 non-token data: ntokens
0.000 0 994616159 0 non-token data: oldest atime
0.000 0 1189146490 0 non-token data: newest atime
0.000 0 1189155583 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction count

###### Traitement par sa-learn (un point par email) .



Par contre, le filtre bayesien ne semble pas être actif durant l'analyse des emails. Voivi les entêtes que je peux avoir:

X-Spam-DCC: dcc1: ipcop.edgi 1182; Body=1 Fuz1=1 Fuz2=1363
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on ipcop.edgi
X-Spam-Level:
X-Spam-Status: No, score=0.2 required=10.0 tests=FORGED_RCVD_HELO,HTML_90_100,
HTML_MESSAGE autolearn=failed version=3.1.8
X-Spam-Report:
* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 0.1 HTML_90_100 BODY: Message is 90% to 100% HTML
* 0.0 HTML_MESSAGE BODY: HTML included in message
X-Filtered-With-Copfilter: Version 0.84beta2 (P3Scan 2.2.1)
X-Copfilter-Virus-Scanned: ClamAV 0.91.2-exp/4175 - Thu Sep 6 22:16:54 2007


X-Spam-DCC: dcc1: ipcop.edgi 1182; Body=1 Fuz1=115 Fuz2=113
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on ipcop.edgi
X-Spam-Level: **
X-Spam-Status: No, score=2.4 required=10.0 tests=DE_PLING_04,
HTML_IMAGE_RATIO_02,HTML_MESSAGE,J_CHICKENPOX_52,J_CHICKENPOX_62 autolearn=no
version=3.1.8
X-Spam-Report:
* 1.0 DE_PLING_04 BODY: Zeile mit Ausrufzeichen nach Whitespace
* 0.6 J_CHICKENPOX_62 BODY: 6alpha-pock-2alpha
* 0.6 J_CHICKENPOX_52 BODY: 5alpha-pock-2alpha
* 0.2 HTML_IMAGE_RATIO_02 BODY: HTML has a low ratio of text to image area
* 0.0 HTML_MESSAGE BODY: HTML included in message
X-Filtered-With-Copfilter: Version 0.84beta2 (P3Scan 2.2.1)
X-Copfilter-Virus-Scanned: ClamAV 0.91.2-exp/4175 - Thu Sep 6 22:16:54 2007


Aucun ne comporte de score Bayes :? J'ai raté quelque chose :?:
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44

Messagepar ludox59 » 12 Sep 2007 11:29

Bonjour c'est encore moi :D

Pour ce qui est de l'apprentissage bayesien tout est ok maintenant, et chaque jour avant minuit l'Ipcop va récupérer les spam et not-spam sur le compte Imap.

Ce qui m'ennuie le plus actuellement c'est le filtrage bayes qui semble fonctionner de manière aléatoire. Très peu d'emails profitent de ce filtre alors que tout semble être activé sur Ipcop.

Pour tester tout cela, je suis en train de m'envoyer des emails "spam" que j'ai déjà donné en apprentissage à Ipcop et voici la plupart des entêtes que je retrouve:

X-Spam-DCC: :
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on ipcop.edgi
Cc:
Bcc:
X-Spam-Level:
X-Spam-Status: No, score=0.1 required=8.0 tests=FORGED_RCVD_HELO,HTML_MESSAGE,UNPARSEABLE_RELAY autolearn=failed version=3.1.8
X-Spam-Report:
* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines
* 0.0 HTML_MESSAGE BODY: HTML included in message

X-Spam-DCC: :
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on ipcop.edgi
Cc:
Bcc:
X-Spam-Level: **
X-Spam-Status: No, score=2.3 required=8.0 tests=BODY_ENHANCEMENT2,FORGED_RCVD_HELO,SARE_ADULT2,UNPARSEABLE_RELAY autolearn=no version=3.1.8
X-Spam-Report:
* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines
* 1.4 SARE_ADULT2 BODY: Contains adult material
* 0.7 BODY_ENHANCEMENT2 BODY: Information on getting larger body parts



Et lorsque tout semble fonctionner (ce qui est rare):

X-Spam-DCC: :
X-Spam-Flag: YES
Cc:
Bcc:
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on ipcop.edgi
X-Spam-Level: ***********
X-Spam-Status: Yes, score=11.9 required=8.0 tests=ADVANCE_FEE_1,ADVANCE_FEE_2,BAYES_99,DEAR_FRIEND,FORGED_RCVD_HELO,HTML_MESSAGE,
J_CHICKENPOX_22,J_CHICKENPOX_52,J_CHICKENPOX_71,NA_DOLLARS,NIGERIAN_3,UNPARSEABLE_RELAYautolearn=no version=3.1.8
X-Spam-Report:
* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines
* 0.6 J_CHICKENPOX_22 BODY: 2alpha-pock-2alpha
* 0.6 J_CHICKENPOX_71 BODY: 7alpha-pock-1alpha
* 0.6 J_CHICKENPOX_52 BODY: 5alpha-pock-2alpha
* 1.6 DEAR_FRIEND BODY: Dear Friend? That's not very dear!
* 1.3 NA_DOLLARS BODY: Talks about a million North American dollars
* 0.0 HTML_MESSAGE BODY: HTML included in message
* 5.0 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
* [score: 1.0000]* 1.4 ADVANCE_FEE_2 Appears to be advance fee fraud (Nigerian 419)
* 0.0 ADVANCE_FEE_1 Appears to be advance fee fraud (Nigerian 419)
* 0.7 NIGERIAN_3 Looks like a nigerian 419 scam (3)


Je ne comprends pas pourquoi le filtre bayes ne semble pas fonctionner à chaque fois :?

Quelqu'un aurait une idée ?

Merci.
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44

Messagepar ludox59 » 18 Sep 2007 09:45

Vraiment personne ? :cry:
ludox59
Second Maître
Second Maître
 
Messages: 41
Inscrit le: 16 Août 2007 12:44


Retour vers IPCop

Qui est en ligne ?

Utilisateur(s) parcourant actuellement ce forum : Aucun utilisateur inscrit et 1 invité

cron