[probleme] mise en file d'attente dans spamassassin

[sly91]

Bonjour à tous...

ca fais un ptit bout de temps que je galere a essayer de faire un truc qui est peut etre simple..

j'utilise sme avec spamassassin (la derniere version) , et uniquement pour le spam, mais tous mes mails (entrant) passent pas lui , la moyenne est de 30-50 mails / h mais en fait en heure de pointe ca monte a 150 mails / heures...

en fait le probleme est le suivant : j'ai un passerelle mails (sous windobe ) qui recoit les mails et les transmet a sme (spam) mais j'ai pas mal de regles de detection et du coup le traitement du spams peux prendre plusieurs secondes et du coup ca retarde les autres mails en attentes !!


je me demandais si il n'etait pas possible dans sme/qmail/spamassassin de reception tous les mails, de les mettres en queue, et que spamassassin les traitent a la suite.... puis balance apres dans mon exchange....


c'est possible ca ?? si quelqu'un peux m'aiguiller !! merci msieur dames !!

[sibsib]

Salut,

Cà n'est pas forcément impossible, mais çà l'est avec la configuration par défaut de SpamAssassin :

Par défaut, Spamassassin se base beaucoup sur les RBL (les listes d'adresses IP répertoriées comme invalides) pour supprimer les messages 'à la source'.
En gros, si le serveur SMTP source est réputé 'non fiable', SME envoie un 'reset' et ne récupère même pas le mail.

Dans ton architecture, ce service est inutile : l'adresse source SMTP sera toujours ton serveur Windows (un Windows en frontal, voilà qui est ... original).
- Par parenthèses, le fait que SME ne reçoive pas directement las mails d'internet diminue probablement d'au moins 50 % l'efficacité de SpamAssassin. Mais je suppose que ceci ne se négocie pas. -

Maintenant, je ne vois pas vraiment l'économie : Même en supposant que ton super Windows de la mort qui tue puisse flusher les messages plus rapidement vers SME, le temps de traitement de SME va rester le même (voire empirer à cause de la charge) et les messages n'en sortiront pas plus vite vers les utilisateurs.

A+,
Pascal

[sly91]

en fait le seul avantage que j'y vois c'est que le peux grossir les regles de spamassassin car actuellement je l'es limités car si non trop de mails arrivent avec "du retard" car ils sont en file d'attente du serveur frontal.. mes utilisateurs sont capricieux !!

par contre je vois pas pourquoi le fait de ne pas mettre sme en frontal reduit de 50 % d'efficacité, par contre pour les rbl je suis d'accord ca reduirais peut etre le traffic mails, mais vu que je n'efface pas les spams, mes utilisateurs les recevoient quand meme, donc ca n'aurait rien changé pour moi... dans mon cas tous les mails entrant (sauf les mails avec virus) sont scannés...




bon si j'ai compris je laisse tromber en fait... snif...
merci pour cette reponse...

[sibsib]

Salut,

En fait, les messages qui proviennent d'adresses 'black-listées' n'arrivent jamais sur SME.

Donc, ils ne transitent nulle part et ne prennent pas de bande passante.

Evidemment, si dans ton entreprise, cette idée est innaceptable, alors il faut oublier les RBL.

Sur ma petite machine, les grands jours, 300 messages peuvent arriver : dans ce cas, plus de 200 sont refusés sans autre forme de procès.

C'est un ordre d'idée, pas une valeur statistique

Sinon, je dois être bouché, mais je ne vois toujours pas ou serait l'accélération ?

Si :
Internet -> frontal Windows -> SME -> Exchange
Que SME vide rapidement ou pas le frontal, il mettra le même temps à renvoyer à Exchange, non ?

A+,
Pascal

[sly91]

Si :
Internet -> frontal Windows -> SME -> Exchange
Que SME vide rapidement ou pas le frontal, il mettra le même temps à renvoyer à Exchange, non ?

oui et non.. tout ca c'est l'histoire quelques minutes, car le "frontal windows" renvoie toutes 30 minutes, si les mails sont en file d'attente, et si c'etait sme qui esl traite un par un, je ne pense pas qu'il prene plus de 30 minutes.. je le repete c'est l'histoire de quelques minutes tout ca... et oui 30 minutes c'est trop pour les utilisateurs... je sais..non comment

de plus si je met trop de regle de detection, les mails de passent plus du tout dans smes, car trop long en traitement... le je sais pas pourquoi par contre...

[sibsib]

Salut,

Ahhh !!!

Tu essayes de modifier un comportement (normal) sous Linux parce qu'un produit de m...e sous Windows n'est pas paramétrable !

Ben fallait le dire tout de suite !

J'ai pas plus de solutions, note, mais j'aime bien comprendre.

Effectivement, il faudrait dans ton cas inverser le sens du tritement :
1) Entrée SMTP standard sur SME
2) Clamav + Spamassassin sur le courrier sortant seulement.

Cà doit être faisable, mais là je sèche...

A+,
Pascal

[sly91]

Tu essayes de modifier un comportement (normal) sous Linux parce qu'un produit de m...e sous Windows n'est pas paramétrable !

oula.... ca par en sucette... alors mon windows frontal fonctionen tres tres bien et est entierement parametrable... n'empeche que si je met trop de regle sur sme (spamassassin) celui ci plante ! et tu trouve que c'est un fonctionnement normal ca ? he ben ! faut pas etre difficile..

alors il plante car trop de traitement, moi je pensais que l'on pouvais recevoir les mails en queue (comme tout bon serveur mail, meme de merd* ) puis les traiter un a un... c'est tout...


voila.. bon apparement ya pas de solutions...

mercit tout meme.

[sibsib]

Salut,

alors mon windows frontal fonctionen tres tres bien et est entierement parametrable...

Donc, tu peux paramétrer le temps avant réemission. La valeur de 30 minutes peut être reconfigurée. Je ne risquais pas de le deviner...

n'empeche que si je met trop de regle sur sme (spamassassin) celui ci plante !

Qu'appelles tu 'plante' ?
Il part en boucle ? Normalement, c'est un soucis de conf.
Il va au taquet par manque de ressources ? Possible. Je n'ai jamais fait de règles hyper pointues avec SpamAssassin.
Autre chose ?

alors il plante car trop de traitement, moi je pensais que l'on pouvais recevoir les mails en queue (comme tout bon serveur mail, meme de merd* ) puis les traiter un a un... c'est tout...

Comme je te l'ai dit, ceci n'est pas le mode de fonctionnement par défaut de SpamAssassin sur SME : Spamassassin est en frontal justement pour diminuer le trafic et la charge. Et accessoirement parce que le proto SMTP prévoit les réémissions, alors que les spammeurs en général ne gèrent pas cette fonctionnalité.

Ceci dit, il est possible de faire ce que tu demandes. Simplement, apparemment, personne sur ce forum ne l'a fait.

Tu aurais peut-être plus de succès sur un forum SpamAssassin.

Bonne Chance,
Pascal

[sly91]

Salut,

Donc, tu peux paramétrer le temps avant réemission. La valeur de 30 minutes peut être reconfigurée. Je ne risquais pas de le deviner...

vi et ce ne résouds pas mon probelem en fait..

Qu'appelles tu 'plante' ?
Il part en boucle ? Normalement, c'est un soucis de conf.
Il va au taquet par manque de ressources ? Possible. Je n'ai jamais fait de règles hyper pointues avec SpamAssassin.
Autre chose ?

nan pas en boucle, mais effectivement il se met a ramer (et pas de surcharge cpu pourtant.., ap eine 10 %) et de passe plus aucun mails..

Tu aurais peut-être plus de succès sur un forum SpamAssassin.

tu n''es connais pas un à tout hasard ??

Bonne Chance,
Pascal

désolé d'avoir été un peux brut, mais je n'aime pas cette gégére windobe/linux... je trouve dommage..

merci pour ton aide dans tous les cas !

[sibsib]

Salut,

Qu'appelles tu 'plante' ?
Il va au taquet par manque de ressources ? Possible. Je n'ai jamais fait de règles hyper pointues avec SpamAssassin.

nan pas en boucle, mais effectivement il se met a ramer (et pas de surcharge cpu pourtant.., ap eine 10 %) et de passe plus aucun mails..

Je pense (sans être sûr) qu'il faut creuser là : Si ta charge CPU est faible est que aucun message ne sort, deux possibilités :
1) Spamassassin les suprime (Mauvaise règle et/ou bug)
2) Spamassassin remet perpetuellement les mails en boucle -> çà, çà devrait se voir avec

Code: Tout sélectionner

/var/qmail/bin/qmail-qstat

Eventuellement, ce que je ferais :
1) Install Spamassassin 'brut de swerts-knudsen' -> vérifiaction si messages filtrés, contrôle de charge
2) application des règles 'maisons' une à une, avec test de charge à chaque fois.
Eventuellement, si ton frontal le permet, stocke un nombre de messages significatif, et rejoues à chaque fois cette séquence de message.

Je suppute que seule une règle est en cause (Spamassassin est probablement l'un des principaux filtres anti spams utilisés sur le NET, je ne crois pas trop au bug. Au soucis de conf -les tiens ouceux des différents 'packageurs'-, oui)

Tu aurais peut-être plus de succès sur un forum SpamAssassin.

tu n''es connais pas un à tout hasard ??

Ben non, désolé !

A+,
Pascal

[sly91]

1) Spamassassin les suprime (Mauvaise règle et/ou bug)
2) Spamassassin remet perpetuellement les mails en boucle -> çà, çà devrait se voir avec

1) non, parceque je l'ai recoit tout de meme, mais au compte goute... genre 1 toute les heures.. comme ci le cpu etait chargé a mort.. d'ailleurs la console est tres tres lente !

2) normalement j'ai paramtré pour, mais le verifirais tout meme.. mais je vois pas pourquoi

1) Install Spamassassin 'brut de swerts-knudsen' -> vérifiaction si messages filtrés, contrôle de charge

ca c'est ok.

2) application des règles 'maisons' une à une, avec test de charge à chaque fois.
Eventuellement, si ton frontal le permet, stocke un nombre de messages significatif, et rejoues à chaque fois cette séquence de message.

le sul remarqué, c'est que la merdouille quand les regles sont trop grosse, genre a partir de 1 MO (ca fais deja une belle regle)

Je suppute que seule une règle est en cause

toute les grosses > a 1 mo...



merci msieur..

[sibsib]

Yo, à la longue çà fait converse privée

Eh, les gens, si vous avez un avis, faut y aller franco !

le sul remarqué, c'est que la merdouille quand les regles sont trop grosse, genre a partir de 1 MO (ca fais deja une belle regle)

T'as écrit des règles SpamAssassin de plus de 1 Mo ? tu mets quoi dedans (si ce n'est pas confidentiel, bien sûr) ?

On parle bien des fichiers .cf dans /usr/share/spamassassin ? D'origine, l'ensemble des règles fait 580 Ko !

En fait, pour mon tout petit usage, les règles standard de SpamAssassin sont déjà 'achement bien...

Cà m'intérresse, ton truc

A+,
Pascal

[sly91]

ouf... moi mes regles persos elles depasses pas les 10 lignes....

celle de 1M0 (voir 4 pour la plus grosse) je l'ai est trouvé sur le net... du beau boulot... avec les regles d'origine c'etait un peux juste tout de meme, surtout avec les nouveaux spams en allemands...

celel de 4M0 c'est un regle qui contient de adresse blacklisé... bon celle la j'avoue elle n'est pas forcement utile... si non les autres de 1 Mo je sais plus ce quelle font...

tres honnetement ce qui marche bien c'est l'analyse bayes.. et la avec mes 18000 spams dans la base de données ca commence a coser !!

si tu veux je veux bien te filer mes regles mais elles se trouve sur le net en fouillant un peut...

mais je dois etre un des rares a avoir des regles aussi grosses, c'est pour ca que ca merdouille chez moi...

[sibsib]

Salut,

Bon, j'ai moyen du temps actuellement, mais si, sans te faire perdre trop de temps, tu peux mettre ici les URLs des listes que tu as utilisées (je comprends bien que je pourrais en trouver, mais tant qu'à faire, autant avoir les mêmes), ce serait avec grand plaisir.

A+,
Pascal

[sly91]

alors il y avait ca deja :

http://www.rulesemporium.com/rules.htm

http://wiki.apache.org/spamassassin/CustomRulesets

http://maxime.ritter.eu.org/regles_spamassassin_article11.html


apres j'en ai d'autres mais faudrais que je retrouve les liens exacts