Récupération et entassement sur sme de mails identiques

par **chimer** » 10 Nov 2004 16:02

Bonjour,

ma config:
sme 6.0.1-01
perl-CGI-FormMagick-0.89-08.noarch.rpm
smeserver-fetchmail-1.3.4-02.noarch.rpm

Dans le menu: Récupération de mails
Si je mets : copier les messages et les laisser sur le serveur (pop.wanadoo.fr dans mon cas)
lors de chaque récupération sme demande au serveur pop, le nombre de mails et récupere la liste entiere, sans vérifier de son coté si le mail à déja été récupéré!
ce qui fait que tous les 15 minutes, j'entasse dans le serveur les mêmes mails les uns à la suite des autres

pour le même Message-Id: <20041110061750.ECCBC18000E5@mwinf0412.wanadoo.fr>
Date: Wed, 10 Nov 2004 07:17:50
Subject: + mer. 10 nov 04 07:17:50

j'ai par exemple 6 mails identiques!
Received: (qmail 14432 invoked by alias); 10 Nov 2004 06:30:27 -0000
Received: (qmail 14627 invoked by alias); 10 Nov 2004 06:45:29 -0000
Received: (qmail 14845 invoked by alias); 10 Nov 2004 07:00:27 -0000
Received: (qmail 15042 invoked by alias); 10 Nov 2004 07:15:29 -0000
Received: (qmail 15238 invoked by alias); 10 Nov 2004 07:30:28 -0000
Received: (qmail 15449 invoked by alias); 10 Nov 2004 07:45:28 -0000

si je mets: Récupérer les nouveaux messages seulement, sme demande la liste au serveur pop, les récupére, puis les efface !
effectivement, il ne peut y avoir que des nouveaux messages lors de chaque récupération!

ps: je n'ai pas essyé "récupérer tous les messages"

Je voudrais récuperer uniquement les nouveaux messages sans effacer les messages présents dans le serveur pop!

Y-a t-il une solution?

merci

par **sibsib** » 10 Nov 2004 22:56

Salut,

Ah !!!!

Tu m'interresses !!!

J'avais l'info que ce problème pouvait exister sur les serveurs POP de Wanamoo (il y a des gens qui vont penser que je leur en veux :-)

)

Es-tu du genre 'bidouille' ?

Si oui, peux tu modifier le fichier /etc/fetchmail de la manière suivante :

/usr/bin/fetchmail -d0 --silent --syslog --fetchmailrc - <<EOF
set postmaster "postmaster"
set bouncemail
set properties ""
poll pop.xxx.xxx with proto POP3 and options no dns uidl user 'xxx' smtpaddress xxx.xxxx.xxxx with password 'xxxx' is xxxx here keep

normalement, l'option uidl sert justement à çà : forcer l'unique id pour chaque message. Mais mes providers de tests sur le net fonctionnent avec ou sans, donc je n'ai pas osé intéger.

Attention : je te demande de modifier le ficheir /etc/fetchmail en direct. Mais si tu repasses par le panel ta modif risque fort de sauter (même en cas de modification d'un user).

Donc, là c'est juste pour tests, après on verra pour intéger 'komilfô'

A+,
Pascal

par **chimer** » 11 Nov 2004 15:55

merci Sibsib

Oui je vais faire la manip et je te donnerais les résultats, cela fait seulement 2 jours que j'ai installé sme, et je suis completement débutant sur linux, ca faisait des années que j'essayais, mais voila je commence doucement à comprendre.
j'en ai profité également pour installer Ipcop sur un vieux portable pour mettre à la place d'un routeur, et j'ai galéré depuis hier soir avec une version 1.4.0b2 qui plantait lorsque l'on cliquait sur connexion, jusqu'a ce que je trouve un mail disant qu'effectivement cette version plantait, donc, depuis 2 heures la version 1.4.1test2 fonctionne parfaitement chez moi, il ne me reste plus qu'a apprendre à configurer ipcop.

mais revenaons à nos moutons,
voici le log lors d'un interrogation du contenu de la boite pop user1@wanadoo.fr
3 mails
je t'ai sorti les unique-id

******************************************************************
Waiting Response from pop.wanadoo.fr
+OK connected to pop3 on 0603
user user1
+OK name is a valid mailbox
pass ******
+OK user exist with that password
uidl
+OK unique-id listing follows
1 1083139733.4213
2 1083139733.4214
3 1083139733.4215
.
list
+OK scan listing follows
1 1757
2 1757
3 1762
.
...
Mail Nb: 1 ________________________________________
Size: 1757
From: Maison [3600s.] <>
Date: Wed, 10 Nov 2004 17:17:30
Subject: + mer. 10 nov 04 17:17:30
...
Mail Nb: 2 ________________________________________
Size: 1757
From: Maison [3600s.] <>
Date: Wed, 10 Nov 2004 18:17:30
Subject: + mer. 10 nov 04 18:17:30
...
Mail Nb: 3 ________________________________________
Size: 1762
From: Maison START [3600s.] <>
Date: Thu, 11 Nov 2004 13:30:10
Subject: + jeu. 11 nov 04 13:30:10
...
No More Mails _____________________________________
quit
+OK

----------------------------------
POP MAIL ENDED OK
( wanadoo/user1 )
----------------------------------
*********************************************************************

Maintenant voici l'interception du dialogue sme / serveur pop wanadoo 193.252.22.70
je n'ai laissé que l'en tete du msg N0 1, les autres sont semblables

*****************************************************
+OK connected to pop3 on 0502 °°
USER user1°°
+OK name is a valid mailbox°°
PASS *******°°
+OK user exist with that password°°
STAT°°
+OK 3 5276°°
LAST°°
+OK 0°°
LIST°°
+OK scan listing follows°°1 1757°°2 1757°°3 1762°°.°°
RETR 1°°
+OK Message follows°°Return-Path: <>°°
Received: from mwinf0609.wanadoo.fr (mwinf0609.wanadoo.fr)°°°by mwinb0605 (SMTP Server) with LMTP;
Wed, 10 Nov 2004 17:17:31 +0100°°X-Sieve: Server Sieve 2.2°°
Received: from me-wanadoo.net (localhost [127.0.0.1])°°°by mwinf0609.wanadoo.fr (SMTP Server) with SMTP id F3D891800106°°°
for <1+wfr40000bb75a0b079298d2b76e@back06-mail01-03.me-wanadoo.net>;
Wed, 10 Nov 2004 17:17:30 +0100 (CET)°°
Received: from ABCD (AVelizy-xx-xx-xx-xx.w82-124.abo.wanadoo.fr [xx.xx.xx.xx])°°°
by mwinf0609.wanadoo.fr (SMTP Server) with ESMTP id C2B0618000F7°°°for <user1@wanadoo.fr>;
Wed, 10 Nov 2004 17:17:30 +0100 (CET)°°
From: Maison [3600s.] <>°°
To: <user1@wanadoo.fr>°°Date: Wed, 10 Nov 2004 17:17:30°°
Subject: + mer. 10 nov 04 17:17:30°°Message-Id: <20041110161730.C2B0618000F7@mwinf0609.wanadoo.fr>

RETR 2°°
RETR 3°°
QUIT°°
+OK°°

******************************************************
il, n'y a pas effectivement de demande de uidl

donc a chaque connexion de sme vers le serveur pop, il y a récup des même mail, ce qui fait que avec une interrogation toute les 15 minutes, j'ai 12 nouveaux mails par heure!

@+
chimer

par **chimer** » 12 Nov 2004 13:57

salut Sibsib,

Je suis pret a faire la manip mais j'ai une confirmation à avoir pour:

poll pop.xxx.xxx with proto POP3 and options no dns uidl user 'xxx' smtpaddress xxx.xxxx.xxxx with password 'xxxx' is xxxx here keep

je vais mettre:

poll pop.wanadoo.fr with proto POP3 and options no dns uidl user 'user1' smtpaddress smtp.wanadoo.fr with password 'monpass' is xxxx here keep

est-ce que dans xxx de: "is xxxx here keep" je remets "monpass"

merci et @+
chimer

par **sibsib** » 12 Nov 2004 21:46

Salut,

Non, le dernier xxx est la boite de destiantino (ou la liste s'il y a plusieurs boites).

Mézenfait, en principe, la solution qui va bien, cest :

1) Configuration via le server manager, pour le compte de test choisir l'option 'Copier les messages et les laisser sur le serveur'
2) modifiaction 'a la mano' (vi, mc ou tout autre) du fichier /etc/fetchmail.

dans ce cas, tu n'as qu'une chose à faire, c'est ajouter uidl derrière options no dns

A+,
Pascal

par **chimer** » 13 Nov 2004 10:28

Salut sibsib,

Voila la modif est faite et effectivement CA FONCTIONNE !

pour info voici le log de récuperation de 2 mails a 15 minutes d'intervalle.

Plus de récupération systématique !

08h47

+OK connected to pop3 on 0308
USER user1
+OK name is a valid mailbox
PASS ******
+OK user exist with that password
STAT
+OK 2 3519
UIDL
+OK unique-id listing follows 1 1083139733.4271 2 1083139733.4272
LIST
+OK scan listing follows 1 1760 2 1759
RETR 1
+OK Message follows°°Return-Path: <>°°Received: from mwinf0808.wanadoo.fr
......................................
......................................
RETR 2°°
+OK Message follows°°Return-Path: <>°°Received: from mwinf0812.wanadoo.fr
......................................
......................................
QUIT
+OK
***************************************************************

09h02

+OK connected to pop3 on 0303
USER user1
+OK name is a valid mailbox
PASS ******
+OK user exist with that password
STAT
+OK 2 3519
UIDL
+OK unique-id listing follows 1 1083139733.4271 2 1083139733.4272
LIST
+OK scan listing follows 1 1760 2 1759
QUIT
+OK
**********************************************************************************

MERCI encore

j
@+
chimer

par **sibsib** » 13 Nov 2004 21:46

Salut,

Parfait, çà ! C'est moi qui te remercie !

En attendant une (hypotétique) mise à jour de fetchmail, voici la modif à apporter dans le fichier
/etc/e-smith/templates/etc/fetchmail/90fetchmail

La modif se situe au niveau de la ligne 289, je t'ai laissé la ligne au dessus et au dessous pour pouvoir localiser.

$dnstyp = " and options no dns ";

Code: Tout sélectionner
# Modif pour compte POP Wanamoo (au moins !). Goto ToDo list... $dnstyp .= " uidl" if ($keepopt eq "YES") ;

if($mtype eq "IMAP") { $dnstyp= ""; }

A+,
Pascal

par **chimer** » 14 Nov 2004 12:06

salut sibsib,

Voila la modif a été faite mais pas de uidl dans la demande du serveur vers la boite pop!

j'ai rebouté, j'ai vérifié que la modif était bien place !

voila la première demande aprés modif:
2 mails présents dans la boite pop wanadoo
pas de uidl ?

***************************
+OK connected to pop3 on 0901 °°
USER user1°°
+OK name is a valid mailbox°°
PASS ******°°
+OK user exist with that password°°
STAT°°
+OK 2 3480°°
LAST°°
+OK 0°°
LIST°°
+OK scan listing follows°°1 1718°°2 1762°°.°°
RETR 1°°
+OK Message follows°°Return-Path: <>°°Received: from mwinf0301.wanadoo.fr (mwinf0301.wanadoo.fr)
...........................................
+OK Message follows°°Return-Path: <>°°Received: from mwinf0312.wanadoo.fr (mwinf0312.wanadoo.fr)
............................................;;;
QUIT°°
****************************
la seconde demande 15 minutes aprés est identique.

@+
chimer

par **sibsib** » 14 Nov 2004 21:45

Salut,

Tiens, c'est bizarre...

Une fois que tu as eu modifié le ficheir, tu as bien régénéré /etc/fetchmail ?

Code: Tout sélectionner: /sbin/e-smith/expand-template /etc/fetchmail

Si oui, ton compte est bien configuré en mode 'laisser les messages sur le serveur' ?

Si oui également, il ne reste je pense qu'un problème de modification du template.

As-tu 'copier coller' ma modif ?

Autre chose : le compte sur lequel tu as le problème est bien un compte en POP3 ?

Fin du questionnaire pour ce soir :-)

A+,
Pascal

par **chimer** » 14 Nov 2004 22:06

Désolé sibsib, mais je t'avais laisser entendrer que j"étais un appenti sur linux et effectivement je ne savais même pas qu'il fallait "/sbin/e-smith/expand-template /etc/fetchmail".

j'avais bien lu des choses de ce genre..... sans trop savoir à quoi ca servait!
Maintenant je sais.

je m'y attelle de ce pas

@+
chimer

par **chimer** » 15 Nov 2004 23:01

Bonjour sibsib,

J'ai fait la modif hier soir, et depuis je n'ai plus aucun dialogue sur le port 110 vers le serveur pop de wanadoo!

J'ai revérifié la modif ce soir et je n'ai rien trouvé

une idée, une solution?

merci
chimer

par **sibsib** » 16 Nov 2004 22:43

Salut,

Elle te fait des misères, cette contrib...

Si smeserver-fetchmail est en cause, çà doit être lié au blocage de l'accès POP dans le premier panel de fetchmail :

Peux-tu voir si tu as dans le fichier /var/log/messages des lignes contenant le mot
denylogfetchmail

Eventuellement, passe par le panel et autorise 'L'accès aux serveurs POP3 et IMAP4 externes depuis le réseau interne'

Courage,

"Reste Fort" (piqué d'un autre forum, en V.O. : Stay Strong !)

A+,
Pascal

par **chimer** » 17 Nov 2004 11:08

Bonjour sibsib,

Bon cela ne s'arange pas !

Pas de "denylogfetchmail" dans /var/log/messages

J'ai autorisé 'L'accès aux serveurs POP3 et IMAP4 externes depuis le réseau interne' : RIEN

J'ai desinstallé fetchmail

[root@chi3000 root]# rpm -e smeserver-fetchmail
WARNING in /etc/e-smith/templates//etc/rc.d/init.d/masq/00Definitions: Use of uninitialized value in concatenation (.) or string at /et
c/e-smith/templates//etc/rc.d/init.d/masq/00Definitions line 5.
WARNING: Template processing succeeded for //etc/rc.d/init.d/masq: 1 fragment generated warnings
at /etc/e-smith/events/actions/conf-masq line 46
Shutting down IP masquerade and firewall rules: Done!

je l'ai reinstallé:
[root@chi3000 files]# rpm -Uvh smeserver-fetchmail-1.3.4-02.noarch.rpm
Preparing... ########################################### [100%]
1:smeserver-fetchmail ########################################### [100%]
Rebuilding Web Server Manager Left Panel Cache ... Can take up to a minute.
Done.
Setting defaults values in SME configuration database, if needed. Don't change any existing configuration.
Done.
Installation finished.

J'ai verifié mes parametres mails, ils sont toujours la et corrects, mais toujours pas d'interrogation pop!

voici les warnings lors de la desinstallation; peut-etre que cela te diras quelque chose!

***********************
/etc/e-smith/templates//etc/rc.d/init.d/masq/00Definitions line 5.
1 " Press ? for keyboard shortcuts
2 " Sorted by name (.bak,~,.o,.h,.info,.swp,.obj at end of list)
3 "= /etc/e-smith/templates/etc/rc.d/init.d/masq/
4 ../
5 00Definitions
6 00Definitions2
7 00Functions
8 00start
9 01localNetworks
10 10RemoveUserChains

/etc/e-smith/events/actions/conf-masq line 46
42 #------------------------------------------------------------
43 # Configure IP masquerading.
44 #------------------------------------------------------------
45
46 esmith::templates::processTemplate ({
47 TEMPLATE_PATH => "/etc/rc.d/init.d/masq",
48 PERMS => 0755
49 });
50
51 exit (0);
******************************************

Comme j'ai installé SME pour apprendre à configurer linux, je vais le reinstaller completement pour partir sur une base saine et ne faire uniquement que ta dernière modif, comme ca on verra.

qu'en penses-tu ?

@+
chimer

par **sibsib** » 17 Nov 2004 22:56

Salut,

Mon point de vue :

Lache -> Oui Oui, réinstalles, çà devrait marcher après ;-)

Pugnace -> Ben non alors, on va bien trouver ce qui ne va pas (risque d'être long...)

Plus sérieusement : Ceci arriverait sur une machine que je contrôle, je l'exploserai jusqu'à comprendre ce qui ne va pas. Mais sur la machine de quelqu'un d'autre :-|

Je pense effectivement que réinstallée, la machine devrait fonctionner (donc je suis làche :-)

)

A+,
Pascal

par **chimer** » 22 Nov 2004 22:30

Salut sibsib,

Bon voila, j'ai reinstallé SME + Fetchmail.
J'ai vérifié que j'avais toujours la récupération multiple des mêmes e-mails

PUIS, j'ai appliqué ta modif

et CA MARCHE!

Aucun pb, uidl arrive dans le dialogue pop et la récupération des mails se fait bien uniquement sur les nouveaux.

Encore merci

@+

chimer

Récupération et entassement sur sme de mails identiques

Récupération et entassement sur sme de mails identiques

Qui est en ligne ?