Traitement des logs de squid

par **jmripert** » 27 Mai 2005 09:50

Bonjour,

Je pose ma question avant de faire ma recherche car c'est "urgent"...

Donc voilà, je dois retraiter mes logs de mon ipcop, mais que la partie squid (proxy).

Hic : mon serveur étant un p2 300Mhz, le fichier log plante lamentablerment ma bête de course : cpu 100%... et cela finit par "page indisponible"
Je souhaite donc envoyer les logs (/var/log/squid) vers un poste sur mon réseau (green pour faire plus simple), mais je ne trouve pas de commande me permettant l'envoie...

Es-ce que l'on peut traiter les logs en ligne de commande sous ipcop ?

But : sortir une merveilleuse liste des sites porno dernièrement consultés sur le réseau...

C'est pas beau, mais c'est la demande...

Merci de votre aide, et je me plonge de suite en mode recherche !

par **vince83** » 27 Mai 2005 10:02

essaie avec WinSCP3

c'est un logiciel s'installant surn une machine windows de ton lan qui peux avoir acces (login et password root) a ton IPCOP (si les regles le permettent)

tu pourras alors transferer ton repertoire de log sur ton windows comme en ftp

par **jmripert** » 27 Mai 2005 10:09

J'en suis là...
J'ai récupérer mes logs, et je dois les retraiter sous windows...

Le lien pour ce merveilleux petit programme très léger, une merveille quoi !
winscp fr

par **vince83** » 27 Mai 2005 10:14

maintenant pour traiter les logs et sortir que les acces aux sites pornos

a part a la mimine je ne vois pas trop

bon courage

par **jmripert** » 27 Mai 2005 10:54

doc access.log (en)

Pour le traitement, étant sous windows, j'ai du mal avec tout les scripts perl...
Voilà un programme sous windows qui paraît pas dégueu...
web explorer
(en cours de test avec un access.log de 100mo...)

par **Gesp** » 27 Mai 2005 11:07

Il y a plusieurs aspects dans ta demande:
- pourquoi IPCop ne peut visualiser le log,
- quels moyens de contourner.

Pour la première question, la mémoire installée sur ta machine serait l'info principale à donner.
Est-ce que ta machine se met à swapper quand tu essayes de voir les logs?

Dans ce cas, rajouter de la mémoire serait la solution la plus simple de résoudre le problème.

par **jmripert** » 27 Mai 2005 11:16

C'est une machine dite "test", depuis 2 semaines le réseau (150postes) passe par cette petite machine (p2 300Mhz, 512mo) pour accèder à internet... on va la changer pour passer sur un peu plus gros...

Donc la 1ère c'est ok, le fichier access.log fait +100mo... le pauvre cgi doit avoir du mal à me le traiter par l'interface web...

Mon but : tirer un listing par heure/site depuis access.log

(petit résumé du programme qui va bien plus tard, mais si vous en avez un de derrière les jonguilles...)

par **jmripert** » 27 Mai 2005 14:12

Alors je test, je cherche, mais pas de programme qui me corresponde vraiment... enfin qui corresponde à ma demande...

Je souhaite après traitement du log avoir :

Code: Tout sélectionner: date heure http://

En regardant, j'ai cru comprendre que squid compacte les logs (.gz) chaque semaine...
Un log compressé ~10mo... décompressé ~100mo
Alors je vous le demande, 100mo es-ce la taille "normale" des logs ?

J'ai osé ouvrir access.log dans ooo pour mon chef... ~30.000pages...

Alors question :
quelle commande utiliseriez-vous sous linux pour extraire les bonnes informations d'un fichier, les replacer dans un autre, traitement sur un fichier de taille conséquente... ?

Bonne après-midi

par **schlouf** » 27 Mai 2005 19:44

le king des analyseurs de log: http://www.sawmill.net (version d'evaluation 30 jours)

pour faire tres simple, il y a 'squint' qui est un script perl qui genere de logs assez sympas, facile a mettre en route (directement sous ipcop ou sous windows avec un interpreteur perl). http://forums.fr.ixus.net/viewtopic.php?t=23460

en passant, peu importe a quel point ton probleme est urgent, il est stipule dans la charte d'utilisation que tu dois faire des recherches avant de poster ta question.

par **Franck78** » 27 Mai 2005 21:48

Sinon il y a un truc que j'ai fais il y a longtemps, qui fonctionne parfaitement et répond a ta demande:
publier "des stats squid".
A toi de choisir les tableaux utiles et inutiles.

Un exemple sur mon site, ainsi que le package.
http://bourdonnec.hn.org

Bye

Traitement des logs de squid

Traitement des logs de squid

Qui est en ligne ?