Analyseur des logs Squid -> SARG 2.2.3.1

par **Arpanet** » 17 Fév 2007 23:22

Bonjour,

Je cherche un outil, une technique, des docs… pour analyser les logs.
Mon but est d’être capable de savoir combien de personnes ont utilisées le bleu par jours sur 1 an (par exemple).
Je voudrai me faire des statistiques perso.

Merci de votre aide :wink:

par **Arpanet** » 19 Fév 2007 13:04

Je voudrais savoir si IpfmLA est bien stable sur IpCop, si vous avez des contres indication, etc …

Si vous avez d'autres pistes je suis preneur. :wink:

par **Arpanet** » 20 Fév 2007 11:59

Il y a aussi :

Squint -> http://forums.ixus.fr/viewtopic.php?p=235010 -> un exemple

Sarg -> http://forums.ixus.fr/viewtopic.php?t=30847&highlight= -> un exemple

Calamaris -> un exemple
un autre addon Calamaris

IpfmLA

Net-Trafic

:roll:

par **Arpanet** » 23 Fév 2007 14:24

J'ai fini par choisir SARG, après des petits prb à l’installation j'ai fini par réussi. (voir ici).

Il fonctionne bien, mais j’aimerais le mettre a jour, dans la nouvelle version l’option "exclude_hosts" est débuggé, elle me permettra de ressortir sur mes rapports uniquement la plage ip de mon Wifi. Et je ne sais pas comment faire pour un upgrade de SARG. :roll:

Je suis en 2.2.2 et je voudrai passer en 2.2.3 ou 2.2.3.1

Merci de votre aide

par **Arpanet** » 26 Fév 2007 13:07

Bonjour

Je voudrais compiler la dernière version de sarg pour l’implémenter sur un IpCop 1.4.13, mais j’aurais quelques questions (je suis newbit sur ce truc)

Si j’ai bien compris il faut :

Questions :
La procédure est-elle exacte ?
Le chois de la distribution est-elle importante, je fais la manip sur une fedora core 6 (kernel 2.6.19) ?
Quel valeur je dois taper avec la commande ./configure pour l’implémenter dans l’IpCop de la distribution?
Faut-il modifier le makefile de sarg ?

Merci de votre aide.

par **Arpanet** » 26 Fév 2007 21:47

A la commande "make.sh prefetch" sur certaine lignes j'ai le message d'erreur suivant:

Code: Tout sélectionner: Prefetch : wget error in lfs/apache Prefetch : wget error in lfs/bind etc...

J'ai fini par télécharger 34 packers à la main.

par **Gesp** » 27 Fév 2007 17:59

A la commande "make.sh prefetch" sur certaine lignes j'ai le message d'erreur suivant:

Code:
Prefetch : wget error in lfs/apache
Prefetch : wget error in lfs/bind
etc...

les URL bougent, tu aurais eu plus de chances avec 1.4.14 depuis cvs

-Compiler sarg sur la distribution

Importer les sources
. /configure
make
make install

Pas tout à fait.
Il faut écrire un script lfs/sarg qui fera cela (voir les autres fichiers présents dans lfs) et inclure l'appel dans make.sh (ipcopmake sarg) puis ajouter les fichiers à inclure dans l'iso dans src/ROOTFILES.i386

Cela permet d'utiliser exactement l'environnement de compilation IPCop pour compiler le reste indépendement de la distrib support de la compilation.

Je n'ai pas pu compiler à partir du noyau 2.6.20. Peut-être ma configuration de noyau?
Mais en 2.6.17, je n'ai pas eu de problème.

par **Arpanet** » 28 Fév 2007 00:22

Merci Gesp pour la rectification. ;-)

Je n'ai jamais fais de script lfs mais je vais essayer de faire un petit truc.

J'ai un autre petit prb, le "make buid" bloque voici le message du fichier log.

Code: Tout sélectionner: Inconsistency detected by ld.so: rtld.c: 1221: dl_main: Assertion `pt_load_num || (void *) ph->p_vaddr == _rtld_local._dl_sysinfo_dso' failed! make[3]: *** [/tmp/ProjetSarg/ipcop/build/usr/src/glibc-build/sunrpc/xbootparam_prot.stmp] Error 127 make[3]: Leaving directory `/tmp/ProjetSarg/ipcop/build/usr/src/glibc-2.3.3-lfs-5.1/sunrpc' make[2]: *** [sunrpc/others] Error 2 make[2]: Leaving directory `/tmp/ProjetSarg/ipcop/build/usr/src/glibc-2.3.3-lfs-5.1' make[1]: *** [all] Error 2 make[1]: Leaving directory `/tmp/ProjetSarg/ipcop/build/usr/src/glibc-build' make: *** [/tmp/ProjetSarg/ipcop/log/glibc-2.3.3-lfs-5.1-tools] Error 2

Pour info je suis sur une FEDORA CORE 6 dans une VMWARE.

Je sais pas quoi faire

par **Arpanet** » 28 Fév 2007 23:49

J’ai repris à zéro :

Je suis avec une FEDORA CORE 6 dans une VMWARE avec 256 de ram.

Creation d'un dossier:

Code: Tout sélectionner: /tmp/ProjetSarg/ipcopCVS

Recuperation des sources dans le dossier créé:

Code: Tout sélectionner: Cvs –z3 –d:pserver:anonymous@ipcop.cvs.sourceforge.net:/cvsroot/ipcop co –r IPCOP_v1_4_0 ipcop

Code: Tout sélectionner: ./make.sh check

Code: Tout sélectionner: ./make.sh prefetch

J’ai téléchargé les paquets a prb et je les ai mis dans le dossier cache

./make build

Et là j’ai toujours le message d’erreur :

Code: Tout sélectionner: [root@localhost ipcopCVS]# ./make.sh build fév 28 16:33:13: Machine is ix86 (or equivalent) fév 28 16:33:13: Full toolchain compilation fév 28 16:33:13: Resetting our nice level to 10 fév 28 16:33:14: Checking if we're running as root user fév 28 16:33:14: Checking for necessary space on disk fév 28 16:33:14: Building Linux From Scratch system Feb 28 16:33:15: Stage1 toolchain build Feb 28 16:33:15: Building ccache Feb 28 16:33:41: Building sed LFS_PASS=1 Feb 28 16:34:42: Building m4 LFS_PASS=1 Feb 28 16:35:00: Building bison LFS_PASS=1 Feb 28 16:36:14: Building flex LFS_PASS=1 Feb 28 16:36:27: Building binutils LFS_PASS=1 Feb 28 16:46:34: Building gcc LFS_PASS=1 Feb 28 17:03:51: Building linux Feb 28 17:06:38: Building tcl Feb 28 17:07:56: Building expect Feb 28 17:08:32: Building glibc ERROR: Building glibc Check /tmp/ProjetSarg/ipcopCVS/log/_build.toolchain.log for errors if applicable

et voici la fin du fichier _build.toolchain.log

Code: Tout sélectionner: CPP='gcc -B/tools/bin/ -E -x c-header' /tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/elf/ld-linux.so.2 --library-path /tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/math:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/elf:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/dlfcn:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/nss:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/nis:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/rt:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/resolv:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/crypt:/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/linuxthreads /tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/sunrpc/rpcgen -Y ../scripts -c rpcsvc/bootparam_prot.x -o /tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/sunrpc/xbootparam_prot.T Inconsistency detected by ld.so: rtld.c: 1221: dl_main: Assertion `pt_load_num || (void *) ph->p_vaddr == _rtld_local._dl_sysinfo_dso' failed! make[3]: *** [/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build/sunrpc/xbootparam_prot.stmp] Error 127 make[3]: Leaving directory `/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-2.3.3-lfs-5.1/sunrpc' make[2]: *** [sunrpc/others] Error 2 make[2]: Leaving directory `/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-2.3.3-lfs-5.1' make[1]: *** [all] Error 2 make[1]: Leaving directory `/tmp/ProjetSarg/ipcopCVS/build/usr/src/glibc-build' make: *** [/tmp/ProjetSarg/ipcopCVS/log/glibc-2.3.3-lfs-5.1-tools] Error 2

Et là je bloque

Pouvez-vous m'aider? :roll:

par **Arpanet** » 01 Mars 2007 18:51

Je n'ai toujours pas trouvé mon erreur. :cry:

par **Arpanet** » 03 Mars 2007 15:17

J’ai repris (re) à zéro :

Je suis reparti avec "colinux" sur une DEBIAN 3.1

Et je n'y arrive toujours pas , HELP :!:

Pour les sources pas de (trop) prb mais au "./make.sh build" je sèche, ma distrib ne doit pas être couplette mais il me manque quoi???? :cry:

Code: Tout sélectionner: colinux:/ipc/ipcop# ./make.sh build Mar 3 12:47:18: Machine is ix86 (or equivalent) Mar 3 12:47:18: Full toolchain compilation Mar 3 12:47:18: Resetting our nice level to 10 Mar 3 12:47:18: Checking if we're running as root user Mar 3 12:47:18: Checking for necessary space on disk Mar 3 12:47:18: Building Linux From Scratch system Mar 3 12:47:18: Stage1 toolchain build Mar 3 12:47:18: Building ccache Mar 3 12:47:19: Building sed LFS_PASS=1 Mar 3 12:47:19: Building m4 LFS_PASS=1 Mar 3 12:47:19: Building bison LFS_PASS=1 Mar 3 12:47:19: Building flex LFS_PASS=1 Mar 3 12:47:19: Building binutils LFS_PASS=1 ERROR: Building binutils LFS_PASS=1 Check /ipc/ipcop/log/_build.toolchain.log for errors if applicable

File: _build.toolchain.log

Code: Tout sélectionner: checking for LC_MESSAGES... yes checking whether NLS is requested... no checking for executable suffix... (cached) no checking for bison... bison -y checking for flex... no checking for lex... no /ipc/ipcop/build/usr/src/binutils-2.15.90.0.3/ld/configure: line 4419: flex: command not found checking for flex... lex checking for yywrap in -ll... no checking lex output file root... /ipc/ipcop/build/usr/src/binutils-2.15.90.0.3/ld/configure: line 4507: lex: command not found configure: error: cannot find output from lex; giving up make[1]: *** [configure-ld] Error 1 make[1]: Leaving directory `/ipc/ipcop/build/usr/src/binutils-build' make: *** [/ipc/ipcop/log/binutils-2.15.90.0.3-tools1] Error 2

File: configure (ligne 4419)

Code: Tout sélectionner: test -n "$LEX" || LEX=""$missing_dir/missing flex""

File: configure (ligne 4507)

Code: Tout sélectionner: %%' | $LEX

J'ai installé LEX mais il y a encore et encore un autre package qui manque.

J'ai rereretesté a partir d'une ubuntu et là il y a d'autre prb. HELP!!!!!!!!!!!!!!!!!!!!!!!!

Je bute sur ce prb depuis plusieurs jours (avant sur FC6 et là sur DEBIAN), merci de me donner une petite piste ;-)

par **Arpanet** » 01 Avr 2007 13:56

Après beaucoup de persévérances j’ai enfin réussi à compiler IpCop

. Maintenant je dois m’attaquer à l’intégration de SARG dans la compilation d’IpCop. J’ai regardé différent script dans lfs mais je ne comprends pas grand choses, si vous avez un lien qui explique l’architecture d’un script merci de me le donner.

PS (juste pour savoir): j’ai une petite question -> ma compilation ma donné des fichiers en version 1.4.16, comment choisir la version de mon choix ?

:wink:

par **Arpanet** » 01 Avr 2007 22:59

Voici le script lfs

Code: Tout sélectionner: ############################################################################### # Definitions ############################################################################### include Config VER = 2.2.3.1 THISAPP = sarg-$(VER) DL_FILE = $(THISAPP).tar.gz #DL_FROM = ftp://ftp.info-zip.org/pub/infozip/src DL_FROM = http://kent.dl.sourceforge.net/sourceforge/sarg/ DIR_APP = $(DIR_SRC)/sarg-2.2.3.1 TARGET = $(DIR_INFO)/$(THISAPP) ############################################################################### # Top-level Rules ############################################################################### objects = $(DL_FILE) $(DL_FILE) = $(DL_FROM)/$(DL_FILE) $(DL_FILE)_MD5 = 6e2e2c386a89aaff31f048eb2a6c5b1a install : $(TARGET) check : $(patsubst %,$(DIR_CHK)/%,$(objects)) download :$(patsubst %,$(DIR_DL)/%,$(objects)) md5 : $(subst %,%_MD5,$(objects)) ############################################################################### # Downloading, checking, md5sum ############################################################################### $(patsubst %,$(DIR_CHK)/%,$(objects)) : @$(CHECK) $(patsubst %,$(DIR_DL)/%,$(objects)) : @$(LOAD) $(subst %,%_MD5,$(objects)) : @$(MD5) ############################################################################### # Installation Details ############################################################################### $(TARGET) : $(patsubst %,$(DIR_DL)/%,$(objects)) @$(PREBUILD) @rm -rf $(DIR_APP) && cd $(DIR_SRC) && tar zxf $(DIR_DL)/$(DL_FILE) cd $(DIR_APP) && configure --enable-bindir=/var/ipcop/sarg/bin --enable-sysconfigdir=/var/ipcop/sarg/local/sarg --enable_htmldir=/home/httpd/html/squid-reports --enable-mandir=/var/ipcop/sarg/local/sarg/man && make install @rm -rf $(DIR_APP) @$(POSTBUILD)

Vous semble t'il correct? :roll:

par **Franck78** » 02 Avr 2007 01:03

PS (juste pour savoir): j’ai une petite question -> ma compilation ma donné des fichiers en version 1.4.16, comment choisir la version de mon choix

Il faut jouer avec le cvs. Récuperer dans ton reposiroty la version avec le tag qui va bien (IPCOP_v1_4_x). Ensuite il faut obtenir les packages qui ont servi dans cette version, package souvent disparus entre temps. Pour ça il y a un gros, très gros package ipcop qui regroupe tout les sources au moment de la sortie.

cd $(DIR_APP) && configure --enable-bindir=/var/ipcop/sarg/bin --enable-sysconfigdir=/var/ipcop/sarg/local/sarg --enable_htmldir=/home/httpd/html/squid-reports --enable-mandir=/var/ipcop/sarg/local/sarg/man && make install

On indique presque toujours "--prefix=/usr" et on fait deux/trois lignes au moins dans les scripts:
cd $(DIR_APP) && configure --blablah
cd $(DIR_APP) && make
cd $(DIR_APP) && make install

par **Arpanet** » 02 Avr 2007 23:27

Voici mon script rectifié:

Code: Tout sélectionner: ############################################################################### # This file is part of the IPCop Firewall. # # # # $Id: sarg,v 2.2.3.1 $ # # ############################################################################### ############################################################################### # Definitions ############################################################################### include Config VER = 2.2.3.1 THISAPP = sarg-$(VER) DL_FILE = $(THISAPP).tar.gz DL_FROM = http://kent.dl.sourceforge.net/sourceforge/sarg/ DIR_APP = $(DIR_SRC)/sarg-2.2.3.1 TARGET = $(DIR_INFO)/$(THISAPP) ############################################################################### # Top-level Rules ############################################################################### objects = $(DL_FILE) $(DL_FILE) = $(DL_FROM)/$(DL_FILE) $(DL_FILE)_MD5 = 6e2e2c386a89aaff31f048eb2a6c5b1a install : $(TARGET) check : $(patsubst %,$(DIR_CHK)/%,$(objects)) download :$(patsubst %,$(DIR_DL)/%,$(objects)) md5 : $(subst %,%_MD5,$(objects)) ############################################################################### # Downloading, checking, md5sum ############################################################################### $(patsubst %,$(DIR_CHK)/%,$(objects)) : @$(CHECK) $(patsubst %,$(DIR_DL)/%,$(objects)) : @$(LOAD) $(subst %,%_MD5,$(objects)) : @$(MD5) ############################################################################### # Installation Details ############################################################################### $(TARGET) : $(patsubst %,$(DIR_DL)/%,$(objects)) @$(PREBUILD) @rm -rf $(DIR_APP) && cd $(DIR_SRC) && tar zxf $(DIR_DL)/$(DL_FILE) cd $(DIR_APP) && ./configure --enable-bindir=/var/ipcop/sarg/bin --enable-sysconfdir=/var/ipcop/sarg/local/sarg --enable-htmldir=/var/ipcop/sarg/local/sarg --disable-mandir && make && make install @rm -rf $(DIR_APP) @$(POSTBUILD)

Il me reste à tester le résultat, puis intégrer les modifications dans l'addon d'origine.

Analyseur des logs Squid -> SARG 2.2.3.1

Analyseur des logs Squid -> SARG 2.2.3.1

Qui est en ligne ?