Analyse des accès internet par Squid

par **olivier_morin** » 03 Déc 2004 10:40

Je viens de découvrir squint, qui génère des fichiers HTML à partire du fichier access.log.

C'est assez génial et hyper simple à mettre en oeuvre :
squint generates a little report of who is spending the most time and resources browsing the internet via your squid proxy server. The top offenders in terms of data transfer, number of files transferred and on-line time are reported. squint now also generates a detailed history for each person which can be viewed with a browser.

Il suffit de copier le fichier squint.pl dans un rep, de créer un rep dans /home/httpd/html et de lancer :

cat /var/log/squid/access.log | ./squint.pl /home/httpd/html/squint/

http://www.ledge.co.za/software/squint/

Voici un exemple :

http://sqnt.sourceforge.net/example/index.html

On peut automatiser facilement la génération grace à cron...

A vos claviers !

par **schlouf** » 07 Déc 2004 02:32

Olivier,

merci pour cet utilitaire, il est vraiment superbe! Jusqu'ici je devais sortir les logs via winscp puis les triturer sous windows...La, ca me sauve enormement de temps!

Je me suis cree un petit script qui anayse les 10 dernieres semaines de log, puis publie tout ca sur le serveur web. Je lance ca a 2 heures du matin, ca prend approx 10 a 15mins pour s'executer dependant de mes installs mais ca va, a 2h du mat je ne suis pas trop presse...

Enfin, merci encore!

par **samy_lg** » 07 Déc 2004 16:57

Salut,

Je viens de faire ce qui est décrit dans le post d'olivier.

mais je n'ai pas trouver comment acceder au resultat.

par **schlouf** » 07 Déc 2004 19:47

Hey!

en ce qui me concerne, j'ai mis les resultats dans le /var/log/squint. Sur un des installs j'ai les 52 semaines de log faisant plus de 400Mb (tournant encore en 1.3) et ca risque de faire exploser la partition monte sur /.

pour les publier sur le serveur web, j'ai modifier le /etc/httpd/conf/httpd.conf en rajoutant a la fin du fichier

Code: Tout sélectionner: alias /squint /var/log/squint/ <Location /squint/> allow from all </Location> <Directory /var/log/squint> AllowOverride None Options None AuthName "Squid Log Analyser" AuthType Basic AuthUserFile /var/ipcop/auth/users require user admin </Directory>

de cette facon la, tu y accedes en tappant http://ipcop-ip:445/squint/index.html

Aussi, il peut etre interessant de ne pas triturer l'ensemble des fichiers de log, ainsi pour ne ne faire passer a la moulinette que 10 dernieres semaines, j'utilise le script suivant (sous 1.4, car sous 1.3 les logs sont pas zippes...)

Code: Tout sélectionner: #!/bin/sh rm -rf /var/log/squint/* cp -f /var/log/squid/access.lo{g,g.[1-9].gz} /tmp gzip -d -f /tmp/access.log.*.gz cat /tmp/access.log* | /usr/local/bin/squint.pl /var/log/squint rm /tmp/access.log*

Je crois qu'il y a moyen de dezipper directement sur le stdout sans effacer les zips puis le piper vers squint.pl, ca fait que tu economiserais une copie et un cat... Oh well, j'avais pas envie de trop chercher...

Apres ca, il reste plus qu'a faire un fcrontab -e et scheduler ton affaire a l'heure qui te botte...

Bye!

par **man_mickey2001** » 07 Déc 2004 20:41

Bonsoir,
j'ai pour ma part installé la dernière version de sarg, je vous joind mes différentes manips, il a fallut compiler sarg sur un Fedora Core 2B pour ensuite récupérer les binaires et librairies pour les porter sur ipcop 1.4.1, c'est un peu long mais cela marche impec.
bon courage.
Voici mes manip:

sarg:Outil générant pages html sur le suivi des accès web (utilise logs de squid)
Compilation pour ipcop 1.4.0
Récupérer sur site: http://sarg.sourceforge.net et le compiler sur Fedora Core 2B (voir http://sarg.sourceforge.net/sarg.README.txt pour la compil)
Compilation sur Fedora Core 2B:

transférer sarg-2.0.1.tar.gz ds /tmp
cd /tmp
tar zxvf sarg-2.0.1.tar.gz
rm sart-2.0.1.tar.gz
Avant de compiler, installer :
Le compilateur C ainsi que:
gd-devel (ds le groupe developpement de logiciels X)
tk (ds developpement du noyau)
(Ces 2 packages permettent d'avoir les librairies gd.h et fdfonts.h)
cd /tmp/sarg-2.0.1
lancer:
./configure --enable-bindir=/usr/bin --enable-sysconfigdir=/usr/local/sarg --enable_htmldir=/home/httpd/html --enable-mandir=/usr/local/man
Rq:
/usr/bin: chemin ou sera l'executable sarg
usr/local/man: chemin ou sera le man de sarg
/home/httpd/html: répertoire de www html root

après la commande précédente tout doit être à yes (pas de no)
lancer:
make
make install
la compilation est terminée

récupérer les différents fichiers suivants et les transférer sur ipcop 1.4.0:
l'executable:/usr/sbin/sarg (droits en 755 root root)
créer le répertoire /usr/local/sarg (droits en 755 root root)
transférer les fichiers:
/usr/local/sarg/css.tpl (droits en 644 root root)
/usr/local/sarg/exclude_codes (droits en 644 root root)
Créer le répertoire:
/usr/local/sarg/fonts (droits en 755 root root
transférer le fichier:
/usr/local/sarg/fonts/Verdana.TTF (droits en 644 root root)
Créer le répertoire:
/usr/local/sarg/images (droits en 755 root root)
transférer les fichiers:
/usr/local/sarg/images/datetime.png (droits en 644 root root)
/usr/local/sarg/graph.png (droits en 644 root root)
/usr/local/sarg/sarg.png (droits en 644 root root)
/usr/local/sarg/sarg-squidguard-block.png (droits en 644 root root)
Transférer le fichier :
/usr/local/sarg/sarg.conf (droits en 644 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php (droits en 755 root root)
transférer les fichiers:
COPYING (droits en 644 root root)
INSTALL (droits en 644 root root)
language.php (droits en 744 root root)
LANGUAGES (droits en 644 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php/locale (droits en 644 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php/locale/en_EN (droits en 755 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php/locale/en_EN/LC_MESSAGES (droits en 755 root root)
/usr/local/sarg/sarg-php/locale/en_EN/LC_MESSAGES/messages.mo (droits en 755 root root)
/usr/local/sarg/sarg-php/locale/en_EN/LC_MESSAGES/messages.po (droits en 755 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php/locale/pt_BR (droits 755 root root)
Créer le répertoire:
/usr/local/sarg/sarg-php/locale/pt_BR/LC_MESSAGES (droits en 755 root root)
transférer les fichiers:
/usr/local/sarg/sarg-php/locale/pt_BR/LC_MESSAGES/messages.mo (droits en 755 root root)
/usr/local/sarg/sarg-php/locale/pt_BR/LC_MESSAGES/messages.po (droits en 755 root root)

transférer les fichiers:
/usr/local/sarg/sarg-php/sarg-block-it.php (droits en 755 root root)
/usr/local/sarg/sarg-php/sarg-squidguard-block2.php (droits en 755 root root)
/usr/local/sarg/sarg-php/sarg-squidguard-block.php (droits en 755 root root)
/usr/local/sarg/sarg-php/style.php (droits en 755 root root)
/usr/local/sarg/sarg-php/translate.this (droits en 644 root root)

Créer le répertoire /usr/local/man (droits en 755 root root)
transférer le fichier :
/usr/local/man/sarg.1 (droits en 755 root root)

modifier sarg.conf:
cd /usr/local/sarg
modifier sarg.conf remplacer la ligne :
#language English par: language French
#access_log /var/log/squid/access.log par: access_log /var/log/squid/access.log
#graphs yes par: graphs yes
#date_format u par: date_format e
#logo_text "" par: logo_text "GFI Chronotique"
#output_dir /home/httpd/html/squid-reports par: output_dir /home/httpd/html/squid-reports
#date_format u par: #date_format e
enlever le # sur la ligne:
report_type topsites sites_users users_sites date_time denied auth_failures site_user_time_date
remplacer la ligne:
#charset Latin1 par: charset Latin1
#squidguard_conf none par:
squidguard_conf /etc/squidGuard/squidGuard.conf
#www_document_root /var/www/html par: www_document_root /home/httpd/html

Récupérer et transférer ds /usr/sbin les scripts:
sarg.daily (droits en 755 root root)
sarg.weekly (droits en 755 root root)
sarg.monthly (droits en 755 root root)

modifier /usr/sbin/sarg.daily pour pointer ds la bon chemin du site web:
#!/bin/bash
#Get yesterday date
YESTERDAY=$(date --date "1 day ago" +%d/%m/%Y)
/usr/sbin/sarg -f /usr/local/sarg/sarg.conf -o /home/httpd/html/squid-reports/daily -d $YESTERDAY > /dev/null 2>&1
exit 0

modifier fcrontab, lancer : fcrontab -e et ajouter à la fin les lignes suivantes:
# Lancement des scripts sarg (analyse des logs de squid)
05 0 * * * root /usr/sbin/sarg.daily
#15 0 * * 1 root /usr/sbin/sarg.weekly
#30 1 1 * * root /usr/sbin/sarg.monthly

modifier sur ipcop /etc/httpd/conf/httpd.conf

RQ: IL FAUT AVOIR D2J0 DES POSTES AYANT NAVIGU2S LA VEILLLE VIA LE PROXY POUR AVOIR LES PAGES GENEREES
Pour accéder au site sur ipcop:
https://ipcop:445/squid-reports/daily (Rq: ipcop correspond à la machine ipcop 1.4.0)

par **olivier_morin** » 08 Déc 2004 22:52

Je pense m'attaquer sur la trauction en français...

Si il a des volontaires pour aider !

par **pulsergene** » 08 Déc 2004 23:22

bonsoir

qu est ce que tu veux traduire ?

bonne soirée

par **samy_lg** » 09 Déc 2004 15:08

Un grand merci schlouf
:biz:

Un merci à Olivier aussi.

par **chilon** » 06 Fév 2007 12:28

salut,

j'utilise "squint-0.3.18" et je fais la création des rapport manuellement.
comment je peux planifier la création des rapports avec le service "cron" sur ipcop 1.4.11 ?

Lorsque je fais fcrontab -e et j'ajoute à la fin des ligne es ce qu'il faut redémarrer la machine
ou simplement de service.dans ce dernier cas comment je peux le faire???

Merci.

par **chilon** » 06 Fév 2007 12:31

salut,

d'ou je peux télécharger le compilateur pour ipcop 1.4.11 parce que j'ai besoin de complier
sarg-2.0.1.tar.gz.

Merci.[/img]

par **Franck78** » 06 Fév 2007 15:45

chilon a écrit:salut,

d'ou je peux télécharger le compilateur pour ipcop 1.4.11 parce que j'ai besoin de complier
sarg-2.0.1.tar.gz.

Merci.[/img]

Ca n'existe pas.

Cherche IPCop sur sourceforge, lis les explications sur comment construire (build) son IPCop. Alors seulement tu disposeras de tout ce dont tu as besoin pour intégrer un package à partir des sources dans la distro.
Un peu de persévérence est nécéssaire.

par **ksv** » 15 Fév 2007 11:54

Super util ce squint, je vais quand même tester mysar pour me faire une idée.
Par contre je suis preneur de la traduction FR.

par **ryadbel** » 27 Mars 2009 02:32

bonjour,

je suis debutant dans le monde de linux et j'ai recouverts IPCOP, je suis arrivé à l'installer et le configurer et il il marche à merveille.
maintenant j'ai un souci avec SQUIT car je n'arrive pas l'installer sur mon ipcop et je ne sais pas trop comment faire
si quelqu'un peut m'aider
je vous remerci d'avance

par **jdh** » 27 Mars 2009 14:56

Plutôt que de réveiller les morts, il vaudrait mieux suivre le dernier message du fil http://forums.ixus.fr/viewtopic.php?t=42087

Sans avoir testé, la procédure semble claire et facile à mettre en oeuvre.
De plus LightSquid semble plus puissant que Squint.