Squid plante régulièrement

[ismans]

Bonjour,

Squid doit être relancé régulièrement sur mon IPCop version 1.4.21 via la commande : restartsquid car il ne répond plus. Tout revient en ordre après relance.
Je ne trouve absolument rien dans les logs me permettant de déterminer l'origine de ce problème.
L'un d'autre vous aurait-il déjà rencontré ce soucis.
Merci pour votre aide
Ismans

[jdh]

Je ne trouve absolument rien dans votre description pouvant donner le moindre indice !

Couplet traditionnel : décrit comme cela, il n'y aura aucune réponse ! Si vous voulez une réponse, il FAUT mettre des informations : en mettre pas assez est une erreur, en mettre trop n'est pas une erreur !



Quelle est la taille du cache configuré ?
=> Tout le monde croit qu'il faut un grand cache ! C'est une erreur ! La taille optimale du cache est fonction de la mémoire présente dans le serveur et non du nombre de clients et de la taille du tuyau !

[Franck78]

Hello,

les logs c'est quand tout marche bien Il faudrait peut être regardé 'autour' de squid...

-disque plein
-disque avec secteur defectueux (analyse de surface)
-réparer le cache
-effacer tout le cache
-changement récent de la conf

c'est pas les raisons qui manquent pour planter un soft.

[ismans]

Bonjour,

Et merci à tous les deux pour vos réponses. Je suis entièrement d'accord avec vous concernant le manque d'informations fournies. Je vais donc tenter de vous en dire plus mais malheureusement je ne dispose pas de grand chose relatif à mon problème.
Informations IPCop :

Utilisation du disque:
Sélection du type de noyau: linux-2.4.36
Périphérique Monté sur Taille Utilisé Libre Pourcentage
/dev/root / 4710 286 4377 7%
/dev/harddisk1 /boot 16 7 9 41%
/dev/harddisk2 /var/log 14068 1232 12122 10%

Updates:
021 1.4.21 update
020 1.4.20 update
019 1.4.19 update

Services:
RPV Arrêté
Serveur CRON En fonction 1808 kB
Serveur DHCP En fonction 2668 kB
Serveur DNS mandataire (proxy DNS) En fonction 1696 kB
Serveur NTP En fonction 3560 kB
Serveur Web En fonction 5064 kB
Serveur d'accès à distance sécurisé (SSH) En fonction 3416 kB
Serveur d'enregistrement de journaux En fonction 1604 kB
Serveur d'enregistrement des journaux du noyau En fonction 2032 kB
Serveur mandataire (proxy) En fonction 20484 kB
Système de détection d'intrusions (GREEN) Arrêté
Système de détection d'intrusions (ORANGE) Arrêté
Système de détection d'intrusions (RED) Arrêté

Mémoire:
Taille Utilisé Libre Pourcentage
Mémoire 515392 464140 51252 90%
-/+ tampon/cache 77104 438288 14%
Echange 32764 0 32764 0%
Partagé 0
Mémoire cache 67036
En cache 320000

Modules chargés:
Module Size Used by Not tainted
pppoe 6688 1
pppox 1064 1
ppp_generic 18724 3
slhc 4448 0
ipt_MARK 696 10 (autoclean)
ipt_MASQUERADE 1272 1 (autoclean)
ipt_mac 568 1 (autoclean)
ipt_mark 440 2 (autoclean)
ipt_TCPMSS 2168 1 (autoclean)
ipt_state 504 19 (autoclean)
ipt_REJECT 2968 1 (autoclean)
ipt_LOG 3616 13 (autoclean)
ipt_limit 792 9 (autoclean)
iptable_mangle 2008 1 (autoclean)
iptable_filter 1612 1 (autoclean)
tulip 38816 2
crc32 2880 0
3c59x 25488 1
ip_nat_quake3 1800 0 (unused)
ip_conntrack_quake3 1896 1
ip_nat_proto_gre 1092 0 (unused)
ip_nat_pptp 2148 0 (unused)
ip_conntrack_pptp 2601 1
ip_conntrack_proto_gre 1973 0
ip_nat_mms 2672 0 (unused)
ip_conntrack_mms 2832 1
ip_nat_irc 1968 0 (unused)
ip_conntrack_irc 2768 1
ip_nat_h323 2372 0 (unused)
ip_conntrack_h323 2153 1
ip_nat_ftp 2448 0 (unused)
ip_conntrack_ftp 3568 1
iptable_nat 15878 8
ip_conntrack 18928 7
ip_tables 10976 14
acm 5120 0 (unused)
keybdev 1764 0 (unused)
hid 19940 0 (unused)
input 3104 0
sd_mod 10284 0 (unused)
usb-storage 24624 0 (unused)
scsi_mod 52920 1
usb-uhci 20528 0 (unused)
usbcore 56236 1
apm 8644 0


Courbes d'utilisation du serveur mandataire:

Generated: Thu Jan 28 11:40:08 2010
Lines Analyzed: 185917 lines (0 errors)
Analysis Duration: 4 seconds
Analysis Speed: 46479.25 lines/sec
Graph Start: Wed Jan 27 11:40:08 2010
Graph End: Thu Jan 28 11:40:08 2010
Graph Domain: 24 hours (86400 seconds)

Graph of TCP Accesses (5 minute total)
graph
Total Accesses: 32818
Average Accesses: 1367.41 per hour
Total Cache Hits: 3071
Average Cache Hits: 127.95 per hour
% Cache Hits: 9.35 %
Total Cache IMS Hits: 748
Average Cache IMS Hits: 31.16 per hour
Total Cache Misses: 28063
Average Cache Misses: 1169.29 per hour
% Cache Misses: 85.51 %
Graph of TCP Transfers (5 minute total)
graph
Total Transfers: 1 Gb
Average Transfers: 44.6 Mb per hour
Total Cache Hits: 55.2 Mb
Average Cache Hits: 2.3 Mb per hour
% Cache Hits: 5.15 %
Total Cache IMS Hits: 217 Kb
Average Cache IMS Hits: 9 Kb per hour
Total Cache Misses: 1 Gb
Average Cache Misses: 42.1 Mb per hour
% Cache Misses: 94.44 %
Graph of Average TCP Transfer Duration
graph
Avg. Transfer Duration: 3.8 seconds
Avg. Cache Hit Duration: 0.03 seconds
Avg. Cache Miss Duration: 4.18 seconds

--- ONGLET SERVICE: Proxy Web Avancé ---
Add-on Advenced Proxy For IPCop 1.4.21 installé Release 3.0.4
Proxy Web Avancé

Paramètres communs
Activé sur Green: OUI Port serveur proxy: 8080
Mode transparent Green: NON Nom du hôte visible: VIDE
E-mail de l'administrateur du Cache: VIDE
Langues des messages d'erreurs: FRENCH
Supprimer l'information de version: OUI Affichage des messages d'erreur: IPCop
Version du cache Squid: [ 2.7.STABLE7 ]

Serveur proxy distant
Retransmission de l'adresse du proxy: NON Serveur proxy distant (hôte:port): VIDE
Retransmission de l'adresse IP du client: NON Nom d'utilisateur du serveur proxy distant: VIDE
Retransmission du nom d'utilisateur: NON Mot de passe du serveur proxy distant: VIDE
Pas de transfert d'authentification orienté connexion: NON

Paramètres des journaux d'événements
Journaux activés: OUI Enregistrement des URL complètes: OUI
Enregistrement du User-Agent: OUI

Gestion du cache
Taille du cache en mémoire (MB): 64 Taille du cache sur le disque dur (MB): 500
Taille minimale d'objet (KB): 0 Taille maximale d'objet (KB): 4096
Nombre de sous-répertoire de niveau 1: 16
Ne pas mettre en cache ces domaines (un par ligne): Vide
Stratégie de gestion de la mémoire: LRU
Stratégie de gestion du cache: LRU
Mode autonome activé: NON

Ports de destination
Ports standards autorisés (un par ligne):
80 # http 21 # ftp 443 # https 563 # snews 70 # gopher 210 # wais 1025-65535 # unregistered ports 280 # http-mgmt 488 # gss-http 591 # filemaker 777 # multiling http 8080 # Squids port (for icons)

Ports SSL autorisés (un par ligne): 443 # https 563 # snews 5445 # Accès externe https

Contrôle des accès par le réseau
Sous-réseaux permis (un par ligne): 192.168.1.0/255.255.255.0

Restrictions de temps : AUCUNE

Limites de transfert
Taille maximale en réception (KB): 0 Taille maximale en envoi (KB): 0

Réduction du téléchargement
Limitation totale sur Green: ILLIMITE Limitation par hôte sur Green: ILLIMITE
Activer la réduction basée sur le contenu:
Fichiers binaires: NON Images de CD: NON Multimédia: NON

Filtre sur les types MIME
Activé: NON

Navigateur internet
Activer la vérification du navigateur: NON

Protection des données
Faux User-Agent soumis aux sites externes: VIDE
Faux Referer soumis aux sites externes: VIDE

Filtre d'URL [ 1.9.3 ]
Activé: OUI

Méthode d'authentification
Aucune Locale: OUI identd LDAP Windows RADIUS

Paramètres globaux d'authentification
Nombre de processus d'authentification: 5
Message affiché pour l'authentification realm: VIDE
Domaines sans authentification (un par ligne): VIDE
TTL de l'authentification du cache (en minutes): 60
Limitation du nombre d'adresse IP par utilisateurs: VIDE
Utilisateurs/IP cache TTL (en minutes): 0
Authentification requise pour les adresses sources non restreintes: OUI

Authentification par l'utilisateur local
Longueur minium du mot de passe: VALEUR
Contourner la redirection pour les membres du groupe 'Etendu': NON


---------------------------------------------

J'ai vu ce matin qu'il y avait une mise à jour disponible de l'add-on Advenced Proxy For IPCop 1.4.21 Je l'ai donc appliquée et suis passé de la Release 3.0.3 à la Release 3.0.4. Cela a eu pour effet de mettre à jour la Version du cache Squid qui est passée de [ 2.6.STABLE6 ] à [ 2.7.STABLE7 ].
Depuis j'attends que ça plante à nouveau. Qui sait, cela aura peut-être résolu mon problème !
Je le saurai dans le courant de la semaine prochaine car la fréquence de plantage de Squid semble aléatoire mais en moyenne je dois le relancer 1 fois tous les 2 jours.

Pour info, le nombre nombre d'utilisateurs permanents sur ce réseau est de 5 et cela peut monter à une bonne vingtaine avec une limitation fixée à 100. La patte rouge d'IPCop est sur une connexion ADSL de 18Mb/s max.
Merci encore pour votre aide
Cordialement

[sentenza7]

Bonjour,

Ayant exactement le même problème, avez vous résolu votre problème?
Je ne vois pas d'ou cela peut venir et j'ai besoin des logs du proxy.

Merci

[jdh]

Nous avions souligné le manque de description du problème.
Puis nous avons reçu un volume important d'informations, sans que nous répondions.

Dans le cas, 512Mo de mémoire me semble un peu limite, notamment pour un cache de 500M sur disque.
De plus Squid est passé de 2.6 à 2.7 et est sans doute encore plus gourmand.

Il est probable que la mémoire est la cause de ces problèmes.

Par ailleurs, il est conseillé, à partir d'un certain nombre d'utilisateurs, disons 10, de séparer la fonction firewall de celle du proxy.

[mab]

salut,
alors, finalement, le problème de plantage est-il résolu ?

[amiine]

slt,
Même problème chez moi. J'arrive pas à identifier le problème.

Quand je lance un top, je vois que le process squid-graph est entrain de consommer toute la RAM disponible même après ajout de 2GO de RAM.
En plus quand j'essaye de vider le cache de squid en utilisant l'interface graphique, rien ne se passe.
Comment pourrais-je éffacer le cache en lignes de commande ? et pourquoi ce process s'élargit sur toute la RAM Dispo ?

Avant, on est habitué à réinstaller ipcop lorsque ce souci se présente, il fonctionne tranquillement durant 2 ou 3 mois. par la suite, ce process bloque complétement le Firewall.

D'avance merci.

[jdh]

Je suis certain qu'effacer le cache de Squid a été décrit sur le forum.
C'est d'ailleurs assez simple à faire ...
Il n'y a aucune raison de rechercher à votre place ...

[amiine]

bon j'ai réussi à examiner ce pb.
sous /var/log/squid, j'ai trouvé que access.log a une taille de 1.5G.

donc, je l'ai zippé et jl'ai supprimé.

/var/log/squid #tar czf access.log.10.gz access.log
/var/log/squid # rm access.log

ensuite j'ai redémarré squid et c'est tout.

Merci.

[jdh]

Comme son nom l'indique, les fichiers dans /var/log/squid n'ont rien à voir avec le cache !

Pour comprendre Squid, il faut savoir (à adapter selon les distributions) :
- il y a des fichiers de conf (souvent dans /etc/squid/),
- il y a les logs de fonctionnement (souvent dans /etc/var/log/),
- il y a le cache (souvent dans /var/spool/squid),
- il y a les commandes de lancement (souvent dans /etc/rc2.d ou /etc/init.d/),
- il y a la commande réelle (souvent /usr/sbin/squid),
- il y a lieu de penser rotation des logs,
- il y a des addons (genre squidguard, squid-graph, et autres ...).

Chaque élément joue !
(Juste pour info, il y a plus de 350 paramètres pour la dernière version de Squid, pas celle d'Ipcop).

On peut imaginer que squid-graph ne s'intéresse qu'au fichier access.log, que joue donc la taille de ce fichier, que joue donc la rotation, que joue donc la config matérielle (mémoire).


Comment espérer un conseil utile et pertinent en fournissant peu d'informations ?

[Franck78]

IPCop zip une fois par semaine le fichier access.log
1.5Go semble quand même énorme pour cinq utilisateurs.

J'aurais regardé attentivement son contenu. Manuellement ou avec calamaris par exemple.