ipcop, peu de ram, beaucoup de swap - prob. squid-graph

par **whitewater** » 10 Juin 2008 14:32

bonjour à tous,

j'ai un petit souci étrange sur un ipcop.
version : 1.4.18
mémoire : 128
cpu : pentium III 600 mhz

addons :
advanced proxy
urlfilter
update accelerator
openvpn

j'ai désactivé la détection d'intrusion pour gagner de la mémoire car elle saturait. il me faut en rajouter mais l'ipcop n'est pas sur le site où je bosse et il me faut récupérer des barrettes sdrams.

problème :
voici la mémoire quand je regarde l'état du système :
mémoire : 24%
+/- tampon cache : 16%
swap : 72%

un peu plus tard :
mémoire : 30%
+/- tampon cache : 20%
swap : 68%

une idée pourquoi ipcop a plus de swap que d'occupation mémoire ?
merci

par **therafou** » 11 Juin 2008 09:06

Tu as combien en espace SWAP sur ton DD?

128
256
...

par **ccnet** » 11 Juin 2008 09:20

Pour information : Compte tenu du nombre, et surtout du type d'addons utilisés, il est normal que 128Mo ne suffisent pas. Avec la version 1.4.15 et BOT j'ai longtemps utilisé un ipcop avec 48Mo de ram sans aucune utilisation du swap.

par **Mister-Magoo** » 11 Juin 2008 09:25

Par principe, tout ce qui touche de près ou de loin au proxy est consommateur de RAM.
Donc, proxy (obligatoire dans ta config), advproxy, url filter, updateaccelerator, que du lourd, très lourd

De plus, tu ne nous informe pas du nombre de machines clientes passant par cet IPCop.

Il faut obligatoirement que tu rajoute de la mémoire ou que tu désactive des addons, ce qui n'est surement pas possible suivant l'utilisation que tu en fait ...

Si tu n'utilise pas de proxy (et tout ce qui en découle), 48 à 64 Mo de RAM suffisent. Dans ton cas, 512 serait pas mal mais est-ce que ta machine va suporter ?

par **ccnet** » 11 Juin 2008 10:53

Dans ton cas, 512 serait pas mal mais est-ce que ta machine va suporter ?

512 Mo me semble une bonne base de départ.

cpu : pentium III 600 mhz

Selon la charge, j'ai bien peur que cela soit juste, en particulier pour assurer un débit soutenu. Quelle bande passante sur la liaison internet ? Une dmz (car problème de la bande passante lan-dmz) ? Le choix des cartes réseau est aussi important.

par **whitewater** » 11 Juin 2008 14:33

tout d'abord, voici la taille des partitions :

Périphérique Monté sur Taille Utilisé Libre Pourcentage
/dev/root / 8123M 1828M 6213M 23%
/dev/harddisk1 /boot 16M 4M 12M 24%
/dev/harddisk2 /var/log 30452M 323M 28583M 2%

Mémoire :

Taille Utilisé Libre Pourcentage
Mémoire 127280 30448 96832 23%
-/+ tampon/cache 18280 109000 14%
Echange 69628 49876 19752 71%

(comment faire pour garder les TAB ?)
ce qui donne 64 Mo en swap.

j'ai oublié de préciser que j'avais update accelerator également.

pour la mémoire, je ne peux pas en rajouter pour le moment. il me faut de la sdram et l'ordi n'est pas sur le même site que là ou je travaille. j'ai bien conscience que 512 Mo serait l'idéal avec les addons installés.

le réseau n'a que 6 machines en réseaux, dont 1 poste où la personne n'est pas toujours là. la charge réseau n'est pas trop importante je pense... ;-)

garder / désactiver des addons :
j'ai url filter pour le filtrage internet. le surf en lui même se passe bien, sur une connexion adsl orange à 8 mo. il n'est pas ralenti malgrès le processeur à 600 mhz.

pour test, j'ai tour à tour désactiver et réactiver tour à tour url filter et update accelerator. résultat :
un seul d'activé : swap à 5 %
si je remet les 2 : swap à 11 %

là j'ai gardé juste urlfilter. au début, le swap est à 5%. après quelques minutes voici ce que j'ai :

mémoire : 16%
echange : 26%

je comprend que urlfilter ai besoin de mémoire, mais je ne comprend pas pourquoi le système n'utilise pas la mémoire physique alors qu'elle est libre à plus de 75% ?

par **Gesp** » 12 Juin 2008 13:09

Je n'ai jamais vu une machine utiliser le swap avant que la mémoire physique soit presque utilisée en totalité, que ce soit pour les programmes ou pour cacher les accès disques.

Est-ce qu'il y a des réglages particuliers qui ont abouti à cela (dans /etc/rc.d/rc.local au mieux)?

On peut avoir une machine qui a 5% d'utilisation du swap. Si c'est toujours la même partie du code qui reste dans le cache, ce n'est pas un problème.
Par contre, le problème arrive quand le système est en manque de ressource et modifie sans arrêt la partie dans le swap pour trouver de la place.

par **whitewater** » 13 Juin 2008 08:58

un site internet fait en ajax ne passe pas correctement avec le proxy activé. j'ai ajouté cette ligne pour que le site ne passe pas par le proxy quand on y accède, dans le rc.local :

/sbin/iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -d <adresse ip> -j RETURN

placé avant :

Code: Tout sélectionner: /sbin/iptables -t nat -N SQUID /sbin/iptables -t nat -A PREROUTING -j SQUID /sbin/iptables -t nat -N PORTFW /sbin/iptables -t nat -A PREROUTING -j PORTFW

je gère 5 sites avec ipcop. tous ont cette modif du fichier rc.firewall et 2 ont ce "problème" de mémoire.
les 2 machines ont la même configuration matérielle.

je n'ai pas fait d'autres modifs dans les fichiers.

par **whitewater** » 19 Juin 2008 09:08

j'ai trouvé ce qui me prend de ma mémoire par moment.
en faisant un top, le process squid-graph apparaît par moment. il prend au moins 3/4 de la mémoire.

j'ai supprimé tous mes addons, vidé et réparré le cache proxy. pareil, ce process apparaît et prend toute la mémoire... swap compris ! (il apparaît et se ferme quelques temps après et s'ouvre à nouveau).

quelqu'un a déja eu ce pépin et sais comment éviter que squid-graph s'ouvre ou prenne toute la mémoire ?

par **whitewater** » 19 Juin 2008 16:37

je ne me suis pas embêté. j'ai tué le process puis renommé le fichier /usr/bin/squid-graph en autre chose.

les courbes graphiques sur l'occupation mémoire vont beaucoup mieux depuis cette modif :twisted:

bon surf à tous

par **paradox** » 20 Juin 2008 09:00

Tu dois donc perdre les courbes du proxy ( https://123.123.123.123:445/cgi-bin/proxygraphs.cgi ), non ?

par **Gesp** » 20 Juin 2008 14:38

Combien de Go de trafic au travers du proxy as tu?

par **whitewater** » 20 Juin 2008 15:41

Tu dois donc perdre les courbes du proxy

on m'appelait tous les 2 jours car la connexion internet était plantée. j'ai regardé les courbes du système, tout etait disproportionné :
"utilisation du CPU", sur une demi journée = + de 80 % :shock:

accès disque qui arrive à plus de 2000 à 3000 secteur lu à la semaine...

la page graphe du proxy n'est plus à jour. mais au moins le parefeu est stable. surement un addon qui a mis la pagaille ou je ne sais quoi...

combien de Go de traffic, par jour ?

je ne sais pas. je trouve cette info dans quelle page ?

par **Gesp** » 21 Juin 2008 02:15

Sur la page 'Courbe de trafic', tu as le maximum de la semaine.
En cliquant sur le graphique d'une interface, tu arrives au maximum du mois, année,...

par **Franck78** » 21 Juin 2008 14:37

Salut,

Pour éclaircir un peu le problème autour de "squid-graph"
1)
éditer le fichier /usr/local/bin/makegraphs
pour envoyer la sortie log de "make-graph" ailleurs que sur
/dev/null

Code: Tout sélectionner: if ( -e "/var/log/squid/acces.log" ) system("...squid-graph...>/dev/null 2>&1 ==> system("...squid-graph...>/dev/tty7 2>&1

2)
vérifier que access.log sus-mentionné est bien logrotaté et par conséqent
raisonnablement gros.

Sur mon P3/1000 bien calme le log d'un calcul squid-graph donne
49000 lignes traitées en 1 seconde.

3)
peut être appeler squid-graph avec "nice -n19" ?
avec cet ajout ca passe instanténément de
49000lignes/secà 13000lignes/sec
Moins prioritaire => moins de swap ???

Pour Gilles
========
bug ou non: avec SQUID désactivé, il y quand même des calculs inutiles puisque 'access.log' existe toujours.

utiliser l'option "-n" de squi-graph pour ne pas générer le log plutôt que de l'envoyer vers /dev/null

ipcop, peu de ram, beaucoup de swap - prob. squid-graph

ipcop, peu de ram, beaucoup de swap - prob. squid-graph

Qui est en ligne ?