temps de réponse de Squid.....

[nico2]

Bonjour,

J'ai un squid2.5 qui tourne en mode transparent.
Les Statistiques generees a partir du access.log
sont coherentes: presque 50% de requetes HIT.
Par contre, le temps d'affichage des pages est
tres long, enviton 10 secondes.. il est un peu
moins long au refresh mais toujours catastrophique..
Les dns_nameservers du squid.conf sont corrects
j'ai entre les ip des 2 serveurs DNS de mon provider
mais rien n'y fait..

quelqu'un aurait il une idee?
Faut-il aussi entrer localhost et/ou l'ip du DNS local
sur la ligne dns_nameservers?

Merci

[Gaston]

bonsoir,
est-ce que tu as vérifié :
- occupation disque (df -k)
- utilisation disque (sar -d 2 10)
- utilisation mémoire (vmstat 2 10)

qu'est-ce que tu obtiens en utilisant squid-client (il s'appelle aussi client tout court) :
- en "ping"
- en recherche "header"
- en interrogation toute bête : meilleur temps de réponse ou pas


as tu des messages spécifiques dans le cache.log ?

Si tu as 50% de HIT c'est super bon ça !!! tu devrais avoir de superbe temps de réponse en local sur le serveur.

Est-ce que tu as une différence de performance si tu utilises squid en mode non transparent ?
je verrai bien une ACL qui se mords les pieds ...


G.

[nico2]

Je poste la sortie du df et du vmstat que je n arrive pas trop a dechiffrer :/

16.1.3 dnsSys. de fich. 1K-blocs Occupé Disponible Capacité Monté sur
/dev/mapper/VolGroup00-LogVol00
73545144 7398904 62350068 11% /
/dev/sda1 101086 10032 85835 11% /boot
tmpfs 516124 0 516124 0% /dev/shm


[root@proxy ~]# vmstat 2 10
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
2 0 76 252744 46256 523404 0 0 1 8 9 6 9 0 91 0
1 0 76 252744 46256 523404 0 0 0 0 320 1134 46 0 53 0
1 0 76 256196 46264 523396 0 0 0 118 310 937 52 2 47 0
1 0 76 255832 46264 523396 0 0 0 0 313 753 49 1 49 0
1 0 76 255708 46272 523388 0 0 0 48 306 704 50 1 50 0
1 0 76 255684 46276 523384 0 0 14 0 304 794 48 1 50 0
1 0 76 255684 46280 523380 0 0 2 0 296 874 41 0 59 0
0 0 76 255684 46288 523372 0 0 0 12 298 949 20 0 80 0
1 0 76 255748 46288 523372 0 0 0 0 308 930 10 0 90 0
2 0 76 255748 46296 523364 0 0 0 10 299 941 10 0 90 0


-----------

Et voila ce que j'obtiens avec squid-client

[root@proxy ~]# /usr/sbin/squidclient http://www.google.fr
HTTP/1.0 200 OK
Cache-Control: private
Content-Type: text/html
Server: GWS/2.1
Date: Tue, 12 Dec 2006 18:10:07 GMT
X-Cache: MISS from proxy.domain.net
X-Cache-Lookup: MISS from proxy.domain.net:3128
Proxy-Connection: close

et en mode ping :

oh, voila la sortie en mode ping

[root@proxy ~]# /usr/sbin/squidclient -g 5 http://www.google.fr
2006-12-12 19:28:41 [1]: 0.699 secs, 4.534938 KB/s (4KB)
2006-12-12 19:28:42 [2]: 0.719 secs, 4.408793 KB/s (4KB)
2006-12-12 19:28:43 [3]: 0.720 secs, 4.402669 KB/s (4KB)
2006-12-12 19:28:44 [4]: 0.657 secs, 4.824843 KB/s (4KB)
2006-12-12 19:28:45 [5]: 0.699 secs, 4.534938 KB/s (4KB)
5 requests, round-trip (secs) min/avg/max = 0.657/0.698/0.720

il me semble que les temps de reponse sont nettement meilleurs
avec squidclient oui.. comment ca se fait?


sinon je n'ai rien de specifique dans le cache.log et aucune acl

[Gaston]

Bsoir,
pour que les infos soient lisibles, entoures les des balises "code" comme ci-desous

Je poste la sortie du df et du vmstat que je n arrive pas trop a dechiffrer :/

Code: Tout sélectionner

16.1.3 dnsSys. de fich.        1K-blocs       Occupé Disponible Capacité Monté sur
/dev/mapper/VolGroup00-LogVol00
                      73545144   7398904  62350068  11% /
/dev/sda1               101086     10032     85835  11% /boot
tmpfs                   516124         0    516124   0% /dev/shm


ces infos disent que tu as plein de place disque, ce n'est donc pas là le problème (mais avec 70GB au départ, cela aurait été dommage ...)

Code: Tout sélectionner

[root@proxy ~]# vmstat 2 10
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free      buff    cache      si   so    bi    bo   in      cs     us sy id wa
2  0     76   252744  46256 523404    0    0     1     8    9        6      9  0 91  0
1  0     76   252744  46256 523404    0    0     0     0    320  1134   46  0 53  0
1  0     76   256196  46264 523396    0    0     0   118   310   937   52  2 47  0
1  0     76   255832  46264 523396    0    0     0     0    313   753   49  1 49  0
1  0     76   255708  46272 523388    0    0     0    48    306   704   50  1 50  0
1  0     76   255684  46276 523384    0    0    14     0    304   794   48  1 50  0
1  0     76   255684  46280 523380    0    0     2     0    296   874    41  0 59  0
0  0     76   255684  46288 523372    0    0     0    12    298   949   20  0 80  0
1  0     76   255748  46288 523372    0    0     0     0    308   930    10  0 90  0
2  0     76   255748  46296 523364    0    0     0    10    299   941   10  0 90  0


Là on apprends que ton CPU est un peu occupé, quasi sur que c'est squid en moyenne 9% depuis le dernier reboot, qu'il swappe pas beaucoup ... peu d'accès aux disques

Code: Tout sélectionner

[root@proxy ~]# /usr/sbin/squidclient http://www.google.fr
HTTP/1.0 200 OK
Cache-Control: private
Content-Type: text/html
Server: GWS/2.1
Date: Tue, 12 Dec 2006 18:10:07 GMT
X-Cache: MISS from proxy.domain.net
X-Cache-Lookup: MISS from proxy.domain.net:3128
Proxy-Connection: close

[root@proxy ~]# /usr/sbin/squidclient -g 5 http://www.google.fr
2006-12-12 19:28:41 [1]: 0.699 secs, 4.534938 KB/s (4KB)
2006-12-12 19:28:42 [2]: 0.719 secs, 4.408793 KB/s (4KB)
2006-12-12 19:28:43 [3]: 0.720 secs, 4.402669 KB/s (4KB)
2006-12-12 19:28:44 [4]: 0.657 secs, 4.824843 KB/s (4KB)
2006-12-12 19:28:45 [5]: 0.699 secs, 4.534938 KB/s (4KB)
5 requests, round-trip (secs) min/avg/max = 0.657/0.698/0.720


il me semble que les temps de reponse sont nettement meilleurs
avec squidclient oui.. comment ca se fait?

tu supprimes toute interraction possible de ta configuration réseau local avec le fonctionnement du cache.
Nénamoins, ça ne me semble pas très rapide

Normalement, tu n'as pas besoin de renseigner le dns_nameserver, squid se débrouille très bien avec la conf qu'il retrouve dans le resolv.conf.
Tu peux l'améliorer en ayant spécifié de passer par le dns avant les fichiers host dans l'ordre (mais cela peut poser des problèmes ailleurs - c'est une possibilité, je dis rien de plus)

As tu essayé de configurer un poste pour utiliser le proxy en mode non transparent (forcer le proxy) ?
J'ai rencontré ce genre de problème avec des ACL sur des adresses IP , mais là je vois pas.

Désolé
Il serait quand même bon d'identifier quel est ce process qui tourne tout le temps (top, ... )

[nico2]

Bonjour,

Merci de tes reponses, il y avait un process X qui prenait beaucoup de CPU
ca va un peu mieux maintenant mais c'est toujours pas ca...

Que veux tu dire par "tu supprimes toute interraction possible de ta configuration réseau local avec le fonctionnement du cache." ?? Et tu dis que les resultats ping du squidclient ne sont pas tres rapides,
ca veut dire que ca ne vient pas du proxy alors?non? depuis le proxy j ai des ping sur google entre 600
et 1200 ms..

Sinon pour tester en mode non transparent: comment est il possible de n'utiliser qu'un seul poste
en mode non transparent et tous les autres en mode transparent? c'est possible?

Merci beaucoup

[Gaston]

Bosnoir,

Que veux tu dire par "tu supprimes toute interraction possible de ta configuration réseau local avec le fonctionnement du cache." ?? Et tu dis que les resultats ping du squidclient ne sont pas tres rapides,
ca veut dire que ca ne vient pas du proxy alors?non? depuis le proxy j ai des ping sur google entre 600
et 1200 ms..

la seule chose que je veux dire, c'est qu'en utilisant squidclient : tu utilises le proxy squid en direct sans rajouter un quelconque problème d'interraction d'autre configuration de tes postes clients.

tu peux avoir des résultats très différents en plantant un clou avec un marteau et la même chose en mettant des gants de moto (ou des moufles). Dans les 2 cas le clou sera planté, dans le 2eme, tu risques de mettre plus longtemps, ou de tordre le clou.

Par exemple, n'aurais tu pas des problèmes dans les tables de routage de tes clients ? Est-ce que le MTU est optimisé sur ton réseau local, est-ce que tes cables réseau sont en bonne état ...

Sinon je n'ai pas d'idée sur comment utiliser le mode transparent et le mode direct en même temps.
arrange toi avec ton patron pour rester après les autres, et change la config pour faire le test.

G.
PS:
Pour les résultats des tests d'accès à google, en fait chez moi j'avais de meilleur temps de réponse, mais bon c'était pas au même moment, pas la même connexion Internet, pas le même serveur. Je ne l'ai mentionné que parce que j'avais des temps de réponse vraiment meilleurs :

Code: Tout sélectionner

[root@mul94 ~]# /usr/sbin/squidclient -g 5 http://www.google.fr
2006-12-13 22:34:48 [1]: 0.286 secs, 12.762238 KB/s
2006-12-13 22:34:49 [2]: 0.181 secs, 20.165746 KB/s
2006-12-13 22:34:50 [3]: 0.183 secs, 19.945355 KB/s
2006-12-13 22:34:51 [4]: 0.184 secs, 19.836957 KB/s
2006-12-13 22:34:52 [5]: 0.180 secs, 20.277778 KB/s
5 requests, round-trip (secs) min/avg/max = 0.180/0.202/0.286
[root@mul94 ~]# ping google.fr
PING google.fr (72.14.221.104) 56(84) bytes of data.
64 bytes from fg-in-f104.google.com (72.14.221.104): icmp_seq=0 ttl=242 time=60.5 ms
64 bytes from fg-in-f104.google.com (72.14.221.104): icmp_seq=1 ttl=242 time=59.8 ms
64 bytes from fg-in-f104.google.com (72.14.221.104): icmp_seq=2 ttl=242 time=61.6 ms
--- google.fr ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 59.834/60.664/61.609/0.756 ms, pipe 2

et comme tu vois le squidclient -g ce n'est pas la même chose qu'un ping

[nico2]

Bonsoir,

je te remercie de tes reponses.

Mais j'avoue ne toujours pas saisir la difference entre un ping et un squiclient -g
a part les temps de reponses.. squidclient -g ce nest pas le mode ping?

Ce qui est etrange, c'est que ces temps de reponses sont tres variables en fonction
du site consulte.. certains sites sont tout le temps tres rapides et d autres tout le temps
tres lent... Cela peut il venir du mtu?

En fait c'est une connexion satellite qu'il y a la avec un accelerateur tcp packeteer..
du coup je ne sais pas si je peux modifier le mtu sur le proxy.. qui est de 1500 pour
l instant.. Sinon, il n y a aucune machine du reseau local dont le mtu est configure
dans la base de registre.. est il necessaire de configurer les mtu des postes du reseau
local aussi?

sinon je ne pense pas qu il y ait d erreur de routage.. et je ping le proxy depuis le
reseau local a 6ms. google depuis le reseau local a environ 600 et google depuis
le proxy a environ 600 aussi.. Cela me fait penser que le seul probleme c'est la
connexion.. En plus, j'ai teste d'eteindre carrement squid en enlevant la regle iptables
80->3128.. et le temps d affichage est toujours aussi long.. comment le probleme
peut venir de squid dans ce cas la??

je m'excuse pour le pave.. et les moufles :/

merci

[Gaston]

Mais j'avoue ne toujours pas saisir la difference entre un ping et un squiclient -g
a part les temps de reponses.. squidclient -g ce nest pas le mode ping?

Code: Tout sélectionner

if (client_comm_connect(conn, hostname, port, (ping || opt_verbose) ? &tv1 : NULL) < 0) {
            if (errno == 0) {
                fprintf(stderr, "client: ERROR: Cannot connect to %s:%d: Host unknown.\n", hostname, port);
            } else { ...

on se connecte à un serveur spécidfié en ligne de commande (option -h , localhost par défaut) sur un port spécifié. Celui-ci fera ce qu'il est censé faire avec cette requête : en tant que bon serveur mandataire, il la soumet pour toi au serveur que tu cherches à atteindre. Y a quand même une sacrée différence avec ping (commande que je ne dénigre pas du tout, mais bon j'utilise pas un trounevis pour planter un clou - quoique, j'ai eu fait ) non ?

Ce qui est etrange, c'est que ces temps de reponses sont tres variables en fonction
du site consulte.. certains sites sont tout le temps tres rapides et d autres tout le temps
tres lent...

normal , ça dépend du vent, de la marée ... Pour être sérieux, c'est tout à fait normal, ces différences vont dépendre : de la qualité de la connexion à Internet du serveur que tu interroges, du débit dont il dispose (par exemple en bête consommateur, on a de très faible débit remontant, donc le mec qu'est en face il va trouver que notre site rame ...alors que Google) de la quantité de personnes qui font une requête au même temps sur ce site là, en utilisaant la connexion de ton FAI, etc, etc, ...

sinon je ne pense pas qu il y ait d erreur de routage.. et je ping le proxy depuis le
reseau local a 6ms. google depuis le reseau local a environ 600 et google depuis
le proxy a environ 600 aussi..

c'est pas la bonne approche du problème
je suis parfaitement capable d'accéder à un serveur sur mon LAN en passant par Internet. Ce n'est vraiment pas l'optimum : je me tape mon proxy en sortie, mon Firewall, les équipements du FAI, mon Firewall en entrée, le proxy en entrée et enfin je suis sur le serveur ...
Ce genre d'idiotie se rencontre facilement si on utilise le mauvais DNS : on a l'IP publique pas l'IP privée et en avant petit bolide sur le grand cirque de la vie!
Je n'ai pas d'exemple, sous la main, de table de routage foireuse, mais je l'ai rencontré: mauvaise gateway qui fournit quand même le service avec plusieurs rebonds, etc, etc (utiliser traceroute par exemple) ...

G.

[Gaston]

Mais j'avoue ne toujours pas saisir la difference entre un ping et un squiclient -g
a part les temps de reponses.. squidclient -g ce nest pas le mode ping?

Code: Tout sélectionner

if (client_comm_connect(conn, hostname, port, (ping || opt_verbose) ? &tv1 : NULL) < 0) {
            if (errno == 0) {
                fprintf(stderr, "client: ERROR: Cannot connect to %s:%d: Host unknown.\n", hostname, port);
            } else { ...

on se connecte à un serveur spécidfié en ligne de commande (option -h , localhost par défaut) sur un port spécifié. Celui-ci fera ce qu'il est censé faire avec cette requête : en tant que bon serveur mandataire, il la soumet pour toi au serveur que tu cherches à atteindre. Y a quand même une sacrée différence avec ping (commande que je ne dénigre pas du tout, mais bon j'utilise pas un trounevis pour planter un clou - quoique, j'ai eu fait ) non ?

Ce qui est etrange, c'est que ces temps de reponses sont tres variables en fonction
du site consulte.. certains sites sont tout le temps tres rapides et d autres tout le temps
tres lent...

normal , ça dépend du vent, de la marée ... Pour être sérieux, c'est tout à fait normal, ces différences vont dépendre : de la qualité de la connexion à Internet du serveur que tu interroges, du débit dont il dispose (par exemple en bête consommateur, on a de très faible débit remontant, donc le mec qu'est en face il va trouver que notre site rame ...alors que Google) de la quantité de personnes qui font une requête au même temps sur ce site là, en utilisaant la connexion de ton FAI, etc, etc, ...

sinon je ne pense pas qu il y ait d erreur de routage.. et je ping le proxy depuis le
reseau local a 6ms. google depuis le reseau local a environ 600 et google depuis
le proxy a environ 600 aussi..

c'est pas la bonne approche du problème
je suis parfaitement capable d'accéder à un serveur sur mon LAN en passant par Internet. Ce n'est vraiment pas l'optimum : je me tape mon proxy en sortie, mon Firewall, les équipements du FAI, mon Firewall en entrée, le proxy en entrée et enfin je suis sur le serveur ...
Ce genre d'idiotie se rencontre facilement si on utilise le mauvais DNS : on a l'IP publique pas l'IP privée et en avant petit bolide sur le grand cirque de la vie!
Je n'ai pas d'exemple, sous la main, de table de routage foireuse, mais je l'ai rencontré: mauvaise gateway qui fournit quand même le service avec plusieurs rebonds, etc, etc (utiliser traceroute par exemple) ...

G.