SME 7.5.1 + Copie de fichiers = Système Ralenti ??

[HP77]

Bonjour,

Je voudrais juste savoir si d'autres utilisateurs ont fait l'expérience suivante :

Lors d'une copie de fichiers (200 Go de fichiers de taille variable allant de quelque Ko à plusieurs centaines de Mo) :

- l'accès à Server-Manager était très, très lent voire impossible...
- les graphes de SystemMonitor sont morcelés comme s'il n'y avait pas eu de données à afficher durant plusieurs tranches de temps.

C'est comme si l'accès au disque dur était si intense que les "Round Robbin Databases" (RRD) n'auraient pas été renseignées correctement. Mais est-ce vraiment le cas ??
Comment pourrais-je vérifier si elles sont correctes ou non ?

Et, surtout, comment faire de telles copies de sauvegarde en ne passant pas par le réseau (4.8 Mbps) pour accélérer grandement les choses (75 Go/h => ~213 Mbps disque à disque) sans pour autant ralentir le système au point que des choses bizarres se produisent comme indiqué ci-avant. ??


Pour info, j'ai utilisé les commandes suivantes :

Code: Tout sélectionner

# mount -t auto /dev/sdb1 /mnt/usb-hdd
# cp -r -f -u /mnt/usb-hdd/* /home/e-smith/files/ibays/backups/2010-08-13/.

La configuration du système étant :

- "Private Server Only" (une seule interface réseau) sur le LAN du campus
- un seul disque dur SATA 500Go 5400 tr/min Scorpio Blue de Western Digital
- 2 Go de RAM DDR2
- Processeur Atom 330 ) 1.6GHz (sur carte mère Asus AT3GC-I)

En fait, je serais bien curieux de savoir s'il est possible d'introduire une limitation de vitesse/débit des données pendant la copie et, parfois, de pouvoir faire "pause" sans avoir tout à refaire ??
(c'est pour cela que j'ai utilisé le -u dans ma coimmande de copie mais, je n'ose pas interrompre car la comparaison semble ne porter que sur la date de création/modification du fichier et non pas son éventuel changement de taille.


Merci de m'avoir lu encore une fois.

Cordialement,
HP

[bethebeast]

Hello

Lors d'une copie de fichiers (200 Go de fichiers de taille variable allant de quelque Ko à plusieurs centaines de Mo) :

- l'accès à Server-Manager était très, très lent voire impossible...
- les graphes de SystemMonitor sont morcelés comme s'il n'y avait pas eu de données à afficher durant plusieurs tranches de temps.

Oui, cela m'est déjà arrivé, mais pas eu de problèmes de graph !

Et, surtout, comment faire de telles copies de sauvegarde en ne passant pas par le réseau

À part le réseau ou un média USB, je vois pas comment...!

question :

Tu te connecte en SSH en dehors du réseau où se trouve ta brave petite SME, et tu fais ta copie, c'est ça ?

La configuration du système étant :

- un seul disque dur SATA 500Go 5400 tr/min Scorpio Blue de Western Digital

5400 ! pourquoi ?

Déjà que 7200, c'est le strict minimum...

cp -r -f -u /mnt/usb-hdd/* /home/e-smith/files/ibays/backups/2010-08-13/.

Pourquoi ne pas utiliser Rsync, qui AMHA doit être plus rapide (à vérifier) et plus approprié si c'est pour synchroniser deux dossiers.

Parce que faire une pause pendant une copie, je vois pas comment...

Sinon, essaie de surveiller /var/log/messages pendant la copie, on sais jamais...

@+

[HP77]

Bonjour,

...
Oui, cela m'est déjà arrivé, mais pas eu de problèmes de graph !

Bon, avec la remarque sur la vitesse de rotation du disque dur, j'imagine donc que c'est tout à fait normal si la Round Robbin Database (RRD) passe par de multiples accès disque (? = mon hypothèse à vérifier (je dois toujours me documenter à ce sujet)).

Et, surtout, comment faire de telles copies de sauvegarde en ne passant pas par le réseau

À part le réseau ou un média USB, je vois pas comment...!

Euh, voui, j'avais oublié de l'indiquer clairement (car l'idée était présente dans ma tête lorsque j'ai écrit les lignes de commandes utilisées...), c'est le "backup" d'un disque externe via une interface USB.

question :
Tu te connecte en SSH en dehors du réseau où se trouve ta brave petite SME, et tu fais ta copie, c'est ça ?

Oups ! j'ai oublié cette info.
Oui, j'utilise bien SSH puisque le serveur n'a ni clavier ni écran de connecté.
Par contre, je lance les commandes via SSH sur le réseau local (puisque, ici, il s'agit de ma machine de tests au campus ou je travaille).

La configuration du système étant :
- un seul disque dur SATA 500Go 5400 tr/min Scorpio Blue de Western Digital

5400 ! pourquoi ?

Déjà que 7200, c'est le strict minimum...

Eh bien, parce que je n'avais pas vérifié ce point lors de l'achat la première fois...
Et puis, par la suite, par ce que je voulais réduire la consommation électrique et la montée en température de ma petite machine...
"Pardon Monsieur The Beast, je tâcherais de m'en souvenir et de ne pas recommencer cette erreur."

cp -r -f -u /mnt/usb-hdd/* /home/e-smith/files/ibays/backups/2010-08-13/.

Pourquoi ne pas utiliser Rsync, qui AMHA doit être plus rapide (à vérifier) et plus approprié si c'est pour synchroniser deux dossiers.

1°/ j'ignore encore tout ce qui ce cache derrière le nom de Rsync hormis une vague idée de pouvoir synchroniser un certain contenu de fichiers entre deux serveurs (serveur mirroring, suis-je dans le faux absolu car j'avais envie d'expérimenter cela aussi...)
2°/ Parce que c'est ma première copie de fichiers depuis des mois et qu'avant cela, je n'en avais pas vraiment encore fait en utilisant le Shell...

En bref, parce que je suis toujours débutant / ignorant car pas assez instruit par manque de temps et de santé(...) et non pas par manque d'envie.

Parce que faire une pause pendant une copie, je vois pas comment...

C'est aussi ce qui m'a poussé à ouvrir une discussion sur le sujet.

Maintenant, s'il existe un "outil" de copie de fichiers permettant de copier "vite et bien"(*) les fichiers sans pour autant faire subir à SME (et les contributions ajoutées à la main) la fièvre "Windozienne" (genre, tout le système est bloqué car CPU à 100% lors d'un clic de souris maintenu pour un glissé-déplacé ("drag&drop")... ), je suis preneur.

Sinon, essaie de surveiller /var/log/messages pendant la copie, on sais jamais...

Merci pour l'adresse de ce "restaurant", je colle ici-même un extrait de la carte gastronomique du jour :

Code: Tout sélectionner

Rien du tout !
Le VPN du campus semble être "down"...
Je posterai quand je pourrai accéder de nouveau au serveur en question.
Désolé. :-(

En attendant ce qui manque, je peux juste dire que je viens de procéder à une copie d'un fichier image d'environ 60 Go créé par ddrescue de la même manière (toujours avec cp...) sur mon serveur à la maison qui est une copie conforme (hardware + SME 7.5.1) à celui du campus hormis le fait qu'il fonctionne en "Server&Gateway", contient des choses différentes et s'est vu doté de awstats dans le courant de la semaine.

"Résultat des courses" :

- pas eu de ralentissement excessif sauf, un petit peu plus long que d'habitude pour établir une seconde connexion SSH (la première étant monopolisée par la commande cp...).
(à ce sujet, si je ferme PuTTY, cela ferme aussi la session SSH et la copie s'arrête... mais pas quand la session est interrompue par rupture de la connexion réseau comme un câble débranché, par exemple. )[/i]
- Les graphes de System Monitor sont OK donc, s'il y a problème de graphes durant une copie de fichiers, je suppose que ce doit être dû à des accès disque intenses en cas de copie d'une quantité énorme de très petits fichiers, chose qui ralenti terriblement une machine "tournant" sous MS-Windows...

Bon, je vais dévier un petit peu plus encore (vraiment ?) du sujet de départ mais ça me "turlipine" cette idée d'avoir un problème d'enregistrement (seulement ou bien et/ou de lecture ?) des données des RRD, tout ça parce que l'on fait des accès disque un peu plus fréquemment que d'habitudes.

Ce pourrait-il être lié à :

- un problème logiciel de gestion des RRD ? (mon opinion mais, n'étant pas documenté là-dessus, ce n'est que pure "spéculation"...)

- un problème de gestion du déplacement des têtes de lecture optimisé par le HDD lui-même (je ne me souviens plus du "petit nom" de cette façon de procéder qui faisait tant parler de lui il y a facilement 2-3 ans en arrière) (j'en doute TRES fortement sinon, ça craint un maximum !!)

- quoi d'autre ? Quand même pas le noyau Linux !! (j'en doute fortement car ce problème d'accès disque aurait déjà été rencontré et corrigé il y a bien longtemps, je ne suis pas le premier à utiliser la commande cp, quand-même ! Mille sabords !!

Bref, j'ai le cerveau en ébulition car j'aimerais comprendre et, éventuellement, pouvoir remédier à ce problème car je doute que le problème ne se manifeste pas de nouveau avec un disque plus rapide (7200 tr/min "minimum" )


Je préfère poster le contenu du fichier de log du serveur au campus avant d'aller plus loin dans cette réflexion, afin de rester centrer sur le problème de départ.
Après cela, si rien de "délirant" ne transpire, on pourra toujours se laisser aller dans une hypothèse délirante (j'imagine) ou une autre...

Merci d'avoir pris le temps de me lire (attentivement ?) et d'essayer de me comprendre.
(j'ai mis du temps à rédiger ce nouveau pavé mais, bon, j'espère que cela sera utile)

Sur ce, bon dimanche !

Cordialement,
HP

[bethebeast]

Pourquoi ne pas utiliser Rsync, qui AMHA doit être plus rapide (à vérifier) et plus approprié si c'est pour synchroniser deux dossiers.

1°/ j'ignore encore tout ce qui ce cache derrière le nom de Rsync hormis une vague idée de pouvoir synchroniser un certain contenu de fichiers entre deux serveurs (serveur mirroring, suis-je dans le faux absolu car j'avais envie d'expérimenter cela aussi...)
2°/ Parce que c'est ma première copie de fichiers depuis des mois et qu'avant cela, je n'en avais pas vraiment encore fait en utilisant le Shell...

Rsync, est utilisé dans pas mal de solutions de sauvegardes (en backend), comme Affa, BackupPC...

En fait, Rsync ressemble beaucoup à la commande cp (avec l'option -a). Sauf que Rsync utilise un algorithme particulier pour assurer la fiabilité de la synchronisation.

Parce que faire une pause pendant une copie, je vois pas comment...

Je dis peut-être une énormité, mais un script à base de Zenity http://freshmeat.net/projects/zenity peut permettre la pause pendant une copie (à vérifier), mais je doute que cela soit aussi simple et peut nécessiter d'installer des paquets indésirables sur la SME.

En attendant ce qui manque, je peux juste dire que je viens de procéder à une copie d'un fichier image d'environ 60 Go créé par ddrescue de la même manière (toujours avec cp...) sur mon serveur à la maison qui est une copie conforme (hardware + SME 7.5.1) à celui du campus hormis le fait qu'il fonctionne en "Server&Gateway", contient des choses différentes et s'est vu doté de awstats dans le courant de la semaine.

"Résultat des courses" :

- pas eu de ralentissement excessif sauf, un petit peu plus long que d'habitude pour établir une seconde connexion SSH (la première étant monopolisée par la commande cp...).

C'est tout à fait normal !

Imaginons :

Ton laptop sous une distrib GNU/Liunx est tout beau. Tu lance un :

Code: Tout sélectionner

# find / -name "bidule"

ou en core une $%#&! :

Code: Tout sélectionner

$ dd if=/dev/zero of=/home/machin bs=1024 count=10000

Je peux t'assurer que tu pourra difficilement faire autre chose...

Personnellement, pour l'histoire des RRD, même si c'est un peu rageant de ne pas comprendre ce qui se passe (je te l'accorde). Je ne perderai pas plus de temps que ça à essayer de chercher vu ton matos !

Sinon, tu a aussi les commandes suivantes qui peuvent t'aider :

Code: Tout sélectionner

screen
watch iostat

Mais bon, ce n'est que mon avis

@+

[jibe]

Salut,

Pas très facile de s'y retrouver dans tout ce laïus... => juste quelques remarques.

A propos de la vitesse de rotation du disque : j'aimerais bien savoir pourquoi 7200 tours est un minimum ??? S'il existe des disques 5400 tours, c'est bien qu'il y a une raison ! On les préfère effectivement pour diminuer la consommation. Ils chauffent généralement moins et sont plus fiables... Maintenant, c'est vrai que si le seul objectif est la rapidité, on a intérêt à monter dans les tours, bien que ce ne soit pas le seul critère à prendre en compte.

A propos de l'essai à domicile : il faut comparer des choses comparables ! Copier un seul fichier de 60 Go n'est pas pareil que copier 60000 fichiers de 1 Mo ! Il me parait tout à fait logique que le ralentissement constaté soit très nettement plus important dans le second cas !

A propos de rsync : je ne pense pas que ça change grand chose question ralentissement, si ce n'est que le nombre de fichiers et le volume copiés peuvent être très largement diminués par rapport à cp. Mais pas lors d'une première copie ! Donc, probablement à préférer pour la suite (ça dépend aussi de ce qu'on veut !), mais pas de regrets pour le cas cité.

Pour limiter le ralentissement : utiliser la commande nice.

[mab]

salut tous,

Pour limiter le ralentissement : utiliser la commande nice.

Je dirais même plus : pour limiter la priorité dûe aux priorités de lecture/écriture (accentuée par un disque ayant un faible débit), il faudrait utiliser

Code: Tout sélectionner

ionice -c3 cp -r -f -u /mnt/usb-hdd/* /home/e-smith/files/ibays/backups/2010-08-13/.

, et nous indiquer (s'il te plait) si ça améliore.
Je trouve, d'une façon générale que nice et ionice sont des outils pas très fréquemment utilisés dans sme (et même dans plein de distribs), à tord, sûrement, car tout ou presque s'exécute avec la même priorité, créant à tord des ralentissements des services vitaux inutilement.

[HP77]

Bonsoir,

Tout d'abord, je vous prie de bien vouloir m'excuser de ce long silence alors que j'étalais ma prose sur d'autres sujets très "chauds" sur le moment (...) au point que j'en avais un peu perdu ce fil avec tout ce que je suis en train d'apprendre et de gérer ces derniers temps...

Ensuite, Merci à vous pour ces réponses, je ne connais pas non plus ces commandes pour lesquelles j'irai consulter la littérature sur Internet si man ne me donne pas satisfaction.

Et enfin, je tartine !! :

S'il existe des disques 5400 tours, c'est bien qu'il y a une raison ! On les préfère effectivement pour diminuer la consommation. Ils chauffent généralement moins et sont plus fiables... Maintenant, c'est vrai que si le seul objectif est la rapidité, on a intérêt à monter dans les tours, bien que ce ne soit pas le seul critère à prendre en compte.

Tout à fait d'accord.
C'est aussi ce que je continue de penser mais, j'avoue que lorsqu'il y a de la base de données dans l'air comme ça va arriver en masse, j'aurais du payer un peu plus cher mes disques durs pour qvoir une version 7200 rpm (euh, tr/min ).

A propos de l'essai à domicile : il faut comparer des choses comparables ! Copier un seul fichier de 60 Go n'est pas pareil que copier 60000 fichiers de 1 Mo ! Il me parait tout à fait logique que le ralentissement constaté soit très nettement plus important dans le second cas !

Tout à fait d'accord également.
C'est pour ça que je préfère archiver (quand c'est possible) pour limiter le nombre de petits fichiers et réduire en même temps, le nombre d'accès au système de fichier ET la fragmentation du disque car tout est mis "bout à bout" dans un seul gros fichier d'archive.
(et cela saut aux yeux lorsque l'on fait du logiciel embarqué pour accéder à des cartes SD/MMC via FAT32 avec un petit micro-contrôleur 8 bits...)

Pour le coup, j'avais cité mes deux expériences juste pour illustrer cette différence entre un ou quelques très gros fichiers et une multitude de petits fichiers.
La copie du lot de données, une fois le fichier ouvert, ne consomme pas autant de ressources système que lors des accès et, surtout, lors du traitement de la "FAT".

A propos de rsync : je ne pense pas que ça change grand chose question ralentissement, si ce n'est que le nombre de fichiers et le volume copiés peuvent être très largement diminués par rapport à cp. Mais pas lors d'une première copie ! Donc, probablement à préférer pour la suite (ça dépend aussi de ce qu'on veut !), mais pas de regrets pour le cas cité.

C'est encore une fois aussi mon avis.
En effet, s'agissant d'une bête copie "occasionelle" de disque dur, ça fait un beau volume de fichiers (en taille et surtout en nombre) à ajouter.

(Bon,on verra ça plus tard, hors sujet ici, quoi que... : j'aimerais refaire le point sur les solutions de backup que l'on peut adjoindre à SME.)

pour limiter la priorité dûe aux priorités de lecture/écriture (accentuée par un disque ayant un faible débit), il faudrait utiliser

Code: Tout sélectionner

ionice -c3 cp -r -f -u /mnt/usb-hdd/* /home/e-smith/files/ibays/backups/2010-08-13/.

, et nous indiquer (s'il te plait) si ça améliore.

Pas de souci !
Une fois que j'aurais décrypté cette commande (j'aime bien savoir / coprendre avant de "copier-coller") et surtout, dès que je recommencerais (a priori, dès la semaine prochaine) je fournirai le retour d'infos. C'est promis !

Bon maintenant, si j'oublie , ne pas hésiter à me rappeler à l'ordre.
Une promesse est une promesse ou bien je n'aurais ni parole ni honneur !!!

Bon, sur ce, je vous laisse... déjà presque 3h du matin par "chez moi" et le sommeil revient...

A++
HP_

[HP77]

Oups !!

@ Mab :
Désolé, j'ai oublié d'ajouter ton nom dans la citation.

@ Bruno :
Pleeeease , le bouton (ou simplement le lien) "Citer..." serait vraiment bien pour le "bien-être" de tous.
(ce n'est pas insurmontable de faire sans... mais, depuis que l'on ne peut plus retoucher ce que l'on poster soit trop vite soit en ayant relu avec les yeux (ou le cerveau) "dans le brouillard"... ça n'aide pas non plus.
Et je ne parle pas non plus "d'écrire" en français "dans le noir" avec un clavier QWERTY sur un PC portable différent de celui que j'utilise habituellement...

En tous cas, Bien merci "d'avance" et surtout, encouragements sincères car je ne dois pas être le seul à te taquiner depuis la migration plutôt réussie du forum sous phpBB3 (je sais, je suis dur et surtout chipoteur car j'ai mis un bémol avec "plutôt" car la fonction de recherche "souffre de l'indexation"... (ouch ! ça doit faire mal, surtout dans l'oeil ! bon, je me calme... ) mais, le "bon" côté de la chose c'est que je peux utiliser cette excuse pour ne pas avoir fait de recherche sur le forum...
Je sais, "c" pas bien du tout ! " )

Bon, blague à part...
- Aller, au pieu, même si pas sommeil, au lieu d'écrire des çonneries !! (pour moi)
- et bon courage pour la suite des travaux de rénovation de nos forums favoris !

Cordialement,
HP ( aui a dû fûmer quelque chose comme un neuronne...)