[RESOLU] Mise en place de Raid 5 sur SME 7.13 (MAJ 6.0)

Forum dédié à la distribution du même nom et que vous pourrez télécharger sur http://www.contribs.org. La nouvelle version de cette distribution se nomme SME Server

Modérateur: modos Ixus

[RESOLU] Mise en place de Raid 5 sur SME 7.13 (MAJ 6.0)

Messagepar saupiquet » 23 Juil 2007 21:27

J'ai fait l'upgrade de mon bon vieux serveur SME en 7.13 -> Pas de problème en particulier. 8)

Ensuite j'ai installé 2 autres disques identiques a celui qui tourne pour monter un RAID 5 et c'est la que je rencontre un petit problème... :roll:

Aucun raid était déclaré, même apres l'upgrade, je l'ai donc fait à la mimi (soyons fous :twisted: )

Aujourd'hui mon raid tourne mais je n'arrive pas à booter dessus :

la preuve que mon raid tourne (le 3/2 est normal je n'ai intégré que 2 disques pour le moment dans le raid, le 1er etant le physique qui est actuellement utilisé):
[root@rangiroa ~]# cat /proc/mdstat
Personalities : [raid5]
md2 : active raid5 hdd2[2] hdb2[1]
2000640 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md3 : active raid5 hdd3[2] hdb3[1]
76291328 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

unused devices: <none>


ma modif dans le fichier /boot/etc/grub.conf (je boot sur software RAID Centos que je me suis crée pour l'occasion, a noter que j'ai recopier toutes les data sur les partitions sur md).
#boot=/dev/hda
default=0
timeout=5
splashimage=(hd0,0)/grub/smeserver.xpm.gz
foreground 000000
background 4E95D3
hiddenmenu
title CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-55.0.2.ELsmp ro root=LABEL=/
initrd /initrd-2.6.9-55.0.2.ELsmp.img
title Software RAID CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-55.0.2.ELsmp ro root=/dev/md3
initrd /initrd-2.6.9-55.0.2.ELsmp.img

Est ce que j'aurais raté quelque chose ? sûrement vu que je me prends un gros kernel panic lorsque je boot sur le software RAID.

Une idée ?? :shock:
Dernière édition par saupiquet le 11 Août 2007 11:47, édité 1 fois au total.
Avatar de l’utilisateur
saupiquet
Second Maître
Second Maître
 
Messages: 42
Inscrit le: 19 Fév 2002 01:00
Localisation: Toulouse

Re: Mise en place de Raid 5 sur SME 7.13 (MAJ depuis une 6.0

Messagepar Gaston » 24 Juil 2007 01:21

Bonsoir,
sacré manip dans laquelle tu t'és lancé là =D>
saupiquet a écrit:Est ce que j'aurais raté quelque chose ? sûrement vu que je me prends un gros kernel panic lorsque je boot sur le software RAID.

et qu'est-ce qu'il dit ce "gros kernel panic" (ben oui, il ya d'autre mots que ces deux là tant redoutés)
:idea: As - tu installé grub sur le mbr des nouveaux disques?
Il semble aussi que les kernel Centos ne gèrent pas bien le boot sur un raid en mode dégradé voir les forums, si ceci ne s'applique pas à ton cas ? et si tu mets le kernel de SME plutot que ton kernel Centos (et d'ici à ce que SME soit en 2.6.9.55 ...)

May the force be with you
G.
Avatar de l’utilisateur
Gaston
Amiral
Amiral
 
Messages: 1367
Inscrit le: 06 Oct 2003 00:00
Localisation: Saint Maur, 94 FR

Messagepar saupiquet » 24 Juil 2007 22:10

Bonsoir Gaston, merci pour tes encouragements. J'espère que la force est avec moi :twisted:

Tu avais raison y a des choses avant le bon gros kernel panic 8)

Quelque soit le kernel sur lequel je boot, la séquence de démarrage se termine par :
Mounting root filesystem
mount: error mounting ext3
mount: error mounting none
switching to new root
switchroot : mount failed : 22
umount /initrd/dev failed
Kernel panic - not syning : Attempted to kill init
:oops:

Du coup, on dirait qu'il ne monte pas le raid 5 dégradé. :evil:

J'ai essayé avec le kernel SME (/vmlinuz-2.6.9-34.ELsmp) et celui de la CentOS (2.6.9-55.0.2.ELsmp)

Je n'ai pas installé le grub sur les nouveaux disques car je n'y arrive pas (est ce une étape obligatoire?)
Est ce que grub amorce sur le premier disque physique /dev/hda ou plutot sur les /dev/md (ce qui veut dire /dev/hdb et /dev/hdd dans mon cas) ??

Naïvement le fait d'avoir le menu de démarrage GRUB avec ma partie "software RAID" je pensais que ca réglait tout problème avec Grub.

Sinon par rapport aux messages d'erreurs, puis je penser que les drivers raids ne sont pas inclus dedans en statique et il me faut donc recompiler un noyau ?

Une dernière chose quand je boot mon noyau sous grub, j'ai mis
title Software RAID CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-34.ELsmp ro root=/dev/md1
initrd /initrd-2.6.9-34.ELsmp.img

le /dev/md1 correspondant à mon /boot.
Je pense que j'ai bon de ce coté la ? :?
Avatar de l’utilisateur
saupiquet
Second Maître
Second Maître
 
Messages: 42
Inscrit le: 19 Fév 2002 01:00
Localisation: Toulouse

Messagepar Gaston » 25 Juil 2007 14:24

Bonjour,
vérification faite, le boot raid ne semble fonctionner qu'avec un raid1 (c'est d'ailleurs confirmé par la config raid5 de SME qui crée un raid1 pour /dev/md1 (/boot) et un raid5 pour /dev/md2 (le reste ;) ) et par ton message : il ne comprends pas où et comment il peut trouver le /boot et le monter

Il faut que tu ais une géométrie compatible : il faut reprendre ton /dev/md2 (d'ailleurs tu te marche pas sur les pieds ? quoique la 6.0 elle faisait pas un md0 et md1 ?) et le passer de raid5 à raid1 (2 disques + un spare) - je sait pas comment on fait, disons que tu casses le raid :oops:
D'où je suis je verrai ça comme ça (attention au numérotation de partition, ce ne sont que des exemples):
- mdadm --stop /dev/md2
- mdadm --create /dev/md2 --level 1 --raid-devices=2 /dev/hdd2 /dev/hdb2 (tu rajouteras le spare par la suite)
- tu bootes en single sur le hda
- tu montes la partition hdb1 , créée le FS si c'est pas déjà fait
- tu copies le /boot sur ton /mnt/hdb/boot
ensuite tu installes le mbr sur tes disques (ben oui j'insiste ;) ) ça devrait ressembler à ça pour toi - je suppose que tu es en IDE et que ton disque de boot est hda
Code: Tout sélectionner
# grub
grub> device (hd0) /dev/hdb
grub> root (hd0,1)
grub>setup (hd0)
grub> device (hd0) /dev/hdd
grub> root (hd0,1)
grub>setup (hd0)

:arrow: le hd0,1 c'est par ce que tu as l'air d'avoir créé 3 partitions sur ton disque, je m'adresse donc à celle que je pense contenir le /boot

Après pour ton grub.conf, tu ne dois pas t'adresser au metadevice(md), mais au disque, et pour le root au filesystème (à ce moment là il est connu) je verrai donc cela comme ça (selon les infos que j'ai comprises)
Code: Tout sélectionner
title SME Server-up (2.6.9-34.EL)
        root (hd0,0)
        kernel /vmlinuz-2.6.9-34.EL ro root=LABEL=/
        initrd /initrd-2.6.9-34.EL.img

tout cela devrait améliorer ton cas [-o<

DISCLAIMER tout ce qui est écris ci-dessus n'est qu'une interprétation des données fournies et des possibles actions à mener. Il est necessaire d'avoir une sauvegarde du système et des données, et de comprendre un minimum les mécanismes mis en jeu. La numérotation des partitions et des devices raid est sujette à caution. La manip n'a pas été testée :!: :!: :!: :!:

On y crois, hein :-&
G.
Avatar de l’utilisateur
Gaston
Amiral
Amiral
 
Messages: 1367
Inscrit le: 06 Oct 2003 00:00
Localisation: Saint Maur, 94 FR

Messagepar saupiquet » 28 Juil 2007 09:55

Je pars donc sur un RAID 1 avec un spare. Mon raid 1 est bien monté et synchronisé.

J'ai un soucis avec grub :
grub> device (hd0) /dev/hdb
grub> root (hd0,1)
Filesystem type unknown, partition type 0xfd :shock:
grub> setup (hd0)
Error 17: Cannot mount selected partition
:evil:

Il y a surement un truc que je n'ai pas fait dans l'ordre :oops:
J'ai déclaré mes partitions comme ca:
[root@rangiroa log]# sfdisk -l /dev/hdb

Disque /dev/hdb: 79656 cylindres, 16 têtes, 63 secteurs/piste
Unités= cylindres de 516096 octets, blocs de 1024 octets, décompte à partir de 0

Périph Amor Début Fin #cyls #blocs Id Système
/dev/hdb1 0+ 1984 1985- 1000408+ fd Linux raid autodetect
/dev/hdb2 1985 3969 1985 1000440 fd Linux raid autodetect
/dev/hdb3 3970 79655 75686 38145744 fd Linux raid autodetect


Idem pour le hdd (qui a bien la même géométrie).

Quand j'installe le filesystem je l'installe sur le device RAID et je fais mkfs.ext3 -m1 -j /dev/mdX (/dev/md1 est sur /dev/hdb1 /dev/hdd1, /dev/md2 sur /dev/hdb2 /dv/hdd2 etc...)

La premiere partition est mon /boot, la deuxieme ma swap, la troisieme mon /

Je comprends pas que grub ne me trouve pas de filesystem, même google m'oriente pas vers des réponses qui vont bien. Dans tout ce que j'ai lu dans les exemples, il y a au moins une partition déclarée Linux et pas en autoraid.

:idea: Ou alors c'est ma version grub qui foire ? mais c'est celle de la SME :
[root@rangiroa log]# rpm -qa |grep grub
e-smith-grub-1.0.0-6.el4.sme
grub-0.95-3.8
Avatar de l’utilisateur
saupiquet
Second Maître
Second Maître
 
Messages: 42
Inscrit le: 19 Fév 2002 01:00
Localisation: Toulouse

Messagepar Gaston » 30 Juil 2007 01:29

Bonsoir,
je cherche mais je trouve paps où ça coince (mais ça coince je te le confirme :( )
Par contre, parmis tes soucis, il y a le fait que fasse trop confiance à ce que j'écrit :oops:
saupiquet a écrit:grub> device (hd0) /dev/hdb
grub> root (hd0,1)
Filesystem type unknown, partition type 0xfd
grub> setup (hd0)
Error 17: Cannot mount selected partition[/i]
...
La premiere partition est mon /boot, la deuxieme ma swap, la troisieme mon /

Là c'est normal, tu indiques à grub : "considère hdb comme étant le disque 0. Sur ce disque 0 utilise la partition 1 comme "root" ..."
Or , la partition 1 c'est ton swap - on compte à partir de 0 !
J'avais pas pris en compte la différence de géométrie entre une 6 et une 7.

G.
PS: Pour ton info, toutes les partitions d'une v6 sont en autoraid (la swap est sur le md2 - par défaut), ce n'est pas donc de là que vient le problème, ni de la version de grub ;)
je continue à essayer de réfléchir 8-[
Avatar de l’utilisateur
Gaston
Amiral
Amiral
 
Messages: 1367
Inscrit le: 06 Oct 2003 00:00
Localisation: Saint Maur, 94 FR

Messagepar saupiquet » 31 Juil 2007 00:05

Ok j'ai reglé mon problème avec grub. Merci pour ta réponse ca m'a poussé à m'y repencher :D

Je n'ai pas compris pourquoi ca marchait mais je sais ce que j'ai tapé en plus :lol:

Il fallait faire un coup de mkfs.ext3 sur toutes les partitions et les déclarer auparavant en type Linux et non pas en Raid. Ensuite j'ai repassé les partitions en Linux autoraid, monter mon raid via mdadm comme d'habitude et la le grub m'a trouvé un filesystem et a bien voulu s'installer.

grub> device (hd0) /dev/hdb
grub> root (hd0,0)
Filesystem type ext2fs, partition type 0xfd
grub> setup (hd0)
Checking if "/boot/grub/stage1" exists... no
Checking if "/grub/stage1" exists... yes
Checking if "/grub/stage2" exists... yes
Checking if "/grub/e2fs_stage1_5" exists... yes
Running "embed /grub/e2fs_stage1_5 (hd0)"... 16 sectors are embedded.
succeeded
Running "install /grub/stage1 (hd0) (hd0)1+16 p (hd0,0)/grub/stage2 /grub/grub
.conf"... succeeded
Done.


Idem pour /dev/hdd.
Bref j'ai pas compris pourquoi ca marchait maintenant mais bon grub s'est installé :lol:

Par contre ca boot toujours pas sur mon raid1 grrr. :x

Pour récapituler :
J'ai toujours mon /dev/hda normal, pas dans le raid (je l'intégrerai quand le raid marchera)
les disques /dev/hdb et /dev/hdd en raid1 (1ere partition /boot, 2ème swap, 3ème /)

Mon raid1 fonctionne, la preuve :
[root@rangiroa ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 hdd1[1] hdb1[0]
1000320 blocks [2/2] [UU]

md2 : active raid1 hdd2[1] hdb2[0]
1000320 blocks [2/2] [UU]

md3 : active raid1 hdd3[1] hdb3[0]
38145664 blocks [2/2] [UU]


Mon grub.conf
title Software RAID
root (hd1,0)
kernel /vmlinuz-2.6.9-34.ELsmp ro root=/dev/md3
initrd /initrd-2.6.9-34.ELsmp.img


Mais bizarre il arrive pas a monter le /, le boot se termine encore par
Mounting root filesystem
mount: error mounting ext3
mount: error mounting none
et le bon gros kernel panic qui commence a me devenir familier :shock:

J'ai tenté les variantes avec root (hd0,0) et root=/dev/hdb3 pour voir :lol: mais c'est pas mieux :?

Si je comprends bien le grub, root(hd1,0) devrait lui dire d'aller chercher le /boot sur /dev/hdb1
et le ro root=/dev/md3 devrait lui dire de prendre le / sur le device /dev/md3 donc /dev/hdb3 et /dev/hdd3. Bref ca devrait marcher :D

Allez je sens qu'on va arriver 8)
Avatar de l’utilisateur
saupiquet
Second Maître
Second Maître
 
Messages: 42
Inscrit le: 19 Fév 2002 01:00
Localisation: Toulouse

Messagepar Gaston » 03 Août 2007 23:10

Bonsoir,
ce doit être le soleil qui nous a aveuglé :oops: tout était marqué dans le message avant le kernel panic : il arrive pas à monter le /root , tout simplement parceque celui-ci n'est pas accessible car sur une configuration raid inconnue. On a créé 3 nouveaux devices, et on lui a pas dit :shock: , c'est pas bien, et il nous l'a bien fait comprendre :cry:
Dans le cas ou l'on veut échanger un device raid par un autre, il faut refaire une image de boot (voir la commande plus bas)
La démarche eut-été (désolé pour la taille du post)
Code: Tout sélectionner
[root@smeraid ~]# #=== where we are starting from ===
[root@smeraid ~]#
[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

unused devices: <none>
[root@smeraid ~]# grep ^/dev/md /etc/fstab
/dev/md3                /                       ext3    usrquota,grpquota        1 1
/dev/md1                /boot                   ext3    defaults        1 2
/dev/md2                swap                    swap    defaults        0 0
[root@smeraid ~]#
[root@smeraid ~]#
[root@smeraid ~]# #=== retrieve partition definition and apply it to new disks
[root@smeraid ~]#
[root@smeraid ~]# sfdisk -d /dev/sda > sfdisk_sda.out
[root@smeraid ~]# sfdisk /dev/sdb < sfdisk_sda.out
   [ ... ]
[root@smeraid ~]# sfdisk /dev/sdc < sfdisk_sda.out
[root@smeraid ~]#
[root@smeraid ~]# #=== Create raid arrays
[root@smeraid ~]#
[root@smeraid ~]# mdadm --create /dev/md4 --level 1 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm: array /dev/md4 started.
[root@smeraid ~]# mdadm --create /dev/md5 --level 5 --raid-devices=3 missing /dev/sdb2 /dev/sdc2
mdadm: array /dev/md5 started.
[root@smeraid ~]# mdadm --create /dev/md6 --level 1 --raid-devices=2 /dev/sdb3 /dev/sdc3
mdadm: array /dev/md6 started.
[root@smeraid ~]#
[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1] [raid5]
md4 : active raid1 sdc1[1] sdb1[0]
      104320 blocks [2/2] [UU]

md5 : active raid5 sdc2[2] sdb2[1]
      3566208 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md6 : active raid1 sdc3[1] sdb3[0]
      208768 blocks [2/2] [UU]

md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

unused devices: <none>
[root@smeraid ~]#
[root@smeraid ~]# #=== Create FileSystems and swap space
[root@smeraid ~]#
[root@smeraid ~]# mke2fs -j /dev/md4
   [ ... ]
[root@smeraid ~]# mke2fs -j /dev/md5
   [ ... ]
[root@smeraid ~]# mkswap /dev/md6
Setting up swapspace version 1, size = 213774 kB
[root@smeraid ~]#
[root@smeraid ~]#
[root@smeraid ~]# #=== THE KEY : create an inirtd file which knows about our new raid devices
[root@smeraid ~]#
[root@smeraid ~]# mkinitrd --preload raid5 --with=raid5 /boot/raid5.img 2.6.9-42.0.3.EL
[root@smeraid ~]#
[root@smeraid ~]# #=== Adapt config files to our new config ===
[root@smeraid ~]#
[root@smeraid ~]# diff /etc/fstab /etc/fstab.new
12,13c12,13
< /dev/md3                /                       ext3    usrquota,grpquota        1 1
< /dev/md1                /boot                   ext3    defaults        1 2
---
> /dev/md5                /                       ext3    usrquota,grpquota        1 1
> /dev/md4                /boot                   ext3    defaults        1 2
18c18
< /dev/md2                swap                    swap    defaults        0 0
---
> /dev/md6                swap                    swap    defaults        0 0
[root@smeraid ~]#
[root@smeraid ~]# diff /etc/grub.conf /var/tmp/grub.conf.old
18,21d17
< title SME RAID5
<       root (hd1,0)
<       kernel /vmlinuz-2.6.9-42.0.3.EL ro root=/dev/md5
<       initrd /raid5.img
[root@smeraid ~]#
[root@smeraid ~]# #=== Copy data to new disks ===
[root@smeraid ~]#
[root@smeraid ~]# mkdir /mnt/new_root
[root@smeraid ~]# mkdir /mnt/new_boot
[root@smeraid ~]# mount -t ext3 /dev/md4 /mnt/new_boot
[root@smeraid ~]# mount -t ext3 /dev/md5 /mnt/new_root
[root@smeraid ~]# rsync -arP /boot/ /mnt/new_boot/
[root@smeraid ~]# rsync -arP / /mnt/new_root/ --exclude=/new_root/ --exclude=/new_boot/
[root@smeraid ~]# sync ; sync; sync
[root@smeraid ~]#
[root@smeraid ~]# #=== Add boot loader to new disks
[root@smeraid ~]#
[root@smeraid ~]# grub
grub> root (hd1,0)
grub> setup (hd1)
grub> root (hd2,0)
grub> quit
[root@smeraid ~]#
[root@smeraid ~]# #=== Set correct fstab for new system
[root@smeraid ~]#
[root@smeraid ~]# mv /mnt/new_root/etc/fstab /mnt/new_root/etc/fstab.old
[root@smeraid ~]# mv /mnt/new_root/etc/fstab.new /mnt/new_root/etc/fstab
[root@smeraid ~]#
[root@smeraid ~]# #=== Set some usefull flag && reboot
[root@smeraid ~]#
[root@smeraid ~]# echo "SME Server with RAID5 !!!" > /mnt/new_root/NEW_root
[root@smeraid ~]# sync ; sync; sync
[root@smeraid ~]# umount /mnt/new_boot/
[root@smeraid ~]# umount /mnt/new_root
[root@smeraid ~]# reboot

et maintenant on va savoir si le soleil ne m'a pas (trop) tapé sur la tête
Code: Tout sélectionner
[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1] [raid5]
md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

md4 : active raid1 sdb1[0] sdc1[1]
      104320 blocks [2/2] [UU]

md5 : active raid5 sdb2[1] sdc2[2]
      3566208 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md6 : active raid1 sdb3[0] sdc3[1]
      208768 blocks [2/2] [UU]

unused devices: <none>
[root@smeraid ~]# df -P
Filesystem         1024-blocks      Used Available Capacity Mounted on
/dev/md5               3510144   1203596   2128240      37% /
/dev/md4                101018     12077     83725      13% /boot
none                     79268         0     79268       0% /dev/shm
[root@smeraid ~]# cat /NEW_root
SME Server with RAID5
[root@smeraid ~]#

Ca ressemble à ce que tu attends, non :wink:

G.
Avatar de l’utilisateur
Gaston
Amiral
Amiral
 
Messages: 1367
Inscrit le: 06 Oct 2003 00:00
Localisation: Saint Maur, 94 FR

Messagepar saupiquet » 11 Août 2007 11:46

Gaston, chapeau bas :D

Je viens d'essayer ce matin le mkinitrd (et hop connaissance d'une nouvelle commande au passage 8) )

Tout marche parfaitement, j'ai fait des tests en débranchant mon hda, tout reboot correctement et plus de kernel panic vu que maintenant il trouve les partitions.

C'est du tout bon!

Du coup j'ai passé mes partitions hda en type autoraid et je lui ai fait rejoindre le RAID, reconstruction automatique du Raid 5... c'est beau :P On dirait presque de la magie :lol:

Merci pour ton aide.

Excellente journée/soirée.
Avatar de l’utilisateur
saupiquet
Second Maître
Second Maître
 
Messages: 42
Inscrit le: 19 Fév 2002 01:00
Localisation: Toulouse


Retour vers E-Smith / SME Server

Qui est en ligne ?

Utilisateur(s) parcourant actuellement ce forum : Aucun utilisateur inscrit et 1 invité

cron