[RESOLU] Mise en place de Raid 5 sur SME 7.13 (MAJ 6.0)

[saupiquet]

J'ai fait l'upgrade de mon bon vieux serveur SME en 7.13 -> Pas de problème en particulier.

Ensuite j'ai installé 2 autres disques identiques a celui qui tourne pour monter un RAID 5 et c'est la que je rencontre un petit problème...

Aucun raid était déclaré, même apres l'upgrade, je l'ai donc fait à la mimi (soyons fous )

Aujourd'hui mon raid tourne mais je n'arrive pas à booter dessus :

la preuve que mon raid tourne (le 3/2 est normal je n'ai intégré que 2 disques pour le moment dans le raid, le 1er etant le physique qui est actuellement utilisé):
[root@rangiroa ~]# cat /proc/mdstat
Personalities : [raid5]
md2 : active raid5 hdd2[2] hdb2[1]
2000640 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md3 : active raid5 hdd3[2] hdb3[1]
76291328 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

unused devices: <none>

ma modif dans le fichier /boot/etc/grub.conf (je boot sur software RAID Centos que je me suis crée pour l'occasion, a noter que j'ai recopier toutes les data sur les partitions sur md).
#boot=/dev/hda
default=0
timeout=5
splashimage=(hd0,0)/grub/smeserver.xpm.gz
foreground 000000
background 4E95D3
hiddenmenu
title CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-55.0.2.ELsmp ro root=LABEL=/
initrd /initrd-2.6.9-55.0.2.ELsmp.img
title Software RAID CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-55.0.2.ELsmp ro root=/dev/md3
initrd /initrd-2.6.9-55.0.2.ELsmp.img

Est ce que j'aurais raté quelque chose ? sûrement vu que je me prends un gros kernel panic lorsque je boot sur le software RAID.

Une idée ??

[Gaston]

Bonsoir,
sacré manip dans laquelle tu t'és lancé là

Est ce que j'aurais raté quelque chose ? sûrement vu que je me prends un gros kernel panic lorsque je boot sur le software RAID.

et qu'est-ce qu'il dit ce "gros kernel panic" (ben oui, il ya d'autre mots que ces deux là tant redoutés)
As - tu installé grub sur le mbr des nouveaux disques?
Il semble aussi que les kernel Centos ne gèrent pas bien le boot sur un raid en mode dégradé voir les forums, si ceci ne s'applique pas à ton cas ? et si tu mets le kernel de SME plutot que ton kernel Centos (et d'ici à ce que SME soit en 2.6.9.55 ...)

May the force be with you
G.

[saupiquet]

Bonsoir Gaston, merci pour tes encouragements. J'espère que la force est avec moi

Tu avais raison y a des choses avant le bon gros kernel panic

Quelque soit le kernel sur lequel je boot, la séquence de démarrage se termine par :
Mounting root filesystem
mount: error mounting ext3
mount: error mounting none
switching to new root
switchroot : mount failed : 22
umount /initrd/dev failed
Kernel panic - not syning : Attempted to kill init

Du coup, on dirait qu'il ne monte pas le raid 5 dégradé.

J'ai essayé avec le kernel SME (/vmlinuz-2.6.9-34.ELsmp) et celui de la CentOS (2.6.9-55.0.2.ELsmp)

Je n'ai pas installé le grub sur les nouveaux disques car je n'y arrive pas (est ce une étape obligatoire?)
Est ce que grub amorce sur le premier disque physique /dev/hda ou plutot sur les /dev/md (ce qui veut dire /dev/hdb et /dev/hdd dans mon cas) ??

Naïvement le fait d'avoir le menu de démarrage GRUB avec ma partie "software RAID" je pensais que ca réglait tout problème avec Grub.

Sinon par rapport aux messages d'erreurs, puis je penser que les drivers raids ne sont pas inclus dedans en statique et il me faut donc recompiler un noyau ?

Une dernière chose quand je boot mon noyau sous grub, j'ai mis
title Software RAID CentOS (2.6.9-55.0.2.ELsmp)
root (hd0,0)
kernel /vmlinuz-2.6.9-34.ELsmp ro root=/dev/md1
initrd /initrd-2.6.9-34.ELsmp.img

le /dev/md1 correspondant à mon /boot.
Je pense que j'ai bon de ce coté la ?

[Gaston]

Bonjour,
vérification faite, le boot raid ne semble fonctionner qu'avec un raid1 (c'est d'ailleurs confirmé par la config raid5 de SME qui crée un raid1 pour /dev/md1 (/boot) et un raid5 pour /dev/md2 (le reste ) et par ton message : il ne comprends pas où et comment il peut trouver le /boot et le monter

Il faut que tu ais une géométrie compatible : il faut reprendre ton /dev/md2 (d'ailleurs tu te marche pas sur les pieds ? quoique la 6.0 elle faisait pas un md0 et md1 ?) et le passer de raid5 à raid1 (2 disques + un spare) - je sait pas comment on fait, disons que tu casses le raid
D'où je suis je verrai ça comme ça (attention au numérotation de partition, ce ne sont que des exemples):
- mdadm --stop /dev/md2
- mdadm --create /dev/md2 --level 1 --raid-devices=2 /dev/hdd2 /dev/hdb2 (tu rajouteras le spare par la suite)
- tu bootes en single sur le hda
- tu montes la partition hdb1 , créée le FS si c'est pas déjà fait
- tu copies le /boot sur ton /mnt/hdb/boot
ensuite tu installes le mbr sur tes disques (ben oui j'insiste ) ça devrait ressembler à ça pour toi - je suppose que tu es en IDE et que ton disque de boot est hda

Code: Tout sélectionner

# grub
grub> device (hd0) /dev/hdb
grub> root (hd0,1)
grub>setup (hd0)
grub> device (hd0) /dev/hdd
grub> root (hd0,1)
grub>setup (hd0)

le hd0,1 c'est par ce que tu as l'air d'avoir créé 3 partitions sur ton disque, je m'adresse donc à celle que je pense contenir le /boot

Après pour ton grub.conf, tu ne dois pas t'adresser au metadevice(md), mais au disque, et pour le root au filesystème (à ce moment là il est connu) je verrai donc cela comme ça (selon les infos que j'ai comprises)

Code: Tout sélectionner

title SME Server-up (2.6.9-34.EL)
        root (hd0,0)
        kernel /vmlinuz-2.6.9-34.EL ro root=LABEL=/
        initrd /initrd-2.6.9-34.EL.img

tout cela devrait améliorer ton cas

DISCLAIMER tout ce qui est écris ci-dessus n'est qu'une interprétation des données fournies et des possibles actions à mener. Il est necessaire d'avoir une sauvegarde du système et des données, et de comprendre un minimum les mécanismes mis en jeu. La numérotation des partitions et des devices raid est sujette à caution. La manip n'a pas été testée

On y crois, hein
G.

[saupiquet]

Je pars donc sur un RAID 1 avec un spare. Mon raid 1 est bien monté et synchronisé.

J'ai un soucis avec grub :
grub> device (hd0) /dev/hdb
grub> root (hd0,1)
Filesystem type unknown, partition type 0xfd
grub> setup (hd0)
Error 17: Cannot mount selected partition

Il y a surement un truc que je n'ai pas fait dans l'ordre
J'ai déclaré mes partitions comme ca:
[root@rangiroa log]# sfdisk -l /dev/hdb

Disque /dev/hdb: 79656 cylindres, 16 têtes, 63 secteurs/piste
Unités= cylindres de 516096 octets, blocs de 1024 octets, décompte à partir de 0

Périph Amor Début Fin #cyls #blocs Id Système
/dev/hdb1 0+ 1984 1985- 1000408+ fd Linux raid autodetect
/dev/hdb2 1985 3969 1985 1000440 fd Linux raid autodetect
/dev/hdb3 3970 79655 75686 38145744 fd Linux raid autodetect

Idem pour le hdd (qui a bien la même géométrie).

Quand j'installe le filesystem je l'installe sur le device RAID et je fais mkfs.ext3 -m1 -j /dev/mdX (/dev/md1 est sur /dev/hdb1 /dev/hdd1, /dev/md2 sur /dev/hdb2 /dv/hdd2 etc...)

La premiere partition est mon /boot, la deuxieme ma swap, la troisieme mon /

Je comprends pas que grub ne me trouve pas de filesystem, même google m'oriente pas vers des réponses qui vont bien. Dans tout ce que j'ai lu dans les exemples, il y a au moins une partition déclarée Linux et pas en autoraid.

Ou alors c'est ma version grub qui foire ? mais c'est celle de la SME :
[root@rangiroa log]# rpm -qa |grep grub
e-smith-grub-1.0.0-6.el4.sme
grub-0.95-3.8

[Gaston]

Bonsoir,
je cherche mais je trouve paps où ça coince (mais ça coince je te le confirme )
Par contre, parmis tes soucis, il y a le fait que fasse trop confiance à ce que j'écrit

grub> device (hd0) /dev/hdb
grub> root (hd0,1)
Filesystem type unknown, partition type 0xfd
grub> setup (hd0)
Error 17: Cannot mount selected partition[/i]
...
La premiere partition est mon /boot, la deuxieme ma swap, la troisieme mon /

Là c'est normal, tu indiques à grub : "considère hdb comme étant le disque 0. Sur ce disque 0 utilise la partition 1 comme "root" ..."
Or , la partition 1 c'est ton swap - on compte à partir de 0 !
J'avais pas pris en compte la différence de géométrie entre une 6 et une 7.

G.
PS: Pour ton info, toutes les partitions d'une v6 sont en autoraid (la swap est sur le md2 - par défaut), ce n'est pas donc de là que vient le problème, ni de la version de grub
je continue à essayer de réfléchir

[saupiquet]

Ok j'ai reglé mon problème avec grub. Merci pour ta réponse ca m'a poussé à m'y repencher

Je n'ai pas compris pourquoi ca marchait mais je sais ce que j'ai tapé en plus

Il fallait faire un coup de mkfs.ext3 sur toutes les partitions et les déclarer auparavant en type Linux et non pas en Raid. Ensuite j'ai repassé les partitions en Linux autoraid, monter mon raid via mdadm comme d'habitude et la le grub m'a trouvé un filesystem et a bien voulu s'installer.

grub> device (hd0) /dev/hdb
grub> root (hd0,0)
Filesystem type ext2fs, partition type 0xfd
grub> setup (hd0)
Checking if "/boot/grub/stage1" exists... no
Checking if "/grub/stage1" exists... yes
Checking if "/grub/stage2" exists... yes
Checking if "/grub/e2fs_stage1_5" exists... yes
Running "embed /grub/e2fs_stage1_5 (hd0)"... 16 sectors are embedded.
succeeded
Running "install /grub/stage1 (hd0) (hd0)1+16 p (hd0,0)/grub/stage2 /grub/grub
.conf"... succeeded
Done.

Idem pour /dev/hdd.
Bref j'ai pas compris pourquoi ca marchait maintenant mais bon grub s'est installé

Par contre ca boot toujours pas sur mon raid1 grrr.

Pour récapituler :
J'ai toujours mon /dev/hda normal, pas dans le raid (je l'intégrerai quand le raid marchera)
les disques /dev/hdb et /dev/hdd en raid1 (1ere partition /boot, 2ème swap, 3ème /)

Mon raid1 fonctionne, la preuve :
[root@rangiroa ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 hdd1[1] hdb1[0]
1000320 blocks [2/2] [UU]

md2 : active raid1 hdd2[1] hdb2[0]
1000320 blocks [2/2] [UU]

md3 : active raid1 hdd3[1] hdb3[0]
38145664 blocks [2/2] [UU]

Mon grub.conf
title Software RAID
root (hd1,0)
kernel /vmlinuz-2.6.9-34.ELsmp ro root=/dev/md3
initrd /initrd-2.6.9-34.ELsmp.img

Mais bizarre il arrive pas a monter le /, le boot se termine encore par
Mounting root filesystem
mount: error mounting ext3
mount: error mounting none
et le bon gros kernel panic qui commence a me devenir familier

J'ai tenté les variantes avec root (hd0,0) et root=/dev/hdb3 pour voir mais c'est pas mieux

Si je comprends bien le grub, root(hd1,0) devrait lui dire d'aller chercher le /boot sur /dev/hdb1
et le ro root=/dev/md3 devrait lui dire de prendre le / sur le device /dev/md3 donc /dev/hdb3 et /dev/hdd3. Bref ca devrait marcher

Allez je sens qu'on va arriver

[Gaston]

Bonsoir,
ce doit être le soleil qui nous a aveuglé tout était marqué dans le message avant le kernel panic : il arrive pas à monter le /root , tout simplement parceque celui-ci n'est pas accessible car sur une configuration raid inconnue. On a créé 3 nouveaux devices, et on lui a pas dit , c'est pas bien, et il nous l'a bien fait comprendre
Dans le cas ou l'on veut échanger un device raid par un autre, il faut refaire une image de boot (voir la commande plus bas)
La démarche eut-été (désolé pour la taille du post)

Code: Tout sélectionner

[root@smeraid ~]# #=== where we are starting from ===
[root@smeraid ~]#
[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

unused devices: <none>
[root@smeraid ~]# grep ^/dev/md /etc/fstab
/dev/md3                /                       ext3    usrquota,grpquota        1 1
/dev/md1                /boot                   ext3    defaults        1 2
/dev/md2                swap                    swap    defaults        0 0
[root@smeraid ~]#
[root@smeraid ~]#
[root@smeraid ~]# #=== retrieve partition definition and apply it to new disks
[root@smeraid ~]#
[root@smeraid ~]# sfdisk -d /dev/sda > sfdisk_sda.out
[root@smeraid ~]# sfdisk /dev/sdb < sfdisk_sda.out
   [ ... ]
[root@smeraid ~]# sfdisk /dev/sdc < sfdisk_sda.out
[root@smeraid ~]#
[root@smeraid ~]# #=== Create raid arrays
[root@smeraid ~]#
[root@smeraid ~]# mdadm --create /dev/md4 --level 1 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm: array /dev/md4 started.
[root@smeraid ~]# mdadm --create /dev/md5 --level 5 --raid-devices=3 missing /dev/sdb2 /dev/sdc2
mdadm: array /dev/md5 started.
[root@smeraid ~]# mdadm --create /dev/md6 --level 1 --raid-devices=2 /dev/sdb3 /dev/sdc3
mdadm: array /dev/md6 started.
[root@smeraid ~]#
[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1] [raid5]
md4 : active raid1 sdc1[1] sdb1[0]
      104320 blocks [2/2] [UU]

md5 : active raid5 sdc2[2] sdb2[1]
      3566208 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md6 : active raid1 sdc3[1] sdb3[0]
      208768 blocks [2/2] [UU]

md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

unused devices: <none>
[root@smeraid ~]#
[root@smeraid ~]# #=== Create FileSystems and swap space
[root@smeraid ~]#
[root@smeraid ~]# mke2fs -j /dev/md4
   [ ... ]
[root@smeraid ~]# mke2fs -j /dev/md5
   [ ... ]
[root@smeraid ~]# mkswap /dev/md6
Setting up swapspace version 1, size = 213774 kB
[root@smeraid ~]#
[root@smeraid ~]#
[root@smeraid ~]# #=== THE KEY : create an inirtd file which knows about our new raid devices
[root@smeraid ~]#
[root@smeraid ~]# mkinitrd --preload raid5 --with=raid5 /boot/raid5.img 2.6.9-42.0.3.EL
[root@smeraid ~]#
[root@smeraid ~]# #=== Adapt config files to our new config ===
[root@smeraid ~]#
[root@smeraid ~]# diff /etc/fstab /etc/fstab.new
12,13c12,13
< /dev/md3                /                       ext3    usrquota,grpquota        1 1
< /dev/md1                /boot                   ext3    defaults        1 2
---
> /dev/md5                /                       ext3    usrquota,grpquota        1 1
> /dev/md4                /boot                   ext3    defaults        1 2
18c18
< /dev/md2                swap                    swap    defaults        0 0
---
> /dev/md6                swap                    swap    defaults        0 0
[root@smeraid ~]#
[root@smeraid ~]# diff /etc/grub.conf /var/tmp/grub.conf.old
18,21d17
< title SME RAID5
<       root (hd1,0)
<       kernel /vmlinuz-2.6.9-42.0.3.EL ro root=/dev/md5
<       initrd /raid5.img
[root@smeraid ~]#
[root@smeraid ~]# #=== Copy data to new disks ===
[root@smeraid ~]#
[root@smeraid ~]# mkdir /mnt/new_root
[root@smeraid ~]# mkdir /mnt/new_boot
[root@smeraid ~]# mount -t ext3 /dev/md4 /mnt/new_boot
[root@smeraid ~]# mount -t ext3 /dev/md5 /mnt/new_root
[root@smeraid ~]# rsync -arP /boot/ /mnt/new_boot/
[root@smeraid ~]# rsync -arP / /mnt/new_root/ --exclude=/new_root/ --exclude=/new_boot/
[root@smeraid ~]# sync ; sync; sync
[root@smeraid ~]#
[root@smeraid ~]# #=== Add boot loader to new disks
[root@smeraid ~]#
[root@smeraid ~]# grub
grub> root (hd1,0)
grub> setup (hd1)
grub> root (hd2,0)
grub> quit
[root@smeraid ~]#
[root@smeraid ~]# #=== Set correct fstab for new system
[root@smeraid ~]#
[root@smeraid ~]# mv /mnt/new_root/etc/fstab /mnt/new_root/etc/fstab.old
[root@smeraid ~]# mv /mnt/new_root/etc/fstab.new /mnt/new_root/etc/fstab
[root@smeraid ~]#
[root@smeraid ~]# #=== Set some usefull flag && reboot
[root@smeraid ~]#
[root@smeraid ~]# echo "SME Server with RAID5 !!!" > /mnt/new_root/NEW_root
[root@smeraid ~]# sync ; sync; sync
[root@smeraid ~]# umount /mnt/new_boot/
[root@smeraid ~]# umount /mnt/new_root
[root@smeraid ~]# reboot

et maintenant on va savoir si le soleil ne m'a pas (trop) tapé sur la tête

Code: Tout sélectionner

[root@smeraid ~]# cat /proc/mdstat
Personalities : [raid1] [raid5]
md1 : active raid1 sda1[0]
      104320 blocks [2/1] [U_]

md3 : active raid1 sda2[0]
      1783104 blocks [2/1] [U_]

md2 : active raid1 sda3[0]
      208768 blocks [2/1] [U_]

md4 : active raid1 sdb1[0] sdc1[1]
      104320 blocks [2/2] [UU]

md5 : active raid5 sdb2[1] sdc2[2]
      3566208 blocks level 5, 64k chunk, algorithm 2 [3/2] [_UU]

md6 : active raid1 sdb3[0] sdc3[1]
      208768 blocks [2/2] [UU]

unused devices: <none>
[root@smeraid ~]# df -P
Filesystem         1024-blocks      Used Available Capacity Mounted on
/dev/md5               3510144   1203596   2128240      37% /
/dev/md4                101018     12077     83725      13% /boot
none                     79268         0     79268       0% /dev/shm
[root@smeraid ~]# cat /NEW_root
SME Server with RAID5
[root@smeraid ~]#

Ca ressemble à ce que tu attends, non

G.

[saupiquet]

Gaston, chapeau bas

Je viens d'essayer ce matin le mkinitrd (et hop connaissance d'une nouvelle commande au passage )

Tout marche parfaitement, j'ai fait des tests en débranchant mon hda, tout reboot correctement et plus de kernel panic vu que maintenant il trouve les partitions.

C'est du tout bon!

Du coup j'ai passé mes partitions hda en type autoraid et je lui ai fait rejoindre le RAID, reconstruction automatique du Raid 5... c'est beau On dirait presque de la magie

Merci pour ton aide.

Excellente journée/soirée.