Système de fichiers redondant

[arapaho]

Bon alors en ce moment je raconte pas mal de co.nneries mais j'ai quand même de temps en temps des questions sérieuses:
Je cherche un système de fichiers distribué à tolérance de pannes, parallèle ou pas dans un premier temps je m'en moque.

Il serait évidemment sympathique s'il était conforme aux normes POSIX, si la gestion des attributs étendus était implémentée et s'il disposait d'une gestion des quotas utilisateurs/groupes.
Les accès clients devraient être réalisés à partir d'Unix [GNU/Linux, FreeBSD, Solaris] et de d'OS Microsoft [Win2K/2K3] et authentifiés sur des realms kerberos.
La réplication devrait être réalisée en temps réel sur plusieurs sites distants reliés par des connexions lentes [1Mbps d'upload].

Les systèmes de fichiers que j'ai testés / utilisés dans de précédents emplois mais éliminés:
OpenAFS: très performant. Les volumes répliqués sont en lecture seule. Les ACLs ne sont pas conformes à POSIX.1e, aux ACLs de NFS.4 ou celle de NTFS.
CodaFS: performant. Les volumes répliqués sont en RW. Gère les opérations de deconnexion. Même problèmes que AFS concernant les ACLs. Limitation dûe à la gestion de cache. Pas de passerelle NFS/CIFS

Il en existe pas mal maintenant qui ont été créés pour une utilisation en clusters haute dispo et qui nécessitent de ce fait des transferts inter-nodes à très haute vitesse. Ce qui n'est pas pour m'arranger.

Dernière note, le système de fichier s'occupant de gérer l'ensemble du stockage peut très bien ne pas remplir les conditions suscitées à condition que les accès des clients puissent être opérés au travers de passerelles NFS/CIFS qui s'occuperaient dès lors des exigences manquantes.

[arapaho]

Rajout:
- j'aimerais également que la redondance soit de type active/active.
- Je ne suis pas contre une topologie en étoile mais ce serait une contrainte supplémentaire.

[Walkyrie_II]

DRBD 8 avec un ReiserFs + NFS dessus
http://www.drbd.org/start.html
http://www.gossamer-threads.com/lists/drbd/users/ (list DRBD avec l'ingé developeur)

La version payante DRBD+ permet un 3ème node Asyncrone pour un site distant
http://www.linbit.com/en/drbd/drbd-plus ... disasters/

[arapaho]

Je connais bien DRBD pour l'avoir déployé dans pas mal de grappes HA. Il est limité à 2 hôtes, 3 dans certains cas. Mon besoin se situe à 5 hôtes minimum [je bosse sur 'n' hôtes] et surtout j'ai besoin d'une réplication active/active inter-hôtes. La solution active/active proposé par DRBD se base sur le cas d'une utilisation avec un système de fichier parallèle et donc impose l'emploi de médias partagés.

Par contre je te remercie tout de même puisque je ne m'étais même pas tourné vers DRBD. Et en allant jeter un oeil sur leur site, j'ai vu un 'csync' qui m'a l'air interressant.
Si besoin, je peux éclaircir la question.

[Walkyrie_II]

OpenGFS ?
Sinon OCFS2 mais je ne suis pas sur qu'il ne soit pas limité à une instance de base Oracle... 'POSIX compliant file system'... alors ?!
http://oss.oracle.com/projects/ocfs2/

[arapaho]

OCFS2 peut tout à fait être utilisé comme système de fichier 'normal'. Mais ce dernier et GFS ne servent à rien en environnement WAN avec des liaisons inférieures. Je ne dispose pas de liens gigabits entre mes sites et ce n'est pas prêt d'arriver.
En gros le top du top serait un CodaFS avec une gestion ACLs NFS.4/NTFS et des passerelles NFS/CIFS -> CodaFS. Le coeur du système sur des serveurs CodaFS répartis nationalement et les accès clients au travers de serveurs locaux NFS/CIFS haute dispo. Les clients ne se balladent pas sur le WAN ici ! Les accès nomades utiliseraient les fonctionnalités avancées de CodaFS et accéderaient à l'infrastructure via des nodes Coda dédiées. Meuh non c'est pas utopique. Surtout que les transits de données ne seraient effectuées que par les nodes Coda, ainsi que la distribution du cache. Une dorsale data du pauvre quoi mais surtout pas du bricolage à 2 cents.

Je continue mes tests avec cette bizarrerie: http://wiki.digitalbazaar.com/en/Starfi ... Filesystem . La c'est un peu plus pour le fun aujourd'hui: je ne croie pas trop que ce FS m'apporte quoi que ce soit

[Walkyrie_II]

Si tu fais un papier de retour d'expérience, peut importe le format, draf, pq sous notepad je suis preneur. Il est difficile d'avoir de bonne doc en fr dans ce domaine.

[arapaho]

Oui je vais faire un papier mais vraisemblablement plus de la documentation interne. Je ne te promets pas d'avoir le temps de rédiger une documentation plus généraliste et diffusable.

Concernant mes pré-requis, ils sont entièrement liés au fait que je travaille sur des budgets extrêmement restreints. Aussi, ce genre de problèmes peuvent facilement se résoudre avec du WAFS: 1 site central de stockage et des caches cohérents NFS/CIFS sur les sites distants. Mais les investissements de ces solutions [site central + déploiement blackbox] sont relativement importants. J'ai eu a travailler sur ces technologies il y a 2/3 ans et j'avoue que c'était déjà bluffant. Par contre, je ne sais pas si c'est toujours d'actualité ...