Skip to content

Cluster de stockage CEPH

Il s'agit d'une plateforme de stockage distribuée, opérée par le logiciel libre Ceph. Cette plateforme a une architecture de type cluster (i.e. à croissance horizontale ou scale-out). Elle est composée actuellement de 3 contrôleurs redondants (pour la gestion du cluster, et pour le frontal S3) et de 24 noeuds de stockage, offrant une volumétrie brute de 1 400 To. Les données sont sécurisées au sein du cluster par réplication entre les noeuds (par défaut 3 réplicats).

Cette plateforme offre les modes d'accès suivant :

  • mode bloc : export d'images disque, disponible selon les projets
  • mode objet : stockage adapté au grandes masses de données (via API S3, ou API Ceph), disponible à la demande

Pour en savoir plus sur la technologie Ceph : http://docs.ceph.com/docs/master/start/intro/

Ce stockage est désormais pleinement intégrée à la plateforme de cloud du Mésocentre: OSCAR

Stockage objet

Ceph implémente un stockage d'objets distribués sur tous les noeuds. Ce stockage peut être utilisé directement via la librados de Ceph par certaines applications ou à travers les API web S3 ou Swift.

Le stockage objet organise les données de facon très simple, non hiérarchique, de façon à pouvoir passer à l'échelle (en nombre ou en volume) : les objets, qui contiennent à la fois les données et les métadonnées, sont organisés de façon linéaire dans les conteneurs (ou buckets), et sont simplement identifiées par une clé unique. Cela a l'avantage de faire abstraction du stockage physique et de pouvoir stocker une quantité croissance de données non structurées.

Ce stockage objet est disponible à travers des services web RESTful compatible avec l'API Amazon S3. Il existe de nombreux clients S3 dont :

  • des clients en ligne de commande : s3cmd, montage d'un bucket dans le système de fichiers avec s3fs, rclone (outil qui prend en charge de nombreux fournisseurs de stockage), tous deux déployés sur HPC2.
  • des clients dans la plupart des langages : libs3 en C++, Amazon AWS SDK par exemple aussi en C++, boto3 en Python, Amazon::S3 en Perl...
  • des clients graphiques : par exemple, Cyberduck pour Windows/Mac, Dragondisk pour Linux, ...

Vous pouvez consulter un exemple pas-à-pas d'interaction S3 avec Python Pandas dans cette documentation.

Service S3 du mésocentre

Le service web S3 est disponible pour tous les utilisateurs du mésocentre. Les accès sont fournis à la demande des utilisateurs.

  • URL de l'API : https://s3.mesocentre.uca.fr
  • Authentification : clés d'authentification pour les utilsateurs créées à la demande
  • Quota attribué par projet

Une partie des fonctionnalités S3 sont disponibles sur la plateforme OSCAR (cloud Openstack). Par exemple, les buckets sont visualisables dans la section Projet > Stockage d'objet > Conteneurs.

Warning

Les données sur le cluster Ceph sont sécurisées par réplication au sein du cluster. Le cluster est aujourd'hui sur un seul site (datacenter du bâtiment Turing). Elles ne sont pas sauvegardées, ni répliquées sur un site distant.