Les ingénieurs informatiques du CERN ont annoncé aujourd’hui que le centre de données du CERN a enregistré plus de 100 pétaoctets de données de physique au cours des 20 dernières années. Les collisions produites dans le Grand collisionneur de hadrons (LHC) ont généré environ 75 pétaoctets de données au cours des trois dernières années.
Cent pétaoctets (soit un million de gigaoctets), cela fait vraiment beaucoup – c’est l’équivalent d’environ 700 ans de films en haute définition. Stocker toutes ces données n’est pas une mince affaire. Au CERN, l’essentiel des données (soit environ 88 pétaoctets) sont stockées sur bande grâce au système de stockage perfectionné CASTOR et le reste (soit 13 pétaoctets) est stocké sur le système commun sur disque EOS – il s’agit d’un système optimisé permettant un accès rapide pour analyse à un grand nombre d'utilisateurs concurrents.
« Nous avons huit bibliothèques de bandes robotisées réparties sur deux bâtiments, et chaque bibliothèque peut contenir jusqu'à 14 000 cartouches de bandes, explique German Cancio Melia, du département IT du CERN. Actuellement, nous disposons d’environ 52 000 cartouches, avec une capacité allant de 1 à 5,5 téraoctets chacune. Pour le système EOS, les données sont stockées sur plus de 17 000 disques reliés à 800 serveurs de stockage sur disque. »
(Vidéo : CERN)
Toute l’information stockée ne vient pas des expériences LHC. « Le département IT du CERN héberge les données de nombreuses autres expériences de physique des hautes énergies au CERN, actuelles ou anciennes, ainsi qu’un centre de données pour l’expérience AMS », explique Dirk Duellmann, du département IT.
« Aussi bien pour les bandes que pour les disques, il est très important d'assurer un stockage et un accès efficace, souligne Duellmann, ce qui veut dire qu’il faut repérer les goulets d'étranglement et comprendre de quelle façon les utilisateurs veulent accéder aux données. »
Les bandes sont régulièrement contrôlées ; on s'assure qu'elles sont en bon état et accessibles aux utilisateurs. Pour optimiser l’espace de stockage, les archives complètes sont régulièrement transférées sur des bandes plus récentes, de grande capacité. Les systèmes sur disque sont copiés systématiquement pour parer aux problèmes de défaillance de disque, et un espace de nommage modulable permet un accès rapide et simultané à des millions de fichiers.
Le centre de données restera actif pendant le long arrêt du complexe d’accélérateurs, pour l’analyse des données prises pendant les trois années d’exploitation du LHC ; il faudra aussi se préparer à l’accroissement des flux de données, qui devraient être plus importants lors du redémarrage des accélérateurs et des expériences après les améliorations apportées. Grâce à une extension qui sera construite, et à l’utilisation d’un centre de données à distance en Hongrie, les capacités du centre de contrôle seront encore augmentées.
Encore plus de pétaoctets en perspective….