DIRAC¶

Le service DIRAC offre à ses utilisateurs, à travers une interface web, une solution générale pour l’accès aux ressources de l’infrastructure, la gestion des tâches de calcul et des données scientifiques distribuées.

Cette description est plus particulièrement destinée aux utilisateurs finaux de DIRAC dans le cadre de France Grilles. Elle fait suite aux fiches Plume https://www.projet-plume.org/fiche/dirac (Luisa Arrabito) et https://www.projet-plume.org/relier/dirac (Andrei Tsaregorodtsev) .

Page mise à jour le 20 avril 2015

Site web : http://diracgrid.org/

Système : Linux

Téléchargement : https://github.com/DIRACGrid

Langue : anglais

Licence : GPL V3

Développement : Le consortium DIRAC - signé en mars 2014 - comprend le CERN, le CNRS et l'Université d'Aix-Marseille - Centre de Physique des Particules de Marseille, et l'Université de Barcelone pilote les développements.
C'est aussi un projet international dans le cadre de LHCb, avec 10-12 développeurs venant de France, Espagne, Allemagne, Russie et le CERN.
Les concepteurs et développeurs sont : Andrei Tsaregorodtsev, Vanessa Hamar, Matvey Sapunov, Ricardo Graciani, Adrian Casajus, Federico Stagni

Description¶

DIRAC, Distributed Infrastructure with Remote Agent Control, est un cadre logiciel pour créer des systèmes de calcul distribués. Il a été développé pour répondre aux besoins de l'expérience LHCb au CERN pour le traitement de ses données sur la grille de calcul. Maintenant le système offre une solution générale pour la gestion des tâches de calcul et des données distribuées. Il est léger, robuste et extensible, adaptable aux évolutions rapides de la grille. Il prend en compte des ressources hétérogènes ce que inclut les grilles de calcul, les clouds ou bien les grappes de processeurs indépendants. L'architecture modulaire de DIRAC permet l'adaptation facile des fonctionnalités aux nouveaux besoins des communautés des utilisateurs.

Les fonctionnalités principales de DIRAC sont :

• Gestion de productions MC (Monte Carlo), du traitement de données et de tâches d'analyse :
  - Utilisation des jobs pilots - le concept introduit par DIRAC
  - Gestion des politiques de la communauté des utilisateurs
  - Agrégation des ressources hétérogènes de façon transparente pour les utilisateurs
  - Système de récupération des échecs
• Gestion de données :
  - Opérations sur les fichiers et enregistrement dans les catalogues de répliques et de métadonnées
  - Utilisation des catalogues standards grille (LFC, catalogue des fichiers d’une VO) ou de catalogue DIRAC performant avec la possibilité de définir les métadonnées d'utilisateurs. Plusieurs catalogues peuvent être utilisés simultanément
  - Distribution automatique de données
  - Contrôle d'intégrité de données
  - Monitoring des ressources de stockage
• Gestion de productions massives :
  - Création et soumission automatiques de jobs pour le traitement de données selon des scénarios prédéfinis

DIRAC est une "solution de grille" générale et complète pour une ou plusieurs communauté d'utilisateurs.

Autres fonctionnalités :

• Service d'accounting de toutes les opérations
• Portail Web
  - Soumission et monitorage des jobs, récupération des résultats
  - Monitorage de tous les services de DIRAC
  - Accès aux données d'accounting
• Journalisation des événements pour tous les composants de DIRAC
• Service pour la configuration de tous les composants de DIRAC
• Le cadre logiciel DIRAC respecte les standards de sécurité de la grille (DISET, DIRAC Secure Transport Extension)

DIRAC permet l'intégration de ressources hétérogènes ce qui donne une solution au problème d'interopérabilité entre différentes grilles de calcul, clouds et clusters locaux

Aspects techniques¶

Plates-formes : UNIX ou MAC pour le client DIRAC
L'intergiciel gLite est nécessaire pour l'utilisation des ressources WLCG.

DIRAC est programmé principalement en Python et les APIs sont fournis dans ce langage.

Documentation¶

Une documentation propre à France Grilles et collaborative est disponible sur ce site.
Documentation utilisateur générale : http://diracgrid.org/
Tutoriaux en ligne : https://indico.in2p3.fr/conferenceDisplay.py?confId=7378

Le projet fournit des informations sur la page de news

Utilisation¶

France Grilles, opère une instance DIRAC qui fournit un service à destination des VOs.
Description du service France Grilles : http://www.france-grilles.fr/Pour-les-VOs

Prérequis pour les utilisateurs :
faire partie d'une VO supportée par le service puis demanderl'inscription à info@france-grilles.fr.

Publications :
DIRAC a donné lieu à de nombreuses publications

LIENS¶

wiki documentation France Grilles DIRAC: https://forge.in2p3.fr/projects/france-grilles-documentation/wiki/Utiliser_le_service_DIRAC
site France Grilles, description du service DIRAC pour les utilisateurs : http://www.france-grilles.fr/Pour-les-chercheurs-ou-ingenieurs#DIRAC

Commentaires :