Project

General

Profile

Actions

Task #4803

closed

Extract groups from LDAP to Redmine

Added by Barbier Cecile almost 11 years ago. Updated about 10 years ago.

Status:
Closed
Priority:
Urgent
Assigned To:
Target version:
Start date:
07/12/2013
Due date:
02/21/2014
% Done:

100%

Estimated time:
4.00 h

Description

The goal is to have groups in Redmine using the mailing lists of the main work packages.

Required actions :
Dirk : transfer existing CTA groups from mailman to LDAP
Jean-René : automatically get LDAP groups in Redmine for the CTA project
Cecile : in the meantime, clean-up emails in mailman, starting with CTA-WP-DM


Files

Redmine-LDAP-groups.png (18.6 KB) Redmine-LDAP-groups.png Hoffmann Dirk, 01/20/2014 11:40 AM
Actions #1

Updated by Hoffmann Dirk almost 11 years ago

  • Due date set to 07/31/2013
  • Estimated time set to 4.00 h

Salut Jean-René, je t'envoie les informations exactes (chemin) où tu peux retrouver les groupes dans le LDAP de CTA, dès que je peux.

Tu as le temps de travailler sur le problème en juillet ?

Actions #2

Updated by Hoffmann Dirk almost 11 years ago

Voici les instructions pour récupérer les groupes du LDAP CTA :
ou=CTA-Groups,dc=cta-observatory,dc=org

contient les objects groupOfNames
cta-cb
cta-wp-dm
cta-support
cta-members
sapo

(pour l'instant). La liste exact n'a pas d'importance. Afin de ne pas nous embêter avec une mise à jour au coup par coup, je propose de transférer toutes les listes systématiquement. Pour cela, il convient de trouver une convention pour les noms:
  • Si le nom commence par cta-, alors ce sera le nom du groupe commen dans LDAP.
  • Si le nom ne commence pas par cta-, alors il faut l'"unifier" quand même, et le nom du groupe redmine sera celui de LDAP précédé part les 4 caractères 'cta-'.
    Ainsi, cta-members (LDAP) reste cta-members (redmine) et sapo (LDAP) devient cta-sapo (redmine).
Actions #3

Updated by Hoffmann Dirk almost 11 years ago

  • Assigned To changed from Hoffmann Dirk to ROUET Jean-René

Ma partie est faite, je transfère à Jean-René.

Actions #4

Updated by Hoffmann Dirk over 10 years ago

  • % Done changed from 0 to 10

Les groupes sont prêts dans LDAP.
Adrien enverra les specs à Jean-René pour suivre ce ticket.

Actions #5

Updated by Hoffmann Dirk over 10 years ago

Il me semble qu'Adrien avait tout envoyé il y a quelque temps.

Résumé de la réunion CB/JRR/DH vendredi dernier :

  • Utilisation de modifyTimestamp des groupes pour être plus efficace avec les changements.
  • Lancement du job de synchro deux fois par heure
  • Mise en place : Jean-René confirme début décembre.
  • Un "pre-import" de tous les utilisateurs LDAP contenus dans cta-members serait souhaitable. (En fait, ce groupe sera donc identique au contenu de l'actuel groupe "cta" dans redmine qui reçoit tous les nouveaux utilisateurs CTA qui se connectent sur redmine via l'authentification CTA.)
Actions #6

Updated by Hoffmann Dirk over 10 years ago

Tout est OK de notre côté. Nous sommes début décembre ; c'est donc juste un petit rappel.

Actions #7

Updated by Hoffmann Dirk over 10 years ago

  • Due date changed from 07/31/2013 to 12/13/2013
Actions #8

Updated by Hoffmann Dirk over 10 years ago

@Jean-René, un petit pronostic sur la livraison ? Le 13 est toujours OK ?

Actions #9

Updated by Hoffmann Dirk over 10 years ago

  • Priority changed from Normal to High

Livraison avant Noël ???

Actions #10

Updated by ROUET Jean-René over 10 years ago

le développement est terminé. il faut fixer maintenant des dates de mise en service.

Actions #11

Updated by Hoffmann Dirk over 10 years ago

Sur forgedev.in2p3.fr la semaine, puis validation par staff CTA.

Pas avant mercredi.

Actions #12

Updated by ROUET Jean-René over 10 years ago

  • % Done changed from 10 to 50

Bonsoir

forgedev est prêt, je viens de l'arrêter pour régler un dernier problème avec un plugin obsolète.
ça m'a pris un temps fou non prévu car j'ai du réencoder la totalité de la base de données redmine (que l'on traine depuis 5 ans) qui contenait des caractères en charset windows. mais bon là, on a une version récente à jour avec une base de données propre.
je vous mets ça en ligne dès lundi.

Bon week-end.

Actions #13

Updated by Barbier Cecile over 10 years ago

Merci pour l'update :)
Bon WE

Actions #14

Updated by Hoffmann Dirk over 10 years ago

  • Category set to Redmine
Actions #15

Updated by Hoffmann Dirk over 10 years ago

Je viens de faire un essai, sur http://forgedev.in2p3.fr/projects/ctaactl/settings/members et cela a l'air de bien se goupiller :

  • J'ai enlevé le permissions de quelques "Programmers", étant donné que les "Advanced Reporters" sont hérités du niveau "CTA" tout en haut.
  • J'ai ajouté cta-wp-actl comme "Programmers", et la liste des personnes se met à jour, les membres ACTL sont "Programmers".
  • Si on vérifie les attributs d'un des utilisateurs membres de ACTL, on ne peut plus déselectionner "Programmers", ce qui indique qu'il obtiennent ce rôle par ailleurs (à traver le groupe).
  • Dans le dialogue de recherche, les groupes cta-wp-* apparaissent bien.

A faire :

  • Tester dans un autre projet. [Cécile ?]
  • Mise à jour des membres dans un groupe. Latence.
  • Présence de tous les groupes LDAP CTA dans redmine. [moi]
Actions #16

Updated by Hoffmann Dirk over 10 years ago

Référence (listes cta-* dans forgedev) pour moi.

A nous de jouer maintenant.

Actions #17

Updated by Hoffmann Dirk over 10 years ago

Rien qu'en comparant les nombres, j'ai un désaccord LDAP-redmine, visiblement.

A quel rythme est mis à jour la liste (dans forgedev.in2p3.fr pour l'instant) ? Ou de quand date la dernière mise à jour ?

Sur la capture d'écran, il y a 28 groupes + cta-wp-actl qu'il n'affiche pas, parce qu'il est déjà utilisé.

Les logfiles me disent ce matin :

38 groups in ShPt.
*** No matching group 'cta-cppm-owner' found in LDAP. Ignored!
*** No matching group 'cta-svn-admins' found in LDAP. Ignored!
*** No matching group 'sapo-chair' found in LDAP. Ignored!
*** No matching group 'cta-cppm' found in LDAP. Ignored!

34 groups in LDAP.

Il en manque 4 a priori. Détails :

Group actl-use-cases
actl-use-cases: 17 users remain unchanged.

Group cb-members
cb-members: 163 users remain unchanged.

Group cta-administrators
cta-administrators: 6 users remain unchanged.

Group cta-cb
cta-cb: 87 users remain unchanged.

Group cta-cb-info
cta-cb-info: 103 users remain unchanged.

Group cta-france
cta-france: 85 users remain unchanged.

Group cta-france-owner
cta-france-owner: 3 users remain unchanged.

Group cta-jenkins
cta-jenkins: 4 users remain unchanged.

Group cta-members
        Remove giuseppesottile
        Add gilleshenri
        Add sottilegiuseppe
cta-members: 1 users to be removed.
cta-members: 2 users to be added.
cta-members: 875 users remain unchanged.
*** Changes are only made interactively.

Group cta-nl
cta-nl: 13 users remain unchanged.

Group cta-po
cta-po: 14 users remain unchanged.

Group cta-pp-exe
cta-pp-exe: 32 users remain unchanged.

Group cta-pro-com
cta-pro-com: 24 users remain unchanged.

Group cta-pro-com-info
cta-pro-com-info: 29 users remain unchanged.

Group cta-rb-afac
cta-rb-afac: 20 users remain unchanged.

Group cta-rb-ssc
cta-rb-ssc: 11 users remain unchanged.

Group cta-rb-stac
cta-rb-stac: 16 users remain unchanged.

Group cta-resourceboard
cta-resourceboard: 43 users remain unchanged.

Group cta-shpt-managers
cta-shpt-managers: 12 users remain unchanged.

Group cta-site-contact
cta-site-contact: 22 users remain unchanged.

Group cta-support
cta-support: 5 users remain unchanged.

Group cta-wp-actl
cta-wp-actl: 79 users remain unchanged.

Group cta-wp-actl-owner
cta-wp-actl-owner: 4 users remain unchanged.

Group cta-wp-dm
cta-wp-dm: 143 users remain unchanged.

Group cta-wp-phys
        Add dmitri.semikoz@apc.univ-paris7.fr
cta-wp-phys: 1 users to be added.
cta-wp-phys: 173 users remain unchanged.
*** Changes are only made interactively.

Group cta-wpc-fp7
cta-wpc-fp7: 18 users remain unchanged.

Group ext-reviewers
ext-reviewers: 19 users remain unchanged.

Group ext-support
ext-support: 3 users remain unchanged.

Group group-leaders
group-leaders: 154 users remain unchanged.

Group log-registry
log-registry: 5 users remain unchanged.

Group sapo
sapo: 17 users remain unchanged.

Group site-visitors
site-visitors: 7 users remain unchanged.

Group svn-users
svn-users: 54 users remain unchanged.

Group sw-policy
sw-policy: 7 users remain unchanged.

Résultat des courses, il manque ces 4 groupes dans redmine :

  • Group cta-wpc-fp7 (récent)
  • Group ext-reviewers (ancien !?)
  • Group ext-support (ancien !?)
  • Group cta-wp-actl-owner (récent)

Sinon, je n'ai pas constaté de problème avec le nom des groupes par exemple. Le renommage a l'air OK.

Actions #18

Updated by ROUET Jean-René over 10 years ago

le cron a lieu toutes les 30 minutes (depuis 5 minutes car je ne l'avais encore mis)

voici la dernière trace :

add to cta-wp-actl-owner
add to cta-wp-actl-owner
add to cta-wp-actl-owner
add to cta-wp-actl-owner
add to cta-wpc-fp7
add to cta-wp-phys
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wp-phys
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wp-phys
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wpc-fp7
add to cta-wp-phys
add to cta-wp-phys

attention, il ne met à jour que les comptes déjà présent dans redmine. si un group ldap n'a pas d'utilisateur correspondant dans redmine, il ne sera pas créé.
par contre il sera créé quand l'utilisateur se connectera la première fois.

voilà

Actions #19

Updated by Hoffmann Dirk over 10 years ago

Jean-René Rouet wrote:

le cron a lieu toutes les 30 minutes (depuis 5 minutes car je ne l'avais encore mis)
[...]
voilà

Merci !

Effectivement, cela a l'air cohérent et correct.

Cela explique que les ext-* n'apparaissent pas ... au détail près que tu fais partie de ext-support :

$ ./lsLdapGroups.py  -m ext-support
ext-support:
        jsa
        rouet
        jbenito

??

Actions #20

Updated by Hoffmann Dirk over 10 years ago

Dirk Hoffmann wrote:

Cela explique que les ext-* n'apparaissent pas ... au détail près que tu fais partie de ext-support :

Peut-être mieux avec les adresses électroniques :

$ ./lsLdapGroups.py  -e ext-support
ext-support:
        Julien SAID <julien.said@dsi.cnrs.fr>
        Jean-Ren?? Rouet <rouet@in2p3.fr>
        Jose Benito Gonzalez Lopez <jose.benito.gonzalez@cern.ch>

Actions #21

Updated by ROUET Jean-René over 10 years ago

oui mais je ne suis pas "cta" dans redmine, donc le script m'ignore.

Actions #22

Updated by Hoffmann Dirk over 10 years ago

Jean-René Rouet wrote:

oui mais je ne suis pas "cta" dans redmine, donc le script m'ignore.

D'accord. Donc, il faut garder cela en tête, si un utilisateur manque. Typiquement cela concerne les "français" (et assimilés) qui avaient déjà eu un compte antérieurement.

Actions #23

Updated by Hoffmann Dirk over 10 years ago

  • Assigned To changed from ROUET Jean-René to Barbier Cecile
  • % Done changed from 60 to 70

Pour ma part, je dirais que c'est bon et à mettre en production, après peut-être un dernier test par @Cécile ? Tu veux tester le mécanisme des groupes sur un autre site (projet) pour finaliser la validation ?

Actions #24

Updated by Barbier Cecile over 10 years ago

Dirk, tu veux que je fasse quel test ?

Actions #25

Updated by Hoffmann Dirk over 10 years ago

Cecile Barbier wrote:

Dirk, tu veux que je fasse quel test ?

Celui de #4803#note-15, sur un autre site (projet) ?

Actions #26

Updated by Hoffmann Dirk over 10 years ago

Dirk Hoffmann wrote:

Cecile Barbier wrote:

Dirk, tu veux que je fasse quel test ?

Celui de #4803#note-15, sur un autre site (projet) ?

En fait, tu pourrais voir si ce que demande Karl fonctionnerait dans l'état actuel des choses sur https://forgedev.in2p3.fr/projects/cta_dm, en essayant de trouver un bug quelque part ;) ?

Actions #27

Updated by Barbier Cecile over 10 years ago

Mais je ne vois aucun groupe à part cta ...

Actions #28

Updated by Hoffmann Dirk over 10 years ago

Cecile Barbier wrote:

Mais je ne vois aucun groupe à part cta ...

C'est déjà un bon bug. Je les vois. Jean-René aurait introduit un if user=barbier quelque part ? ;)

Essaie d'ajouter des permissions pour un utilisateur en utilisant le dialogue de recherche. Tu peux te servir de l'image jointe à ce ticket comme modèle pour trouver le bon endroit. Ensuite, tu commences à taper, "cta...", et les groupes devraient apparaître. Même une partie du nom de groupe ("svn") suffit pour les filtrer.

Toujours pas ?

Actions #29

Updated by Barbier Cecile over 10 years ago

Ben je navigais tranquillement dans forgedev de sous-projet en sous-projet, ça marchait pas, je ne voyais aucun groupe et puis tout d'un coup il m'a demandé de me réauthentifier et là, c'est bon ! Les mystères de l'informatique .....

Actions #30

Updated by Hoffmann Dirk over 10 years ago

Cecile Barbier wrote:

Ben je navigais tranquillement dans forgedev de sous-projet en sous-projet, ça marchait pas, je ne voyais aucun groupe et puis tout d'un coup il m'a demandé de me réauthentifier et là, c'est bon ! Les mystères de l'informatique .....

Tant mieux. Je te laisse vérifier, et à toi l'honneur de le réattribuer à Jean-René pour mise en production, une fois que tu donnes le feu vert.

Actions #31

Updated by Barbier Cecile over 10 years ago

  • Status changed from Feedback to Assigned
  • Assigned To changed from Barbier Cecile to ROUET Jean-René
  • % Done changed from 70 to 80

Alors j'ai testé avec cta-wp-dm et cta-svn-users et cta-svn-admins et cta-sw-policy, ça se passe bien et comme pour Dirk, ce qui est imposé par le groupe est en grisé et n'est plus modifiable donc tout me semble ok.

Jean-René, je te redonne le ticket pour faire la mise en production ...

Actions #32

Updated by Hoffmann Dirk about 10 years ago

  • Priority changed from High to Urgent

Cecile Barbier wrote:

Jean-René, je te redonne le ticket pour faire la mise en production ...

Nous commençons à avoir de plus en plus de gens à gérer dans les différents projets, et les groupes seraient d'une grande utilité.

Peux-tu nous donner une date pour la mise en prod ?

Actions #33

Updated by Hoffmann Dirk about 10 years ago

  • Subject changed from Extract groups from mailman to LDAP to Redmine to Extract groups from LDAP to Redmine

Aucun prognostic sur le calendrier ???

Actions #34

Updated by Hoffmann Dirk about 10 years ago

  • Due date changed from 01/24/2014 to 02/21/2014

Dirk Hoffmann wrote:

Aucun prognostic sur le calendrier ???

Echéance annoncée par Jean-René : 21 février.
(Travail préparatoire de nettoyage de la base d'utilisateurs à faire.)

Actions #35

Updated by ROUET Jean-René about 10 years ago

  • Target version set to Upgrade Redmine 2.5.1
Actions #36

Updated by ROUET Jean-René about 10 years ago

  • Target version deleted (Upgrade Redmine 2.5.1)
Actions #37

Updated by ROUET Jean-René about 10 years ago

  • Project changed from 144 to IN2P3-Forge
  • Category changed from Redmine to 360
  • Target version set to Upgrade Redmine 2.5.1
Actions #38

Updated by Hoffmann Dirk about 10 years ago

  • Assigned To changed from ROUET Jean-René to Barbier Cecile
  • % Done changed from 80 to 90

Je viens de confirmer que l'ajout d'un groupe (cta-support) dans la config des permissions fonctionne bien. Evidemment, je ne peux pas me faire passer pour tous les membres afin de valider que c'est vraiment effectif.

Peut-être un autre test à faire avant de clore le ticket : (cf. #4803-26 ci-dessus)

Hoffmann Dirk wrote:

Dirk Hoffmann wrote:

Cecile Barbier wrote:

Dirk, tu veux que je fasse quel test ?

Celui de #4803#note-15, sur un autre site (projet) ?

En fait, tu pourrais voir si ce que demande Karl fonctionnerait dans l'état actuel des choses sur https://forgedev.in2p3.fr/projects/cta_dm, en essayant de trouver un bug quelque part ;) ?

OK, Cécile ?

Actions #39

Updated by Barbier Cecile about 10 years ago

  • Status changed from Assigned to Closed
  • % Done changed from 90 to 100

Ok pour moi, la gestion des groupes fonctionne bien, les questions restantes et soucis en cours en lien avec le sujet ont été mis dans de nouveaux tickets, je ferme celui-ci.

Actions

Also available in: Atom PDF