Project

General

Profile

Actions
Copy link

Task #60683

closed

Task #49925: WP 6: first level trigger (FLT)

Task #49928: WP 6.3: testbench

Task #51438: test bench pour DL: CNN

CNN performance et nombre de traces pour l'entrainement

Added by Colley Jean-Marc 7 months ago. Updated about 2 months ago.

Status:
Closed
Priority:
Normal
Assigned To:
Colley Jean-Marc
Category:
-
Start date:
04/18/2024
Due date:
% Done:

100%

Estimated time:
Remaining (hours)0.0

Description

  • Déterminer si pour 1000 traces (3D) la convergence est suffisantes pour les CNN 2 et 3 couches
  • Voir l’évolution de la performance suivant le nombre de traces pour l'entrainement

Files

Download all files
ICRC_accuracy_versus_nb_background.png (186 KB) ICRC_accuracy_versus_nb_background.png Colley Jean-Marc, 04/18/2024 12:44 PM
CNN_2_layer_accuracy_nb_background.png (182 KB) CNN_2_layer_accuracy_nb_background.png Colley Jean-Marc, 04/18/2024 12:45 PM
Actions
Copy link
 #1

Updated by Colley Jean-Marc 7 months ago

Fait dans le package NUTRIG1:


commit 788ff2333892258a5dfee41f193c495595792a5e (HEAD -> master, origin/master, origin/HEAD)
Author: luckyjim <jcolley@lpnhe.in2p3.fr>
Date:   Thu Apr 18 14:35:49 2024 +0200

    test accuracy versus nb background

Et la version 2.15 de tensorflow

Actions
Copy link
 #2

Updated by Colley Jean-Marc 7 months ago

Pour le CNN 3 couches présenté à l'ICRC

See "Identification of air shower radio pulses for the GRAND online trigger" By S. Le Coz

https://forge.in2p3.fr/dmsf/files/19639/view

Actions
Copy link
 #4

Updated by Colley Jean-Marc 7 months ago

Conclusion,

  • 1000 traces de background sont insuffisantes pour avoir atteindre les performances présentées à l'ICRC pour les 2 réseaux de neuronne.
    • étonnement, la version CNN 2 couches avec moitié moins de paramètres (14.000 à la place de 28.000) se comporte plus mal que la version 3 couches (ICRC) avec moins de données d’entraînement. Il faut atteindre ~ 4000 traces de background pour avoir un résultat équivalent.
  • L'évolution suivant le nombre de données d'entraiement est nette, 4000 semble être le minimum pour les réseaux convergent vers la même accuracy.
  • le data set ICRC "n'a que" 3945 traces de background, remarque on ajoute autant de trace "ok simulé". Finalement cela serait intéressé d'augmenter ce nombre pour voir où l'accuracy converge.
Actions
Copy link
 #5

Updated by Colley Jean-Marc about 2 months ago

  • Status changed from Assigned to Closed
  • % Done changed from 0 to 100
  • Remaining (hours) set to 0.0
Actions
Copy link

Also available in: Atom PDF