nurion4hep / hep-cnn Goto Github PK

현재는 각 파일별로 signal process, background process에 해당하는 라벨을 붙이게 되어 있고,
전체 이벤트 수를 미리 파악해 웨이트를 계산해 파일에 같이 저장하고 있음.
이 방식은 나중에 데이터가 추가되는 경우 파일을 처음부터 다시 생성해 주어야 하기 때문에 비효율적인 측면이 있음.
또한 multi classification문제를 푸는 경우 적용이 불가능하게 되는 이슈가 있음.

따라서 디렉토리 경로나, 유저가 지정하는 바에 따라 라벨을 지정할 수 있게 하고
웨이트 역시 통계량을 바탕으로 training step에서 계산되도록 할 필요가 있음.

누리온에서 multiprocessing을 이용해 splited data로 읽을 때 성능이 개선되지 않는 문제가 있음.
누리온 KNL이 아닌 GPU환경에서는 성능 개선이 있으나, 64 node로 실행했을 때 기준으로 single processing로 단일 파일을 읽던 것에 비해 오히려 초기 로딩 시간이 길게 나타남.