jonhyuk0922 / hackerton Goto Github PK

Length of values (42804) does not match length of index (43576)

학습할때 조정 : train=train[['과제명', '요약문_연구내용','요약문_영문키워드','label']] 로 두가지 컬럼 추가 , lr 4e-5 and 10 에폭

아마 컬럼 추가한 거에서 뭔가 꼬인듯

for input_path, label_path in zip(train_input_files, train_label_files):
inp_img = cv2.imread(input_path)
targ_img = cv2.imread(label_path)
plt.figure(figsize=(15,10))
inp_img = cv2.cvtColor(inp_img, cv2.COLOR_BGR2RGB)
targ_img = cv2.cvtColor(targ_img, cv2.COLOR_BGR2RGB)
plt.subplot(1,2,1)
plt.imshow(inp_img)
plt.subplot(1,2,2)
plt.imshow(targ_img)
plt.show()
print(input_path, label_path, '\n')
break

5번째 줄에서 발생

정리해놓은 기술블로그랑 논문리뷰 하나씩 읽어보면서 구현해보기! (~6/22)

잔디에 왜 master branch 커밋한게 안뜨는 지?!

텐서플로우 버전 문제인듯 하나 아직 정확하지 않음

메모리 이슈로 배치사이즈 줄여주고 다시 돌림

pandas 데이터 불러올때 오류

위와 같이 killed 되는 건 대부분 메모리 오류일 확률이 높다고 한다.

tf.keras 모델 사용하여 save 할떄 발생 , bind 할 때 joblib 으로 병렬처리함

• lgbm 일때는 이상 없음
• joblib 대신 dump 쓰면 저장이 안됨

대용량 wav 음성파일 처리하면서 컴퓨터에 저장하기 부담스러워 드라이브에 저장한후 코랩으로 바로 불러옴.
불러오고 할당하는거까진했는데 wav 파일에서 librosa로 mel 등 특징 추출하다가 자꾸 RAM이 다운된다.
현재 코랩 프로 사용중인데 대용량 음성파일을 램을 덜 사용하면서 다룰 방법을 찾아봐야겠다.