qudgns5129 / pill_classification Goto Github PK

우선 AlexNet을 돌려보았을 때, 성능이 안나오는 것을 확인하였고,

모델은 batch size = 8, epochs = 64, optimizer = adam, loss function = categorical_crossentropy를 사용
batch size가 클 경우 memory error가 발생함... 이 문제도 해결해야함(resourceExhaustedError)

-> 이에 대해 데이터의 개수가 적은 것을 이유로 생각하였습니다.

또한 혈액 대용제, 기타의말초신경용약 등의 특정 알약에 대한 데이터가 10개가 넘지 않는 것을 확인하였습니다.

한번 이에 대한 데이터를 삭제하고 진행한 이후, 성능이 더 향상되지 않는지 확인해보겠습니다.

그리고 예측 변수에 대해 다시 한 번 생각해 보았습니다. 모든 약이 원형이기 때문에 약의 색상만으로 약의 분류명을 예측하는 과제인데, 성능이 안나오는게

• 단순히 데이터 개수의 부족으로 인해 발생하는 건지
• 색상과 약의 분류명은 상관관계가 전혀 없어서 발생하는 현상인지

에 대한 고찰을 해보았습니다. 근데 http://m.dailypharm.com/newsView.html?ID=198983 이 사이트에 의거하면 약의 색상이 약의 분류명과 관련이 있다고 합니다.

데이터 샘플

이러한 형식으로 총 8,822개의 데이터가 .jpg 형식으로 저장되어 있습니다.

데이터 출처 Link

전처리 관련 연구 링크 : https://github.com/emmaremy/pill-images
모델 관련 연구 링크

문제 배경 : 대형 병원에서 환자의 호전 상태에 따라 처방이 바뀌거나 하는 일이 발생하면, 조제되었으나 투약되지 않은 약은 회수하게 된다. 약사는 이렇게 회수된 수백 종류의 알약을 재분류하는 작업을 하고 있다.

문제 정의 : 이미지의 색상 정보를 가지고 약품명 예측하기, 글자 인식 X -> 인간의 직관과 비슷한 모델을 만들기 위함(보다 직관적인)

< 모델 구조 >
detection + classification
전처리 단계 또는 모델 내 레이어 : 이미지에서 알약 detection 하기
INPUT : 이미지 RGB 3채널의 픽셀값
OUTPUT : 약품명
OUTPUT이 여러 개인 경우 고려 O -> multi-label classification

진행 순서 : ① 비교논문 서치 ② 전처리 방식 제고 ③ adobe 연구원의 antialiased-cnn 모델 적용하기

abode 모델 링크 : https://github.com/adobe/antialiased-cnns

의약품 안전나라 : https://nedrug.mfds.go.kr/cntnts/80
위의 사이트에서 제공하는 공공데이터 개방 목록에 "의약품 낱알 식별" 라는 .csv 엑셀 데이터를 활용하였으며, 칼럼 중 '큰 제품 이미지' 칼럼에 첨부되어 있는 링크를 다 가져와서 이미지를 저장하였습니다.

개방 사이트에서는 데이터 사용 권한을 다음과 같이 명시하였습니다.

이 데이터를 논문에서 사용할 수 있는건가요? 위의 내용 중
"공공기관이 이용자에게 정보를 재활용할 수 있도록 제공하고, 제공받은 정보를 상업적, 비영리적으로 이용할 권한을 부여하는 것" 이라고 명시되어 있는데, 출처만 밝히면 되는 거 아닌가요?

알약부분만 segmentation한 후

위와 같은 이미지를 얻고 싶은데

1. 이미지를 바이너리 이미지로 변환
2. sobel gradient 적용
3. 가장 바깥의 컨투어만 찾기(글자를 컨투어로 인식하여서 이를 없애기 위함)
   이러한 방식으로 진행하게 되면
   
   이런 이미지에 대해서는 잘 찾지만
   
   이렇게 알약이 작게 찍힌 이미지나, 줄자의 형태가 큰 데이터에 대해서는 이미지 분할을 못하게 됩니다...
   여러 필터를 입혀보았지만 sobel이 그나마 나은 필터였고, 교수님이 추천해주신 논문에서 Pill localization 하는 부분을 참고하여 방식을 구상하였지만, 저 논문에서는 아마 image가 좀 더 pure한 상태의 데이터에서 DB를 구축한 것으로 보여집니다... 어떻게 해야 segmentation을 더 잘할 수 있는지 자문을 구하고 싶습니다