SparseCategorical Accuracy 사용 시 activation function 문의 about tensorflow-ml-nlp-tf2 HOT 2 CLOSED

안녕하세요.

말씀하신 CNN, RNN과 BERT, GPT2에서 sigmoid가 있고 없는 점에 대한 차이를 말씀해주셨는데요.

CNN, RNN에서 마지막 레이어에 activation function이 sigmoid가 되어있는 역할을 BERT와 GPT2에서는 SparseCategoricalCrossentropy 함수에 from_logits에서 설정을 합니다. 해당 값이 True로 되어있는 경우 probablistic distribution으로 표현을 해줍니다. 함수 명칭이 Categorical이라는 이름이 명시되어있는 것을 보아 softmax 함수를 사용할 것으로 보입니다.

CNN, RNN 모델에서도 마찬가지로 BinaryCrossentropy 함수에서도 마찬가지로 from_logits설정을 True로 해주시면 마지막 레이어에 sigmoid를 지정할 필요가 없습니다.

더 궁금한점이 있으시면 커멘트를 남겨주세요.

from tensorflow-ml-nlp-tf2.

더 이상 진행하는 내용이 없어 close 합니다.

from tensorflow-ml-nlp-tf2.