What is Label Smoothing? - 리뷰 (Overconfidence)

Lable Smoothing - Neural Netowork 모델 덜 과신하게 만드는 기술 딥러닝 문제로 분류 문제에 사용할 때, 보통 다음과 같은 문제에 직면하게 된다. ( Overfitting, overconfidence ) Overfitting은 많이 연구가 되고 있고, Early Stopping, Dropout, Weight Regularization etc 등을 해결할 수 있다. 반면에 Overconfidence는 아직 해결할 툴은 적어 보인다. Label Smoothing은 2가지 문제들에 대해서 해결할만한 regularization technique이라고 한다. Overconfidence and Calibration 만약 결과값의 예측된 확률들이 정확도에 반영한다면 분류 모델은 calibra..

2020.01.04