도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 2017년도 Feed Forward NN (FNN)에 관한 논문 CNN, RNN은 성공하고 있지만, FNN 쪽은 성능이 잘 안 나오고 있다. FNN 은 shallow layers 에서는 잘 되지만, 점점 깊어질수록 성능이 떨어지는 단점이 있다. 이 논문에서는 high level representation을 할 수 있게 하는 self-normalizing nn(SNN)을 제안한다. batch norm을 쓰면 명시적으로 정규화를 할 수 있지만 SNN을 쓰면 자동적으로 소말 라이징 하게 된다. snn의 활성화함수는 scaled exponential linear units(selu)를 사용한다. 바나흐 고정점 정리를 이용하여 우리는 ..

https://towardsdatascience.com/gentle-introduction-to-selus-b19943068cd9 A first Introduction to SELUs and why you should start using them as your Activation Functions A first introduction to SELUs, their relation to ReLUs as well as the issues of vanishing gradients and normalization. towardsdatascience.com 기존에 포스팅하고자 했더 selu를 쓰라고 했는데, 다른 함수에 대한 설명들도 있길래, 일단 끄적여본다. 일단 selu가 relu보다 좋은 점은 다음과 같다고..