https://medium.com/syncedreview/gaussian-error-linear-unit-activates-neural-networks-beyond-relu-121d1938a1f7 Gaussian Error Linear Unit Activates Neural Networks Beyond ReLU Results of the various experiments show GELU consistently has the best performance compared with ReLU and ELU. medium.com GELU에 대해서 간단하게 알아보자 ## Google Bert def gelu(x): """Gaussian Error Linear Unit. This is a smoother ver..

새로운 activation을 소개하는 논문이 나왔다. 일단 논문은 안읽고 바로 적용하면서 부분적으로 읽어서 좋은 점만 알아보는 걸로... def relu(x): return max(0,x) def swish(x) : return x * tf.nn.sigmoid(x) def mish(x) : return x * tf.nn.tanh( tf.nn.softplus(x)) mish를 사용하니, 평균 정확도도 올라가고 정점의 정확도도 올라가는 것을 확인했다고 함. 왜 Mish가 잘 되는지? 1. 위에 무한이 있으면(즉, 양의 값이 어떤 높이로든 갈 수 있음) 캡핑으로 인한 포화를 피할 수 있다. 2. 약간의 음수를 허용해서 relu zero bound 보다는 gradient 가 더 잘 흐르게 함. 마지막으로 현재 ..

https://towardsdatascience.com/gentle-introduction-to-selus-b19943068cd9 A first Introduction to SELUs and why you should start using them as your Activation Functions A first introduction to SELUs, their relation to ReLUs as well as the issues of vanishing gradients and normalization. towardsdatascience.com 기존에 포스팅하고자 했더 selu를 쓰라고 했는데, 다른 함수에 대한 설명들도 있길래, 일단 끄적여본다. 일단 selu가 relu보다 좋은 점은 다음과 같다고..