Neural Network를 학습하기 전에 Normalize를 왜 해줘야 할까?

medium을 보다가 평소에 관심을 가진 주제에 대한 글이 있어서 보기로 하였습니다. 단순 번역일 것 같으니, 원본은 아래에 링크를 남겼습니다! 실제로 기존에 뉴럴 넷을 학습시킬 때는 다 데이터를 normalize를 해줍니다. 금액이든 , 나이든 변수 같은 것을 다 0 주변으로 모아준다는 이야기죠 보통 그렇게 하면 장점이 있다고 합니다. 학습이 빨라진다. 수렴을 빨리한다. 참고로 요즘은 sigmoid activation을 NN에서는 거의 안 쓴다고 합니다. 다 알다시피, backpropagation 문제도 있죠? Vanishing gradient 나 exploding gradient 이 글에서는 tanh 와 sigmoid로 비교를 합니다. 결론은 tanh가 좋다는 겁니다. Sigmoid (=logisti..

2019.05.17