https://stackoverflow.com/questions/38286717/tensorflow-regularization-with-l2-loss-how-to-apply-to-all-weights-not-just TensorFlow - regularization with L2 loss, how to apply to all weights, not just last one? I am playing with a ANN which is part of Udacity DeepLearning course. I have an assignment which involves introducing generalization to the network with one hidden ReLU layer using L2 los..

도움이 되셨다면, 광고 한번만 눌러주세요. 블로그 관리에 큰 힘이 됩니다 ^^ 보통 데이터를 분석 시, https://data-newbie.tistory.com/121 Neural Network를 학습하기 전에 Normalize를 왜 해줘야 할까? medium을 보다가 평소에 관심을 가진 주제에 대한 글이 있어서 보기로 하였습니다. 단순 번역일 것 같으니, 원본은 아래에 링크를 남겼습니다! 실제로 기존에 뉴럴 넷을 학습시킬 때는 다 데이터를 normalize를 해.. data-newbie.tistory.com 일단은 Neural Network를 학습을 시 킬 때, 좀 더 학습을 빠르고 안정되게 하기위해서 해주는데요! 이번에는 좀 더 넓은 범위에서 왜 Normalize , Standardize , Resc..

medium을 보다가 평소에 관심을 가진 주제에 대한 글이 있어서 보기로 하였습니다. 단순 번역일 것 같으니, 원본은 아래에 링크를 남겼습니다! 실제로 기존에 뉴럴 넷을 학습시킬 때는 다 데이터를 normalize를 해줍니다. 금액이든 , 나이든 변수 같은 것을 다 0 주변으로 모아준다는 이야기죠 보통 그렇게 하면 장점이 있다고 합니다. 학습이 빨라진다. 수렴을 빨리한다. 참고로 요즘은 sigmoid activation을 NN에서는 거의 안 쓴다고 합니다. 다 알다시피, backpropagation 문제도 있죠? Vanishing gradient 나 exploding gradient 이 글에서는 tanh 와 sigmoid로 비교를 합니다. 결론은 tanh가 좋다는 겁니다. Sigmoid (=logisti..