Andrew NG Regularization 중 인상깊었던 것만

## Edwidth  https://www.edwith.org/deeplearningai2/joinLectures/20015 

심층 신경망 성능 향상시키기 강좌소개 : edwith

• Regularization
  • Overfitting  방지
  • Dropout 은 몇개를  제외함으로써  특정변수의 의존도를 줄여서 분산을 크게하는식
  • Input 에서는 거의 0.999 나 1 
  • Overfitting 이 발생될것같은곳만 하기
  • 이미지에서는 일반적으로 사용하나 일단 오버피팅이 나는지 체크해보고 하는 것이 좋음
  • 이미지는 픽셀 단위고 데이터가 적어서 overfitting이 많이 일어나므로 한다고 함
• l1 norm 거의 사용 x
• L2norm = weight decay 와 같은 효과
• Dropout 도 마찬가지로 정규화 효과를 준다

• Regularization 문제점
  •  목적함수가 잘 정의가 안된다고 함
  • 그래서 처음에는 안해보고 목적함수가 단조감소하는 체크하고 다시 해보고
  • Test에서는 dropout  사용 x

 

• 대박팁  몰랐던 사실
• 정규화할 시 train으로한 정규화값을  그대로 test에 사용해야한다(그래야 같은 기준이 되므로)
•  정규화를 해야하는 이유는 J 목적함수에서 최적화시에 정규화를 하면 더 빠르게 suboptimal에 도달 할 수 있게된다.
•  scale 차이가 안나면 그냥 해도 되지만 해도 상관은 없기 떄문에 하는 것을 권장.