[ Python ] Neural Network의 적당한 구조와 hyperparameter 찾는 방법

hyperparameter를 찾는 우리의 옵션은 몇 가지가 있다. 1. Hand Tuning or Manual Search 하나씩 시도해서 올바른 구조를 찾는 것은 굉장히 고된 일이다. 그러나 약간의 경험과 초기 결과에 대한 섬세한 분석은 도움이 될 수 있다. 2. Grid Search 최적화를 하기 위해서 원하는 각각의 범위를 정해서 통과시킨다. 그러나 이러한 방법은 다 해보기 때문에, 보고자 하는 파라미터가 많아질수록 시간이 많이 걸릴 것이다. 3. Random Search 모든 가능한 조합에서 랜덤하게 선택하는 방법으로 결국 Grid Search의 subset이 된다. 4. Bayesian Optimization/Other probabilistic optimizations 나도 개인적으로 제대로 최..

2019.09.08