[ Python ] Optuna Sampler 비교 (TPESampler VS SkoptSampler)

하이퍼파라미터를 튜닝하는 방법에는 여러 가지가 있다. 일단 기본적으로 GridSearch 나 RandomSearch 같은 방법이 있다. 하지만 이 방법론은 각 파라미터를 돌릴 뿐이지, 최적의 파라미터를 찾아주지는 못한다. 이런 것을 활용하기 위해서 Bayesian Optimization 방법론을 사용하여야 한다. 아래 그림 중에서 밑에 실제 결과라는 부분은 learning rate에 따른 일반화 성능 함수를 나타낸다. 그러나 우리는 저기에서 어떤 learning rate가 최적의 값인지를 알지 못한다. 그렇지만 실제로 딥러닝을 할 때는 저것을 순차적으로 한다면, 원하는 성능을 얻을 수 있다는 확신도 없이 계속 돌려야 한다. 그래서 많은 연구자들이 이러한 문제점을 해결하기 위해 병렬로 돌리는 것을 연구하였..

2020.01.24