머신러닝/딥러닝 하이퍼파라미터 최적화(ML/DL Hyperparameter Optimization)

1. 머신러닝/딥러닝 하이퍼파라미터 최적화란?

머신러닝 및 딥러닝 모델은 데이터로부터 모델 파라미터(가중치, weight, \(\theta\)를 스스로 학습해 나아간다.

그렇다면 하이퍼파라미터라는 것은 무엇일까?

이는 모델을 설계하면서 사람이 직접 정해주어야하는 값을 의미한다.

Tree 기법에서의 최대깊이(max depth) 또는 학습률(learning rate), k-means 기법에서의 군집개수(k) 등이 이에 해당한다.

모델에서 최적의 하이퍼파라미터 세팅을 찾기 위해서는 여러번의 설정 변경과 실험을 통해서 알아보는 수밖에 없다.

이때 최적의 하이퍼파라미터 세팅을 찾기위한 과정을 하이퍼파라미터 최적화라고 한다. 

 

아래에서는 ML/DL에서의 하이퍼파라미터 최적화 방법들에 대해서 알아본다.

 

2. Grid Search(격자 탐색)

Grid Search는 하이퍼파라미터의 모든 경우의 수에 대해서 실험해보는 방법이다. (즉, 전수조사이다)

최적의 값을 찾을 수 있는 가장 확실한 방법이지만, 그만큼 엄청난 시간을 소모한다.

한번 학습하는데 오래걸린는 모델의 경우 grid search로 최적화시 하루이틀로 끝나지 않을지도 모른다.

 

3. Random Search(무작위 탐색)

주어진 하이퍼파라미터 후보군으로부터 무작위로 표본을 추출한 후, 이에 대해서만 grid search를 수행한다.

Grid search에 비해서 확연히 적은 시간을 소모하지만, 찾아진 값이 정말 최적의 값인지는 보장할 수 없다.

그러나 일반적으로 표본의 수가 60개 이상인 경우에서는 grid search에 근사한 성능을 보인다고 알려져 있다.

(Random Search for Hyperparameter Optimization,  James Bergstra, Yoshua Bengio)

 

4. Bayesian Search(베이지안 탐색)