하이퍼파라미터란?
- 학습률
- hidden layer 개수
- 미니배치 사이즈
- learning rate decay
과 같이 값에 따라 모델의 성능에 영향을 줄 수 있는 변수
하이퍼 파라미터 튜닝을 하는 이유?
- 하이퍼 파라미터의 값에 따라 모델의 성능이 달라지며, 목표로 하는 성능의 모델을 만들기 위해서는 적절한 하이퍼 파라미터 값 설정이 요구됩니다.
- 그래서 하이퍼 파라미터에 임의로 값을 할당해보며 목표로 하는 성능 이상의 모델이 만들어지는 하이퍼 파라미터 셋을 찾아야 합니다.
- 기존 Kubeflow에서 이러한 하이퍼파라미터 튜닝을 자동화하기 위해 katib라는 모듈을 사용합니다.
Search Algorithms
- Random Search
- Grid Search
- Bayesian Optimization
Katib
아래 과정의 자동화