Tensorflow 최적화 함수 종류(Optimization Function, tf.keras.optimizers) -작성중-

1. 최적화 함수란(Optimization Function)

모델에서 정답값을 가장 잘 표현할수 있는 가중치를 구하는 방법

출처: 하용호, 자습해도 모르겠던 딥러닝, 머리속에 인스톨 시켜드립니다(https://www.slideshare.net/yongho/ss-79607172)

2. Tensorflow에서 제공하는 최적화함수 종류(tf.keras.optimizers)

2.1 SGD(Stochastic Gradient Descent,확률적 경사 하강법)

매개변수의 기울기(미분)을 통해서 기울어진 방향으로 값을 갱신하는 방식

방향성의 문제로 동선의 낭비가 심한 문제가 있다.

2.2 Adagrad(Adaptive Gradient)

학습을 진행해나가면서 학습률을 점차 감소시키는 방법(learning rate decay)

매개변수마다 각각 다른 학습률을 적용한다.

같은 입력 데이터가 여러번 학습되는 학습모델에 유용하다.

Adagrad가 학습이 진행될수록 갱신량이 0으로 수렴하여 더이상 학습되지 않는 문제를 가지고있다.

2.3 RMSprop

Adagrad가 학습이 진행될수록 갱신량이 0으로 수렴하여 더이상 학습되지 않는 문제를 해결하기 위해서,

먼 과거의 기울기는 점차 잊고 새로운 기울기 정보에 더 비중을 두어 반영한다.

2.4 Adam(Adaptive Moment Estimation)

Momentum과 RMSprop를 합친 경사하강법

opt = tf.keras.optimizers.Adam(learning_rate=0.1)

2.5 Adadelta

AdaDelta는 Adagrad, RMSprop, Momentum 모두를 합친 경사하강법

2.6 Adamax

2.7 Ftrl

2.8 Nadam

2.9 Optimizer