Ftrl
-
Tensorflow 최적화 함수 종류(Optimization Function, tf.keras.optimizers) -작성중-Data Science/Tensorflow 2022. 10. 26. 22:39
1. 최적화 함수란(Optimization Function) 모델에서 정답값을 가장 잘 표현할수 있는 가중치를 구하는 방법 2. Tensorflow에서 제공하는 최적화함수 종류(tf.keras.optimizers) 2.1 SGD(Stochastic Gradient Descent,확률적 경사 하강법) 매개변수의 기울기(미분)을 통해서 기울어진 방향으로 값을 갱신하는 방식 방향성의 문제로 동선의 낭비가 심한 문제가 있다. 2.2 Adagrad(Adaptive Gradient) 학습을 진행해나가면서 학습률을 점차 감소시키는 방법(learning rate decay) 매개변수마다 각각 다른 학습률을 적용한다. 같은 입력 데이터가 여러번 학습되는 학습모델에 유용하다. Adagrad가 학습이 진행될수록 갱신량이 0..