Optimization Function
-
최적화 함수 종류 및 개념(Optimization Function)Data Science/데이터마이닝 2022. 11. 11. 23:48
1. Gradient Descent(GD, 경사하강법) 함수의 기울기를 구하고 기울기의 반대 방향으로 이동시켜 최소값에 이르를때까지 반복하는 기법. ML모델의 최적화시에 전체 데이터를 모두 사용하기에 Batch Gradient Descent라고 부르기도 한다. 모든 데이터에 대한 loss를 구해야하기 때문에 많은 연산량을 요구한다. $$ w_{i+1} = w_{i}-\gamma _{i}\triangledown f(w_{i}) $$ \( \gamma \) : 이동 거리를 조절하는 매개변수, 흔히 Learning rate(학습률)로써 ML분야에서 쓰인다. \( \triangledown \) : 미분연산자를 의미한다. (nabla, 나블라) 2. Gradient Descent 종류에서 주의해야할 점 2.1 적..
-
Tensorflow 최적화 함수 종류(Optimization Function, tf.keras.optimizers) -작성중-Data Science/Tensorflow 2022. 10. 26. 22:39
1. 최적화 함수란(Optimization Function) 모델에서 정답값을 가장 잘 표현할수 있는 가중치를 구하는 방법 2. Tensorflow에서 제공하는 최적화함수 종류(tf.keras.optimizers) 2.1 SGD(Stochastic Gradient Descent,확률적 경사 하강법) 매개변수의 기울기(미분)을 통해서 기울어진 방향으로 값을 갱신하는 방식 방향성의 문제로 동선의 낭비가 심한 문제가 있다. 2.2 Adagrad(Adaptive Gradient) 학습을 진행해나가면서 학습률을 점차 감소시키는 방법(learning rate decay) 매개변수마다 각각 다른 학습률을 적용한다. 같은 입력 데이터가 여러번 학습되는 학습모델에 유용하다. Adagrad가 학습이 진행될수록 갱신량이 0..