RAdam
-
최적화 함수 종류 및 개념(Optimization Function)Data Science/데이터마이닝 2022. 11. 11. 23:48
1. Gradient Descent(GD, 경사하강법) 함수의 기울기를 구하고 기울기의 반대 방향으로 이동시켜 최소값에 이르를때까지 반복하는 기법. ML모델의 최적화시에 전체 데이터를 모두 사용하기에 Batch Gradient Descent라고 부르기도 한다. 모든 데이터에 대한 loss를 구해야하기 때문에 많은 연산량을 요구한다. $$ w_{i+1} = w_{i}-\gamma _{i}\triangledown f(w_{i}) $$ \( \gamma \) : 이동 거리를 조절하는 매개변수, 흔히 Learning rate(학습률)로써 ML분야에서 쓰인다. \( \triangledown \) : 미분연산자를 의미한다. (nabla, 나블라) 2. Gradient Descent 종류에서 주의해야할 점 2.1 적..