미분 → 변화율 계산!
-
함수를 작게 나눔으로써.
-
미분의 정의 : 특정값 a에 대해 나오는 결과값의 변화율.
최적화와 미분의 관계
-
최적화 : 여러 가지 해결 방안 중 가장 적합한 것을 찾아가는 과정.
-
물건 구입할 때 가성비를 따지듯 공학 문제에서 너무 크지도 않으면서 작지도 않은 가장 적당한 조건을 찾는 것!
-
목적함수(objective function) : 최적화 문제에서 대상이 되는 함수
-
제한조건(constraint) : 목적함수에서 주어지는 특정 조건이나 변수의 범위
-
선형 관계로 주어지지 않는 대부분의 최적화 문제는 목적함수가 위로 볼록하거나 아래로 오목하여 미분값이 영이 되는 지점을 찾으면 됨. ← 이 때 미분 이용
-
최저점 찾기 알고리즘 : 목적함수가 수식으로 주어지면 기울기가 영인 지점을 찾으면 되지만, 데이터값으로 주어지는 경우에는 최저점을 찾기 위한 수치해석 알고리즘 필요.
- 변수가 하나일 때 : 함수가 감소하는 방향으로 계속 진행
- 변수가 여러 개일 때 : (눈을 가리고 산에서 내려오는 것처럼) 방향 잡기가 어려움. 이 때 빨리 내려오려면, 임의의 방향으로 방향을 바꾸는 것보다 기울기가 가장 급한 방향 즉 그래디언트 방향(물이 흘러내리는 방향 또는 등고선에 수직방향)으로 움직이는 것이 좋음. → 경사하강법(gradient descent method)!
-
손실 함수(loss function)(=오차 함수) : 예측 결과 - 실제 결과
- 이를 최소화하려면 손실함수의 그래디언트를 계산해야 함. 하지만 데이터 양이 많을 경우 무작위로 선정한 몇 개의 데이터를 써서 확률적으로 손실함수의 그래디언트를 추정.
- 정확하진 않지만 신속하게 다음 지점으로 이동 가능. 이를 확률경사하강법(stochastic gradient descent)이라고 부름.
수치 해법(numerical method) : 미분의 정의를 이용할 때, 분모를 실제로 0으로 할 수는 없기에 0이 아닌 작은 수를 이용함. 보통 1e-05를 사용.
머신러닝에서 대표적으로 쓰이는 미분 공식
