1. 순전파 (Forward Propagation)
   1. 입력층에서 입력된 신호가 은닉층의 연산을 거쳐 출력층에서 값을 내보내는 과정
      1. 입력된 데이터에 가중치-편향 연산 —> 가중합—> 활성화 함수 —> 출력층

1. 손실함수

   1. 순전파를 통해 출력된 값과 타겟값의 차이 (loss/error)를 계산
   2. Ex. MSE (Mean-Squared Error), CEE (Cross-Entropy Error)

2. 역전파 (Backward Propagation)

   1. 순전파 (입력 → 은닉 → 출력)와 반대 방향으로 손실 정보를 전달해서 가중치를 업데이트 하는 과정

      1. 순전파 → 손실함수 → 역전파 (반복)

         1. 손실의 최소화를 목표로 가중치를 업데이트 하고 그 과정을 반복함.
         2. 가중치 수정 방법? = 경사 하강법(Gradient Descent)

         

         • 기울기가 양수(+) 일때는 왼쪽(-)
         • 기울기가 음수(-) 일때는 오른쪽(+)
         1. 편미분/Chain Rule
            1. 역전파의 중요한 메커니즘으로 가중치 갱신되는 과정에서 사용됨.
            2. 특정 가중치에 대한 기울기는 손실함수를 해당 가중치로 편미분 해서 구함.

               1. 여기서 Chain Rule 적용

                  

***역전파 예시

1. Optimizer
   1. 경사를 내려가는 방법을 결정하는 과정
   2. 보폭 설정.
      1. 보폭이 너무 낮으면 목표까지 못가고 너무 크면 목표를 놓칠수 있음.
      2. Gradient Descent , Stochastic Gradient Descent, Mini-Batch Gradient Descent, Adam, Adagrad 등 다양한 방법들이있음 (GD는 거의 사용안함)
      3. Batch Size
         1. 데이터로 미니 배치를 구성한 것의 사이즈
      4. Iteration

         1. of Data = Batch_size x Iteration