N411: 퍼셉트론, 인공신경망

퍼셉트론

• 신경망을 이루는 가장 기본 단위

• 다수의 신호를 입력받아 하나의 신호를 출력하는 구조

  

1. 가중합(Weighted Sum): 가중치(Weight)-편향(bias) 연산
2. 활성화 함수(Activation function)
   • 신경망의 출력(가중합)을 어떻게 출력할지 결정

활성화 함수

1. 계단 함수(Step function)

   • 입력값이 임계값(여기서 0)을 넘기면 1을, 그렇지 않으면 0을 출력

2. 시그모이드 함수(Sigmoid function)

   • 신경망이 경사 하강법을 통해 학습하기 위해 미분이 필요하지만, 계단 함수는 임계값 지점에서 미분이 불가능하고 나머지 지점에서는 미분값이 0

     → 이를 해결하기 위해 sigmoid 함수를 사용

   • 모든 지점에서 미분 가능하고 미분값도 0이 x

   

3. ReLU 함수(ReLU function)

   • 시그모이드 함수의 기울기 소실 문제를 해결하기 위해서 등장
   • 양의 값이 입력되면 그 값을 그대로 출력 & 음의 값이 입력되면 0을 반환

4. 소프트맥스 함수(Softmax function)

   • 다중 분류(Multi-classification) 문제에 적용할 수 있도록 시그모이드 함수를 일반화함
     • 가중합 값을 소프트맥스 함수에 통과시키면 모든 클래스의 값의 합=1

논리 게이트

• 퍼셉트론의 가장 단순한 형태

  1. AND: 입력 신호가 모두 1(True)일 때 1(True)을 출력

  

  1. NAND(Not AND): AND 게이트의 결과의 반대를 출력

  

  1. OR: 입력 신호 중 하나만 1(True)이라도 1(True)을 출력

  

  1. XOR: 입력 신호가 다를 경우 1(True)을 출력

     • 초기에 퍼셉트론의 한계로 지적되었음

     

인공 신경망

• 실제 신경계를 모사하여 만들어진 계산 모델
• 다층 퍼셉트론 신경망(Multi-Layer Perceptron, MLP)
  • 퍼셉트론을 여러 개의 층으로 쌓아 구축한 신경망
• 구성
  • 입력층**(Input Layer)**
    • 데이터셋 입력
    • 데이터셋의 특성(Feature)에 따라 노드의 수 결정
  • 은닉층(Hidden Layer)
    • 입력층으로부터 입력된 신호가 가중치, 편향과 연산되는 층
  • 출력층(Output Layer)
    • 은닉층 연산을 마친 값이 출력됨
      • 이진 분류(Binary Classification)
        • 활성화 함수: 시그모이드(Sigmoid) 함수
        • 출력층의 노드 수 = 1
        • 출력되는 값이 0과 1 사이의 확률값
      • 다중 분류(Multi-class Classification)
        • 활성화 함수: 소프트맥스(Softmax) 함수
        • 출력층의 노드 수 = 레이블의 클래스(Class) 수
      • 회귀(Regression)
        • 일반적으로는 활성화 함수를 지정해주지 x
        • 출력층의 노드 수 = 출력값의 특성(Feature) 수와 동일

N412: 역전파

손실함수

• 순전파를 통해 출력된 값과 타겟값의 차이 (loss/error)를 계산
  • 순전파: 입력층에서 입력된 신호가 은닉층의 연산을 거쳐 출력층에서 값을 내보내는 과정
  • ex) MSE (Mean-Squared Error), CEE (Cross-Entropy Error)