Segmentation

• 이미지에서 픽셀 단위의 같은 의미를 가지고 있는 부분을 구분

Semantic Segmentation vs (Semantic) Instance Segmentation

• 의미적 분할(Semantic Segmentation): 동일한 의미를 가진 모든 개체에 대해 동일한 라벨링
• Instance Segmentation: 동일한 의미를 가져도 각 개체를 다르게 라벨링함

Segmentation Model

• FCN(Fully Convolutional Networks)

  

  • CNN의 분류기 부분 = 완전연결신경망 부분을 합성곱층으로 대체한 모델

  • Segmentation은 픽셀 단위로 분류가 이루어지기 때문에 픽셀의 위치 정보를 끝까지 보존해야 하는데, 완전연결신경망은 위치정보를 무시함 → 합성곱 층으로 모두 대체하여 해결

  • upsampling: 픽셀별로 분류하기 때문에 원본 이미지 크기와 비슷하게 크기를 복원하는 과정

    • Transpose Convolution을 적용
      • 각 픽셀에 커널을 곱한 값에 stride을 주어 크기를 키움

• U-Net

  https://medium.com/@msmapark2/u-net-논문-리뷰-u-net-convolutional-networks-for-biomedical-image-segmentation-456d6901b28a

  

  • downsampling에서는 convolution과 maxpooling으로 이미지 특징을 추출
  • upsampling에서는 convolution과 transpose convolution을 거쳐 원본의 크기로 복원
    • 여기서 downsampling에서 출력된 feature map을 잘라서 추가해 추가 데이터로 사용 (Concatenate)

객체 탐지(Object Detection)

• 이미지에서 레이블에 맞는 객체를 찾아내는 것
• bounding box(bbox) 안의 객체가 속하는 클래스에 따라 분류
• IoU
  • 객체 탐지 평가 지표
  • 실제 bbox와 예측된 bbox의 교집합 / 두 bbox의 합집합

• 어떤 단계를 거쳐 분류를 진행하는지에 따라 2-stage 방식, 1-stage 방식으로 구분됨

  • 2-stage Detector

    

    • Selective search나 Region proposal network 등과 같은 알고리즘으로부터 객체가 있을 만한 곳을 추천받고 (= regional proposal), 추천받은 지역인 **RoI(= Region of Interest)**에 대해 convolution network를 통해 분류를 수행
    • regional proposal(=localization)과 classification이 순차적으로 진행됨
      • localization: 물체의 위치 찾기
    • **R-CNN계열(R-CNN, Fast R-CNN, Faster R-CNN 등)**의 모델이 대표적

  • 1-stage Detector

    

    • 추천받지 않고 입력된 이미지를 grid와 작은 공간으로 나눈 후 해당 공간을 탐색하면서 분류를 수행
    • RoI 영역을 먼저 추출하지 않고, 전체 이미지에 대해 convolutional network로 classification과 box regression( = localization)을 수행
    • regional proposal(=localization)과 classification이 동시에 진행됨
    • SSD(Single Shot multibox Detector)계열과 YOLO(You Only Look Once)계열의 모델이 대표적

1-stage detector vs 2-stage detector

• 1-stage detector는 상대적으로 빠르지만 정확도가 낮음 ↔ 2-stage detector는 상대적으로 정확도는 높지만 속도가 느림
  • 1-stage의 경우, 여러 객체가 함께 있는 전체 이미지에서 classification과 localization을 진행하기 때문에 정확도가 더 떨어지지만 간단하고 쉬워서 속도가 빠름