GAN?

• 실제와 유사한 데이터를 만들어내는 생성모델

• 위조지폐 → 실제와 유사한 것을 만들어내는 예시

  • 위조지폐범 → 생성자(Generator): 실제와 동일한 데이터를 만들기 위해 노력
  • 탐정 → 판별자(Discriminator): 생성된 데이터가 진짜인지 아닌지를 판단
  • 처음에는 서로의 성능이 그렇게 좋지 않지만 학습을 거듭하면서 점점 발전

• 고양이 그림 예시

  

  • 고양이 그림을 그리는 GAN 모델에서 생성자와 판별자의 역할

  

  • 생성자 → 랜덤 노이즈로부터 실제 고양이 그림과 유사한 그림을 생성
  • 판별자 → 생성자가 만들어낸 고양이 그림과 실제 고양이 사진을 임의로 입력, 둘을 진짜/가짜로 구분하는 이진 분류 수행
  • 학습을 잘 마친 GAN 모델에서 생성자는 실제와 유사한 이미지를 생성하게 되어 판별자가 실제(Real)와 가짜(Fake)를 잘 구분해내지 못함 (정확도 = 0.5)

• MNIST 예제

  • DCGAN(Deep Convolution GAN)
    • 합성곱 층(Convolution Layer)으로 이루어짐

CycleGAN?

• DCGAN의 구조를 변경하여 만든 새로운 구조

• 지금까지 알아본 GAN은 학습했던 실제 이미지와 유사한 이미지를 생성자가 만들어 낼 수 있도록 학습한데 반해, 특정 이미지 도메인의 특성을 다른 이미지에 적용하는 작업이 가능

  • 과일의 색을 바꾸거나, 사진 속 계절을 변경하는 것

  

  

  • 특정 화가의 화풍을 다른 그림에 적용하는 등

• 장점

  • 서로 변환하고 싶은 두 스타일의 이미지를 따로 구하더라도 좋은 성능을 보임
    • 기존에 위 작업과 비슷한 작업을 수행하는 Pix2Pix 라는 모델에서는 Train 데이터셋을 구성할 때 레이블에 해당하는 데이터를 무조건 짝지어 주어야 했음 → 서로 짝지어지는 대량의 데이터를 구하기 어려움

• 원리

  • 예시: 갈색 말(A)과 얼룩말(B)의 스타일을 서로 변환하는 CycleGAN이 학습되는 방식

    
  1. 일단은 생성자를 2개 준비. 각각의 생성자는 A→B, B→A 로 이미지를 변경
  2. 판별자 역시 2개를 준비. 각각의 판별자는 A, B 에 대해 Real/Fake 를 판단
  • 사진 윗부분
    1. A 이미지를 입력하여 A→B 생성자를 통해 B 이미지를 생성한 후 B 판별자를 통해 판별합니다.
    2. 생성된 B 이미지를 B→A 생성자를 통해 다시 A 인풋과 같은 형태로 생성할 수 있도록 합니다.
  • 사진 아랫부분
    1. B 이미지를 입력하여 B→A 생성자를 통해 A 이미지를 생성한 후 A 판별자를 통해 판별합니다.
    2. 생성된 B 이미지를 A→B 생성자를 통해 다시 A 인풋과 같은 형태로 생성할 수 있도록 합니다.
  • 위와 같이 다시 돌아가는 과정(Cycle)을 거치는 이유는 무엇일까요?
    • CycleGAN은 비슷한 이미지에 대해 1:1 매칭을 시켜 이미지를 학습하는 것이 아니기 때문에A→B 혹은 B→A, 즉 이미지를 변환하면서 Input 정보가 유실되어 원본 이미지의 특성을 잃어버리게 될 수 있음
    • 원본 데이터로 돌아갈 수 있을 정도로만 변환을 진행