N421. Count-Based Representation

Natural Language Processing (NLP) ; 자연어처리

• 자연어 / 인공어를 구분하는 개념
  • 자연어: 우리가 일상적으로 쓰는 언어
  • 인공어: 코딩
• 자연어로 할 수 있는 것들
  • Natural Language Understanding (NLU) 자연어 이해
    • Classification 분류
    • Natural Language Inference (NLI) 자연어 추론
    • Machine Reading Comprehension (MRC) 기계독해
    • POS Tagging 품사태깅
    • Named Entity Recognition 개체명 인식
  • Natural Langage Generation (NLG) 자연어 생성
    • 텍스트 생성
      • 뉴스 기사, 가사 생성 등등

1. 텍스트 전처리 (Text Processing)

• 자연어 처리의 절반 이상을 차지
• 전처리를 해야하는 이유 : 차원의 저주 (Curse of Dimensionality)
  • 전체 말뭉치에 존재하는 단어의 종류가 데이터셋의 Feature / 차원이 된다 ( ~ 데이터셋의 설명력)
  • → 단어의 종류를 줄어주어야 차원의 저주를 어느정도 해결할 수 있음
  • Tokenizer
    • Token : 쪼갠 단어들의 단위
• 전처리 방법들
  • 대소문자 통일
  • 정규 표현식 (Regular expression, Regex) - 대소문자, 숫자를 제외한 문자들을 처리
  • 불용어 (Stop words) 처리 - 도움이 안되는 단어들 제외
  • 통계적 트리밍 - 말뭉치 내 너무 많거나 적은 토큰을 제거
  • 어간 / 표제어 추출 (Stemming / Lemmatization)
    • 어간추출: 단어의 의미가 포함된 부분만 추출 (argue, argued, argus → argu)
    • 표제어 추출: 기본 사전형 단어 형태인 표제어로 변환 (wolves → wolf)

2. 벡터화 (Vectorization)

• 자연어 → 컴퓨터가 이해할 수 있는 벡터 (컴퓨터는 자연어 자체를 받아들일 수 없음)
  • 두 가지 방법
    1. 등장 횟수 기반의 단어 표현 (Count-Based Representation) - 단어가 문서/문장에 등장하는 횟수를 기반
       1. Bag of Words - CounterVectorizer
       2. TF-IDF - TfidfVectorizer
    2. 분포 기반 (Distributed Representation) - 타겟 단어 주변에 있는 단어를 기반
       1. Word2Vec
       2. GloVe
       3. fastText

3. 등장 횟수 기반의 단어 표현 (Count-Based Representation)

• 목적: 단어가 특정 문서(혹은 문장)에 들어있는 횟수를 바탕으로 해당 문서를 벡터화함.
  • Bag of Words (CountVectorizer 적용) : Term Frequency (TF)
    • 순서 무시
    • 단어들의 빈도만 고려하여 벡터화
  • TF-IDF - 다른 문서에 적게 등장하는 단어에 가중치는 두는 방법

N422. 분포 기반의 단어 표현

(Distributed Representation)

분산 기반의 표현 Distributed Representation

• 단어 자체를 벡터화
• 분포 가설을 토대로 주변 단어의 분포에 따라 단어의 벡터 표현이 결정됨
  • 분포 가설: 비슷한 의미를 지닌 단어는 주변 단어의 분포도 비슷하다
• 단어 벡터화 방법?

  1. 원핫 인코딩

     • I : [1 0 0 0]

       am : [0 1 0 0]

       a : [0 0 1 0]

       student : [0 0 0 1]

     • 단점: 단어 간의 유사도를 구할 수 없음

       • 두 벡터 간의 내적이 항상 0이 되기 때문에 단어 간의 관계를 파악할 수 없음

         

  2. 임베딩

     • 원핫 인코딩의 단점을 해결

     • 단어를 차원이 일정한 벡터로 나타냄

       • [0.04227, -0.0033, 0.1607, -0.0236, ...]

         → 각 요소가 연속적인 값

     • 예) Word2Vec 등

Word2Vec

• 임베딩 방법 중 하나