메인 용어들:

• 말뭉치(Corpus) : 특정한 목적을 가지고 수집한 텍스트 데이터
• 문서(Document) : 문장(Sentence)들의 집합
• 문장(Sentence) : 여러 개의 토큰(단어, 형태소 등)으로 구성된 문자열. 마침표, 느낌표 등의 기호로 구분
• 어휘집합(Vocabulary) : 코퍼스에 있는 모든 문서, 문장을 토큰화한 후 중복을 제거한 토큰의 집합

Natural Language Processing (NLP)

• 사람들이 일상적으로 쓰는 언어를 인공적으로 만들어진 인공어와 구분하는 개념
  • 자연어 : 일상어
  • 인공어 : 코딩
• 자연어로 할수 있는 일들:
  • Natural Language Understanding (NLU) 자연어 이해
    • Classification 분류
    • Natural Language Inference (NLI) 자연어 추론
    • Machine Reading Comprehension (MRC) 기계독해
    • POS Tagging 품사태깅
    • Named Entity Recognition 개체명 인식
  • Natural Langage Generation (NLG) 자연어 생성
    • 텍스트 생성
      • 뉴스 기사, 가사 생성 등등
• NLU & NLG
  • Machine Translation 기계 번역
  • Summerization 요약
    • Extractive Summerization 추출 요약
    • Abstractive Summerization 생성 요약
  • Chatbot 챗봇
    • Task Oriented Dialog 특정 태스크를 위한 챗봇
    • Open Domain Dialog 정해지지 않은 주제를 다루는 챗봇
  • 그 외
    • Text to Speech 텍스트로 음성
    • Speech to Text 음성으로 텍스트
    • Image Captioning 이미지를 설명하는 문장 생성

1. Vectorization 벡터화

• 자연어를 컴퓨터가 이해할수 있는 벡터로 만들어주는 과정
  • 2가지 방법
    1. Count-Based Representation
       1. Bag of Words - CounterVectorizer
       2. TF-IDF - TfidfVectorizer
    2. Distributed Representation
       1. Word2Vec
       2. GloVe
       3. fastText

2. Text Preprocessing 텍스트 전처리

• 자연어 처리의 절반 이상을 차지하는 과정
• 전처리를 해야하는 이유 : 차원의 저주 (Curse of Dimensionality)
  • “특성의 개수가 선형적으로 늘어날 때 동일한 설명력을 가지기 위해 필요한 인스턴스의 수는 지수적으로 증가한다.즉 동일한 개수의 인스턴스를 가지는 데이터셋의 차원이 늘어날수록 설명력이 떨어지게 된다.”
  • 전체 말뭉치에 존재하는 단어의 종류가 데이터셋의 feature, 즉 차원이 됩니다.
  • Tokenizer
    • Token 토큰 = 쪼갠 단어들의 단위
• 전처리 방법들

  • 대소문자 통일

    • 내장 메서드를 사용한 전처리 (lower, replace, ...)

  • 정규 표현식(Regular expression, Regex)

    • a-z(소문자), A-Z(대문자), 0-9(숫자)를 ^ 제외한 나머지 문자를 regex 에 할당한 후 .sub 메서드를 통해서 공백 문자열 "" 로 치환해줍니다.In [ ]:

      

  • 불용어(Stop words) 처리

    • ‘I’, ‘and’, ‘of’ 같은 이해에 별 도움이 안되는 단어들을 제외해주는 방법
    • 주관적으로 결정 & 커스터마이즈

  • 통계적 트리밍(Trimming)

    • 불용어를 직접 제거하는것 대신 통계적인 방법으로 말뭉치 내에서 너무 많거나 적은 토큰을 제거하는 방법

    

    1. 자주 나타나는 단어들 (그래프의 왼쪽) : 여러 문서에 두루 나타나기 때문에 문서 분류 단계에서 통찰력을 제공하지 않습니다.
    2. 자주 나타나지 않는 단어들 (그래프의 오른쪽) : 너무 드물게 나타나기 때문에 큰 의미가 없을 확률이 높습니다.

  • 어간 추출(Stemming) 혹은 표제어 추출(Lemmatization)

    • Stemming: 단어의 의미가 포함된 부분으로 접사등이 제거된 형태
      • ex. argue, argued, arguing, argus의 어간은 argu
    • Lemmatization: 단어들의 기본 사전형 단어 형태인 표제어로 변환 하는 형태
      • ex. wolves → wolf

3. Count Based Representation

• 목적: 단어가 특정 문서(혹은 문장)에 들어있는 횟수를 바탕으로 해당 문서를 벡터화함.

  • Document-Term Matrix (DTM) 문서-단어 행렬

    • Ex.

      

  • Bag of Words (BoW) : Term Frequency (TF)

    • 가장 간단한 벡터화 방법중 하나
      • ex. 고래밥
      • 단점: 순서는 무시됨.

  • CountVectorizer 적용

  • Bag of Words (BoW) : Term Frequency - Inverse Document Frequency (TF - IDF)

    • 중요한/의미있는 단어에만 가중치를 두는 방법

    • TF- IDF 수식

      

      • TF(Term-Frequency)는 특정 문서에서 단어 w가 쓰인 빈도입니다. 분석할 문서에서 단어 w  가 등장하는 횟수를 구하게 됩니다.

        

      • IDF(Inverse Document Frequency)는 분류 대상이 되는 모든 문서의 수를 단어 w  가 들어있는 문서의 수로 나누어 준 뒤 로그를 취해준 값입니다.

        

      • 실제 계산에서는 0으로 나누어 주는 것을 방지하기 위해서 분모에 1을 더해준 값을 사용합니다.분류대상이 되는 모든 문서의 수, 단어가 들어있는 문서의 수, 분류 대상이 되는 모든 문서의 수: n단어 w가 들어있는 문서의 수: df(w) 라 하면 IDF는 다음과 같이 구해집니다.

  • TfidfVectorizer 적용

  • 유사도를 이용한 문서 검색