1. 언어 모델 (Language Model)

같은 단어 시퀀스에서 각 단어의 확률을 계산하는 모델

ex Word2Vec CBoW

2) 통계적 언어 모델 (Statistical Language Model, SLM)

통계적 언어 모델에서는 단어의 등장 횟수를 바탕으로 조건부 확률을 계산

3) 신경망 언어 모델 (Neural Langauge Model)

횟수 기반 대신 Word2Vec이나 fastText 등의 출력값인 임베딩 벡터를 사용.

그렇기 때문에 말뭉치에 등장하지 않더라도 의미적, 문법적으로 유사한 단어라면 선택될 수 있음.

2. 순환 신경망 (RNN, Recurrent Neural Network)

연속형 데이터를 잘 처리하기 위해 고안된 신경망

1. 입력 벡터가 은닉층에 들어가는 것을 나타내는 화살표
2. 은닉층로부터 출력 벡터가 생성되는 것을 나타내는 화살표
3. 은닉층에서 나와 다시 은닉층으로 입력되는 것을 나타내는 화살표.

가중치는Wh,Wx ,b는 편향(bias)