[NLP] 시퀀스 모델 - RNN, LSTM, GRU

 

📌

FFNN은 인공 신경망의 가장 기본적인 형태이며, MLP는 다층 퍼셉트론을 뜻하며 은닉층이 있는 FFNN 유형 중 하나.

 

RNN은  FFNN과 달리 순환 구조로 이루어져 있기 때문에 이전 정보를 가지고 현재 작업에 반영하므로 순차적인 데이터에 효과적임.

+) RNN의 단점을 보완하기 위해 나온 LSTM 모델 , LSTM을 개선한 GRU 모델 등 다양한 시퀀스 모델에 대해 알아보겠습니다.

 

 

1. Feed Forward Neural Network (순방향 신경망)

 

 

- 인공신경망의 최초 유형이자. 가장 단순한 형태

- MLP는 FFNN(Feed Forward Neural Network)의 한 유형 

- 입력 노드로부터 출력 노드 방향으로 한 방향(순방향)으로만 움직임. 

- 입력측 -> 은닉층 -> 출력층 

 

- 단층 퍼셉트론 (은닉 노드 x)

- 다층 퍼셉트론 (은닉 노드 o)

 

2. RNN(Recurrent Neural Network) - 순환 신경망

 

 

- 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델

- 입력의 길이만큼 신경망이 펼쳐짐

- 입력받는 각 순간을 시점(time step) 이라고 함  - 자연어 처리에서 각 시점의 입력은 단어 벡터 or 형태소 벡터

- 입력과 출력의 길이에 따라 RNN 형태가 달라짐 (일대다/ 다대일/다대다)

ex) 일대다 - 사진의 제목(이미지 캡셔닝) , 다대일 - 스팸 메일 분류, 다대다 - 챗봇

 

 

셀(cell)

- 은닉층에 있는 RNN의 처리 단위.

- 셀의 출력을 은닉 상태(hidden state) 라고 함

- RNN은 시점(time step)에 따라서 입력을 받는데 현재 시점의 연산을 위해 직전 시점을 입력 받음 

-> RNN은 과거의 정보를 현재에 반영하여 학습하는 모델. 순차적인 데이터에 효과적임

 

RNN 의 문제점

- 장기 의존성 문제 : 시점이 길어지면서 앞에 있던 정보가 소실되는 문제

 

3. LSTM (Long Short-Term Memory)

 

 

- 기존 RNN을 변형하여 장기 의존성 문제를 보완한 모델

- RNN 보다 긴 시퀀스의 입력을 처리하는데 탁월한 성능을 보임

- RNN에 없었던 Cell State 라는 개념이 추가 (RNN은 hidden state만, LSTM 은 hidden state+Cell State )

- 시그모이드 함수 (0~1) 에서  하이퍼볼릭탄젠트 함수(-1 ~ 1 ) 지나온 두 가지 값을 Cell state 에 반영

 

삭제 게이트 / 입력 게이트 /  출력 게이트

- 삭제 게이트 : 이전 시점의 입력을 얼마나 반영할지 결정

- 입력 게이트 : 현재 시점의 입력을 얼마나 반영할지 결정 

- 출력 게이트 : Hidden State를 연산하는 일에 사용

 

 

4. GRU(Gated Recurrent Unit)

 

- LSTM의 복잡도를 줄인 모델. 

- 3개의 게이트가 있는 LSTM와 달리 2개의 게이트가 있음 (업데이트 게이트, 리셋 게이트)