[딥러닝] LSTM의 gate (초간단 정리)

LSTM 

RNN의 장기 의존성 문제를 완화한 RNN개선 모델로, Cell state구조를 제안하고 3가지 gate(vector)를 추가한 구조이다. 

LSTM

1. Cell State

cell state

 

Cell states는 정보를 유지하는 기억창고라고 보면 된다. gate에 의해 결정된 정보를 저장하는 역할을 수행한다.

 

2. Forget gate (망각 게이트)

forget gate

Foget gate는 이전 셀 상태에서 불필요한 정보를 삭제하는 gate로, 정보를 버릴지 말지의 여부는 Sigmoid layer에 의해서 결정된다. ht−1과 xt를 받아 계산한 결과 ft를 0과 1 사이의 값으로 Ct−1에 보내 주는데, 이때 ft의 값이 0이면 버리고 1이면 유지하는 식으로 작동한다. 

 

3. Input gate (입력 게이트)

 

Input gate는 현재 정보를 기억하기 위한 gate로, 현재 입력된 정보 중에서 중요한 것만 골라서 기억하는 역할을 수행한다. forget gate와 비슷하게  it​ 값이 1에 가까울수록 기억하고, 0에 가까울수록 무시한다.

*forget gate 와 Input gate의 차이 : 과거의 정보 중 불필요한 것을 삭제 / 현재 입력된 정보 중 새로 추가할 정보를 결정

 

4. Output gate (출력 게이트)

 

LSTM이 지금 시점에서 어떤 정보(핵심정보)를 출력층(hidden state)으로 보낼지 결정하는 역할을 수행한다. hidden state 에 cell state를 얼마나 반영할지 가중치를 결정함.