在上一章提到RNN有梯度消失、梯度爆炸的問題傳統RNN在實際中很難處理長期依賴。而LSTM（Long Short Term Memory）則繞開了這些問題依然可以從語料中學習到長期依賴關係。傳統RNN如圖1每一步的隱藏單元只是執行一個簡單的tanh或ReLU操作。