rueki

Attention이 등장하고, 기계번역의 품질이 월등히 좋아졌는데, Attention에 대해서 오늘 알아보는 시간을 가지고자한다. 어텐션의 기본 정의는 "원 문장의 어떤 단어들에 더 주목할 것인가?" 라고 해석하면 이해가 쉽다. 즉, 다시 말해서, 예를 들어 I say hello, you say good bye 라는 문장이 들어왔을 때, 이를 전체 문맥 및 문장으로 가정하고, 매 시점마다 어떤 단어에 집중을 해야하는 지 동적으로 정하기 위함이다. 기존 RNN 기반의 Seq2Seq 구조에서는 Encoder의 마지막 context vector만 사용한다는 단점이 있었으나, Attention을 사용하면, Encoder에서의 각 Time step에서의 Context vector를 넘겨줌에 따라 이의 단점을 해결..