본 세미나는 발표자님의 DST 발표 시리즈 중 하나이며, 이전의 DST 기법들이 매 Dialogue Turn마다 State를 모든 Slot에 대하여 예측을 진행하는 것에 대한 해결책으로 State를 컴퓨터의 메모리와 같이 취급하고자 합니다. 이를 통해 State들이 매번 생성되는 것이 아니라, 이전의 State에서 어떤 것을 UPDATE할 지, CARRY OVER할지 판단하여 각 Slot에 대하여 다른 Action을 취하게 되며 이를 통해 효율적으로 State를 관리하고 업데이트할 수 있게 됩니다. Slot들에 대하여 어떤 처리를 할 지 예측하는 것을 State Operation Prediction (UPDATE / CARRY OVER etc)라고 하며 UPDATE Operation으로 설정된 Slot에 대하여 Slot Value Generation을 진행합니다. State Operation Prediction 단계에서는 Utterance Pair의 Domain Classification과 Operation Classification이 함께 진행되어 Loss를 계산하며 Slot Value Generator는 GRU Loss를 활용하여, 두 Loss를 합쳐 최종 Loss를 구성합니다. DST의 재밌는 연구 소개에 감사드리며 다음 시리즈도 잘 부탁드리겠습니다.

이번 발표는 DST 에 관련된 주제였습니다. 본 주제의 발표에서는 기존의 DST 에서 문제였던, 처음부터 대화에 대한 정보를 기반으로 Decoder 가 수행되는 문제점을 개선한 방식입니다. State Operation Predictor 는 classification task 를 수행하는 인코더로서 역할을 합니다. NLP Task 중 제가 생각하는 것 중에 DST 는 상당히 어려운 분야 였습니다. 그만큼 연구 주제, 다양한 사고를 할 수 있는 주제였습니다. 이유경 박사과정은 이러한 부분을 항상 쉽게 연결해주는 발표로 처음 듣는 청자들도 어느정도의 큰틀의 이해를 잡는데 도움이 되는 발표였습니다.

이번 세미나에서는 2019년 NAVER의 Clova AI에서 연구한 Efficient Dialogue State Tracking by Selectively Overwriting Memory 논문에 대해 소개해 주셨습니다. 이번 논문은 ACL2020에서 발표된 논문으로 기존 DST(Dialogue State Tracking)의 방법이 모든 Slot에 대해 Scrach부터 생성한다는 문제점을 개선하여 Memory를 통해 해결하는 방법을 제안합니다. 세미나 초반에 DST에 대한 개요를 설명해주셔서 DST System에 대한 전반적인 설명과 예시를 들어주셔서 배경지식에 대해 어느정도 이해하고 세미나 내용을 들을 수 있었습니다. 본 논문에서는 Memory 뿐만 아니라 DST를 State Operation Prediction과 Slot Value Generation 두 가지로 나누었고 각각을 Encoder와 Decoder로서 정의하였습니다. 입력 데이터는 사용자의 발화 데이터와 이전 대화의 State를 함께 넣고 현재 내용에 대한 도메인을 분류하고 Slot을 업데이트 합니다. 각 Slot은 4 가지 Operation(CARRYOVER, DELETE, DONTCARE, UPDATE) 중 하나씩 설정되어 그에 따라 value를 생성하게 됩니다. Loss Function은 Encoder와 Decoder 각각의 Loss와 Domain에 대한 Loss를 더하여 최종 Loss를 계산하여 학습합니다. DST에 대해 처음부터 직관적인 설명과 함께 내용을 전개해 주셔서 익숙하지 않은 주제임에도 비교적 이해하기 쉬웠습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Dialog State Tracking 분야에 대한 개념 정리와 Efficient Dialogue State Tracking by Selectively Overwriting Memory 논문을 설명해 주셨습니다. Dialog State Tracking이란 연속적인 대화에서 사용자의 요구사항이 지속적으로 반영될 수 있도록 매 대화에서 중요한 정보를 추출하여 State 형태로 변경하는 task를 의미합니다. 오늘 설명해 주신 SOM-DST은 기존 모델보다 효율적인 Dialog Tracking을 위하여 Selectively Overwriting Memory를 적용했습니다. Selectively Overwriting Memory 란 Encoder에서 추출한 Slot중에서 Update가 필요한 부분만 Generator를 통해 Value를 생성하는 방식입니다. 이 방법은 적은 Subset Slot에만 Value Generation이 필요하므로 학습속도가 상승하며, 빠르게 추론할 수 있는 장점을 갖고 있습니다. 일반적으로 AI 스피커 또는 Dialog Sytem 등을 통해서 원하는 목적을 수행하려면 여러번의 대화가 필요하고 그 대화에서 정보를 추출하는 것이 중요합니다. 따라서 DST 시스템은 필수적인 기능으로 보입니다. 좋은 발표 감사합니다.

금일 세미나 시간에는 이유경 박사과정이 지난 세미나 시간에서 소개한 대화형 시스템 가운데Task-Oriented dialogue system 관련 연구인 “Efficient Dialogue State Tracking by Selectively Overwriting Memory” 논문을 주제로 다루어 보았습니다. 해당 논문은 국내 NAVER의 Clova AI팀에서 수행한 연구이기에 더욱 관심을 가지고 발표를 들을 수 있었습니다. 본 세미나시간에는 해당 도메인인 대화상태추적(Dialogue State Tracking)에 대한 소개를 통해 개념을 정리해 주었습니다. 이전까지의 DST연구에서는 사전에 정의된 온톨로지 기반 접근방식을 통해서 일반화 문제를 해결하기 위해 개방형 어휘 기반 설정에 중점을 두고 있었으나, 매번 대화 상태를 처음부터 예측한다는 점에서 효율적이지 못하였습니다. 따라서 해당 논문에서는 대화 상태를 명시적인 고정 크기의 메모리로 고정하여 보다 효율적인 DST를 위해 선택적으로 update를 수행하는 operation을 제안하였습니다. 대화형 시스템에 대해서는 아직도 친숙하지 않아 이해하기 어려울 수도 있었지만, 발표자께서 친절하게 준비한 자료 덕분에 수월하게 이해할 수 있었습니다.

그동안 어렴풋이 개념정도만 알고 있었던 DST에 대해 본 세미나를 통해 더욱 자세하게 알 수 있었습니다. 발표자님의 지난 DST소개의 연장선에서 오늘은 SOM-DST에 대해 다뤄주셨습니다. DST는 Dialogue로부터 slot-value pair를 매칭시키는 역할을 하게되는 function역할을 하게 됩니다. 본 SOM-DST에서는 Selective overwriting memory(SOM)을 통해 보다 효율적인 DST모델을 구성했다는 점을 강조하고 있습니다. SOM-DST는 1) sub-task에 맞게끔 minimum subset of slot을 찾아낸다는 점(selective) 2) 이 “minimal subset에서의 value만”을 생성한다는 점에서 효율성을 설명합니다. 실제로, 실험성능에서 볼 수 있듯, 낮은 slot의 생성 갯수, 높은 정확도에도 낮은 latency를 보인 점은 주목할 만한 것 같습니다. 그럼에도 불구하고, 교수님께서 말씀해주신 것처럼 해당 방법이 본질적으로 ‘효율적’인지에 대한 고민은 필요해 보입니다. 여러가지 고민과 지식을 얻어갈 수 있었던 좋은 발표였던 것 같습니다. 좋은 시간 감사드립니다.

일전에 자연어 처리의 발전 단계에 대해 공부했던 기억이 있습니다. 단계 중 Pragmatic Analysis의 경우 단순히 언어의 Form과 의미를 넘어 언어가 사용된 특수한 상황에 맞게 분석을 수행하는 것이라 알고 있습니다. 아직까지 많은 발전이 이루어져야 하겠지만, Dialogue State Tracking Task는 대화 상황을 지속적으로 기억하고, 적절한 답변을 도출한다는 점에서 Pragmatic에 해당한다는 생각이 들었습니다. 앞으로도 해당 분야에서 많은 발전이 이루어지기를 고대합니다.
소개해 주신 논문의 경우 기존 모델들의 한계를 극복하고자, Selective Overwriting Memory를 통해 최소한의 Slot에 대해서만 Value를 생성하는 방식으로 효율성을 추구합니다. 이러한 목적을 2가지 Subtask로 분리하여 달성하는데, Update가 필요한 Slot을 탐지하는 State Operation Prediction과 선택된 Slot에 대해 값을 생성하는 Slot Value Generation으로 구성되어 있습니다.
Task 자체가 매우 흥미롭고, 문제에 접근하는 방식 또한 배울 점이 많은 논문이었다고 생각합니다. 좋은 발표를 진행해 주시어 감사합니다.

SOM-DST는 DST가 가지고 있던 계산 효율 문제를 selectively overwriting memory를 통해 효율적으로 해결하고자 한 논문입니다. slot의 subset만으로 value를 생성 하더라도 기존 방법론들에 비해 높은 성능을 보이는 것이 신기했습니다. 역시 모델이나 방법론들이 복잡하고 어렵게 간다고 항상 좋은 성능을 보장하지 못한다는 것을 다시 알 수 있었습니다. 하지만 실제로 selective slot이 진행 되는 부분에서는 저자들의 주장이 옳은지 궁금증이 생겼습니다. 이 부분은 논문을 직접 읽어보면서 해소할 수 있을 것 같습니다.
이 외에도 실험 결과에서 multiwoz 2.1을 보면 비슷한 시기에 등장한 predefined ontology와 open vocabulary의 성능 차이가 크지 않음을 확인할 수 있는데, 여러 현업에서 챗봇에 여전히 많은 룰베이스를 사용하는 것처럼 DST 또한 실제 데이터에서도 카테고리별로 state를 잘 정의할 수 있다면 predefined ontology를 사용할 수도 있지 않을까 라는 생각이 들었습니다.

이번 세미나는 DST에 대해 다루었습니다. 사용자의 요구에 따라 적절하게 응답하기 위한 딥러닝 모델로 오늘 소개한 논문에서는 크게 2가지 절차로 구성되어 있었습니다. 첫 번째는 state operation을 예측하는 단계였고, 두 번째는 slot value를 generation하는 단계였습니다. 이 과정에서 본 논문에서 제안한 모델은 첫 번째 단계에서의 예측을 통해 minimal subset을 만들어 slot value를 탐색함으로써 효율성을 높였다고 이해하였습니다. 비록 관심 분야는 아니지만 논리를 전개하는 과정에서 배울 점이 많은 논문이었습니다. 좋은 발표 감사드립니다.

이번 세미나는 Efficient Dialogue State Tracking by Selectively Overwriting Memory 논문을 통해 SOM-DST에 대해 발표해주셨습니다. 기존 연구는 모든 slot에 대해 generation을 진행해야 했지만, SOM-DST는 Update가 필요한 몇가지 slot만 가지고 value를 생성하는 Selectively Overwriting Memory을 통해 효율성을 꾀하였습니다. Encoder(BERT)를 이용하여 각 Slot을 4 가지 Operation(CARRYOVER, DELETE, DONTCARE, UPDATE)으로 classifiaction을 진행하고 , Decoder(GRU)를 통해 그 Update subset에 해당하는 value를 찾기 위한 generation task를 수행합니다. 결과를 확인하였을 때 비효율성도 개선하면서 성능 또한 향상한 것이 대단하다고 느껴졌습니다. 익숙하지 않은 주제이지만 발표자분께서 차근차근 잘 설명해주셔서 발표를 놓치지 않고 끝까지 들을 수 있었습니다. 발표자분의 다음 DST 관련 세미나도 기대하겠습니다. 좋은 발표 감사합니다.

Pre-defined ontology 기반으로 dst를 진행하던 때가 오래 되지 않았기 때문에 dst 분야에서 비효율적인 연산이 포함되는 부분이 많이 존재합니다. 그 중 매 turn마다 모든 slot-meta에 대한 값을 예측해야 한다는 것이 본 논문에서 지적하는 상황입니다. Dialogue state를 메모리처럼 활용하여 이전 값을 그대로 유지하는 carryover operation은 학습 부담을 낮추고 추론 속도를 향상시켰습니다. 개인적으로는 학습 성능 향상보다 추론 속도의 비약적인 향상이 현실적인 상황에서 논문이 갖는 가장 큰 contribution이라 생각합니다. 각 도메인 데이터마다 성능을 측정하는 장표에서는 SOM-DST가 특정 도메인(taxi, train)에서만 더 좋은 성능을 보이는 상황이 있는데, 해당 도메인이 더 복잡한 대화로 구성되어 있음을 밝히며 논리를 펼치는 부분이 인상깊었습니다. 좋은 논문 소개해주셔서 감사합니다.

이번 세미나에서는 Efficient Dialogue State Tracking by Selectively Overwriting Memory라는 논문을 다뤘는데, 가장 핵심적인 개념인 DST(Dialog State Tracking)는 대화에서 발화자가 말하는 내용이 결과에 반영되도록 각 대화마다 중요한 내용을 업데이트하는 방식으로 수행됩니다. 다만 이는 메모리 관점에서 굉장히 비효율적일 수 있기 때문에, 오늘 소개해주신 SOM-DST는 매 대화마다 모든 Slot에 대해 예측하는 것이 아니라 이전의 State에서 어떤 것을 가져올지, 혹은 업데이트할지를 정해 효율적으로 중요한 내용을 유지하면서 예측을 수행할 수 있습니다. 이 때 적용되는 방식이 selectively overwriting memory 즉 SOM인데 인코더가 만든 슬롯 중 업데이트를 할 것만 생성하는 방식입니다. DST는 앞으로도 굉장히 핫하고 중요한 분야일 것으로 생각하며, 좋은 연구 결과 있으면 좋겠습니다. 좋은 발표 감사합니다.

금일 세미나는 dialogue state tracking에서 활용디는 SOM-DST 모델에 대한 소개로 진행되었습니다. Dialogue system 분야에 대해 처음 접해보았는데, 이는 특정 task에서 사용자의 요구사항을 파악하고, 이에 대해 해결책을 제시하는 대화시스템을 의미합니다. DST는 dialogue system의 subtask로서 대화의 일부를 dialogue states에 매핑하는 과업입니다. SOM-DST 모델은 기존에 모든 slot을 생성하는 비효율성을 개선하고자 제안되었습니다. State operation prediction과 slot value generator로 구성되어 있으며, state operation prediction는 dialogue turn마다 어떤 operation을 수행할 것인지에 대한 분류를 진행합니다. Slot value generator의 경우, slot에 해당하는 value를 찾게 되는데, SOM-DST는 각 slot에 대한 value 생성시, update operation을 추가하여서 불필요한 value에 대한 생성을 방지하여 효율을 높였다는 점에서 의의를 갖습니다. 새로운 분야인 dialogue state tracking에 소개해주셔서 흥미롭게 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 partial dialogue를 dialogue state에 mapping시키는 Dialog state tracking에 selectively overwriting memory를 활용하여 memory 측면에서 효율적인 DST model, SOM-DST model에 대해 진행되었습니다. SOM-DST의 경우, 기존의 DST task를 2개의 subtask로 분리하여 진행합니다. 먼저 state operation prediction 먼저 수행하고, 그 후에 slot value를 generation합니다. state operation은 classfication task 수행하는 BERT encoder를 사용하여 value generation이 필요한 slot index를 찾아냅니다. 이제 이 slot들에 대해 해당하는 value를 generation하는 decoder를 사용하여 value를 할당합니다. 이때 SOM-DST는 update operation에 대해서만 value generation을 진행하기 때문에, 모든 slot에 대해 generation을 진행하는 기존 방식 대비 효율적인 연산이 가능합니다. 그 결과 기존 모델들보다 효율적이면서도 좋은 성능을 보일 수 있었습니다. 특히 실제 DST task에서 가장 중요한 요소인 inference 속도를 줄였다는 점에서 큰 의의를 가진다고 생각합니다. NLP의 다른 task에 대한 방법론을 차용한다는 점이 가장 흥미로웠습니다. 좋은 발표 감사합니다.

금일 세미나에서 Efficient Dialogue State Tracking by Selectively Overwriting Memory라는 논문을 다뤘습니다.

먼저 Dialouge System은 다음과 같이 크게 4가지의 모듈로 나뉘어집니다: (1) NLU(Natural Language Understanding) (2) DST(Dialogue State Tracking) (3) DP(Diaglogue Policy Learning) (4) NLG(Natural Language Generation). 오늘 세미나는 4단계 중 2번째 단계인 DST는 partial dialogue를 dialogue state에 매핑시키는 것을 말하며 이는 Input으로 이전 dialogue를 받게되고, Output으로는 dialogue state를 내보내게 됩니다. DST는 다시 한번 더 다음 2가지로 세분화 될 수 있습니다: (1) Predefined Ontology, (2) Open Vocabulary. 첫번째는 먼저 dialogue ontology를 정의해두고 상황에 맞는 답을 찾아내는 방식이고, 다음은 input에 따라 state를 즉각적으로 유연하게 생성하는 방식입니다.

논문에서는 open voabulary인 SOM-DST라는 모델을 제안하였는데, Encoder에서는 BERT를 활용한 state operation prediction을, Decoder에서는 GRU를 활용한 slot value generation이 수행됩니다. 특히 이름에서도 알 수 있듯이 SOM-DST에서는 SOM(Selective overwriting memory)을 통해 보다 효율적인 DST모델을 구성했다는 점을 강조하고 있습니다. SOM-DST는 sub-task에 맞게끔 minimum subset of slot을 찾아낸다는 것이 minimal subset에서의 value만을 생성한다는 점에서 효율성을 강조하고 있습니다. 좋은 발표 들려주셔서 감사합니다!

금일 세미나는 "SOM-DST : Efficient Dialogue State Tracking by Selectively Overwriting Memory"라는 주제로 진행되었습니다. 본 발표에서는 Task-oriented Dialogue system의 Sub task 중 하나인 Dialogue State Tracking 분야에 대한 개념과 SOM-DST Model가 소개되었습니다. 개인적으로는 lifelong language learning 연구를 진행하면서 DST 데이터셋인 MulitWOZ를 사용한 경험이 있었는데, 그때는 해당 task를 question answering 형태로 수행했기 때문에 해당 데이터를 원래 목적의 DST를 통해 문제를 해결하는 과정이 흥미롭게 느껴졌습니다. 연구실에서 DST 관련 세미나가 처음 진행되었는데 기본 개념에 대해 잡아주셔서 세미나를 듣기에 용이했고, 오늘 접한 내용들을 제 개인연구에 적용할 수 있을지 고민해보는 시간을 가지면 좋을 것 같다는 생각이 들었습니다. 좋은 발표 감사합니다.

금일 세미나에서 다룬 논문은 Efficient Dialogue State Tracking by Selectively Overwriting Memory입니다. DST는 partial dialogue(input)를 dialogue state(output)에 매핑시키는 것을 말합니다. 논문에서는 SOM-DST라는 모델을 제안하였는데, BERT를 활용한 Encoder에서는 state operation prediction을, GRU를 활용한 Decoder에서는 slot value를 찾기 위한 generation이 수행됩니다. 특히, State operation을 통해 결정된 UPDATE인 상태의 subset들에 대해서만 value generation을 하는 방식으로 동작됩니다. 이러한 업데이트 과정은 실제 Accuracy 향상에는 도움이 되었습니다. 여기에 교수님께서는 실제 그 과정이 저자가 주장하는 것처럼 과연 '효율적인가'에 대한 의문점을 제시해 주셨는데, 이에 대해서도 추가적인 고민을 함께 해볼 수 있었습니다. 마지막에 덧붙여주신 개인연구 발표에 대해서는 어떠한 시행착오와 아이디어 전개를 통해 연구를 발전시켜 나갔는지 자세히 들려주셨는데, 신입생으로서 앞으로 어떤 방식으로 개인 연구를 진행해야 하는지 고민해볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나에서 제안된 모델은 특정 Task에서 사용자의 요구사항을 파악하고 이를 해결하기 위한 적절한 대화 시스템에 대한 dialogue system을 state tracking 형태로 slot과 value의 tuple을 찾는 목적을 가지고 있었습니다. 전반적인 학습 절차는 phase 1) state opeation prediction이 먼저 수행이 되며, phase 2) slot value generation이 수행이됩니다. state opeation prediction의 경우는 BERT를 활용한 encoder embedding 방법을 사용하며, generation은 GRU를 이용한 방법의 decoder로 구성되었습니다. slot에 해당되는 value를 찾는 것인 일반적인 목적인데 중간에 operation의 매개체를 부여하여 효율적인 방법론을 제안하였습니다. knowledge extraction에 대한 활용 관점에서 좋은 논문인것 같습니다. 좋은 발표 감사합니다.

본 세미나에서는 한국에서 나온 논문인 Efficient Dialogue State Tracking by Selectively Overwriting Memory에 대해 소개해주셨습니다. 이전부터 DST에 대한 연구를 수행하시며 관련된 논문을 차근차근 설명해주셔서 굉장히 이해가 잘 되고 있습니다. 해당 논문에서 제시된 SOM-DST 모델은 BERT와 GRU를 활용하여 task를 진행합니다. 그리고 기존의 DST 모델들의 효율성에 대한 문제점을 selectively overwriting memory로 해결하고자 하였습니다. 세미나를 진행하며 발표자님의 여러 가지 생각을 들을 수 있어 굉장히 흥미로웠습니다. 좋은 발표를 들려주셔서 감사합니다.

이번 세미나는 발표자의 연구 주제인 DST를 심화한 내용인 SOM-DST에 대한 세미나였습니다. 그 구조를 보면 SOM-DST는 State Operation Predictor, Slot Value Generator로 구성됐는데, State Operation Predictor는 classification task를 수행하는 인코더로서 TRADE의 Utterance Encoder와 Slot Gate의 역할을 모두 수행하는 효율적인 구조를 갖고 있고, State Value Generator는 slot에 해당하는 value를 찾기 위해 generation task를 수행하는 디코더입니다. 이는 기존의 DST 모델이 갖는 비효율을 개선하면서 성능을 높인 모델로서 속도도 개선한 모델입니다. 어려운 내용을 자세하게 알려주서서 감사하고, 저번 DST 발표에서 질문이 나와 갖고 있던 궁금증을 이번 발표에서 다시한번 언급해주셔서 해소할 수 있었습니다. 흥미로운 발표에 대한 세미나 감사합니다.