금일 세미나는 Explainable Question Answering task를 위한 데이터셋 생성방법과 이에 맞는 모델을 소개하는 내용으로 진행되었습니다. Explainable QA란 질문에 대한 답변이 왜 채택되었는지, 그 근거까지도 함께 제시하는 task를 의미합니다. HOTPOTQA 데이터셋을 구축하기 위해 hyperlink graph를 사용하는데, 이는 multi-hop question을 생성하기 위함입니다. 여기서 multi-hop question은 정답을 도출하기까지 여러 entity가 존재하여 여러 hop을 거쳐야하는 질문을 의미합니다. 데이터셋 구축을 위해 graph를 활용하여 연관된 candidate paragraph pair를 찾고, 각각에 맞는 multi-hop question을 생성합니다. 구축한 데이터셋을 바탕으로 word, character level의 임베딩을 통해 context와 question 모두에서 정보를 풍부하게 포함한 임베딩을 추출할 수 있도록 구성하였고, RNN과 Attention 기법을 적용한 모델을 제안합니다. Explainable QA를 위한 데이터셋을 구성함에 있어 해당 task의 특성을 잘 고려한 흔적이 드러나는 논문이라 생각하였으며, 데이터셋이 등장하여 QA에서의 explainability를 강조한 연구들도 더 활발하게 진행될 것으로 기대됩니다. 좋은 발표 감사합니다.

이번 세미나는 자연어 Q&A에서 문서를 이해할 수 있는 방법 Single-hop question, Multi-hop question과 관련된 발표해 주셨습니다. Single-hop question은 문서를 이해하는데 하나의 문장만을 필요로 하는 문제를 나타내며 반면에, Multi-hop question은 문서를 이해하는데 몇가지 문장을 순차적으로 이해하는 특성을 가지고 있습니다. 이 문제를 해결하기 위해 사용된 제안모델의 input embedding은 character단위로 임베딩된 conv layer를 사용하였고, 다음으로 양방향 RNN계열의 Bi-GRU encoder attention mechnism이 사용되었습니다. 산출된 output layer를 다시한 번 self-attention을 사용한 후, task-specific하게 답변의 start, end position score와 span question/OX문제인지의 여부를 이용하여 학습을 하였습니다. 좋은 발표 감사합니다.

금일 세미나는 XAI(Explainable AI) 분야 중 QA 태스크에서 Answer와 함께 그에 대한 근거를 함께 제공하는 모델의 시초를 다룬 HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering(Zhilin Yang et al.,2018) 논문이 소개되었습니다. 본 논문의 주 기여점은 XQA(Explainable Question Answering)에 맞는 데이터셋을 구축한 것과 특히 Multi-hop question에 대한 데이터셋을 구축한 것에 있음을 확인할 수 있습니다. 그래서 논문 내에서도 데이터셋을 구축하는 과정이 자세히 설명되어 있습니다. XQA 데이터셋이라고 함은 본문, 질문, 정답과 함께 본문 속 문장 중 정답의 근거가 되는 문장을 담은 데이터 셋을 구축한 것임을 의미합니다. 이때 질문에 대한 답을 하나의 문단에서만 정답을 찾을 수 있는 것을 Single-hop question이라 하고 여러 문단을 함께 살펴봐야 하는 질문을 Multi-hop question이라고 합니다. 장소, 사건, 날짜, 참-거짓 등 질문의 대상도 다양하게 구성한 점이 특징이었습니다. 이와 함께 제안한 방법론은 기존의 QA모델에 Cha-level Embedding, Self-Attention, 등의 기법을 적용한 모습입니다. 각각의 모델의 구성 요소가 특별히 이해하기 어렵지는 않았으나 전체적으로 모델이 거대하다는 느낌을 주었습니다. 이에 따라 불가피하게 연산량이 많아질 것 같다는 생각이 들었습니다. 그래서 이 보다 발전된 모델을 활용하여 Multi-hop QA를 수행하는 것은 없을지 찾아본 결과 Multi-hop Question Answering via Reasoning Chain(Jifan Chen et al.,2019)(https://arxiv.org/pdf/1910.02610.pdf)를 찾게 되었습니다. 비록 해당 논문에서도 역시 Supporting facts를 찾아내는 과정에 좀 더 집중하고 있는 점이 차이가 있지만 관심있으신 분들은 참고하시면 좋을 듯 합니다. 발표자 분의 개인 연구 분야에 대한 큰 관심을 물씬 느낄 수 있었던 흥미로웠던 발표였습니다. 앞으로 발표될 유튜브 영상도 많은 기대하고 있겠습니다. 감사합니다.

오늘 세미나는 multi-hop question answering에 대한 내용으로 진행되었습니다. 소개해주신 논문에서는 여러 문장을 참고하여 답을 내야 하는 multi-hop question과 QA에서의 explainability의 중요성을 말하며 이를 위한 새로운 데이터셋을 제안하였습니다. 데이터셋은 위키피디아의 hyperlink를 사용하여 구성하였고, comparison question과 다수의 supporting fact들을 포함하고 있습니다. 이를 해결하기 위한 모델은 기존 QA 모델에 word embedding, question-context attention, self-attention 등을 추가하여 설계하였습니다. 데이터셋의 형태에 따라 모델의 발전 과정이 달라질 수 있기 때문에, 현실의 문제를 적절히 반영할 수 있는 데이터셋을 만드는 것이 향후 연구의 성패를 좌우할 수 있다고 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나는 'HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering' 논문에 대해 진행되었습니다. 논문에선 QA task 중 여러 문장에서 답을 찾아야하는 Multi-hop Question과 Explainability의 필요성을 강조하며 이에 맞는 새로운 데이터셋을 생성하는 과정을 보여줍니다. 데이터셋은 Context와 single-hop, multi-hop을 포함하는 Question, Answer, 그리고 Answer에 근거가 되는 Supporting fact를 포함합니다. 그리고 새로 구축한 데이터셋에 대해 적절한 모델 구조도 논문에서 제시되는데, word embedding에 추가로 character embedding을 사용했다는 점과 self-attention, bi-attention을 모두 사용했다는 점이 기억에 남습니다.
QA는 Answer에 대한 근거가 비교적 명확한 Task임에도 불구하고 XAI와 관련된 데이터셋의 구축이 HOTPOTQA가 처음이라는 점이 놀랍고 이 점이 논문의 기여도를 높여주는 것 같습니다. Wikipedia 의 하이퍼링크를 통해 두 article에서 문단 pair 및 comparison question을 생성하는 과정이 저자의 아이디어가 빛난 부분이지 않나 생각합니다. 이미 오픈되어 있는 많은 데이터셋을 사용만 하는 것이 아니라 필요에 따라 문제를 새롭게 정의하고 이에 맞는 데이터셋을 구축해보는 것도 좋은 연구자의 자세임을 논문을 통해 배운 것 같습니다. 좋은 발표 감사합니다.

Question의 복잡도에 따라 single hop으로는 대답에 필요한 정보를 충분히 얻을 수 없기 때문에 multi-hop 방법들이 등장하였고, multi-hop 데이터를 구축하여 효과적인 답변을 생성하는 방법에 대해 소개해주셨습니다. 위키피디아에 존재하는 hyperlink를 entity 간의 관계로 정의하고 연관된 document를 효과적으로 검색할 수 있는 그래프를 구축합니다. 현재 multi-hop 관련 연구가 매우 활발하게 진행되고 있는데 2018년에 발표된 이 논문이 큰 역할을 하지 않았나 생각됩니다. 특히 hotpotqa는 쿼리에 대한 대답을 제공하고, 그 이유를 함께 제시한다는 점에서 의의가 있습니다. 비단 qa 뿐 아니라 다양한 task에서 Wikipedia의 정보를 활용하는 방법이 유용할 것 같고, 이 때문에 정보검색 분야가 자연어처리의 중추일 수도 있겠다는 생각을 하였습니다. 발표 잘 들었습니다.

NLP Domain에서는 다수의 단계를 거쳐 새로운 결론을 도출하는 일련의 과업들을 Reasoning 이라고 하며, Reasoning을 효과적으로 수행하고자 하는 것은 NLP Domain에서는 매우 중요한 과업입니다. 간단한 예시로, “양서류는 곤충을 먹는다.” “개구리는 양서류이다.” 라는 문장이 주어졌을 때, 사람은 어렵지 않게 “개구리는 곤충을 먹는다.” 라는 결론을 도출할 수 있지만, 다수의 NLP Model들은 이를 수행하는데 적지 않은 어려움을 겪었습니다. 이번 세미나에서는 Reasoning을 이용한 Question Answering을 수행할 수 있는 HOTPOTQA에 대해 소개해 주셨습니다.
HOTPOTQA는 이를 위한 데이터를 설계하는데 많은 노력을 기울인 것으로 생각됩니다. 우선적으로 서로 다른 문서를 연결하기 위해 동시에 등장한 Token의 집합을 Edge로 간주하여 Hypergraph 형태로 데이터를 표현하였습니다. 이후 동일한 주제의 두 문단에서 Entity를 비교하는 유형의 질문을 하는 방식으로 Question Data를 구성합니다. 이후 다양한 CNN, GRU, Attention 등 다양한 기법이 적용된 Model을 이용하여 QA를 수행합니다.
최근 GPT-3의 등장 이후로 In-context Learning을 활용하여 학습된 Hyperscale LM들은 Few-shot Setting 하에서 효과적으로 Reasoning Task들을 수행할 수 있다는 결과들이 보고되고 있습니다. 현재 시점에서 소개해 주신 논문의 방법이 매우 널리 사용될 것이라 생각되지는 않지만, 해당 방법을 기반으로 향후 어떠한 형태로 모델을 개선하는 아이디어가 등장할 지 지켜보고 싶습니다. 감사합니다.

이번 논문은 2018년 EMNLP에서 소개된 ‘HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering’에 대해 발표해주셨습니다. 본 논문에서는 좀 더 넓은 knowledge를 활용하여 정답을 도출 할 수 있는 모델을 구성하기 위해 HOTPOTQA라는 데이터셋을 구성하였습니다. 데이터는 wikipedia로부터 참조 되어 있는 hyperlink로 graph를 구성하여 구축되었습니다. 본 논문에서 제안하는 데이터셋을 통해 좀 더 많은 entity를 참조하여 정답을 내야하는 multi-hop question에 대해 문제를 풀 수 있도록 하였습니다. 또한 데이터 생성 과정에서 질문에 대한 정답의 근거로서 supporting facts인지에 대한 여부를 labeling하여 학습된 모델로 부터 추론시 정답에 대한 근거로 설명력을 나타낼 수 있도록 하였습니다. 본 논문에서 제안하는 모델은 self-attention과 GRU로 구성되어 있습니다. 결론적으로 아직까지 사람보다 성능이 뒤떨어지지만 약 11만개의 데이터를 구성하여 조금 QA task에 새로운 benchmark를 구성하였다는 점에서 기여도가 있었다고 생각합니다. 오늘도 좋은 발표 감사합니다.

wikipedia는 참 다양한 방면으로 딥러닝에 활용되는 것 같습니다. 본 세미나에서 소개해준 연구에서도 multi-hop QA를 위해 wikipedia의 hyperlink를 사용하고 있습니다. 저자들의 직관적인 아이디어가 재미있게 느껴졌으며 최대한 양질의 데이터가 생성되도록 룰을 정하는 부분에서 저자들의 고민과 수고를 알 수 있었습니다. 논문 자체가 2018년도에 나와서 지금 보기에는 old fashion처럼 보이지만, 최근 연구에서도 BERT-based가 아닌 본 세미나에서 소개해준 방식을 바탕으로 발전시킨 구조가 탑티어 컨퍼런스에 게재됐다는 발표자의 이야기를 듣고 역시 최신의 무거운 모델을 무조건 사용하는 것이 능사는 아니라는 생각을 다시금 하였습니다. 최근 NeurIPS에서도 기존의 데이터 셋에 대한 한계를 지적하고 새로운 데이터셋을 제안하는 트랙이 따로 열릴만큼 새로운 데이터를 오픈하는 것에 대한 연구적 가치를 인정받고 있습니다. 기존에 비해 양질의 benchmark dataset을 만들어 내는 것이 물론 매우 고된 작업이겠으나 좋은 연구를 위해 반드시 선행되어야 하는 부분이 아닐까 싶습니다.

금일 세미나는 Q&A 모델을 고도화하여 복잡한 질문에 답을 할 수 있도록 Multi-hop Q&A 모델을 만드는 방법에 대해 연구한 "A Dataset for Diverse, Explainable Multi-hop Question Answering" 논문에 대해 설명해 주셨습니다. 해당 논문은 복잡한 질문들에 대해 모델이 대답할 수 있도록 두개 이상의 문단에서 정답을 찾아 모델의 성능을 향상시키는 방법에 대해 연구하였습니다. Multi-hop question이라는 목적에 맞게 데이터를 구축하기 위하여 Wikipedia Hyperlink Graph를 생성한 후 데이터를 수집하여 다양한 문단 pair를 생성하였습니다. 이 데이터를 활용하여 캐릭터 기반 RNN, Attention 모델을 구축하였습니다. 또한 Explable AI가 가능할 수 있도록 coupling regularization term 추가하여 정답과 relevant한 부분을 select하였는지를 확인하는 방법에 대해 논의하였습니다. 해당 논문에서 제시한 방법론은 새로운 데이터를 생성 및 실험 하였다는 점에서 뛰어나지만, 캐릭터 기반 모델을 사용한 이유가 명확하지 않다는 단점을 갖고 있습니다. 좋은 발표 감사합니다.

금일 세미나에서 다룬 논문은 HotpotQA 입니다. 이 논문은 multi-hop question을 목적으로 직접 데이터셋을 구축하였는데, 위키피디아 하이퍼링크를 기반으로 QA를 구축했다는 점이 흥미로웠습니다. 그리고 Comparison Question을 생성하기 위해서는 두 개의 candidate pair graph를 multi-hop으로 참고할 수 있도록 질문을 구성했습니다. 또한 supporting facts를 직접 수집하여 모델의 설명력을 측정할 수 있도록 하였습니다. 이에 더하여 기존의 QA 모델과 각종 기법을 바탕으로 모델 고도화를 진행하였는데, 우선 embedding차원에서는 word embedding과 character embedding을 context, question 모두에 적용하였습니다. 그리고 Bi-GRU를 기반으로 context, question에 대한 attention을 적용한 모델을 구축하였습니다. 최근에도 효과적으로 모델을 학습하기 위한 양질의 벤치마크를 선보이는 것이 많은데, 본 발표를 들으며 데이터셋 구성의 세밀한 설계가 역시나 중요다는 것을 느낄 수 있었습니다. 체계적인 논리로 데이터셋 구성 이유를 설명한 점이 흥미로웠습니다. 좋은 발표 감사합니다.

금일 발표해주신 논문은 “HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering”로, Multi-hop question이라는 목적에 맞게 데이터를 구축하는 과정과 Task에 맞는 모델을 구축하는 방법과 성능을 높이는 기술들에 대해 이야기해 주셨습니다. HOTPOTQA 데이터셋은 Context, Single-hop, Multi-hop Question, Answer, Supporting Facts로 이루어져 있으며, 다양한 분야, 다양한 문서, 두 종류의 질문(관계질문, 비교질문)을 한다는 특징이 있습니다.
데이터 수집 및 생성 방법이 인상깊었습니다. Wikipedia에 존재하는 하이퍼링크들을 통해 두 entity간의 관계를 포함하고, 첫문단에 대부분에 정보가 담긴다는 특징을 활용하여 Directed Graph G를 생성하였습니다. 그렇게 수집된 G를 바탕으로 문단 pair를 생성하고, Multihop Question에 적합한 Comparison Question과, Answer를 설명하는 Supporting Facts를 수집합니다.
다음은 제안 모델에 대해 소개를 해주셨는데요. 임배딩 단에서는 Context와 Question 모두 Word 임배딩과 Character 임배딩을 거쳐 풍부한 임배딩으로 표현될 수 있게 하였습니다. 각각 학습된 Context와 Question의 임배딩을 Bi-GRU에 통과시켜 문맥적인 의미를 파악하고 이 둘을 QC-attention에 태워 줌으로써 둘의 관계를 학습합니다. 이 부분을 들으면서 한가지 궁금한 점이 생겼는데 각각의 Context와 Question의 임배딩을 Bi-GRU에 통과시켜 문맥적인 의미를 파악할 때 왜 Attention 기법 대신 GRU를 사용했나 의문이 들었습니다. 그 다음으로 모델은 supporting fact -> Start Score -> End Score 순으로 모델에서 정답을 도출하고 이때 전단계의 벡터값들을 사용합니다. 발표 재밌게 잘 들었습니다. 감사합니다!

이번 세미나에서는 HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering 대하여 설명해주셨습니다. 기존 연구의 한계였던 Explainable 하지 못함 그리고 한정된 Knowledge에서 도출하는 Answer 로 Single-hop question만으로는 고도화된 질문에 대한 답이 불가능함을 해결하고자 Multi-hop question을 도입하게 되었습니다. 위키피디아 하이퍼링크를 기반으로 QA를 구축한다는 점이 흥미로웠는데, 이는 위키피디아 하이퍼링크는 대부분 두 entity의 관계를 포함하며, 첫 문단에 대부분의 정보가 담기기 때문에 가능합니다.
전체적인 Flow는 다음과 같습니다. Wikipedia Hyperlink Graph 생성 (G 생성) -> Candidate Paragraph Pairs 생성 (G로부터 문단 Pair 생성) -> Comparison Question 생성 (Text-based Comparison Question 도입) -> Supporting Facts 생성 (XQA에 해당하는 부분) -> 데이터셋 구성 -> Question Types 구성 -> Answer Type 구성 -> Multi-hop Reasoning Types 구성 (Dev, test set에서 임의로 100개를 추출하여 reasoning types 분석)
해당 논문에서 제안하는 모델 방법론은 기존의 QA 모델에 각종 기법들을 추가한 형태로 Character-level Embedding, Self-Attention, Bi-Attention, 3-Way Classifier, Supporting Facts as Strong Supervision 이 있습니다. 논문에서는 Full wiki: 5,000,000+ 개의 wiki 문단 중, inverted-index-based filtering(document retrieval) 으로 5,000개 문단을 추출한 후, bigram tf-idf 로 top 10개 문단을 추출하였습니다. 그리고 Distractor data setting으로 학습된 모델로 실험 수행하였는데, 그 결과 distractor setting에서는 comparison question이 더욱 낮은 F1 score을 보였습니다.
이에 새로운 유형인 comparison question을 더욱 잘 모델링하기 위해서 더 나은 구조가 필요할 것임을 주장하고 있으며, fullwiki setting에서는 bridge entity 관련 type question들이 distractor setting 보다 확연하게 감소하는 반면, comparison type question들이 월등하게 증가하는 것을 볼 수 있습니다. 이는 comparison question: 질문 내 두 entity(a,b)들이 모두 존재하므로 retrieval의 어려움을 줄이기 때문이라 주장하고 있습니다.
Human performance 보다 성능이 낮으며, 대안 모델을 주장하지 못했고, Supporting facts 여부 결과를 최대치로 활용하지 못했다는 한계점은 있으나 좋은 접근방법이었다고 생각됩니다. 설명을 하나씩 깔끔하게 잘 해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 HOTPOTQA: HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering 논문에 대하여 소개해주셨습니다. 본 논문은 multihop Q&A을 위하여 HOTPOTQA라는 데이터셋을 구축한 것을 contribution으로 가져가고 있는데, 기존 연구의 한계점으로서 explainability의 부족, 한정된 answer가 도출된다는 점을 해결하고자 제안된 multi-hop question을 위한 데이터셋이라고 할 수 있습니다. 데이터가 갖는 큰 특징으로는 wiki 하이퍼링크를 기반으로 구축됐다는 점, 그리고 comparison question을 생성하고자 candidate pair graph를 multihop으로 참고할 수 있도록 질문을 구성했다는 점이 있습니다. QA 데이터셋에 있어서 graph가 갖는 강점을 잘 이용했다는 생각이 든 논문이었습니다. 좋은 발표 감사합니다.

본 세미나에서는 먼저 QA 데이터셋 중 하나인 HOTPOTQA에 대해 소개해주셨습니다. 이는 기존의 단순한 Single-Hop으로 구성되었던 QA 질문들에 대하여 Multi-Hop의 질문들로 대신 데이터 셋을 구성한 것입니다. HOTPOTQA의 구축 원리는 정답을 얻기위해 단일 문서가 아닌 다중 문서를 파악해야 하는 질문, 기존 Knowledge Schema에 국한되지 않는 질문, 다양한 종류의 Answer Type 설정 등 다양한 면모를 고려하여 구축되었습니다. 데이터 셋 소개 이후, 특정한 모델 대신 다중 문서를 대상으로 QA 모델을 어떻게 훈련 시킬 것인 지에 대한 방법을 소개하였습니다. 이는 정답이 포함되어 있지 않은 문단을 샘플링하거나 shared-norm objective를 활용하는 방식을 포함하며, 기존 QA 모델의 성능을 더욱 부스트 해주는 의미를 갖고 있습니다. 발표 수고 많으셨습니다.

이번 세미나는 Multi-hop question이라는 목적에 맞게 데이터를 구축하는 과정과 Task에 맞는 모델을 구축하는 방법, 성능을 높이는 기술을 주제로 진행되었습니다. 본 논문에서 HOTPOTQA라는 데이터셋을 사용하였는데 이 데이터셋은 multi-hop question에 대해 문제를 풀 수 있도록 한 데이터로 위키피디아에 있는 hyperlink를 entity간의 관계로 두어 graph로 구축하였습니다. 또한 candidate paragraph pairs를 생성하여 다양한 문단 pair를 생성하였습니다. 다음으로는 모델 고도화를 위해 기존 QA 도델에 character-level embedding, self/Bi- Attention 등을 적용하여 고도화하였습니다. 성능이 뛰어나다고 하기는 어려울 것 같지만 새로운 benchmark dataset을 새로 구축하면서 연구 발전에 이바지했다는 점은 높게 사야할 점이라고 생각합니다. 좋은 발표 감사합니다.

Single hop question 문제와 달리 여러 스탭의 거쳐야하는 질문에 맞는 데이터셋 구축 그리고 모델링하는 방법을 제시했습니다. VQA 와 같은 TASK 에서도 본 세미나와 같은 접근을 많이 했던것으로 기억하는데, 자신들의 논리와 이를 입증할 데이터셋 및 실험 과정을 처음부터 설계했다는 것이 의의가 있는것 같습니다. 사실 모델링 자체는 다소 고전적인 방식을 사용해서, 크게 와닿는 것은 없었으나, 비교적 최신 학회에 발표된 논문이라는 것은 발표에서도 언급된 것 처럼 문제를 제시하고, 해결해나가는 일련의 연구과정이라고 생각합니다.

이번 세미나는 EMNLP 2018에 등재된 논문 ‘HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering’을 주제로 진행되었습니다. QA(Questioin-Answering) task의 데이터는 정답을 도출하기까지 하나의 hop을 거치는 Single-hop question과 여러 entity의 여러 hop을 거치는 Multi-hop question으로 나뉩니다. 기존 연구의 한계인 explainable하지 않다는 점과 Single-hop question은 고도화된 질문에 대한 답을 할 수 없는 점을 들어, 본 논문은 Multi-hop question 데이터셋을 새로 생성하고 RNN과 어텐션 기반의 QA 모델을 구축하였습니다.
HOTPOTQA 데이터셋은 문맥 텍스트와 더불어 Single-hop과 Multi-hop question이 모두 존재하며 그에 대한 답과 supporting facts로 구성됩니다. 위키피디아 문서를 활용하여 Hyperlink Graph와 다양한 Candidate Paragraph Pairs를 생성하였습니다. Question은 entity 관계성 질문과 Comparison 질문으로 구성되며 Reasoning을 위한 문장 단위의 supporting facts를 제공합니다.
본 연구는 구축된 데이터셋을 바탕으로 기존 QA 모델에서 각종 기법들을 추가한 구조로 실험을 진행하였습니다. Context와 Question의 정보를 구분하여 담기 위해 Word Embedding과 Character Embedding을 추가하였고, Question-context attention과 Self-attention을 통해 문맥적 의미를 파악하도록 했습니다. 또한, 각 문장이 supporting fact인지 예측하는 binary linear classifier를 추가하였습니다. 이를 통해 QA에서 정답 span을 예측할 때 supporting fact 정보를 참고할 수 있도록 했습니다.
ML/DL 모델 학습의 출발점은 양질의 데이터셋이 존재하는가에 따라 달려있습니다. 아무리 좋은 모델이라 할지라도 이를 실험하여 증명할 수 있는 데이터가 없으면 무용지물이기에, 직접 task에 맞는 데이터를 설계하고 구축했다는 점에서 본 논문의 방법론을 매우 인상 깊게 보았습니다. 유익한 발표 진행해 주셔서 감사합니다.

금일 세미나는 "HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering"라는 주제로 진행되었습니다. 본 발표애서는 Explainable Question Answering task를 위해 Multi-hop question을 논리적으로 생생하고 RNN 및 attention을 사용하여 Question answering task에 맞는 모델 HOTPOTQA가 소개되었습니다. 먼저 본 세미나를 통해 Explainable Question Answering task를 처음 접하였는데 XAI에 관심이 있었기 때문에 금일 발표 또한 재밌게 들을 수 있었습니다. HOTPOTQA에서는 Explainable Question Answering을 위해 supporting fact를 도출한 후 answer span을 구하는데 strong supervision이 되게 하는 점과 이를 위해 새로운 데이터셋을 구축한 점이 흥미로웠습니다. 좋은 발표 감사합니다.

금일 세미나는 HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering에 대해 진행되었습니다. 본 연구는 QA모델의 설명력, 한정된 knwoledge 범위, multi-hop단위의 깊은 QA 역량에 대한 기존의 한계점을 지적합니다. 그리고 이러한 한계점을 벗어날 수 있도록 데이터셋을 디자인하는 방법에 대한 내용을 담고 있습니다. 더불어, 데이터 뿐만 아니라 모델 구축 방법과 성능 향상 기법에 대한 이야기도 담고 있습니다. 조금 더 깊고 넓은 QA가 가능하도록 다양한 문서들을 그래프로 엮어 하이퍼링크를 구성하는 가하면, Answer를 결정하는supporting facts를 데이터셋이 직접 갖도록 하기도 합니다. 더군다나 entity와 bridge를 고려해 multi-hop으로 매우 다양하게 데이터셋을 촘촘히 구성했습니다. 후반부에 제안한 데이터셋을 학습할 수 있는 모델과 성능 개선 아이디어를 설명해주셨습니다. 다소 복잡해 보이는 모델 구성이었지만, 자세한 설명 덕분에 보다 잘 이해할 수 있었습니다. 이번 발표에 이어서 XAI관련 논문 설명 영상을 연속으로 올려주신다는 계획을 잘 들었습니다. 개인적으로 관심을 갖고 있던 분야였는 데, 정말 큰 도움이 될 수 있을 것 같습니다. 기대가 되고, 좋은 레퍼런스 자료들을 공유해주셔서 다시 한 번 감사드립니다. 발표 잘 들었습니다.