이번세미나는 Open information extraction을 주제로 진행되었습니다. OpenIE는 특정 text로부터 object들을 추출하고, 그 object 사이의 관계를 찾아내는 task입니다. Relational한 tuple들을 뽑아내는것 자체가 여러개의 object들의 관계를 뽑아낼 수 있는 매개체로 활용 될 수 있습니다. 또한 이 과정을 통해 하나의 sentence에서 연결되지않은 object도 여러가지 relational tuple을 통해 연결될수 있으므로 정보 추출 측면에서 효율적이라 할 수 있습니다.

하나의 문장에서 중요한 object를 추출하고, object 사이의 관계를 정의내리는것은 매우 어려운 일이기때문에 neural 기반의 OpenIE system이 나오기전까지는 rule base를 통해 Relational tuple을 추출했습니다. 특히 dependency parsing과 pos tag 정보를 활용해서 영어에 specific한 tuple을 추출했다고 볼 수 있습니다.

Neural 기반의 OpenIE 방법론들이 제안된 후 부터는 크게 Sequence labeling , Sequence generation 으로 나누어 모델을 정리할수 있습니다. BIO tagging을 통해 한 문장 내에서 predicate, argument를 labeling하거나, 각 predicate와 argument의 span을 예측하는 방법이 주를 이루었습니다. 실제로 최근까지(IMoJIE 발표 전) SpanOIE가 SOTA model로 Sequence labeling이 구현과 효율성 측면에서 우세했었던 것을 알 수 있었습니다.

발표자의 개인연구도 BERT에 Sequence labeling을 적용한 연구이며, training time, inference time이 기존 SOTA보다 짧을 뿐 아니라 좋은 성능을 유지하는 모델을 제안하였습니다. 몇페이지에 걸친 Result table에 얼마나 많은 노력이 필요한지 알기에 발표를 듣는 내내 많은것을 느낄 수 있었습니다. 저 또한 발표를 통해 다시한번 개념을 다질 수 있었으며, 연구 아이디어를 도출하고 이를 구현하는것에 있어 배울점이 많다고 생각했습니다. 퀄리티 높은 세미나를 통해 많은것을 배웠습니다. 감사합니다 !

노영빈 석사과정의 세미나 발표를 들었습니다. 이번에 발표해주신 내용은 발표자분께서 개인적으로 연구하시고 최근에 논문 작성을 했던 Open IE(Information Extraction) 관련하여 전반적인 내용과 시간 순으로 발전해온 과정을 소개 해주셨습니다. 먼저 연어 형태로 존재하는 문장을 Relational Tuple 형태로 표현해야 하는 이유에 대해서 쉽게 설명해주셨는데, 이렇게 구조를 만들게 되면 IR(Information Retrieval)이 용이하고, 타 Object와의 관계 정보를 효율적으로 저장 가능하다는 장점이 있다고 합니다. Open IE System 중 Neural Net 을 활용한 방법은 크게 Sequence Labeling, Sequence Generation 두 가지 방법론으로 나눠볼 수 있는데 각각의 방법론에 대해서 시각적인 애니메이션을 활용해서 쉽게 이해 가능하도록 설명 해주셔서 이해가 수월했습니다. 발표 중간에 몇 가지 질문을 했었는데 상세하게 답변 해주셔서 감사합니다. 해당 주제로 최근에 논문을 작성하셔서 그런지 깊이 있는 내용을 쉽고 간략하게 정리해서 설명해주셔서 알찬 1시간 세미나를 만들어 주신 점 감사합니다. 발표 잘 들었습니다.

이번 발표의 주제는 Open IE 에 대한 주제 였습니다. 최근 Knowledge graph 관련 공부를 하며, 느낀것이 이 그래프는 어디서 어떻게 만들어져 왔을까에 대한 궁금증 이였습니다. 물론 정형화 데이터에서 그래프 생성보다 해당 방법론은 Text 데이터에서 정보를 축약하는 것으로 좀 다르고, 더 어려운 task 라고 생각합니다. Open IE 기술이 Down task 에 적용되기 전에 상당히 중요한 것을 느끼게 되었고, 처음들으면 상당히 난해한 개념들이 많은데, 역시 쉽게 발표를 잘 해 주어서 이해하기 좋았습니다. 이번 발표에서는 노영빈 석사과정의 개인연구에 관련하여 많은 부분을 볼 수 있었는데, 생각하고 있던 개념들을 연구하고 실험하여 결과까지 낸 모습이 본받아야 할 모습으로 생각합니다.

오늘은 OpenIE(open information extraction)에 대한 세미나였습니다. OpenIE는 문장 내에서 관계형 튜플을 추출하는 task로 relation type을 사전에 정의하지 않은 것이 특징입니다. 추출된 관계형 튜플은 다양한 질의응답이나 검색과 같은 다양한 downstream task에 사용되거나 knowledge graph를 구축하는데 주로 사용됩니다. OpenIE는 저에게 비교적 낯선 분야인데 이를 체계적으로 sequence labeling, sequence generation 으로 잘 정리해 설명해주셔서 잘 이해가 되었고 굉장히 흥미로웠습니다. 개인적으로 openIE는 여러 명사절로 이루어진 복잡한 문장을 factorization하는 것으로 느껴졌습니다. 따라서 다양한 정보를 문장으로부터 체계적으로 정리할 수 있어 매우 유용할 것으로 생각됩니다. 특히 sequence generation은 추출된 sequence가 원 문장과 다른 단어를 사용할 수도 있다는 점에서 대화형 시스템에서 매우 유용하게 사용할 수 있을 것 같다고 생각했습니다. 더불어 이러한 특성으로 인해 paraphrasing을 이용해 성능을 더욱 끌어올릴 수 있을 것 같다고 생각했습니다. 세미나의 정석이라고 부를 수 있는 발표였습니다. 좋은 발표 들려주셔서 감사합니다.

이번 발표 주제는 Open Information Extraction이었습니다. Information Extraction은 NLP의 Task중 하나로 자연어 비해 정보를 관리하기 용이한 Relational Tuple을 생성하는 Task입니다. Information Extraction의 필요성에 대한 설명을 들었으며, Relation type을 사전에 정의하는 Closed Domain Information Extraction과 달리 문장 내에서 Relation을 추출하는 Open Information Extraction이 훨씬 더 유연하며 Challenging한 Task라는 사실을 알게 되었습니다. 또한 Neural Open IE의 4가지 카테고리인 BIO Tagging, Span Selection, Sequence Generation, Sequential Decoding 방법에 대한 설명을 들었습니다.

BIO Tagging의 경우 Token-Level의 Tag를 통해 각 Argument 또는 Predicate의 시작과 끝을 표기하는 방식으로 Open IE를 수행하며, Span Selection의 경우 Token-Level이 아닌 Span-Level의 Classification을 수행합니다. 이어 Sequence Generation방식에서는 구분자를 포함한 Generation 방식으로 원본 Text에 없는 Predicate를 생성할 수 있게 되었으며, 마지막으로 Sequential Decoding 방식에서 이전 Step의 Decoded Sequence를 Encoder의 Input으로 활용하여 겹치지 않는 튜플을 생성하는 방식으로 유사한 여러 튜플을 생성하는 한계를 극복하였습니다.

개인적으로는, 제안된 4가지 카테고리 모두에서 predicate가 상당히 유사한 경우를 볼 수 있는데(born in, was born in, the date of birth, …), 의미적으로 유사한 predicate를 통합할 수 있다면 downstream task에 보다 용이하게 적용할 수 있지 않을까 하는 생각이 들었습니다.
Open IE라는 Task에 대해 전반적인 설명과 더불어 흐름을 파악할 수 있는 좋은 발표였습니다. 감사합니다.

이번 발표에서 Open Information Extraction이라고 하는 task를 처음으로 접했습니다. 그럼에도 간단한 문장들을 통해 설명해주어서 이해하기가 좋았습니다. BIO Tagging에 대한 설명이 인상적이었던 것이 step by step으로 간단한 예시를 들어주었기 때문이었습니다. 토큰화된 단어들에 대해서 특정 context의 beginning, inside, outside 를 labeling하여 학습하는 방식이었습니다. 개인연구 부분에서는 발표자가 이전에 발표했던 논문을 기반으로 아이디어를 제시한 점이 돋보였습니다. Transformer block을 이용해서 label을 concat하지 않고 임베딩 하는 방식으로 변환한 것이었는데, 직접 리뷰한 논문의 아이디어를 본인의 아이디어로 적용해서 실험해보는 자세를 배워야겠다 생각했습니다.

이번 세미나 주제는 NLP Task 중 하나인 Open Information Extraction(OIE) 에 대한 노영빈 석사과정의 발표였습니다. OIE는 주어진 문장으로 부터 Object 들을 추출하고 그 Object의 관계를 찾아 하나의 튜플 즉, (obj1, relation, obj2)를 만드는 Task입니다. OIE에 대해서는 노영빈 석사과정과 함께 프로젝트를 진행하면서 대략적으로 알고 있었던 Task 였는데, 이번 세미나 발표를 통해서 기존의 방법론에서 부터 노영빈 석사과정이 제안한 방법론 까지 순차적으로 알게되어 매우 좋았습니다. 또한, 각 과정들을 그림과 함께 설명해주어 이해가 잘 되었습니다.
OIE Task에 대한 세미나 발표를 들으면서, 한가지 의문점은 이렇게 추출한 OIE 튜플들을 어디에 활용할 수 있을지 였는데, 개인 연구로 다룰 예정이라고 하니 매우 기대가 됩니다.
발표를 보면서 느끼지만, 해당 개념을 처음 접하는 사람도 쉽게 이해할 수 있도록 만든 발표자료와 전달력에 매번 감탄하게 됩니다. 좋은 발표 감사합니다!

각 도메인의 relation을 미리 정의하는 close IE보다 real-time으로 relation을 예측하는 open IE는 relation tuple으로 표현하여 언어의 관계를 그래프로 표현할수 있는 장점이 있는 것 같습니다. BIO tagging 방식의 데이터 셋 구조를 형성하는 방법로 자세히 알수 있었고 각 argument들의 시작을 Beginning, 연속된 것을 Inside, 그리고 해당되지 않는 것은 outside로 정의할 수 있었습니다. 기존 NLP모델과 차이점을 강조한다면 pos tagging까지 임베딩에 활용한다는 점입니다. 뿐만아닌라 Dependency parser tree의 산출되는 tag도 활용해서 Open IE 모델에 활용하는 것 같습니다. Span IE 같은 경우에는 predicate에 대한 모든 시작과 끝 token의 경우의 수의 확률을 계산하여 가능한 predicate를 산출하는 방식 이었습니다. seq2seq기반의 IE는 attention weight를 사용하여 각 argument와 relation을 예측하는 방법이었고 sequence decoding같은 경우는 예측된 argument를 encoder에 사용하는 방식으로 이루어진다는 점에서 데이터를 더 모델에 학습할수 있는 장점이 있는 것 같습니다. Open IE 모델이 잘 완성된다면 비즈니스의 적용력은 매우 높다고 생각되어집니다.

Open IE라는 연구 분야에 대해 잘 알지 못했는데 어떤 연구가 이루어지고 있는지 두 개의 카테고리로 나누어 각 방법론들을 설명해주셔서 쉽게 그 흐름을 파악할 수 있었습니다. 또한 Open IE가 실제 text와 관련한 down stream task에 어떻게 적용될 수 있는지 잘 느낌이 오지 않는데 이번 세미나를 듣고나니 어느정도 감이 잡히는 느낌을 받았습니다. 앞으로 개인 연구에서도 이런 open IE의 결과물을 down stream task에 잘 적용할 수 있는 것에 대한 것을 진행한다고 하셨는데 앞으로 있을 세미나가 무척 기대됩니다.

지난 프로젝트에서 주어 동사 목적어를 추출(Tuple Extraction)하기 위하여 Stanford OpenIE를 사용한 경험이 있어 흥미롭게 들을 수 있었습니다. Sequence Generation과 Sequence Labeling에 따라 정보가 추출되는 과정과 성능평가에 관련된 이야기를 해 주셨습니다. 비록 현재까지 나온 논문은 논문에서 제시한 Metric으로 성능을 평가했을 때 Sequence Generation이 더 좋지만 개인적으로는 프로젝트에 정보 추출 알고리즘을 활용한다면 Sequence Labeling 방법론을 사용할 것 같습니다. 프로젝트에서 OpenIE는 대부분 데이터 분석을 위한 전처리 단계에서 활용되기 때문에 Generation모델을 통해 나온 Text가 원본에 없을 경우 다양한 문제를 야기시킬 수 있기 때문입니다. 다음 프로젝트에서 정보 추출을 해야하는 과정이 있다면 오늘 설명 주신 다양한 방법론을 적용해보고 싶습니다. 감사합니다.

NLP의 Open IE의 주제도 중요한 task라 생각합니다. 실질적으로 사전 정의된 형태 없이 데이터(문장) 내에서 관계형 튜플을 추출하므로 유연하게 대처 가능하다고 생각합니다. 물론 관계형 튜플이 나올 수 있는 경우의 수가 많기 때문에 다뤄야할 문제가 많지만, 해당 분야는 다른 downstream task에도 적용 가능성이 큰 만큼 발전 가능성이 높다고 생각합니다. 개인연구로 관련 연구를 하고 emnlp에 투고를 하였는데, 그 과정에서 추가 데이터 수집 및 실험에 많은 노력이 있었다는 것을 간접적으로 느낄 수 있었습니다. 좋은 결과가 있길 바라며, 좋은 세미나 발표 감사합니다.

금일 발표는 "Open Information Extraction (Open IE)"라는 주제로 진행되었습니다. 본 발표는 large-scale의 코퍼스로부터 방대한 정보를 추출할 수 있는 효과적인 도구로서 주목받고 있는 Open IE에 대한 개념 및 related work 마지막으로 해당 분야에 대한 노영빈 석사과정의 개인연구 순서로 진행되었습니다. 먼저 오늘 발표를 통해 Open IE에 대해 처음 접하게 되었는데, 시각적 자료들로 구성되어 있는 발표 자료 덕분에 처음 접하는 분야를 보다 쉽게 이해할 수 있었습니다. 발표자는 항상 청취자가 발표의 내용을 이해하기 쉽도록 자료를 구성하는데 이 부분은 발표를 들을 때마다 항상 배워야겠다고 생각하게 되는 부분입니다. 먼저 오늘 처음 접한 Open IE는 정보 추출의 필요성이 두각되는 방대한 정보를 다룰 때 유용하며, 사전에 정의된 relation type 없이 문장내에서 관계형 튜플을 추출하므로 대규모 코퍼스를 기반으로 보다 유연한 정보 추출이 가능하다는 장점이 있습니다. 그리고 이를 해결하기 위해 제안된 RnnOIE, SpanOIE, Seq2Seq OIE, IMoJIE에 대한 설명도 함께 진행되어 Open IE의 전반적인 흐름을 파악하기 용이했습니다. 마지막 부분에 진행된 개인연구의 경우 발표자가 연구하는 것을 가까이에서 보았는데, 발표자가 실험을 설계하는 세심함과 논리를 전개하는 과정들을 보며 많은 것을 배울 수 있었습니다. 진행된 개인연구에서 좋은 결과가 있기를 응원하겠습니다!