이번 세미나는 "Extractive Summarization & Graph attention networks"를 주제로 진행되었습니다. SUMO는 attention mechanism에 tree induction을 이용한 summarization이며, 즉 한 document에서 모델이 산출한 sentence score가 높은 문장을 (중요한문장) 추출해내는 모델이었습니다. transformer를 통해 문장을 인코딩하며 tree matrix theorem을 적용하여 root에대한 문장의 root marginal probability, 문장과 문장 사이의 관계를 probabilty로 계산하여 스코어를 계산합니다. 또한 TMT를 이해하기위해 필요한 Korchoff's matrix-tree theorem과 tutti's matrix-tree theorem을 설명해주셨는데, 예시를 통해 자세히 설명해주신 것이 인상깊었습니다.

발표자가 꾸준히 text summarization에 대한 세미나를 진행하여 해당 task에 대한 이해도가 높아질 수 있었습니다. 각 문장의 스코어 값을 계산하는 과정이나 알고리즘을 꼼꼼하게 설명해주셨는데, 발표자의 노력이 돋보인 세미나였습니다.

기존의 RST의 한계를 보완한 방식을 제안하는 SUMO: Single Document Summarization as Tree Induction이라는 논문에 대하여 살펴보았습니다. RST는 태생적으로 언어적 특성때문에 전문가들이 parsing을 하더라도 같은 문장에 대한 결과가 조금씩 다른 문제를 가지고 있습니다. 이러한 문제를 해소하기 위하여 SUMO에서는 사람이 생성한 파싱트리를 사용하지 않고 attention mechanism을 사용합니다.
발표에서는 알고리즘과 함께 직접 구현한 예시를 세세하게 들어주어 이해가 매우 용이했습니다. 끝으로 개인연구를 위하여 GAT도 함께 소개해 주어 다시 한번 그래프 네트워크에 대하여 생각해볼 수 있는 시간이었으며, 제안하는 Transformer를 통한 문장 임베딩과 sentence relation graph를 사용한 extractive summarization 구조도 흥미로워 다음 개인연구 발표가 기다려집니다.

tree matrix theorem과 attention을 이용한 single document (extractive) summarization과 graph attention networks에 대해 배울 수 있던 시간이었습니다. kirchoff theorem 등 어려운 개념이 많았는데 이를 본인이 온전히 이해하고 예시를 들어 잘 설명해주신 부분이 굉장히 인상깊었습니다. 그리고 graph 관련 논문을 공부하며 항상 spectral과 spatial method에 대해 헷갈렸는데 각각의 방법들에 대하여 잘 설명해 주셔서 부족함 없이 이해할 수 있었습니다. 또한 gat에서는 self attention이 이용되었는데 이를 step by step으로 잘 설명해 주셨습니다. 문서 요약과 관련하여 항상 좋은 발표를 들려주셔서 감사합니다.

금일 발표는 "Single Document Summarization & Graph Attention Networks"라는 2가지 주제로 진행되었습니다. 먼저 Single Document Summarization as Tree Induction은 transformer를 이용한 Single Document Summarization 방법론으로, 임베딩된 벡터와 Tree Matrix Theorem를 통해 문장별 요약문장의 포함 여부를 분류하여 extractive summarization을 수행합니다. 특히 해당 논문 발표에서는 언어의 태생적 한계를 극복하기 위해 파싱트리가 아닌 attention mechanism을 사용한 부분이 인상깊었습니다. 다음으로 발표한 Graph Attention Networks는 발표자의 개인연구와 관련이 있는 논문이었습니다. 발표자는 지속적으로 Graph Neural Network와 관련된 논문들을 리뷰하고 있는데, 금일 발표도 이것의 연장선이었고 이를 통해 제가 따로 follow-up하고 있지 않은 Graph Neural Network 분야에 대한 지속적인 지식을 쌓을 수 있어 좋았습니다.

Text summarization에는 두 가지 방법이 있습니다. 문서 내에서 원본 글자 그대로 중요한 문장을 추출하는 Extractive summarization과 원본 텍스트에서 가장 중요한 정보를 내포하는 새로운 문장을 생성하는 Abstractive summarization입니다. 논문에서는 새로운 구조의 structured attention인 tree matrix theorem을 사용하여 중요 문장의 여부를 binary classification 합니다. Transformer를 이용하여 문장을 인코딩하고 인코딩 된 문장 벡터를 입력 받아 문장의 스코어 값을 계산한 뒤 이를 binary classification task로 간주하여 스코어 값을 0, 1로 분류합니다. 이를 위해 문장의 root marginal probability와 문장 간 edge marginal probability를 계산하고 edge marginal probability를 다음 hop propagation에 전달하는 방식으로 학습을 진행합니다.

또한 에서는 인접 노드를 샘플링하고 그 feature 정보를 취합한 후 그래프 문맥을 추론하는 방식인 Spatial Method와 self-attention을 적용한 Graph convolution 방법을 제안합니다.

문서를 요약하는 큰 두 가지 방법론과 attention에 기반한 Extractive summarization 방법인 tree matrix theorem을 학습할 수 있었고, Graph를 convolution하는 방법을 학습할 수 있어 유익한 시간이었습니다.

감사합니다.

Extractive summarization은 문장 그대로를 추출하여 내용을 요약하는 방법이며, Abstractive summarization은 text generation을 기반으로 내용을 요약하는 방법으로 이번 세미나에서는 Extractive summarization 대해서 세미나를 가졌습니다. 2017 SummaRuNNer은 sentence-word-level로 계층적 구조를 gpu를 표현하며 문장마다 label이 있는 구조를 가지고 있었습니다. 더 나아가 문장들의 수사구조를 tree로 표현하며 구마다 핵심문장과 그렇지 않은 문장을 구분하는 선행연구도 제안되었습니다. 입력문장을 transformer로 인코딩/word-level average pooling을 한후 문장 벡터로 바꿔주게 되며 이 벡터를 k iteration마다 root score(sentence-level attention)를 계산하게 되는데 이값은 다음 iteration에 사용되는 구조였습니다. 자세히 이해하기 위해서는 선행연구 공부가 필수적 일것 같습니다.

본 세미나 시간에는 Text summarization task에서 크게 두가지 Abstractive summarization, Extractive summarization 가운데 후자의 논문을 tree 기반의 matrix formulation으로 접근한 방법을 소개시켜주었습니다. 앞으로의 하고자 하는 연구 과정에서 Graph와 summrization 분야가 저 또한 관심을 가지고 공부하고 있는 분야라서 기대가 되는 연구주제라고 생각됩니다. 해당 세미나 시간 이후, 자체적으로 내부스터디를 통해서 더 좋은 연구결과를 만들도록 노력하겠습니다. 좋은 세미나시간을 만들어준 최종현 석사과정에게 감사의 말씀 전합니다.

문서 요약 중 대표 문장을 뽑는 extractive summarization에서 일반적으로 쓰이는 sequence별로 문장을 입력하여 찾는 것에서 더 나아가, 담화 트리의 그래프를 이용하는 것입니다. 기존 sequence별로 Transfomer를 통해 embedding을 한 후, 윗단에 문장 간의 관계를 파악한 TMT 구조를 쌓아 각 문장의 스코어 값을 계산하여 뽑습니다. 문장들의 가중치를 이용하여 문장간의 관계를 뽑는 알고리즘의 흐름은 이해하였지만 이런 과정을 통해 문장 관계가 맞는지에 대한 의문이 들었습니다. 또한 개인 연구에 적용할 Graph Attention network에 대해 설명을 해주셨는데, Spectral방법이나 Spatial 방법 모두 일반적으로 graph 자체가 데이터 dependent가 크다고 생각하여, 다른 그래프 구조를 가지는 데이터에는 적용하기 힘들다고 생각합니다. 개인연구로 시퀀스 구조와 그래프를 모두 적용하여 진행할 예정인데 좋은 결과 있기를 바랍니다.

그래프 구조를 활용한 single document summarization 방법론인 SUMO에 관한 발표였습니다. 원래 문서요약 방법론에 대해서는 함께 소개된 SummaRuNNer와 같은 sequence labeling 방식밖에는 알지 못했는데 오늘 발표한 그래프 방법론 또한 문서 내 문장간의 관계를 반영할 수 있는 유용한 방법론이라는 생각이 들었습니다. 개인적으로 의문이 들었던 것은 extractive summarization에서 root 문장을 골라낼 때 root와 root간의 연관성 또는 연결성은 고려되지 않는가에 관한 부분이었습니다. 단순히 document 내에서 중요한 문장을 골라내는 것 또한 의미있을 수 있지만 output을 productize 하는 관점에서는 골라낸 root 문장끼리 매끄럽게 연결되는가에 관한 부분도 반영할 수 있다면 가치가 높은 연구가 되지 않을까 하는 생각이 들었습니다. 발표자분이 지속적으로 공부해 온 분야인만큼 계획한 연구가 잘 이루어지길 바라겠습니다.

최종현 석사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 총 2개로 먼저 발표 해주신 논문은 하나의 문서로부터 하나의 요약문을 추출해내는 Single Document Extractive Summarization 관련 논문이었습니다. 첫번째 논문에서 제안한 SUMO 모델은 Attention mechanism 과 Tree induction 을 이용해서 summarization 을 수행하는 모델입니다. 이때, 모델 구성에 있어 Transformer Network 를 이용해서 문서 내의 문장을 Encoding 하는 과정을 거치고 Attention score 산출을 위해서는 Yoon Kim 의 2017 논문에서 제안된 Structured Attention 을 발전시킨 방법인 Tree Matrix Theorem 을 사용 했다고 합니다. Kirchoff's, Tutte's, Koo's Matrix-Tree Theorem 등은 처음 들어본 내용이지만 쉽게 설명해주셔서 이해하기가 수월했습니다. 두번째로 발표해주신 논문은 Graph Attention Networks 논문으로 개인적으로 Graph Convolutional Networks 와 Graph Attention Networks 에 대해서 자세히 알고 싶었던 내용이었는데 상세하게 설명해주셔서 감사합니다. 아직 완벽히 이해하지는 못 했지만 추후 해당 부분을 공부할 때 많은 도움이 될 것 같은 발표였습니다.

Text Summarization과 관련한 기초적인 개념을 짚어주어서 좋았고, 그 분류인 extractive한 방식과 abstractive한 방식을 설명해주어서 이해하기 수월했습니다. 그 중 extractive한 방식으로 중요한 문장을 추출해내는 SUMO 라는 모델을 소개해주었는데, Matrix-tree theorem을 이용하는 것이었습니다. 문서내의 많은 문장들을 인코딩하고 문장들의 가중치를 계산해내는데에 사용을 합니다. 그러나 이 방법들이 가지고 있는 한계를 개선하기 위해 spatial한 method인 GAT를 소개해주었습니다. 저번 세미나 준비를 하면서 공부했던 GNN 내용을 바탕으로 들으니 그 연관점을 찾을 수 있었고 좀 더 잘 이해가 된것 같습니다 .또한 그림을 통해 스탭을 순차적으로 설명해주어 좋았습니다. 다만 새로운 노드 벡터들을 만들어내는데에 있어서 다양한 방식을 사용할 수 있을 것 같다는 생각도 들었습니다.

이번 세미나에서는 텍스트를 추출해 요약하는 SUMO와 Graph Attention Network인 GAT에 대한 내용이었습니다. 우선 SUMO는 Transformer를 이용해 문장을 인코딩하고 Structured Attention과 Tree-Matrix-Theorem을 이용해 각각의 문장의 스코어 값을 구한 다음, 핵심 문장인지 아닌지를 가려내는 방법입니다. 또, GAT는 self-attention(masking포함)을 적용한 spatial approach를 도입한 Graph Convolution입니다.
이번 세미나를 통해 각 단어들을 graph의 노드로 표현하여 단어 간의 방향성을 고려하는 것이 유용하다는 생각을 할 수 있었고 여러가지의 Tree-Matrix Theorem 들, 그 중 Kirchhoff’s TMT를 활용한 Koo’s TMT의 원리를 배울 수 있었습니다.

Extractive summarization과 관련된 연구인 SUMO 발표가 인상깊었습니다. Extractive summarization은 문서 내의 문장을 추출하여 문서를 요약하는 기법으로 abstractive summarization과 같이 대표적인 문서 요약의 한 갈래입니다. 결국 extractive summarization은 문서 내의 문장을 그대로 활용하기 때문에 어떤 문장을 사용할지에 대한 것을 결정해야 합니다. SUMO에서는 attention과 tree induction을 활용하여 이를 결정하는 score를 산출하였습니다. 이 부분의 논리성이 가장 중요하다고 생각하는데 해당 방식이 꽤나 논리적이라고 생각하였습니다. 또한 Matrix-Tree Theorem에 관한 얘기는 처음 접했는데 쉽게 잘 설명해주셔서 어떤 식으로 논리가 전개되는지 잘 파악할 수 있어서 좋았습니다.