금일 세미나에서는 nlp 분야에서 사용되는 GNN이라는 주제로 Heterogeneous Graph Neural Networks for Extractive Document Summarization에 대해 살펴보았습니다. 기본적으로 단어를 기본 노드로, 문장이나 문서 조합을 수퍼노드로 사용하는 heterogeneous graph 구조를 사용합니다. 네트워크의 경우 단어는 glove로, weight는 TF-IDF로, 그리고 super node의 경우 CNN과 biLSTM으로 나온 feature를 사용하여 초기화를 진행합니다. 이후 학습을 진행하는데 몇몇 감성분석 논문에서 word vector를 pretrained vector로 사용하는 경우보다 랜덤 백트로 초기화 하는 경우 성능이 더 좋다는 report가 있어서 본 연구에서도 random 초기화를 했을 경우의 성능이 궁금했습니다. 논문에서는 선행 연구들에 비해 제안하는 구조가 좋은 성능을 보이고 있지만 개인적으로는 nlp나 vision의 general한 테스크에 그래프를 사용하여 얻는 이점에 대해서 여전히 이해가 어려운 것 같습니다.

금일 세미나는 "Heterogeneous Graph Neural Networks for Extractive Document Summarization" 논문에 대해 소개해주셨습니다. Heterogeneous는 Homogeneous와 달리 서로다른 유형의 graph를 구성하는 방식을 말합니다. 따라서 본 논문에서 제안하는 HeterDOCSUMGraph(HDSG)는 Multi-document에 대한 summarization task를 수행하기에 적합한 구조로 사용이 가능했습니다. 기존 summarization task에 사용되는 BERT 구조 이외에 graph를 활용하여 어떠한 방식으로 수행이 가능한지 알 수 있는 시간이었습니다. 오늘도 좋은 발표 감사합니다.

금일 세미나에서는 Heterogeneous Graph Neural Networks for Extractive Document Summarization 논문을 다루어 주셨습니다. 구체적으로는 GNN(Graph Neural Network)을 이용해 여러 nlp task들을 수행하는 GNN4NLP를 소개해 주셨습니다. 본 논문에서는 문장 단위의 노드들(super nodes)뿐만 아니라 의미 단위(단어)의 노드들(basic nodes)까지 함께 이용하여 문서 요약 추출을 하는 word-sentence graph를 제안하고 있습니다. 요약을 하는 문서의 수(single, multi)에 따라 방법론이 나뉘는데 전자에서는 HeterSUMGraph(HSG)를, 후자에서는 HeterDocSUMGraph(HDSG)를 이용하고 있습니다. 모델의 기본 구조는 graph initializers, heterogeneous graph layer, sentence selector로 이루어지는데, HDSG는 HSG에 문서 노드를 추가했다는 점에서 구조에 차이가 있습니다. 기존에 있던 여러가지 방법론들뿐만 아니라 해당 논문 이후에 나왔던 논문들까지 함께 소개해주셔서 유익했던 발표였던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 "Heterogeneous Graph Neural Networks for Extractive Document Summarization"라는 논문을 다루어 주셨습니다. GNN을 사용하여 NLP task를 수행한 연구라고 볼 수 있는데, 여러 node 간의 관계 정보를 파악하는데 용이한 그래프 구조를 사용한 GNN 답게 본 논문처럼 다양한 task에 응요될 수 있는 것 같습니다. 오늘 말씀해주신 부분 중에서는 특히 HDSG 즉 여러 개의 문서들을 요약하는 task에 GNN을 활용한 것이 흥미로웠는데, 각 문서간의 관계를 문서 노드를 추가하여 고려할 수 있다는 점에서 GNN 구조가 적합하다라는 생각을 하였습니다. 오늘 발표를 통해서 NLP task 중 하나인 summarization task에서 GNN이 어떻게 활용되는지 알 수 있어 좋았고, 향후 GNN이 어떤 다른 task에 적합할지에 대해 생각해 볼 수 있는 시간이어서 유익 했습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "Heterogeneous Graph Neural Networks for Extractive Document Summarization" 논문을 주제로 진행되었습니다. 우선 제안한 논문의 그래프 구조는 이분할 그래프 구조, heterogeneous grpah 를 사용했습니다. 이러한 구조는 word entity , sentence entity 가 서로 상관관계가 깊을 때 유용할 것으로 알고 있습니다. 우선 그래프의 edge weight 를 tf-idf 에서 가져온것은 매우 합리적인 선택 이였다고 생각하지만, 개인적으로는 최근 그래프 네트워크의 추세가 GSL 인것을 생각해서, Edge weight 자체로 학습을 시키는 방법론을 적용해보면 재미난 연구가 될 것 같습니다. 기존 BERT 기반 방법론들 보다 그래프를 사용하게되면 이웃에 대한 정보를 많이 필요로 합니다(mini-batch 로 구성하더라도). 실험적 성능으로는 조금 더 우수한 결과가 나오는 것을 확인했는데, memory cost 가 얼마나 차이나는지 실제로 볼 수 있으면 더 좋을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 “Heterogeneous Graph Neural Networks for Extractive Document Summarization”연구에 관해 진행되었습니다. 크게는 문서 요약에 GNN을 적용한 방법론으로 볼 수 있습니다. 기존의 추출연구 모델들에서는 GNN을 활용한 방법론은 보지 못했는 데, 이를 확인할 수 있어 좋았습니다. 더불어 heterogeneous graph와 homogeneous graph 간의 차이도 알 수 있었습니다. 구조 자체는 간단해보였습니다. 필요한 featrue들을 encoding한 후, 이를 토대로 Graph attention 을 거칩니다. 그리고 이를 토대로 주요 문장들을 선택해냅니다. 아마도 heterogeneous graph 자체가 반영할 수 있는 특징(edge를 토대로)이 좋은 영향을 준 것 같다는 생각을 했습니다. 말씀해주신 것처럼 추후에 다양한 정보를 node로 표현한 뒤, heterogeneous graph기반 학습을 진행하면 더욱 좋은 연구가 될 수 있을 거라는 생각을 했습니다. 후반부에 afterward를 통해 이후 연구에 대해서도 소개해주셔서 좋았습니다. 좋은 발표 감사드립니다.

이번 세미나는 ‘Heterogeneous Graph Neural Networks for Extractive Document Summarization’를 주제로 진행되었습니다. multi type 노드를 다루는 heterogeneous graphs를 통해 NLP분야의 추출요약 task를 수행합니다. word node로 Glove와 cnn encoder, lstm으로 sentence node를, 그리고 TF-IDF를 edge feature로 사용합니다. 두 node와 그를 잇는 edge feature로 heterogeneous 그래프로 표현한 후 GAT layer를 거쳐 추출요약을 수행하였습니다. 그래프를 사용한 추출요약 task 연구는 처음 접하는 것 같아 새로운 지식을 배울 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Heterogeneous Graph Neural Networks for Extractive Document Summarization"라는 주제로 진행되었습니다. 본 발표에서는 heterogeneous graph network를 이용하여 문서 추출 요약을 수행한 방법론인 HSG가 소개되었습니다. 해당 모델은 단일 문서와 다중 문서를 단어와 문장 노드로 변환한 heterogeneous 그래프를 input으로 사용하며, graph attention layer를 활용한 문장 노드의 node classification을 통해 추출 요약을 수행합니다. HSG는 Graph Initializers, Heterogeneous graph layer, Sentence selector 총 3개의 요소로 구성되어 있는데, Graph Initializer가 가장 인상깊었습니다. 해당 모듈은 LSTM과 CNN을 활용하여 local 및 global 특징을 반영하는 representation을 도출하였는데, 간단한 구조로 의미있는 정보를 추출했다는 생각이 들었습니다. 그래프가 여러 분야에서 많이 활용되고 있지만 개인적으로는 팔로우업하지 않는 분야인데 세미나를 통해 관련 연구를 접할 수 있어 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 heterogeneous graph를 통한 Text Summarization 방법론을 제안한 논문 Heterogeneous Graph Neural Networks for Extractive Document Summarization을 주제로 진행되었습니다. 발표자분께서 지속적으로 그래프 네트워크와 관련한 세미나를 진행해주신 덕에 이번 세미나 역시 유익한 정보를 많이 얻어갈 수 있었습니다. 본 논문은 요약 중에서도 문서 내 주요 문장을 추출하여 요약문을 구성하는 Extractive Summarization task를 다루고 있습니다. 추출요약에서는 문장 간 관계를 찾는 것이 중요한데, 이를 그래프 네트워크 중 노드의 degree를 통해 파악할 수 있다는 점이 흥미로웠습니다. 실제로 리뷰를 진행했던 TextRank의 경우에도 각 문장을 그래프의 노드로 취급하여 추출 요약을 진행하는데 이러한 측면에서 그래프의 활용성이 높아 보입니다. 본 논문은 그래프 중에서도 heterogeneous 그래프를 활용하여 추출 요약을 풀어낸 첫 연구이며, 단어를 semantic unit으로 정의하여 문장 노드를 단어 노드와 연결한다는 특징을 가지고 있습니다. 또한, single, multi document에 모두 적용 가능하다는 측면에서 강점을 보입니다. 평소 접해보지 못했던 heterogeneous graph 개념이 처음엔 낯설었지만 꼼꼼히 설명해주신 덕에 발표 흐름을 잘 따라갈 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나에선 Heterogeneous Graph Neural Networks for Extractive Document Summarization 라는 연구에 대해 소개되었습니다. 논문에선 문서를 단어와 문장 노드로 구성된 heterogeneous 그래프로 나타내고, GAT layer 로 구성된 모델을 사용하여 node classification을 학습하는 것으로 문서의 추출요약을 수행합니다. 추천 시스템 외에 GNN구조를 사용하여 성능을 내는 연구를 거의 접하지 못했었는데 본 연구는 그래프 구조를 통해 일종의 bias를 모델에 주입하는 것이 NLP task에 도움이 될 수 있음을 보여주는 연구라 생각됩니다. 좋은 세미나 발표 감사합니다.

이번 세미나는 NLP 분야에서의 GNN 활용에 대한 전반적인 introduction과 ACL 2020년에 억셉된 Heterogeneous Graph Neural Networks for Extractive Document Summarization 논문으로 진행되었습니다. Heterogeneous graph란 하나의 정보만을 담고 있는 Homogeneous graph와는 달리 여러 유형의 정보를 담은 그래프를 뜻하는데 해당 논문은 추출 요약 분야에서 Heterogeneous graph를 이용해 Sentence-level의 노드와 함께 의미 단위(semantic unit)가 되는 노드를 함께 활용한 논문입니다. 이러한 방법론은 단일 문서와 복합 문서에 모두 적용이 가능하며, PLM을 이용하지 않고도 벤치마크 데이터셋에서 SOTA를 달성한 contribution을 가지고 있습니다. 그래프에 대한 전반적인 개념 설명을 잘해주셔서 GNN에 대해 배경 지식이 없음에도 이해를 잘 할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Heterogeneous Graph Neural Networks for Extractive Document Summarization 이었습니다. 해당 논문은 단어-문장, 문장-문서 간의 관계를 통해 그래프를 생성하고, 이를 기반으로 추출 요약 태스크를 수행합니다. 특히 이를 heterogeneous 그래프로 상정하여 문서가 hierarchical한 구조를 가지고 있는 특징을 이용하고 있습니다. 최종적인 요약문 선택은 각 sentence embedding에 대해 linear layer를 통해 진행하기 때문에, 논문의 핵심적인 내용은 문장, 문서 임베딩을 생성하는 과정에 있는 것 같습니다. 직관적으로 논문에서 제시하는 그래프 구조가 타당하다고 생각이 들었지만, 과연 이렇게 그래프 구조를 이용해서 추출 요약을 수행해야 하는 이유가 무엇인가에 대해서는 사실 의문이 많이 남았습니다. HAN 등과 같이 GNN을 직접적으로 사용하지 않는 모델들 역시 그래프 구조를 일부 반영하고 있고, 이와 관련하여 어떤 차이점이 있는지 실험이나 개념적인 설명이 있었으면 더 좋은 논문이었을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 Heterogeneous Graph Neural Networks for Extractive Document Summarization을 소개해주셨습니다. Extractive summarization에서는 특히 문장과 문장 사이의 관계를 모델링하는 과정이 중요한데, 소개해주신 방법론은 GNN을 활용하여 문제를 풀이합니다. 제안 방법론은 sentence level의 node에 더해 word를 semantic unit으로 활용하며 edge feature를 TF-IDF로 표현하여 초기화합니다. 이전에 동일한 논문이 연구실 세미나에서 진행된적이 있어 이해하기 수월했고, 꼼꼼히 준비해주셔서 다시한번 공부할 수 있었습니다. 감사합니다.