금일 세미나 시간에는 이제는 다시 세미나 발표를 들을 수 없는 최종현 석사과정이 “Modeling Relational with Graph Convolutional Networks” 논문을 주제로 발표를 진행해주었습니다. 개인적으로 GNN 관련해서 연속된 연구들을 소개해주는 상황에서 이번에는 GNN을 활용하여 entity간의 관계성을 모델링하고자하는 연구를 소개해주었습니다.
본 논문에서는 entity classification, link prediction, link-based clustering, social network modeling 과 같은 Relational modeling을 GCN 구조를 활용하여 SRL task를 수행하고자 하였습니다. 본 논문에서는 Knowledge Graph Embedding(KGE) 방법론들 중 “DistMult” (Relation Embedding) 를 사용하였습니다. 다양한 관계를 설명하는 그래프에서의 overfitting이 발생하기 쉬운데, 이는 모든 relation R에 대하여 W를 각각 적용 시 해당 모델의 complexity가 급증하기 때문이다. 따라서, 본 논문에서는 basis-decomposition, block-diagonal-decomposition과 같은 regularization을 활용하여 이를 완화하였습니다.
해당논문에서 궁금한 점은 앞서 언급한 두가지 regularization 기믹에 대한 다양한 실험 조건의 결과를 함께 제시해주었다면 좋았을 것 같습니다. 석사학위논문 심사를 무사히 마친 것을 축하하며, 바쁜 와중에도 재미있는 연구를 소개해주어서 감사하고 고생 많으셨습니다.

이번 세미나에서는 Knowledge Base(KB), Knowledge Graph(KG), Knowledge Graph Embedding(KGE)에 대한 개념 설명과 함깨 KGE에 Graph Convolutional Networks(GCN) 을 적용한 모델인 R-GCN 모델에 대해서 소개해 주셨습니다.

KGE의 대표적인 task 인 Entity Classification과 Link Prediction에 대해서 R-GCN 모델은 Entity Classification task 를 수행하는 모델입니다. 또한, 본 논문에서는 Link Prediction 을 위해 R-GCN을 encoder로, 기존에 있던 DistMult 모델을 decoder 로 사용하는 방법을 취했다고 합니다. 이 때, R-GCN layer에 대해 basis-decomposition, block-diagonal decomposition 방식을 사용한 Regularization을 적용 해주는 방법을 통해서 여러 관계를 설명하는 그래프에서의 오버피팅이 발생하기 쉬운 문제를 완화한 점이 인상 깊었습니다.

발표자분께서 Knowledge Graph 쪽으로 꾸준히 관심을 가지고 연구를 하고 있는 것을 잘 알고 있고, 사석에서도 많이 얘기해주셨던 내용이었는데 세미나 발표를 통해서 해당 분야의 내용을 쉽게 잘 요약 설명 해주셔서 이해에 많은 도움이 되었습니다. 감사합니다.

이번 세미나는 knowledge graph와 graph convolution에 관한 발표였습니다. 개인적으로 open information extraction을 연구하며, knowledge graph를 구축하는 방법은 물론 knowledge graph를 활용하는 방식에 대해 고민과 의문을 가진 적이 많았는데 이번 세미나를 통해 일정 부분 의문을 해소할 수 있어 흥미롭게 발표를 들을 수 있었습니다. 추가적으로, 새롭게 알게된 Relational GCN의 경우 학습 파라메터를 줄임으로써 모델을 경량화함과 동시에 과적합을 피할 수 있는 방법론으로, knowledge graph에 GCN을 적용할 때 유용하게 활용될 수 있겠다는 생각이 들었습니다. 마지막으로 이번 세미나에서 소개된 논문에서는 방법론에 대한 검증 task로 node 및 edge classification을 활용하였는데, 이외에도 QA system과 같은 구체적인 downstream task에 해당 방법론을 적용할 때는 어떠한 결과가 나올지도 궁금해졌습니다. 쉬운 설명으로 인해 해당 분야에 대해 더 잘 알 수 있게 되었던 세미나였습니다. 발표 감사합니다.

지식 그래프 임베딩 방법론들 중에서 거리 기반의 유사도 스코어를 구하는 모델에 대해 중점적으로 발표하였습니다. 모델의 방법론은 regularization 이라고 명칭하여 각 Relation마다 별도의 가중치를 추가적으로 적용하여 GCN 연산을 진행하는 것으로 간략하게 요약할 수 있습니다. 개인적으로 그래프 분야는 성능 뿐 아니라 인과관계를 설명하기 위해 꾸준하게 연구되어야 할 중요한 분야라고 생각합니다. 하지만 그래프 연산을 하기 전의 skeleton 의 구성이 어떻게 될지에 따라 결과는 매우 상이하게 나타날 수 있다고 생각하여, 해당 분야의 연구도 같이 활발하게 되어야 한다고 생각합니다. 지속적으로 그래프 관련하여 세미나를 진행하여 간략하게라도 관련 지식을 얻을 수 있었습니다. 발표 감사합니다.

이번세미나에는 그래프 컨볼루션을 활용한 OPEN IE에 대해서 설명해주셨습니다. OPEN IE는 문장의 관계를 (주어, 서술어, 목적어)로 표현해 그 관계를 학습하는 것입니다. 모델평가방식은 해당 튜플의 하나를 랜덤하게 변경하여 positive, negative를 구분하는 문제로 모델을 평가가 되는것으로 이해하였습니다. 개인적인 의견을 남기자면 (주어, 서술어, 목적어) 3개의 임베딩 관계를 학습하는 구조는 매우 단순한 task라고 생각합니다. 그런데 문장에서 (주어, 서술어, 목적어)를 오히려 뽑는게 더 어려운 task인것 같은데요, 오히려 그래프 컨볼루션의 모델을 이런 extraction 문제를 위해 적용하는 방법이 되면 더 획기적이라고 생각됩니다. 그래도 결과적으로 (주어, 서술어, 목적어)자체를 임베딩 공간상에서 설명력있는 그래프를 표현하는것도 어느정도 유의마한 방식이라고 생각됩니다. 좋은 발표 감사합니다.

금일 세미나는 최종현 석사과정의 연구주제인 Graph Convolutional Network를 Relation 정의에 활용하는 방법에 대한 내용이었습니다. 이는 Open Information Extraction과 같은 목적을 그래프 연산으로 해결하는 기법으로서, Triple이 (DSBA, consists_of, 23 people)로 존재할 때, 가운데는 Link, 나머지는 Node로 설정하여 각기에 대한 Prediction을 진행합니다. 이를 위해 GCN에 정규화 텀을 포함한 R-GCN, 그리고 Triple의 similarity score를 구하는 모델인 KGE 모델 중 DistMult를 사용합니다. 그래프가 Task에서 갖는 장점들을 아직 구체적으로는 모르지만, 노드와 엣지로 표현하는 그래프가 문장 내의 관계를 더 잘 보존할 것이라 생각하며 이를 통해 Relation 정의에 더 유리할 것 같다는 것을 배웠으며, Graph 기법의 Metric인 MRR / Hits에 대하여 알 수 있는 기회였습니다.
마지막 세미나까지도 깔끔하게 마무리해주셔서 감사드립니다.

Open Information Extraction을 노영빈 석사과정의 세미나를 통해 익히면서 반대쪽 그래프에 존재하는 Closed-domain Information Extraction을 다루어주셔서 흥미롭게 보았습니다. Open IE가 더 이상적인 방법론일 수는 있지만 많은 전문가들의 지식으로 구축된 knowledge base의 현업 활용도가 아직은 더 높을 것이라 생각했습니다. 이러한 knowledge는 최근 graph의 형태로 많이 표현되는데, 관련하여 노드 간 관계를 예측하는 link prediction과 노드의 유형을 예측하는 entity classification에 대해 언급해주셨습니다. 본 논문에서의 방법론은 graph convolutional network를 이용하여 knowledge embedding을 수행합니다. Relational GCN의 regularization에 등장하는 decomposition 유형은 예전에 mobilenet 논문에서도 본 것 같은데, 성능이 높지만 연산량이 많은 모델을 구성할 때 자주 사용되는 것 같았습니다. Entity classification에서 semi-supervised 방법론을 도입하였는데, UDA 같은 범용적인 기법을 그래프 도메인에도 적용하면 어떤 효과가 있을지 궁금하였습니다. 조금 찾아보니 gnn에 적용될 수 있는 augmentation 기법들이 있어서 시도해보면 재미있을 것 같다는 생각이 듭니다. 그래프 기반 방법론의 다양한 활용 사례를 소개해주셔서 그동안 유익하게 잘 들었습니다. 고생하셨습니다.

이번 세미나 주제는 그래프 방법론(GCN)을 이용하여 정형화된 관계형 튜플을 Embedding한 논문인 R-GCN입니다. R-GCN은 튜플형태의 데이터를 Graph로 변환하고 변환된 Graph를 GCN을 활용하여 Embedding함으로써 Entity Classification 또는 Link Prediction에 활용할 수 있습니다. 평소에 Knowledge Graph를 이용하는 방법에 대해서 궁금했는데 이번 세미나를 계기로 조금 의문을 해소할 수 있었습니다. 다만 Knowledge Graph를 데이터로 사용하는 논문들 대부분이 Triple 데이터를 갖고 있다는 전제가 필요하기 때문에 실제로 이 방법론을 활용하기에는 어려워 보입니다. 발표 감사합니다.

발표자께서 지속적으로 공부를 해오던 그래프로 Open Information Extraction를 푼 논문에 대하여 살펴보았습니다. 사실 그래프를 활용하는 논문이 vision이나 text domain에도 많이 있지만, 실질적으로 사용이 되는 분야는 의료쪽에 국한된다고 생각합니다. 개인적으로는 그 이유를 데이터의 특성으로 생각하고 있는데, 일반적인 vision이나 nlp task의 data는 그래프의 특성을 살릴 수 있는 구조가 아닙니다. 하지만 금일 발표하신 논문인 Open IE의 경우 데이터의 구조가 그래프의 특성과 잘 맞다고 생각되며 논문의 흐름도 논리적이라 좋았습니다. 발표자님의 마지막 발표신데, 지금껏 그래프에 도메인에 대하여 많이 배울 수 있었습니다. 감사합니다.

knowledge graph에 GCN을 적용한 모델인 R-GCN에 대한 논문을 리뷰해주셨습니다. R-GCN모델은 그래프의 각 노드의 값을 예측하는 Entity Classification을 수행합니다. R-GCN에서 특이했던 점은 다양한 decomposition방식을 통해 regularization을 하는 부분입니다. 총 두 가지 decomposition을 사용했는데 basis decomposition은 일부 basis transformation만 이용하는 방식이고 block-diagonal decomposition은 diagonal block만을 이용함으로써 sparsity를 제거하는 부분이었습니다. 해당 부분에서 직접 시각적인 설명을 제작해주셔서 이해가 잘 됐습니다. 좋은 논문을 소개해주셔서 감사합니다.

이번 세미나에서는 R-GCN을 이용한 closed form의 정보추출에 대한 발표가 진행되었습니다. knowledge graph는 knowledge base에서 subject와 object를 각각 graph의 node로 표현하고, 이들의 relation을 edge로 나타낸 그래프를 칭합니다. 소개해주신 논문에서는 GCN으로 link prediction을 수행하고, R-GCN model을 encoder로 사용하여 성능 향상을 도모했습니다. R-GCN은 모든 관계에 대해 같은 weight를 주면, highly multi-relational data에 대해 model의 계산 복잡도가 급증하며, overffiting이 발생하기 쉽다는 점을 보완하기 위해 basis-decomposition, block-diagonal-decomposition을 이용해 regularization을 수행합니다. 이는 각 relation마다 별도의 가중치를 주게 합니다. 마지막까지 좋은 내용의 발표를 준비해주셔서 정말 감사합니다. 덕분에 그래프 도메인의 방법론들을 쉽게 받아들일 수 있었습니다. 감사합니다.

ㅤ이번 세미나에서는 Knowledge Base(KB), Knowledge Graph(KG), Statistical Relational Learning(SRL), Knowledge Graph Embedding(KGE)에 대한 개념설명과 이를 GCN을 적용한 모델인 R-GCN을 소개해 주셨습니다.
ㅤ각각의 용어를 간단하게 요약하자면, KB는 전문가시스템의 구성요소 중 하나로 지적활동과 경험을 통해 축적된 지식과 규칙 등을 (subject, relation, object)로 저장한 DB, KG는 KB의 subject와 object를 node로 relation을 edge로 나타낸 그래프, SRL은 relational structure를 나타내는 도메인에 대한 머신러닝 기법입니다. 기존 GCN 모델에 SRL을 적용한 것이 바로 R-GCN(Relational-GCN)으로 link prediction을 수행할 때 encoder 역할을 하게 되어 성능이 improve된다고 합니다.
ㅤR-GCN모델은 그래프의 각 노드의 값을 예측하는 Entity Classification과 Link Prediction을 수행합니다. R-GCN은 두 가지 basis, block-diagonal decomposition을 사용하여 regularization을 수행하는데 전자는 basis transformation을 이용하는 방식, 후자는 diagonal block을 이용하는 방식입니다. 좀 더 수월한 이해를 위해 시각적인 자료를 많이 활용해주셔서 이해가 잘 됐습니다. 좋은 발표 감사합니다.

금일 세미나에서는 knowledge graph 를 활용한 R-GCN을 주제로 발표가 진행되었습니다. R-GCN 은 information extraction 중에서도 closed form 형식의 방법론입니다. entity 간의 관계성을 분류해내는 entity classification task 를 수행합니다. 이때 knowledge graph 임베딩을 위해 DistMult을 사용합니다. 모든 관계에 대해 동일한 가중치를 줄 경우 overfitting 의 우려가 있으므로 regularization을 위해 basis decomposition 과 block-diagnoal decomposition 을 사용합니다. 내용은 다소 어려웠지만, 좋은 예시를 들어주셔서 이해하기 보다 수월하였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 KGE(knowledge graph embedding)의 대표적인 task인 entity classification과 link predictions에 사용되는 R-GCN에 대한 세미나였습니다. Knowledge graph는 지식 베이스에서 subject, object를 노드로, relation을 edge로 표현한 graph입니다. Entity classification(semi-supervised node classification)를 하기 위해 R-GCN을 사용하였고, link-predictions에 사용되는 R-GCN은 encoder의 역할을 하며, 기존 DistMult에서 knowledge graph 구조를 반영한 h를 사용하는 것이 특징입니다. 또, GCN의 overfitting을 방지하기 위해 regularization방법인 basis decomposition과 block-diagonal-decomposition을 활용합니다.
이번 세미나를 통해 R-GCN에 대해서 깊게 알 수 있었고, GCN에서 overfitting을 방지하는 방법을 배워 다른 sparse 한 데이터에도 위의 decomposition 방법을 활용하여 적용하면 좋겠다는 생각이 들었습니다. 감사합니다.

이번 세미나는 knowledge graph에 대한 소개, 특히 R-GCN을 통한 OPEN IE에 대한 내용에 대한 것이었습니다. KGE에서는 subject와 object를 노드로 하고 서로 간의 관계를 edge로 하는 그래프를 구축하게 되는데, 이 때 R-GCN을 encoder, dist-mult를 similarity score를 구하는 decoder로 활용하게 됩니다. 주어, 서술어 등의 요소가 임베딩이 되어있을 때 서로 간의 관계를 표현하는 그래프를 구축하는 것이 실무적인 관점에서 굉장히 유용할 것이라 생각되나, 임베딩 자체의 성능에 따라 모델 결과가 많이 variant하지는 않을까 싶습니다. 실험 내용에서는 R-GCN이 어느 정도 overfitting을 방지하면서도 좋은 성능을 낼 수 있게 한다는 점에서 흥미로웠고, 적용 분야가 굉장히 넓을 것 같아서 개인적으로 공부를 해보고 싶은 분야이기도 합니다. 그래프에 관한 다양한 세미나를 진행해 주셔서 생소한 분야에 대해 어느 정도 지식을 쌓게 해주신 점 감사드립니다. 좋은 세미나 감사합니다.

금일 발표는 "Modeling Relational Data with Graph Convolutional Networks"이라는 주제로 진행되었습니다. 본 발표에서는 Knowledge Graph Embedding에 GCN을 적용한 모델인 R-GCN이 소개되었습니다. 저희 연구실 세미나에서 다루는 여러 분야 중 개인적으로는 그래프 분야가 가장 생소하고 다른 도메인에 적용하는 것이 가장 와닿지 않았는데, 그동안 최종현 석사과정의 발표를 들으면서 조금이나마 가까워질 수 있었습니다. 또한, 금일 발표는 지금까지 주로 접했던 대표적인 그래프 task가 아닌 OpenIE에 대해 다루었기 때문에 조금 더 그래프 활용 측면에 있어 와닿는 발표였습니다. 더불어 개인적으로 느끼기에는 그래프 분야에서 특히 decomposition에 대해 많이 다룬다고 생각이 되었는데, 금일 발표 또한 regularization을 위해 basis decomposition과 block-diagonal-decomposition을 활용하여 다시금 그래프 분야의 특징에 대해 알 수 있었습니다. 좋은 발표 감사합니다.

해당 논문은 R-GCN 으로 유명한 Relation 을 기반으로 GCN 을 사용할 때, 가중치를 달리 주어 임베딩을 효과적으로 수행하는 논문 입니다. Relation 관련 임베딩 기법들을 차례로, 중요한 맥(RESCAL, TransE, DistMult ...) 을 잘 정리해서 한번쯤 공부할 때 다시 찾아 볼 수 있었습니다. 해당 방법론에서 2가지 방식으로 regularization 을 적용한 부분이 인상적이였습니다. basis decomposition 은 차원축소 개념과 유사하게 이해를 할 수 있었고, block - diagonal decomposition 은 혼자 볼 때는 잘 이해 하기 힘들었는데, 발표에서 상세하게 설명해주어서 좋았습니다.
KG Embedding 쪽은 다양한 도메인에서 이용되고 있는 만큼, 관심가지고 더 찾아볼 만한 주제이고 관련되서 좋은 발표 들었습니다. 감사합니다

이번 세미나는 modeling relational with graph convolutional networks를 주제로 진행되었습니다. 먼저 knowledge base는 데이터 표현방식중 하나로 대부분 triple 형태로 저장됩니다. 이 정보들은 추후 downstream task에 적용되어 domain knowledge를 풍부하게 제공하는 역할로 사용됩니다. 이러한 KB를 그래흐 형식으로 나타낸것이 Knowledge graph이며 relation을 edge로, 나머지 개체들을 node로 표현합니다.

오늘 소개해주신 논문은 R-GCN로 relational GCN을 의미합니다. 여러가지 relation에 대해 graph를 생성하며 directed graph를 만들어내기 때문에 relation in/out에대한 label이 각각 주어지게됩니다. 데이터에 있는 모든 relation에 대해 가중치를 적용할 경우 highly multi relational data에 대해서는 complexity가 높아질 수 있습니다. 따라서 본 논문은 R-GCN layer에 regularization을 적용해주어 이를 해결하였습니다.

이렇게 만들어진 hidden vector를 downstream task에 적용할 수 있습니다. Link prediction과 etity classification에 이를 적용한 결과 좋은 성능을 나타냈습니다.

마지막까지 좋은 논문 소개해주셔서 재미있게 들었고, 연구실에서 summarization, GNN, GCN에 이르기까지 진행하신 연구들을 통해 자극을 많이 받았습니다. 또한 아이디어를 제안하고 구현하는 과정에서 배울점이 많았고 항상 공부를 게을리 하지 않는 성실함이 가장 기억에 남습니다. 수고하셨습니다 !

이번 세미나에서는 Graph Convolutional Network를 이용하여 Relational Data를 Modeling하는 R-GCN에 대해 소개해 주셨습니다. Relational Data는 Predicate-Argument로 구성된 Relational Tuple 형태의 Data를 의미하며, 대표적인 Relational Data에는 (subject, predicate, object) 형태의 Knowledge Base가 존재합니다. R-GCN에서는 GCN에 Relational 정보를 추가적으로 반영하고자 weight를 적용하는데, 모든 Relation에 대해 weight를 적용할 경우 highly multi-relational data에서는 model의 complexity가 높아지고, overfitting을 유발할 수 있게 됩니다. 따라서 basis-decomposition과 block-diagonal-decomposition을 적용하여 R-GCN layer를 regularization 합니다. 해당 논문에서는 standard knowledge base completion task인 link prediction과 entity classification에 대해 실험을 수행하여 높은 성능을 보였습니다. Graph Neural Network에 관한 좋은 논문을 소개해 주시어 감사합니다.