이번 세미나는 graph-bert를 주제로 진행되었습니다. 이는 기존 GCN의 구조적인 이유로 발생하는 문제점을 해결하기 위해 BERT 메커니즘을 활용한 연구였습니다. GCN은 'over smoothing problem'와 'suspended animation problem' 을 가지고 있으며, 두가지 문제점은 graph의 구조를 노드와 노드 사이의 link로만 학습하기 때문에 발생합니다.

Graph-BERT는 그래프가 가지는 노드와 엣지의 정보를 간접적으로 반영할 수 있도록 linkless subgrapgh를 구성하였습니다. 기존의 graph 문제는 인접 행렬을 통해 노드와 노드 사이의 관계를 정의하는데, representation을 통해 기존의 문제점을 해결하겠다는 전개가 흥미로웠습니다. 다른 분들의 의견과는 달리, 그래프 도메인에서 각 노드의 관계를 사용하지 않는것은 불가능한 일이기 때문에 간접적으로 둘 사이의 정보를 embedding할 수밖에 없다고 생각합니다. 하지만 저자들이 주장하는 'linkless'라는 표현은 논문의 흐름과 모순된다고 생각하였습니다.

최근 그래프에 대한 연구가 많이 이루어지고있는데 연구실 세미나에서도 꾸준히 다루어주셔서 도움이 되었습니다.

기존 Graph Neural Network의 경우에는 그래프 상 해당 노드의 latent vector를 이웃 노드를 이용하여 표현합니다. 추가적으로 Multi-layer Graph Convolution Network(GCN)에서는 이러한 이웃 노드들을 반영하는 네트워크를 convolutional 하게 적용하여 이웃의 이웃 노드까지 파악합니다. 하지만 이러한 GCN에서는 인접 노드의 정보를 평균을 취하여 반영하기 때문에 학습이 진행될수록 그래프가 평탄화 되는 over smoothing problem와 층을 쌓을 경우 어느 순간 학습이 진행되지 않는 Suspended animation problem이 발생합니다. 이를 극복하기 위해 본 논문에서는 Graph-BERT 방법을 제안합니다.

Graph-BERT 방법에서는 그래프의 node와 link 정보 이외에 positional한 정보를 사용합니다. Node Raw Feature Embedding, WL Absolute Positional Embedding, Intimacy based Relative Position Embedding, Hop based Relative Position Embedding 총 4가지 Embedding 방법을 이용하여 그래프를 임베딩하고 이후 Transformer의 Encoder를 차용하여 Pre-training process에서 학습을 진행합니다. 이후 Fine-tuning process를 거쳐 Classification과 Clustering 문제를 해결합니다. 임베딩 과정에서 그래프의 특성을 이용하여 임베딩을 진행하였으므로 over smoothing problem을 해결하고, Graph raw방식의 ResNet을 사용하여 suspended animation problem을 해결합니다.

Graph를 임베딩 하는 다양한 방식에 대해 학습할 수 있었고, BERT와 ResNet에 대해 학습할 수 있어 유익한 시간이었습니다.

감사합니다.

이번 세미나는 김형석 박사과정의 Graph-BERT라는 주제를 발표하였습니다. Graph-BERT는 graph에 NLP task에서 사용되는 BERT구조를 적용한 모델입니다. 기존의 GCN이나 GAT와 같은 모델은 그래프 구조를 바탕으로 모델이 학습되기 때문에 사이즈가 큰 그래프를 학습할 때는 제대로 되지 않는 문제가 있습니다. 따라서, Graph-BERT에서는 그래프의 link에만 의존하지 않고, 그래프의 context를 기반으로 학습을 진행합니다. Pre-training 단계에서는 node reconstruction과 link prediction을 통해 학습을 진행하고, 이를 이용하여 fine-tuning 단계에서 사용합니다.
이번 세미나를 통해서 Graph Neural Network에 대한 전반적인 설명을 해주셔서 GNN에대한 흐름을 이해할 수 있어서 좋았습니다. 저 또한 GNN에 관심이 많아 이번 세미나를 통해서 많은 도움이 되었습니다.

본 세미나에서는 그래프BERT에 대한 설명을 해주셨습니다. 역시나 BERT를 사용하여 SOTA의 성능을 산출하였습니다. 일반적으로, 그래프를 물리적인 행렬로 표현하게 되는데, graph bert는 target node에 대해서 intimacy score를 계산하여 top k를 serialization을 하게 됩니다. 이 값을 입력으로 먼저, 1) node raw feature embedding CNN,RNN 같은 일반적인 임베딩을 노드에 취하게 되며 2) weisfeiler-lehman graph는 구조적특성을 그대로 가져온다는 개념인데, 요약하면 graph theory에 transformer를 적용한 구조라고 생각됩니다. 연구를 더 자세히 이해하기 위해 graph에 대해서 향후 공부를 해보도록 하겠습니다.

GNN, GCN과 관련하여 전반적인 설명을 해주어 개념을 다시 리마인드 하기에 좋았습니다. GCN에서 일반적으로 인접한 여러 node를 통해 계산하기 위해 층을 쌓을 수 밖에 없는데, 이 때 정보의 전달이 쉽게 이루어지지 않아 oversmoothing problem가 발생하여 node 간의 관계를 잘 파악할 수 없습니다. 이에 발표 논문인 Graph-BERT는 Pre-training을 위해 기존의 그래프의 edge 정보를 통한 학습이 아닌 Unsupervised learning을 제안합니다. 하지만 Input으로 기존 node 정보와 인접한 상위 node를 줄 때, 여러 방법으로 embedding을 진행하는데 간접적으로 link의 정보를 주었다는 것에 논리가 이상하다고 느껴졌습니다. 추가적으로 input 단의 상위 인접노드를 context로 넣기 위해 모든 node에 대해 연산하여야 하는데 해당 연산이 금방되어 신기하였습니다. 해당 논문은 Pre-training을 하여 해당 데이터로 다른 task들은 잘 수행할 수도 있지만 다른 데이터의 task에 대해서는 잘 적용할 수 없다는 한계점이 명확하고, 미래에는 이를 개선할 방법들이 나오지 않을까 합니다.

Graph Neural Network 분야에 BERT를 적용한 Graph-BERT에 관한 발표였습니다. 지난 세미나에서 GNN 및 GCN에 대해 알 수 있었는데, 이번 세미나에서는 GCN의 단점 및 그에 대한 해결방안이 주요 내용이었습니다. GCN은 기본적으로 각 노드의 local average를 계산하는 방법론이므로 이를 지속할 경우 그래프가 한 곳으로 shrink하는 oversmooting problem이 발생할 수 있습니다. 또한 GCN은 layer가 깊어질수록 학습에 어려움을 겪으므로 이를 해결하기 위한 방법으로 graph의 link 정보를 최소한으로 활용한 Graph-BERT가 고안되었습니다. 처음 Graph-BERT에 대해 들었을 때, 그래프에서 어떻게 sequence를 구성할까가 궁금했었는데, 오늘 세미나를 보고 BERT의 input이 마치 이미지처럼 굳이 엄밀한 sequence일 필요는 없겠다는 생각이 들었습니다. 또한 세미나에서 토론이 이루어진 것처럼 linkless라는 말이 약간의 오해를 불러일으킬 수 있다는 생각이 들었고, original BERT처럼 task-agnostic한 pretraining이 이루어지는 것이 아닌, task마다 pretraining을 수행해야 한다는 점은 아쉬움으로 남습니다. 다만, 그래프 데이터에 BERT를 적용하기 위해 저자들이 제안한 context 구조나 positional embedding 작업들은 합리적이었고, 저 또한 BERT 사용 시 참신한 embedding 방법론을 고민해봐야 겠다는 생각이 들었습니다.

김형석 박사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 Graph-Bert 논문으로 해당 논문의 부제에서 알 수 있듯 Graph의 Representation을 Attention 만을 이용해서 구하고자 하는 연구였습니다. Graph-Bert 는 Graph link에 의존하지 않고 Context 기반으로 학습을 수행하기 때문에 oversmoothing problem과 suspended animation problem 을 해결했다고 합니다. Bert 의 가장 큰 장점이 Pre-trained -> Fine-tuning 이라고 생각하는데, 자연어가 아닌 Graph 구조에서도 Graph-Bert 를 이용해 또한 이런 과정이 가능하다는 점이 매우 흥미롭게 느껴졌습니다. 개인적으로 Graph 쪽에 대해서 잘 알지 못 했는데 발표 초반부에 Graph 구조와 GNN, GCN 관련해서 예시와 그림을 통해 쉽게 설명해주셔서 이해하기가 수월했습니다. 감사합니다.

저번시간에 이어 그래프 네트워크와 관련된 최신 연구에 대한 발표였습니다. 그래프 학습에는 그래프 자체에 대한 representation을 학습하는 것과, 노드에 대한 representation을 학습하는 방식이 있음을 설명해주었습니다. 해당 논문인 Graph-BERT에서는 노드에 대한 attribute 정보들과 그래프의 노드간의 연결인 connection 정보들을 학습을 하고, node classification이나 node clustering등의 task에 적용해서 사용되었다고 합니다. 그런데 이 연구에서는 context를 기반으로 정보들을 반영하고 있기 때문에 기존에 존재하는 suspended animation 문제와 oversmoothing 문제에 대해 어느정도 해결을 하고 있다고 설명하고 있었습니다. 발표를 들음으로써 그래프 신경망에 대해 좀 더 잘 이해할 수 있게 되었고, 코드와 함께 자세하게 공부를 해보아야겠다고 느꼈습니다.

이번 세미나에서는 기존 GCN이 갖고 있던 두가지 단점(over smoothing problem, suspended animation problem)을 해결하는 Graph-BERT에 대한 발표였습니다. 우선 input 노드간 연결 정보가 sub-graph로, 타겟 노드와 그것과 가장 연관이 있는 노드들 순서로 embedding을 합니다. Embedding 과정에선 CNN, LSTM/BERT와 같이 Raw Feature Embedding, graph의 구조적 특성을 반영할 수 있는 WL Absolute Positional Embedding, index간, 노드간 거리를 반영하는 Intimacy, Hop based Relative Position Embedding과정이 있습니다. 이렇게 4개의 embedding과정으로 나온 벡터를 Graph-Transformer Layer의 최종 input으로 씁니다. 트랜스포머 레이어를 거친 후에 pre-training과 fine-tuning과정을 거쳐 classification 또는 clustering 작업을 실시합니다.
이 Graph-BERT는 두가지 단점을 해결하는데 유용한 방법이지만 범용적인 fine-tuning을 하기엔 무리가 있다고 들었습니다. Residual term을 반영해 위의 단점들을 해결하는 것은 유지하되, fine-tuning을 범용적으로 적용할 수 있는 방안에 대해 더욱 알아보고 싶었습니다. BERT를 graph에도 사용할 수 있는 방법을 처음부터 끝까지 절차별로 배울 수 있었던 세미나였습니다.

BERT를 활용한 graph network에 관한 연구인 Graph-BERT에 관한 내용을 들을 수 있어서 좋았습니다. 기존의 GCN의 망의 깊이에 따른 학습과 관련된 문제점과 oversmoothing problem에 관한 문제점을 제기하고 이를 BERT 구조를 활용해 해결하였습니다. Graph BERT는 그래프의 context에 더 집중하여 학습이 진행되기 때문에 해당 문제를 해결할 수 있다고 주장하는 부분이 논리적이였고 설명을 잘해주셔서 이해하기 수월하였습니다. 앞으로 이쪽 분야에 관련된 연구에 대해 더 살펴볼 수 있는 시간을 가지게되면 좋을 것 같습니다.