이번 세미나는 GraphMAE와 GraphMAE 2에 대해 소개해주셨습니다. 본 논문에서는 masking을 통한 graph self-supervised learning 방법론을 제안합니다. 저자는 Masking을 사용하지 않는 autoencoder는 충분한 그래프 정보를 반영하지 못한다 지적합니다. 따라서, node의 representation을 마스킹한 뒤, 이를 복원하는 과정을 거쳐 SSL를 수행합니다. 이때, Encoder, Decoder 단에서 reconstruction을 두 번에 걸쳐 수행하여 주변의 이웃 정보에 의해 representation을 생성하도록 보장합니다. GraphMAE2는 Contrastive learning를 추가로 적용하였으며, Mask Node를 랜덤하게 선택하여도 input feature를 그대로 복원할 수 있는 방법론을 제안하였습니다. GraphMAE2에서 contrastive learning이 되려 large graph sampling 방식보다 성능이 좋지 않은 점이 놀라웠습니다. 노드가 복잡하게 연결된 graph 방식에서 masked learning을 수행하는 방식에 대해 알아 볼 수 있어서 좋았습니다. 좋은 발표 감사합니다!

이번 세미나는 ‘GraphMAE : Self-Supervised Masked Graph Autoencoders’으로 graph SSL방식의 한계점을 언급하며 방법론을 제안하고 있습니다. 문제점으로 negative sampling시의 계산 복잡도에 대한 보완 필요성과 data augmentation에서의 설명력 필요성, contrastive learning의 early-stage의 불안전한 학습에 대해 언급하고 있습니다. mask edge를 사용하며 pre-train시에 link prediction은 잘 하지만 node classification에 성능이 좋지 못하여 node masking을 하였고 복원 과정에서 그래프의 구조적 정보를 반영하지 못한다는 한계점을 보완하기 위해 feature reconstruction을 진행합니다. mask input을 복원하여 node classification을 위한 node representation을 생성하게 됩니다. 하지만 간단한 decoder로 복원을 할 경우 잘 안되는 케이스가 많아 target generator로 보완하게 되는 GraphMAE2를 제안하게 됩니다. graph sampling시에 sparse부분을 샘플링 할 경우 정보가 왜곡될 가능성이 있어 dense graph를 추출하기 위해 personalized pagerank를 이용하여 노드 score가 높은 것을 선택하여 subgraph를 생성하였습니다. 해당 세미나를 들으면서 구체적으로 문제점을 지적하며 보완하는 방법을 제안하는 것이 좋았습니다. 좋은 발표 감사합니다.

해당 세미나 시간에서는 최근까지도 Vision, NLP에서 활발히 연구중인 Self-supervised learning (SSL) 을 Graph 도메인에 적용한 Graph SSL 방법론과 관련하여 두 가지 논문을 주제로 다루어 보았습니다. BERT, GPT 등으로 대표되는 SSL은 그래프 도메인으로 넘어오면서 edge정보 혹은 degree 정보들을 masking하는 방식으로 학습하고자 하는 연구들이 계속되어 왔습니다. 하지만, 그래프 도메인의 특성상 노드들의 연결을 예측하는 link prediction 에서의 안정적인 성능과 달리 노드의 성질을 예측하는 node classification과 같은 task에서는 만족할 만한 성능을 거두지 못하였습니다. 따라서, 첫 번째 논문인 “GraphMAE: Graph masked auto-encoder” 에서는 node의 representation 학습을 위해 node feature에 masking을 하는 방식으로 graph auto-encoder를 구성하여 generative self-supervised graph pretraining 학습을 수행하였습니다. 이과정에서 특징은 단순히 input 단계에서 feature를 masking 하는 것뿐만 아니라 encoder를 거친 representation에도 다시 decoder 단계에 앞서서 hidden representation에도 masking을 진행한다는 점입니다. 이는 아무래도 자기 자신의 representation을 통해서 복원하는 것이 아닌 그래프상의 이웃 노드들의 representation을 통해서 복원이 가능하도록 graph contrastive 학습을 도모하는 장치라고 판단됩니다. 첫 논문을 소개하는 과정에서 이러한 masking을 고정하여 학습을 한다는 게 조금 아쉽다고 생각하였는데, 이어서 소개한 두번째 “GraphMAE2: A Decoding Enhanced Masked Self Supervised Graph Learner” 에서는 이러한 masking을 stochastic하게 random으로 수행하여 Multi-view 학습이 가능하도록 구성하였습니다. 또한, 상기 multi-masking decoder와 함께 모든 노드 representation을 통해 target을 생성하는 MLP projector를 구성하여 node reconstruction과 target prediction을 동시에 학습가능한 프레임워크를 제안하였습니다. 이번 세미나 시간에는 이미지와 NLP에서 수행되는 masked 모델링 방식을 그래프 도메인에 잘 적용한 2개의 논문에 대해서 다루어 보았습니다. 그래프에서의 masking이 단순히 node feature masking에 국한되지 않고, edge masking 즉, adjacency matrix까지 확장된다면, GNN을 구성하는 방법에서부터 꽤나 어려운 문제로 넘어갈 것 같습니다. 이 task 또한 어떠한 방식으로 풀어나갈 수 있을지 귀추가 주목됩니다.

이번 세미나에서는 Graph Self-Supervised Learning (Generative method)를 주제로 총 2편의 논문에 대한 리뷰를 진행해주셨습니다. 본 발표에 앞서 Graph SSL에서 contrastive learning이 어떻게 적용되는지 알려주셔서 추후 발표 흐름을 이해하는데 많은 도움이 되었습니다. GraphMAE : Self-Supervised Masked Graph Autoencoders에서는 vision에서의 MAE와 비교시 decoder의 input을 넣는 방식은 같지만, umask만 사용하는 것과는 차이가 있습니다. 좀더 구체적으로 살펴보자면 masking 비율을 랜덤하게 선택하고, decoder에서 GNN 구조를 이용하여 remask 부분에 graph 정보를 활용하고자 하는 방식으로 진행되게 됩니다. vision에서의 MAE와 비교를 하며 설명해주셔서 유사한 구조를 다른 도메인에 어떻게 적용할 수 있는지 살펴볼 수 있는 좋은 기회였던 것 같습니다. 또한 GraphMAE에서는 adjacency matrix값을 복원하게 되는데 이때, mask input을 복원하여 graph structure를 기반으로 node representation을 생성하고자 하고 있습니다. GrpahMAE2에서는 target generator를 이용하여 input 구조를 최대한 보존하고자 하고 있으으며 contrastive learning 방법론을 추가적으로 적용하였습니다.본 방법론은 mask graph가 data augmentation 역할을 하고 , random masking을 이용하고 있기 때문에 augmentation 방법에 크게 의존적이지 않다는 특징을 갖고 있습니다. 본 프레임워크에서는 decoder로부터 multi-view masking을 수행하였고, dense한 그래프를 추출하기 위해 large-graph에서 활용하기 위한 sub-graph를 생성하였습니다. 위의 방법론들의 경우 edge나 structure 정보가 아닌 input feature를 사용한 SSL 방식이라는 점에서 특징이 있습니다. 좋은 발표 감사합니다!

이번 세미나에서는 그래프의 Self-Supervised Learning을 위한 새로운 방법을 제안한 GraphMAE : Self-Supervised Masked Graph Autoencoders (KDD 2022)에 대해서 다뤄 주셨습니다. 해당 논문에서는 Self-Supervised Masked Graph Autoencoder (GraphMAE)를 제안하였으며, 그래프 구조를 보존하면서 그래프의 잠재 표현을 학습하는 것을 목적으로 합니다. 기존의 Graph Self-supervised Learning은 주로 Contrastive Learning 기반으로 많은 연구가 이루어졌으며, Large graph에서 Contrastive Learning 방법을 통해 GRaph (Node)에 대한 Pre-Train을 수행하였고 Node Classification, Graph Classification 등 다양한 Down-Stream task를 진행하였습니다. 하지만 이 경우 Negative sampling을 생성하는 계산 복잡도와 효율적인 계산을 위한 별도의 방법이 필요하고 그래프를 생성하는 방법론에 따른 랜덤성이라는 문제점 또한 존재하였습니다. 본 논문에서는 이러한 Contrastive Learning 기반의 학습이 아닌 Masked Auto Encoder의 형식을 사용하여 Pre-train을 진행하고자 합니다. 일반적으로 사용 되었던 Graph Auto Encoder는 충분한 그래프 정보를 반영하지 못 하는 반면 , Masked Auto Encoder는 Mask Input을 복원하여 Graph Structure를 기반으로 정보를 받아 더 적합한 Node Representation을 생성할 수 있습니다. Contrastive 방법론 보다 대부분 성능적인 측면에서 더 좋은 것을 실험을 통해 보여주고 있습니다. 그래프를 사용하는 것이 눈으로 직관적으로 다가 오지 않아 상당히 어렵지만, 좋은 발표 덕분에 좋은 기회였던 것 같습니다.

이번 세미나에서는 Graph Self-Supervised Learning 주제로 GraphMAE : Self-Supervised Masked Graph Autoencoders와 GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner 논문을 다루었습니다. Graph SSL은 large unlabeled graph에 대해 contrastive learning을 통해 Graph 혹은 Node에 대한 pre-train을 수행한 후, Node classification, Graph Classification과 같은 downstream task에 대해 fine-tuning을 하는 방법론입니다. GraphMAE의 특징은 Graph masked auto-encoder구조를 사용한다는 점인데, input graph에 대해 masking을 진행하고, masking된 input에 대해 auto-encoder를 사용해서 feature reconstruction을 하는 단계로 학습이 이루어집니다. masking은 노드 feature를 random하게 제거하거나 교체하는 방식을 사용할 수 있고, scaled cosine error를 reconstruction error로 사용합니다. GraphMAE2는 GraphMAE에서 auto-encoder의 decoding 과정을 강화한 방법론입니다. GraphMAE2의 특징은 multi-view random re-mask decoding을 사용한다는 점인데, 이는 입력 graph의 node feature를 masking하고 디코딩 과정에서 random하게 다시 한번 masking하는 방법으로 decoding 결과가 입력 graph의 여러 관점을 반영할 수 있도록 합니다. Graph 분야에서도 PLM의 일반적인 학습 방식인 pre-train, fine-tuning이 이루어진다는 점이 재밌었고, 모델 구조가 비슷하다는 생각이 들었습니다. 그래프 방법론들은 여전히 생소하지만 방법론의 핵심을 잘 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 그래프 네트워크의 자기지도학습(self-supervised learning, SSL)에 대한 내용을 주제로 진행되었습니다. 개인적으로 궁금하면서 필요한 내용이었기에 반가운 주제였습니다. 그래프 네트워크의 SSL은 두 가지로 구분할 수 있습니다. 첫 번째는 contrastive learning 계열로 대표적으로 random walk로 생성된 이웃 노드를 positive 아닌 node를 negative로 설정하여 contrastive loss를 구하는 방법이 있습니다. 허나 이는 노드를 기반으로 학습하는 것이기에 node classification과 graph classification 과업에 맞춰져 있고 negative 샘플들을 설정하는 과정에 대한 적합성이 불안정합니다. 두 번쨰는 생성(generative) 계열 방법론으로 엣지를 masking 한 후 이를 복원시키는 과업이 대표적입니다. 혹은 노드를 masking하고 마찬가지로 이를 복원하는 방법도 생각해볼 수 있는데 엄밀히는 node의 표현을 복원시키는 것으로 생각해볼 수 있습니다. 관련하여 두 가지 방법론이 소개 되었습니다. 첫 번째 GraphMAE는 이름(Masked Auto Encoding)에서 알 수 있듯이 그래프에 masking을 적용하고 복원시키는 과업으로 self-training을 진행합니다. 특징은 Encoder 부분에서 인접행렬도 함께 입력값으로 활용하고 있어 그래프의 구조도 반영될 수 있도록 하는 점입니다. 두번째로 소개해주신GraphMAE2는 앞선 방법론을 그대로 이어서 발전시킨 것입니다. GraphMAE 보다 Decoding 과정을 좀 더 발전 시킨 것으로 mask graph와 unmask graph의 복원 및 생성(target) 값의 loss와 더불어 네트워크를 exponential moving average로 학습하게 됩니다. 특히 입력값이 되는 sub-graph 생성 시 좀 더 밀집(dense)되어 있는 그래프를 이용하여 message passing이 잘 이루어질 수 있도록 합니다. 이러한 그래프의 SSL 방법론을 text 데이터와 결합하였을 때, 즉 노드가 되는 토큰/단어의 표현을 학습시키기 위해 사용될 수 없을지에 대한 고민을 하고 있었습니다. 가령 BERT의 MLM 과업이 그래프에서도 적용이 되는 지에 대해서도 고민 가능할 것으로 보입니다. 유익한 발표 잘 들었습니다. 감사합니다.

해당 세미나에서는 이정호 발표자님께서 "Graph Self-Supervised Learning"라는 주제로, GraphMAE와 GraphMAE2 논문을 중점적으로 소개해주셨습니다. 기존 Graph Constrative learning의 문제점인 생성된 graph들이 positive와 negative 역할을 제대로 할 수 있는지에 대해 비판하며, Graph SSL 방법론에 대해 강조하고 있습니다. 이는 Mask edge를 사용하여 pre-train을 진행하고, nose masking을 복원하는 특징을 가지고 있습니다. 그리고 이러한 점을 개선한 모델이 GraphMAE이며, Masking을 사용하지 않는 auto-encoder는 그래프 정보를 반영하지 못한다는 점에 착안해 Re-mask를 추가해 개선하였습니다. 또한 GraphMAE에서도 Decoder를 강화하기 위해, mask graph와 unmask graph를 동시에 진행하여 두 model의 output을 복원하도록 학습이 진행되고 있습니다. 해당 세미나를 들으면서 느낀 점이, Graph 구조에서 Mask를 복원하기 위해서는 Decoder를 강화하는 것이 중요하고, Self-supervised learning을 적용하는 것이 향후 연구방향이라고 생각하였습니다. 뿐만 아니라 Language model에서 단어를 masking하고 복원하는 MLM 방식을 Graph 구조를 활용해 발전시킬 수 없을지 고민해보는 시간을 가질 수 있었습니다. 마지막으로 Graph 구조가 익숙하지 않았는데, 자세한 설명과 방법론들을 구체적으로 설명해주셔서 이해하기 쉬웠습니다. 좋은 세미나 준비해주셔서 감사합니다.

이번 세미나에서는 Graph Self-Supervised Learning을 주제로 한 GraphMAE : Self-Supervised Masked Graph Autoencoders (KDD 2022)라는 논문에 대해 소개해주셨습니다. 또한 더욱 개선된 버전인 GraphMAE2에 대해서도 함께 다루었습니다. GraphMAE는 SSL에서 대표적인 contrastive learning 기법이 negative sampling을 하는게 graph 관점에서는 부적합하기 때문에 node에 masking을 가하고 masking된 node의 representation을 복원하는 방법을 사용합니다. 즉 node에 masking을 주고, 이를 복원하도록 self-training을 진행하는데 GraphMAE에서는 graph의 구조를 반영하기 위하여 인접 행렬 또한 입력값으로 사용하였습니다. GraphMAE2는 Decoder 부분을 개선하였는데, exponential moving average 기법을 통해 학습을 안정화 하였고, sub-graph를 구성할 때 희소한 영역에서 sub-graph가 생성될 시에 의미 없는 self-training이 진행될 수 있다는 점을 지적하며 dense한 영역에서 sub-graph를 생성하도록 하는 logic을 함께 제안하였습니다. 본 세미나를 통해서 graph 관점에서 SSL을 적용할 때, 어떤 고려사항들이 있는지에 대해 알 수 있었고 graph의 구조적인 정보를 반영한 SSL을 위하여 어떤 기법들이 제안되었는지 알 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나는 GraphMAE : Self-Supervised Masked Graph Autoencoders를 주제로 진행되었습니다. Graph SSL 중 masked graph modeling을 다루고 있습니다. 세미나에 소개해주신 두 논문에서 사용하는 방법은 node를 masking 하고 node를 복원하는 방법입니다. 이를 통해서 graph input의 embedding 뿐 아니라, graph 정보에도 집중하고자 하였습니다. 첫번째 논문에서 제안하는 GraphMAE는 input에 대해 node를 마스킹하고 encoder를 통해 나온 output을 masking을 진행하여 decoding하는 특징을 가집니다. 이를 통해서 node feature 보다 주변의 이웃 정보에 의해 새로운 representation이 생성되기를 바라였습니다. 두번째 논문의 제안방법인 GraphMAE2에서는 target generator를 통해서 input 구조를 보존하고자 하였고 BYOL에서 사용하는 contrastive learning 방법을 차용하였습니다. 또한 graph sampling 방식을 이용하여서 large graph에서 활용 가능하도록 개선하였습니다. node를 masking 하면서 graph에 대한 정보를 학습하기 위해 여러 장치들을 잘 고려하였다고 생각되었습니다. 다만 교수님이 말씀하셨던 바와 같이 edge에 대한 정보를 살려둔채로 node에 대해서만 masking 하는 것이 결국 edge를 통해 node에 대한 정보를 알 수 있는 것이 아닌지 의구심이 조금 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 Graph Self-Supervised Learning을 주제로 GraphMAE : Self-Supervised Masked Graph Autoencoders와 GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner 논문에 대하여 소개해주셨습니다. 해당 논문은 최근 자연어에서의 Masked Language Modeling(MLM)에 이어서 이미지에서도 Masked Image Modeling(MIM)이 나오는 흐름에 맞춰 graph에서의 Masked Graph Modeling(MGM)을 다루는 논문입니다. 세미나에서 다루는 MGM은 최근 MIM 방식으로 SSL을 수행한 연구 중 MAE 방법과 유사한 방식으로 MGM 수행합니다. Graph 데이터에 대해서는 항상 학습 과정에 대하여 궁금한 점이 많았는데 자세한 설명과 기존 다른 분야에서의 차이점을 잘 짚어주셔서 이해하기 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에선 GraphMAE, GraphMAE2 의 두 가지 연구가 소개되었습니다. 두 논문은 모두 Graph 구조의 자기지도학습 방식을 제안하고 있는데 NLP, Vision 도메인 에서 사용된 masked modeling 방식을 pretext task로 사용합니다. 동일 연구진에 의해 소개한 두 연구는 기존 Masked GAE 방식 대비 그래프 구조에 적합한 Masked AutoEncoder 구조를 제안했다는 데에 그 의의가 있다 생각됩니다. 이미지 도메인에서 제안된 MAE 와 비교하면 Encoder 를 통해 복원된 masked node를 decoder에 입력하기 전에 re-mask를 수행한다는 점이 차이가 있고 edge 정보는 그대로 사용하기에 BERT에서 사용한 15%의 마스킹 비율보다 더 큰 50% 의 노드를 마스킹 했다는 점도 그래프 구조의 특성을 반영한 부분이라 생각됩니다. 또한 reconstruction loss의 문제점을 지적하며 BYOL의 학습 방식을 적용한 SCE loss를 제안하는데, 이미지 도메인과 다른 그래프의 노드 정보를 복원함에 있어서도 재구축 오차의 문제점을 지적하며 개선한 부분이 인상적이었습니다. 발표 흐름을 고려하여 짧은 시간 안에 두 가지 연구를 잘 소개해주셔서 유익한 세미나가 된 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 "GraphMAE : Self-Supervised Masked Graph Autoencoders"이었습니다. 해당 논문은 BERT의 학습 태스크인 MLM과 유사하게 Node Representation을 복원하는 AutoEncoder 구조의 학습 방식에 대해 자세히 다루고 있는 논문이었습니다. 해당 논문의 큰 파이프라인은, GNN Encoder 입력으로 특정 노드의 정보를 Masking하고, 이렇게 생성된 Hidden Representation에 대해 다시 재 Masking을 진행 한 후 그래프 구조를 이용하여 GNN Decoder가 이웃 노드의 정보를 활용하여 Masking된 노드의 Representation을 복원하는 과정이었습니다. 이때, Decoder의 입력을 다시 Masking하는 방식은 기존 AutoEncoder 방식과 다른 점으로, 엄격하게 Masking되어야 하는 정보를 제한하는 과정을 통해 이웃 노드의 정보가 활발히 이용될 수 있도록 합니다. 또한, 기존 방식들이 Edge나 전체 그래프 구조에 대한 Masking을 이용한 것과 달리, 그래프 데이터의 핵심인 그래프 구조를 유지하는 점 역시 차이점이라 할 수 있습니다. 이후 후속 연구에서는 Momentum Encoder를 이용하여 Masking하지 않은 정보를 Target으로 학습하는 방식을 제안하고, 그래프 구조의 특성을 고려하여 Dense한 SubGraph를 추출하여 학습에 활용하고 있습니다. 이를 통해, Contrastive Learning 방식의 방법론에 비해 좋은 성능을 달성하고, Data Augmentation에 Robust할 수 있다는 점을 증명했습니다. MLM과 같이 Modality와 관련이 적은 Pretrain Task가 다른 도메인에서 활발히 사용되는 모습을 보면서, 결국 도메인에 대한 이해가 연구에 있어 중요할 수 있다는 점을 상기할 수 있었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 Graph Self-Supervised Learning (Generative method)라는 주제로 GraphMAE : Self-Supervised Masked Graph Autoencoders/GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner 라는 제목의 논문에 대한 리뷰를 진행하였습니다. GraphMAE의 경우 node에 대한 정보를 masking 하고 input으로 삽입하여 이를 복원하는 과정을 통해 representation을 학습합니다. GrpahMAE2의 경우 기존 연구인 GraphMAE의 Node input 을 사전 학습 모델로 부터 추출된 값을 사용 할 경우 Node 구별성이 낮아진다는 문제점을 해결하기 위한 방법론이 제안되었습니다. GraphMAE 구조에 BYOL 의 아이디어를 활용하여 Contrastive learning 방법론을 추가로 적용하여 Target / online output 의 consistency 를 유지하도록 학습하여 Node의 구별성에 대한 문제를 해결하였습니다. 또한 Graph smapling 방식을 통해 Large graph에서도 사용이 가능한 방법론임을 입증하였습니다. Graph self-supervised learning의 한계점이겠지만, node는 masking 하지만, Adjacency matrix를 input으로 사용한다는 부분이 조금 와닿지 않았습니다. Node 간의 연결정보 역시 representation에서 중요한 역할을 하기 때문입니다. Node에 대한 masking과 연결정보에 대한 부분을 모두 masking하여 representation을 학습할 수 있는 방법론도 좋은 연구 주제가 될 것이라고 판단됩니다. 좋은 발표 감사합니다!

이번 세미나에서는 GraphMAE와 GraphMAE2를 함께 소개해 주셨습니다. 두 방법론들은 모두 Graph representation learning에 NLP에서 활용되는 MLM 방식을 적용한 것으로, Graph에 대해 사전학습을 가능하게 합니다. 기본적으로는 text에서와 마찬가지로 일정 비율의 값들을 masking하고 해당 위치의 값을 추론하는 과정을 통해 학습이 진행되는데, graph에서 가릴만한 것은 크게 node와 edge가 있습니다. 논문에서는 edge masking을 한경우 link prediction을 잘하고 node classification 성능이 좋지못해 node masking을 수행했으며, 이 경우 graph의 구조를 잘 반영하지 못해 feature reconstruction을 수행했다고 합니다. 결국 node의 representation을 복원하는 과정으로 사전학습을 수행하는 것입니다. 그러나 각 node의 representation 뿐 아니라 node 사이의 연결성이 매우 중요한 graph에서 representation만을 가리더라도 node의 연결정보는 그대로 남아있기 때문에 몇번의 self-loop를 거치면 대부분의 정보가 복원되는 것이 아닌지하는 의문은 남습니다. 세미나에서도 질의로 나왔던 부분이지만 만약 node의 값과 연결 정보를 동시에 가리고 복원하게 한다면 진정한 의미의 사전 학습이 가능할 탠데, graph의 구조상 쉽지 않을 것 같기는 합니다. 어려운 주제에 대한 쉬운 설명으로 재밌게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서 발표자 분은 Self-Supervised Learning을 Graph Neural Network에 적용한 두 가지 논문을 소개해 주셨습니다. Self-supervised learning 방법으로 현재 CV나 NLP 분야에서 좋은 성과를 보이는 Masking을 이용하여 진행하고 있는데, 이때 Graph의 특성상 Node를 Masking 하느냐, Edge를 Masking 하느냐에 따라서도 장단점이 달라지는 형태를 보이고 있었습니다. 첫 번째 논문인 GraphMAE에서는 Node에 Masking을 주고 이를 복원하도록 학습하고 있었습니다. 이때 전체 Adjacency matrix를 함께 Input으로 사용함으로써 message passing, 즉 Node간 Edge가 존재한다는 것을 알 수 있기에 Node만을 Masking할 수 있게 되었습니다. 이후에는 Vision에서의 Masked AE와 비슷하게 Encoder(GCN)에서는 Masking되지 않은 부분 만을 Input으로 사용하고, Decoder에서는 Masking된 부분도 다 함께 Input으로 넣어주면서 Node를 복원하여 전체적인 Graph를 다시 복원하게 하는 구조로 이루어져 있었습니다. 두 번째 논문에서 제시하는 GraphMAE2에서는 이전 방법론의 문제점이었던 Input Node 의 값이 명확하게 구별이 되지 않을 때, 간단한 Decoder 로 인해 복원이 잘 되지 않을 수 있다는 문제점을 해결하고자 Target generator를 통하여 Input 구조를 최대한 보존하고자 하였고, 이와 더불어서 Contrastive Learning 방법론을 추가로 사용하는 방법이었습니다. 처음으로 접하는 Task 였지만, Vision에서 사용하는 MAE를 통하여 같이 예시를 들어주셨기에 이해가 훨씬 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 Graph Self-Supervised Learning (Generative method)를 주제로 총 2편의 논문에 대한 리뷰가 진행되었습니다. 첫 번째 논문인 GraphMAE는 기존의 contrastive learning에 대한 한계를 극복하고자 그래프의 구조적 특성을 활용한 SSL 방법론을 제안합니다. 이를 통해 인접 행렬을 입력값으로 사용하여 그래프의 구조적 정보를 반영하였습니다. 두 번째 논문인 GraphMAE2는 이러한 접근 방식을 발전시켜, Decoder를 강화하고 학습의 안정성을 향상시키기 위한 exponential moving average 기법을 도입하였습니다. 또한, dense한 영역에서 sub-graph를 생성함으로써 더 의미있는 self-training을 가능하게 하였습니다.세미나를 통해 graph SSL의 새로운 접근법과 그 발전 과정을 이해할 수 있었으며, 이러한 기법들이 어떻게 그래프의 구조적 정보를 반영하여 SSL의 성능을 향상시킬 수 있는지에 대한 인사이트를 얻을 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Graph Self-Supervised Learning을 주제로 GraphMAE : Self-Supervised Masked Graph Autoencoders 논문과 GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner 논문을 소개해주셨습니다. Graph SSL은 개인적으로 접해본 적이 없는 분야인데 발표자분께서 초반 background 설명을 직관적이고 명확하게 잘 해주셔서 발표를 따라가는데 큰 도움이 되었습니다. 기존 graph ssl 방법론은 거대 그래프에서 contrastive learning을 통해 각 노드에 대한 representation을 사전학습하고 비교적 작은 graph에 대해 fine-tuning을 수행합니다. 이와 함께 nlp와 비전 분야와 같이 노드에 마스킹을 취해 복원하는 방식으로 사전학습이 수행되기도 합니다. 소개해주신 첫번째 논문의 경우 Masked AutoEncoder 방식을 활용하여 reconstruction feature에 대한 MSE Loss 문제를 개선하였습니다. 두번째 논문의 경우 이전 GraphMAE 방식이 노드 간 명확한 구별이 어렵다는 점을 들어 이를 개선하기 위해 Target generator를 도입하여 input 구조를 최대한 보존하고자 하는 GraphMAE2 프레임워크를 제안하였습니다. 연구실 구성원들에게 다소 생소한 주제인 그래프 관련하여 항상 꼼꼼하고 자세한 세미나 준비해주셔서 잘 듣고 있습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서는 “GraphMAE : Self-Supervised Masked Graph Autoencoders”라는 주제로 두 편의 논문에 대해 소개해주셨습니다. 두 논문은 공통적으로 Graph 구조에 BERT의 Masked Language Modeling과 유사하게 마치 Masked Token을 예측하는 것처럼 Node Representation을 Masking한 후, AutoEncoder를 통해 복원하는 구조의 학습 방식을 이용했습니다. 첫 번째 논문에서는 Adjacency Matrix를 모델 Input으로 함께 사용하고 있는 점이 특이했는데, 그래프에서 Node Representation을 Masking할 경우 그래프 구조에서 특정 노드와 다른 Node가 연결되어 있는지 자체를 반영할 수 없기에 Adjacency Matrix를 Input으로 함께 사용해 특정 Node가 존재는 하지만 Masking이 되었음을 표현해 구조적 정보를 반영한 것이 인상적이었습니다. 두 번째 논문에서는 첫 번째 논문의 방법론인 GraphMAE를 더 발전시킨 GraphMAE2라는 방법론을 제안했습니다. GraphMAE2는 기존 GraphMAE에서 Decoding 과정을 중점적으로 발전시킨 방법론입니다. EMA를 통해 학습을 안정화하고 Multi-view Masking을 수행해 Decoding 결과가 입력 Graph의 여러 관점을 반영할 수 있도록 했습니다. 비록 제가 GNN에 관한 배경 지식이 부족해 세미나 내용을 완벽히 이해하지는 못했지만, 발표자 분의 Background 설명과 자세한 내용 설명 덕에 이해에 많은 도움을 받을 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 'GraphMAE : Self-Supervised Masked Graph Autoencoders'에 대해 소개해주셨습니다. 발표는 Self-supervised learning을 graph 분야에 접목한 Graph SSL과 이와 관련한 GraphMAE와 GraphMAE2로 구성되어 있었습니다. GraphMAE는 self-supervised masked graph autoencoder로, 그래프 자체의 구조는 그대로 보존하되, 잠재적인 표현에 대해 명확하게 학습하고자 하는 목적을 갖고 있는 모델입니다. Masking 방법은 입력되는 graph에 대해 진행되며, 이를 auto encoder를 활용하여 원본 graph의 형태로 reconstruction하며 학습을 진행합니다. GraphMAE2는 GraphMAE와 auto encoder의 decoding 부분에서 차이를 보이며, 더욱 해당 decoding 과정에 집중하여 이를 강화한 모델 구조입니다. GraphMAE2는 mask graph와 unmask graph를 함께 사용하고 있고, 두 graph를 동시에 학습하게 됩니다. Masking 기법이라는 것이 주로 NLP에서 text 자체에 corruption을 주기 위해 사용되는 것으로 알고 있었는데, 최근 여러 세미나 발표를 통해 각 도메인의 핵심 아이디어들이 서로의 task를 해결하는 새로운 key 아이디어로 사용되고 있음을 알게 되는 것 같습니다. Graph 분야에서 어떠한 문제점이 존재하였고, 이를 어떠한 솔루션으로 해결하였으며, 왜 그러한 선택을 했는지에 대해 명확한 설명과 자료를 준비해주시어 이해에 정말 많은 도움이 되었던 것 같습니다. 좋은 발표 준비해주셔서 정말 감사드립니다.

이번 세미나는 GraphMAE: Self-Supervised Masked Graph Autoencoders와 GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner 논문으로 진행되었습니다. GraphSSL 분야에서 Contrastive Learning 기반의 방법론들이 가지는 한계를 보완하기 위해 GraphMAE는 Graph masked auto-encoder 구조를 사용합니다. 특히 해당 논문에선 입력이 discrete하지 않은 상황일 때, MSE loss 는 정확한 학습이 힘들다는 점을 문제로 삼고 이를 개선하기 위해 제시한 Scaled Cosine Error Loss가 인상깊었습니다. 두 번째로, 이전 GraphSSL 연구들에서 노드 입력을 사전학습 모델로부터 추출된 값을 사용할 경우 노드를 구별하기가 어려워지고, 이러한 값을 복원하기 위해 target으로 잡을 경우 학습이 잘 안되는 한계가 있습니다. 따라서, GraphMAE2에선 Target generator를 통해 input의 구조를 최대한 보존했으며, Decoder에서 Multi-view masking을 통해 다양한 관점에서 생성되는 그래프를 통해 input의 변화에도 robust할 수 있었다고 합니다. 두 논문 모두 어느 분야건 최신 방법론들을 문제 상황에 적절히 활용하는 것이 좋은 연구의 시작이라는 생각이 드는 발표였습니다. 좋은 발표 감사합니다!