금일 세미나는 GNN 관련 논문을 다루었습니다. 이미지 분야에서는 Transformer 구조가 성공적으로 작동하기 때문에 그래프 구조에 대해서도 마찬가지일 수 있다고 생각했는데 그래프의 구조적 특성을 반영하는데 Transformer의 attention 메커니즘이 오히려 방해가 된다고 이해했습니다. over smoothing 문제를 포함해 GNN은 그래프가 가지는 구조적인 특성을 잘 반영하는 representation을 학습하는게 중요한데 이를 위해 여러 시도들이 이루어지고 있는 것 같습니다. 따라서 기존에 다른 데이터에 적용되던 일반 모델들이 GNN에 적용되었을 때 일반적인 생각과는 다른 결과가 나오는 것 같습니다. 아직 연구할 것이 많이 남아있는 연구 분야라고 생각되기에 앞으로 세미나를 통해서 계속해서 follow up 할 수 있다면 다른 연구에 있어서도 좋은 아이디어를 얻을 수 있겠다는 생각을 하였습니다. 좋은 발표 감사드립니다.

금일 세미나는 Do Transformer really preform bad for graph representation이라는 논문을 다뤘습니다. 그래프 네트워크 task는 크게 node, link, graph classification이 존재하는데 해당 논문은 grah classification에 해당합니다. 해당 논문은 Graphormer라는 개념이 나오는데, 해당 구조는 Transformer 구조에 그래프의 특징을 반영하는 구조입니다. 기존 GNN은 노드 단위 학습이 이루어지고, 1-hop 의 정보를 Layer 를 쌓으면서 Multi-hop 정보를 받을 수 있지만(local), 추가적으로 Multi – hop 정보를 Self-attention을 통해 한번에 학습(global)되도록 할 수 있게 됩니다.

Graphormer는 3가지 encoding이 존재하게 되는데 해당 encoding과 사용 이유는 다음과 같습니다:
(1) Centrality Encoding: 의미적 유사성과 노드의 유사성을 고려함
(2) Spatial Encoding: 그래프의 구조적 정보 학습함
(3) Edge Encoding: 노드 간의 상관관계를 표현함

그 외에 가장 신박했던 아이디어 중에 하나는 바로 Special Node라는 개념인데, 이는 BERT의 [CLS] Token과 유사하게 가상 노드를 하나 추가하여 그래프 자체의 정보를 encoding할 수 있도록 해준 방법입니다. 요즘 Transformer 관련된 논문들이 많이 나오고 있는데 이와 관련되어 그래프에 어떻게 적용되고 있는가 알 수 있는 좋은 발표였습니다. 감사합니다!

이번 세미나는 Do Transformers Really Perform Bad for Graph Representation? 논문에 대해서 발표해주셨습니다. 먼저 그래프 관련 task는 3가지로 나뉩니다. 노드 분류의 목적은 노드에 대해서 어떻게 표현이 되고 라벨이 어떻게 분류되어야 하는지 목적을 가지고 있습니다. Link prediction의 관계는 친추 추천 등의 task를 목적으로 ‘node들의 관계’를 예측하는 목적을 가지고 있습니다. 세번째로, Graph classification이란 그래프의 전반적인 그래프의 구조, 예를 들어 분자구조 분류에 적용되는 task를 가지고 있습니다. 이번세미나는 , Graph classification에 대한 연구로 특정 노드의 라벨과 주변 노드의 라벨이 같다는 특성을 Homophily를 사용하고 있습니다. Graphormers는 in degree와 out degree의 합을 centrality로 정의하였습니다. Spatial을 잘 반영하기 위해, 두 노드 간의 최단거리(sum)를 나타내는 matrix를 attention matrix에 sum으로 반영하고, edge에 정보를 반영하기 위해 두 노드 간의 최단거리의 평균 matrix(average)를 attention matrix 더해 주는 방법을 사용하였습니다. 최근 연구동향으로 봤을 때는 데이터들의 similarity matrix를 고려하는 제안방법론(distillation, retrieval)들이 많은 것 같습니다. 연구할때 참고하면 좋을것 같습니다. 좋은 발표 감사합니다.

최근 Transformer가 NLP를 넘어 다양한 Task와 Domain에 적용되고 있습니다. 하지만 Graph 관련 Task에서는 아직까지 그렇게 높은 성능을 보이고 있지 않다고 알고 있습니다. 오늘 소개해 주신 논문에서는 Transformer가 정말로 Graph Representation을 학습하기에 적절하지 않은 구조인지에 관해 설명해 주셨습니다.
소개해 주신 Graphormer에서는 기존의 Self-Attention이 Graph 상에서 Node의 중요도를 반영하기 어렵다는 한계를 언급하고, 별도로 Centrality를 계산한 뒤, 해당 정보를 함께 사용하는 Centrality Encoding을 적용합니다. 또한 Self-Attention의 경우 위치 정보를 반영할 수 없기 때문에 Graph 내에서 거리 정보를 반영하는 Spatial Encoding 역시 도입하였습니다. 마지막으로 Edge의 특성 역시 단순한 Attention만으로는 반영하기 어렵다는 점을 해결하기 위해 Edge Encoding을 도입하였습니다.
전반적으로 Graph 구조의 특성에 따라 기존의 Self-Attention이 반영하기 어려웠던 정보를 잘 짚고 있으며, 이를 해결하기 위해 다양한 아이디어를 제안한 논문으로 이해되었습니다. 개인적으로 매우 강력한 Model을 갖고 있더라도 적용되는 Data의 구조를 명확하게 파악하지 않으면 좋은 성과를 거두기 어려울 것이라 생각하고 있습니다. 이러한 관점에서 해당 논문은 Self-Attention이 정보를 처리하는 과정과 Graph Data의 특징에 대해 명확하게 고찰하였다고 생각하며 이를 기반으로 향후에 많은 발전이 있을 것이라 생각됩니다. 좋은 발표 감사합니다.

금일 세미나는 “Do Transformers Really Perform Bad for Graph Representation?”에 대한 리뷰로 진행되었습니다. 해당 논문은 graph neural network 분야에서 transformer를 어떻게 활용할 것인지를 다룬 논문으로, 그래프의 구조적 정보를 반영하기 위하 여러 기법들을 소개합니다. 기존 transformer의 self attention을 바로 사용할 경우, 그래프의 centrality 정보를 충분히 담지 못하므로, centrality encoding을 통해서 의미적 유사성과 노드의 중요도를 고려하여 attention을 적용합니다. 또한 encoding 단에서 두 노드 간의 거리를 고려한 spatial encoding과 edge embedding을 통해 노드 간의 상관관계에 대한 정보를 추가해줍니다. 마지막으로는 BERT의 CLS 토큰처럼 [Vnode]라는 추가적인 토큰을 추가하여, 이를 통해 graph classification을 진행하게 됩니다. 논문에서 소개하는 graphformer는 그래프 노드 수가 적을 때 적용가능한데, 주로 그래프로 진행하게 되는 데이터의 경우 노드 개수가 많은 경우가 일반적인 것 같습니다. 노드 수가 늘어나더라도 계산 복잡도를 줄일 수 있는 기법이 제안된다면 그래프 분야에서도 transformer를 활발히 사용할 수 있을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 Graph domain에 Transformer를 적용한 Do Transformers Really Perform Bad for Graph Representation? 에 대한 것이었습니다. 기존에는 self-attention 연산 때문에 graph의 node와 edge 등 그래프의 구조를 Transformer에 반영하기 어렵다는 문제가 있었습니다. 본 논문에서는 이러한 문제를 해결하기 위하여 centrality, edge, 그리고 spatial encoding을 도입하여 함께 사용합니다. 각 encoding은 결국 Transformer에 graph를 태움으로써 사라지는 graph 정보를 보존해주기 위함인데 이렇게까지 추가적인 작업을 해주면서 Transformer를 사용할만큼 모델이 매력적인지 궁금했습니다. 앞으로 graph 분야에서 Transformer가 어떤식으로 쓰일지 기대됩니다.

금일 세미나 논문은 Graphormer로, 그래프를 transformer 모델에 효과적으로 적용할 수 있는 방법론을 제안한 것입니다. graph를 표현하기 위해서 이전에 연구된 것들은 노드 단위 정보를 반영하기 위해 1 hop을 기준으로 layer를 쌓아 local한 정보를 학습하였지만, graphormer에서는 multi-hop의 정보를 self-attention을 통해 한번에 학습하게 됩니다. 그리고 그래프의 구조적 특징을 반영할 수 있는 방법론을 제안했는데, 크게 centrality encoding, spatial encoding, edge encoding 의 세가지 encoding을 사용합니다. centrality encoding을 통해서는 노드의 의미적 유사성과 노드의 중요도가 attention을 통해 계산이 되고, spatial encoding은 노드간 상대적 거리를 바탕으로 구조적 정보를 반영합니다. edge encoding은 노드 간의 상관관계 정보를 추가해주게 됩니다. 특히, 본 세미나를 들으면서 가장 흥미로웠던 점은 그래프를 표현할 때, special node로 virtual node를 추가한 것인데, 이는 BERT의 [CLS] 토큰과 유사한 역할을 하는 것으로, 전체 그래프에 대한 정보를 담을 수 있게 됩니다. transformer 모델이 나온지 꽤 됐지만, 여전히 여러 분야에서 좋은 성능의 모델로 쓰이고 있음을 다시 한번 실감할 수 있는 세미나였습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 Graph Neural Network으로써 Transformer를 활용한 논문인 Graphormer 논문을 설명해 주셨습니다. 해당 방버론은 그래프 task를 Transformer를 적용하기 위하여 그래프 구조가 반영될 수 있도록 3가지 Encoding 방법론을 제안합니다. 첫번째는 Centrality Encoding으로, 그래프 내 중심성을 나타낼 수 있도록 Degree 정보를 Embedding에 반영합니다. 두번째는 Spatial Encoding으로, 두 노드간의 최단거리를 계산하여 인코딩 함으로써 Transformer layer 에서 노드간 거리정보를 취합할 수 있도록 합니다. 세번째는 Edge Encoding으로, 최단거리를 구성하는 edge 의 평균을 통해 두 노드의 관계를 표현합니다. 이를 통해 Graphformer는 Graph의 다양한 task에 Transformer를 활용하고 좋은 성능을 보였습니다. Transformer가 NLP에서 시작하여 근래에 Vision, Graph, Audio등의 다양한 분야에 적용되고 있는 것을 해당 논문을 통해 다시한번 느낄수 있었습니다. 따라서 한 분야에만 집중하여 연구하기 보다는 다른 분야의 아이디어들을 두루 살펴보는게 좋을 것 같다는 생각이 듭니다. 좋은 발표 감사합니다.

이번 세미나는 Do Transformers Really Perform Bad for Graph Representation라는 주제에 대한 세미나입니다. 해당 모델은 graph classification task에서 graph를 표현하기 위해 transformer를 적용한 모델로서, 기존의 readout과정을 제외한 모델입니다. 또한 transformer에 그래프 정보를 encoding하기 위해, centrality encoding, spatial encoding, edge encoding의 세가지 encoding방법들을 적용하였습니다. 최근 transformer가 비전 분야, 그래프 분야에 많이 적용되는데, 그래프 분야에 적용되는 대표적인 예시에 대해 알 수 있었습니다. 발표자께서도 언급하셨듯이,계산 복잡도가 조금 우려되는 모델이지만, 그래프에 transformer를 도입했다는 데에서 향후 발전 가능성을 보이는 모델입니다. 좋은 발표 감사합니다.

금일 세미나는 "Do Transformers Really Perform Bad for Graph Representation?"라는 주제로 진행되었습니다. 발표에서는 node representation에서 좋은 성능을 보이는 graph neural network가 graph representation에는 부적합하다는 한계점을 해결한 방법론이 소개되었습니다. Graphormer는 graph 자체를 잘 표현하기 위해 transformer 구조를 사용하였으며, transformer에 그래프의 구조적인 정보를 함께 사용하여 graph를 encoding하였습니다. 개인적으로는 graph 분야에서도 transformer가 좋은 성능을 도출하는 것을 보며 anomaly detection 분야에서도 transformer가 좋은 성능을 도출할 수 있지 않을까하는 생각이 들었습니다. 특히 time series data의 경우 NLP 데이터와 유사한 특징이 많기 때문에 적용하기에 적합하지 않을까 생각했습니다. 좋은 발표 감사합니다.

본 세미나는 많은 Task에서 좋은 성능을 보이고 있는 Transformer를 Graph Base Task에 활용하기 위한 Modification인 Graphormer에 대하여 다루었습니다. 간단히 표현하자면 Transformer의 가장 큰 특징, 그리고 좋은 성능의 배경인 Self Attention은 Graph Task를 다루기 적합하지 않으며 그 이유는 Graph의 구조 정보를 반영하지 못하기 때문입니다. 언급한 Graph 구조 정보는 노드의 Centrality, Edge Encoding, Spatial Encoding으로 나타내며, 이를 통해 Graph Classification을 위해 사용하는 [CLS]와 같은 Virtual Node를 생성할 수 있다고 합니다. 즉, Sparse Attention 등과 같이 기존에 Transformer에 목적에 맞는 Structural Bias를 부여하고, 그래프 노드들의 압축 정보를 얻는 Readout 기법을 [CLS] Token과 같이 얻어내는 것이 Graphormer라고 요약할 수 있습니다. 본 논문을 마주하면서 Graphormer, GraphBERT, Graph-Transformer에 대한 정리가 한 번 필요하다고 생각이 들었으며 좋은 발표 감사드립니다.

오늘 세미나는 Do Transformers Really Perform Bad for Graph Representation?를 주제로 진행되었습니다. 최근 연구실에서 Transformer survey paper 스터디를 진행하기위해 논문을 읽고있는데, Graphormer의 아이디어를 이해하는데 큰 도움이 되었습니다. Star transformer 논문을 보면 특정 context를 대표할 수 있는 global node를 정의하여 정보를 취합하는 형태를 보이는데, special Node가 비슷한 역할을 수행하고 있음을 알 수 있었습니다. 또한 Graph의 특성을 고려하기위해 제안한 encoding 방법도 매우 합리적이었습니다. 다만, Transformer의 self attention 연산이 sparse하고 local 정보에 집중하는 경향이 있다는 여러 연구 결과가 있기 때문에 self-attention == global information으로 고정하여 생각하는것은 조금 위험하지 않나 생각하였습니다. 역시나 Transformer의 위대함을 다시금 느낄 수 있었습니다. 감사합니다

이번 세미나에서는 graph classification을 위해 transformer를 사용하는 방식에 대한 내용으로 진행되었습니다. 기존 GNN은 graph 안에서의 node classification 등에서 좋은 성능을 보였지만, 하나의 graph에 대한 구조적 정보까지 취합하는 representation을 생성하는데는 그렇게 좋은 성능을 보이진 못했습니다. 이 논문에서는 graph의 node와 edge를 하나의 context로 해 transformer input으로 넣어 representation을 학습하는 방식을 제안합니다. 이때, 순서 정보가 없고, edge를 통한 연결 정보만 있을 뿐, 거리에 대한 정보가 없는 graph의 구조적 특징까지 잘 반영할 수 있게 구조를 변형하여, 이를 Graphormer라고 명명하였습니다. node sequence에 대해 embedding하여, attention을 구하는데, 이때 transformer와 다르게 edge 정보를 반영하여 인접행렬을 기반으로 연결되어 있지 않은 node pair에 대해 masking해줍니다. 또한, text와 다르게, 각 시점에 모든 node를 고려할 수 있기 때문에, 순서에 따른 masking은 따로 해주지 않습니다. 추가적으로 graph는 centrality라는 요소를 가지는데, self-attention만으로는 이러한 정보를 modeling할 수 없습니다. 따라서 degree 값으로 하는 centrality encoding 값을 input에 더해줍니다. 실험 결과, graph classification task에서 좋은 성능을 보였습니다. graph 전체 node 정보를 한꺼번에 고려한다는 점에서 node classification보다는 graph 자체의 classification에 더 적합할 것이라고 생각됩니다. 최근에 transformer를 여러 분야에서 사용하고 있는데, 각 task, data에 맞게만 잘 변형해주면, 대부분 좋은 성능을 보이고 있어, transformer가 정말 강력한 모델임을 다시 한번 느꼈습니다. 좋은 발표 감사합니다.

오늘 발표는 graph의 개념을 transformer에 적용한 “Do Transformers Really Perform Bad for Graph Representation?”이라는 논문입니다. 기존 Transformer 구조에서 attention 과정에 edge에 대한 정보와 shortest path에 대한 그래프의 구조적인 정보를 사용하고 centrality를 사용하여 transformer 구조를 번형하였습니다. 또한 BERT에서의 CLS 토큰과 같이 가상의 node를 생성하여 기존에 GNN에서 문제가 되는 over-smoothing 과 같이 정보가 손실되는 것을 방지하였습니다. 기본적으로 self-attention 과정이 complete graph의 형태의 attention이라 생각하는 점에서 shortest path 에 대한 encoding이 적절하게 적용되었다고 생각됩니다. 발표를 보면서 아쉬웠던 점은 기존 GNN에서 많이 사용하는 데이터가 아니라는 점에서 아쉬웠습니다. 올해 6월에 arxiv에 올라온 논문이라는 점에서 다양한 데이터에 대한 실험이 앞으로 업데이트 되었으면 하는 바람입니다. 오늘도 좋은 발표 감사합니다.

금일 세미나 시간에는 Do Transformer really preform bad for graph representation 논문을 주제로 그래프분야에서 transformer를 활용한 논문을 다루어 보았습니다. 과거 제가 발표한 GBERT 논문에서도 그래프 분야에서 transformer 기반의 학습을 통해 그래프의 representation학습을 도모하였는데, 현실적으로 많은 어려움이 있어 회의적이라고 생각했었습니다. 해당 논문에서는 Graphormer구조를 통해서 학습을 수행하였는데, 기존 GBERT와 거의 유사하지만 CLS Token 대신에 V-Node라는 임의의 노드를 통해 학습을 수행한점이 큰차이점이라고 생각됩니다. 기존 연구와 동일하게 Node-wise 학습이 아닌 Graph-wise 단위라는 한계점은 아직도 풀어나가야할 숙제라고 생각됩니다. 관심을 가지고 있는 그래프 관련 세미나이기에 많은 관심을 가지고 들을 수 있었고, 앞으로 계속해서 좋은 연구아이디어 나누었으면 좋겠습니다. 재미있는 세미나 발표 감사합니다.

본 논문에서 다루는 transformer 기반 그래프 모델이 해결하고자 하는 task는 그래프 자체의 구조를 분류하는 task였습니다. 제안하는 graphormer는 위치정보가 없고 연결정보 외의 거리가 없다는 그래프의 구조적 특징을 반영하도록 설계되었습니다. 거의 모든 분야에서 transformer 기반 구조를 적용하는 트렌드는 이해하지만 개인적으로는 graph 분야야말로 inductive bias를 구조적으로 잘 설계하는 것이 유리하지 않나 생각했는데, 후속 연구가 지속적으로 나올 수 있을지 궁금해지는 논문이었습니다. 또한 노드 수가 많을 때는 적용이 힘들다는 한계도 극복해나가야 할 과제인 것 같습니다. 발표 감사합니다.

금일 세미나는 “Do Transformers Really Perform Bad for Graph Representation?”라는 이름의 연구논문을 주제로 진행되었습니다. 본 연구에서 제안하는 방법론은 Graph 구조에 Transformer를 적용한 모델을 기반으로 합니다. 본 연구는 Transformer를 활용해 graph node의 Encoding 역량을 높이는 효과를 얻고자 합니다. 기존 GNN은 node의 embedding을 한 이후, 최종적으로 Pooling을 진행하게 되는 데, 이 과정에서 발생하는 정보의 손실이 발생하게 됩니다. 본 연구는 이러한 문제점을 해결하고자 합니다. 더불어 Transformer가 강점을 갖는 전역적인 정보, 관계를 파악하는 점을 통해 Graph 데이터의 인코딩 역량을 높이는 것을 꽤하고 있습니다. 개인적으로, 그래프 분야에 대한 이해가 부족한 탓에, 그래프 데이터가 갖는 특징을 정확하게 파악하지 못하고 있었습니다. 하지만, 본 발표를 통해 발표자 분께서 그래프 데이터의 본질적인 특징을 정리해주시고, 이를 Transformer에 적용할 수 있도록 해결해 나가는 과정을 매칭시켜주셔서 이해에 도움이 되었습니다. 결국, 그래프 데이터의 특수성을 적절히 반영하기 위해 3가지의 Encoding 방법론을 각기 적용해주게 됩니다. 역시나 디테일이 중요하다고 느끼게 된 부분이었습니다. Transformer의 장점을 최대한 활용하기 위해, 다양한 테크닉들을 적용하는 것이 인상깊었습니다. 그리고 이를 구현하기 위해선, Backbone GNN에 대해 깊이있는 이해를 바탕으로 하고 있어야 한다는 점을 느낄 수 있었습니다. 모델을 구현하거나, 활용하다보면 디테일한 부분을 막연하게 어림짐작하고 넘어가기 쉬운 데, 반성도 나름 할 수 있었습니다. 앞으로 다양한 분야에 Transformer 구조를 활용하는 연구들이 많이 나올 것으로 기대되는 데, 그래프 분야에서 조금 더 진입장벽을 낮출 수 있는 사전 지식을 얻을 수 있어, 큰 도움이 되었습니다. 어려움 개념 좋은 발표로 풀어주신 발표자님께 감사드립니다.

이번 세미나에서는 Do Transformers Really Perform Bad for Graph Representation라는 주제로 진행되었고, 말 그래도 요새 비전 분야에 적용되는 등 굉장히 핫한 transformer 구조가 과연 그래프 도메인에서도 효과가 있는지에 대해, graphormer를 기반으로 실험을 수행한 논문입니다. 본 논문의 방법론은 그래프의 노드와 엣지를 하나의 context로 여기게 되어 이를 transformer의 인풋으로 사용해 그래프 특징(representation)을 학습하도록 합니다. 기존에도 self attention을 기반으로 그래프를 표현하고자 한 방법론은 있었으나 그래프 구조적인 특성을 반영하기는 어렵다는 한계가 있었습니다. 본 논문에서는 이를 해결하기 위해 centrality와 같은 추가적인 정보를 포함하여 학습하게 합니다. 이를 위해 special node, edge encoding과 같은 임베딩을 추가로 활용하는데 이러한 점에서 굉장히 inductive bias가 많이 포함되는 모델인 것 같습니다. 그래프 분야에 대해 사전지식이 많지 않아서 이러한 bias가 얼마나 도움이 될지는 모르겠습니다만, 뒷쪽에 언급하신대로 큰 그래프 구조에 있어서는 실제로 적용하기에 무리가 있을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 GCN에 transformer를 적용한 Graphormer를 주제로 진행되었습니다. 그래프 네트워크의 task는 node의 label을 예측하는 node classification, node간의 missing edge를 예측하는 link prediction, graph의 class를 분류하는 graph classification 세 가지로 나뉩니다. 본 논문은 graph classification에 해당합니다. 기존 GNN에서는 노드 단위로 학습이 이루어지고, 1-hop의 정보를 layer를 쌓으면서 multi-hop 정보를 받을 수 있어 local 정보를 학습 할 수 있으나 global한 정보를 학습할 수 없었습니다. 이를 transformer의 self-attention을 이용하여 multi-hop 정보를 한번에 학습함으로써 global 정보를 취하였습니다. 또한 centrality encoding, spatial encoding, edge encoding 의 세가지 encoding을 사용합니다. centrality encoding을 이용하여 의미적 유사성과 노드의 중요도를 파악하고, sparial encoding을 사용하여 그래프의 구조적 정보를 학습하고, edge encoding을 이용하여 노드 간의 상관관계를 표현하였습니다. 트랜스포머 계열의 모델들이 다양한 분야에서 사용되고 좋은 성능을 내고 있습니다. 또 어떤 분야의 어떤 방식으로 트랜스포머 계열의 모델들이 변형되어 사용될지 기대가 됩니다. 좋은 발표 감사합니다.