이번 세미나에서는 “VCR-Graphormer”라는 연구에 대해 소개해 주셨습니다. 해당 연구에서는 Graph Convolutional Networks (GCNs)와 Transformer 모델의 학습 메커니즘 차이를 비교하며, Graphormer의 독특한 접근 방식을 설명합니다. GCN은 주로 이웃 노드 간의 연결을 통해 메시지 전달을 하지만, Graphormer는 전체 노드 쌍의 Attention을 통해 중요한 노드를 선별합니다. 또한, 이 연구는 Transformer 모델이 그래프 구조 정보를 충분히 반영하지 못하는 기존 한계를 극복하고자, 중앙 집중성을 포함한 다양한 그래프 특성을 학습에 반영하는 방법을 제안합니다. 특히, Personalized PageRank(PPR)를 활용하여 효율적인 노드 선택 및 표현을 가능하게 하여, 큰 그래프 데이터셋에서도 높은 성능을 보이는 것을 입증했습니다. 생소한 분야라 이해하기 어려울 수 있었지만, 자세히 설명해주셔서 이해할 수 있었습니다. 좋은 발표 감사드립니다!

이번 세미나에서는 "VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMER VIA VIRTUAL CONNECTIONS"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 Graph 형태의 데이터에 적용할 수 있는 기존 Graph Transformer 모델을 효율적으로 활용할 수 있는 방법을 제안합니다. 기존 GCN(Graph Convolutional Networks)은 이웃 노드 간의 메시지 전달을 통해 학습하며, 여러 레이어를 통해 더 멀리 있는 노드의 정보를 받습니다. 기존 GCN과 다르게 Graph Transformer는 전체 노드 쌍에 대한 Attention을 적용하여 중요한 노드를 선택합니다. VCR-Graphormer는 Graph Transformer를 기반으로 가상의 노드를 도입하여 각 노드의 표현을 효과적으로 취합합니다. 또한, Personalized PageRank(PPR)를 사용하여 각 노드에 관련된 토큰 리스트를 생성하고, 이를 통해 노드 표현을 학습함으로써 Graph 구조가 가진 정보를 반영할 수 있습니다. 그 외에도 Multi-hop과 같은 문제를 해결하기 위해 METIS Partitioning 방법을 사용하여 그래프를 분할하고, 대표 노드를 생성합니다. 이러한 접근 방식이 Graph 구조가 가질 수 있는 연결적인 정보를 효과적으로 반영하면서도 계산 효율성을 높이는 데 크게 기여할 수 있다 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 트랜스포머 모델에 그래프 특성을 inductive bias로 주입하는 한 방법론을 제시한 논문 'VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections' 를 중심으로 진행되었습니다. 트랜스포머 모델의 핵심이라고 볼 수 있는 Attn 구조는 position-agnostic하게 모든 토큰(즉, 노드)의 정보를 취합하여 aggregation합니다. 이러한 구조는 그래프의 복잡성 혹은 형태와 상관없이 그 그래프에 대한 global representation을 추출하는 일반화된 방법론을 가능케하지만, 에지를 따라 propagation이 일어나는 등의 local한 정보를 인코딩하기는 힘들어진다는 장단범이 있습니다. 이에 따라, 노드와 에지의 정보를 모두 잘 반영하여 representation을 추출하기 위한 그래프 인코딩 방법을 제시합니다. 이러한 motivation을 가지는 기존 논문들의 특징은 centrality 등 그래프의 특성을 반영하나 연산량이 크게 많아진다는 단점이 있었고, 이에 따라 계산 복잡도가 낮으면서 그래프의 구조를 반영할 수 있는 PPR을 사용하여 subgraph에 대한 update를 수행하므로서 연산량을 낮추고자 하였으며 super node 및 label node와 같은 일종의 CLS토큰을 부여함으로서 long range propagation 및 clustering 성능을 향상시키고자 하였습니다. 합리적인 선택이라는 생각이 들었고, 직관적으로 이해가 되어 좋은 논문이라고 생각했습니다. 재미있는 논문 소개해주셔서 감사합니다.

금일 세미나는 VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections 논문을 바탕으로 진행되었습니다. 해당 연구를 이해하기 위해서는 먼저 그래프 구조에서의 GCN과 Transformer 모델의 학습 방식의 차이를 알아야 합니다. 그래프 구조에서 GCN은 연결된 Edge를 따라 Message passing을 진행하며, self-attention구조에서는 전체 Node pair의 attention을 통하여 학습함으로써 전체 node 중 학습에 중요한 node를 선별합니다. 이때, GCN은 Target node의 주변에 큰 영향을 받으나, 그래프의 구조적인 특징을 유지하며 Encoding하게 해준다는 특징이 존재하며 self-attention은 모든 node 중 Target node의 학습에 중요한 node를 선별하게 할 수 있으나 그래프의 연결된 구조적 정보가 반영되지 않을 수도 있다는 특징이 존재합니다. 이때, 선행 연구인 Graphormer에서는 Tranformer 자체에 Graph 정보를 함께 반영함으로써 GCN의 약점을 보완하고자 하고 있으나, Large graph에서는 활용이 힘들다는 단점이 존재하였습니다. 이때 VCR-Graphormer는 전체 Node에서 Target node 학습에 필요한 node만 선택하자라는 Idea를 가지고 시작되었습니다. 이를 위하여 Persomalized PageRank를 통하여 중요한 노드를 선택하는 방법을 제안하고 있으며, 이를 바탕으로 Target node representation을 생성하고자 Token list를 구성하고 있습니다. 그래프는 단순히 어떠한 Representation을 잘 구성하기 위하여 구조적인 특성을 유지해야 한다는 것이 고려해야 할 점이 많은 분야라는 생각이 들었습니다. 생소한 내용이었지만 자세하게 설명해주어서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 새로운 Transformer 기반의 Graph 구조를 제안하는 'VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections'라는 논문에 대한 발표로 진행되었습니다. 해당 논문에서는 기존에 많이 사용되었던 Graphormer 구조가 거대 그래프 구조에서는 적용될 수 없다는 한계점을 개선시킨 연구입니다. 그래프 구조의 학습 방법에는 Edge 간의 Mesage Passing을 진행하는 Graph Convolutional Networks (GCN)와 전체 Node에 대한 Self-Attention 연산을 수행해 중요도를 판단하는 Transformer 기반의 방법이 있으며, Graphormer는 Transformer 구조를 활용합니다. Graphormer의 경우 GCN이 Target Node의 주변에서 큰 영향을 받는다는 단점을 개선시키는 데에는 성공했지만, 앞서 말했듯 Large Graph에는 활용이 어렵다는 단점을 가지고 있습니다. VCR-Graphormer는 이러한 Graphormer의 단점을 개선시키기 위해 학습에 중요하게 작용하는 Node만 선택하기 위한 Personalized PageRank(PPR)이라는 방법을 활용하여 그래프 구조를 반영하며, 선택적인 Representation을 생성합니다. GCN부터 Graphormer, VCR-Graphormer까지 보면서 그래프 구조의 특성들을 효과적으로 학습하는 것이 어려운 문제가 될 수 있겠다는 생각이 들었으며, 이를 위해 Token List를 구성하는 방법론의 좋은 아이디어라는 생각이 들었습니다. 잘 모르는 분야이지만, 앞으로 Token List 기반 혹은 새로운 방법론으로 어떤 모델이 연구될지 기대가 됩니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나는 "VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMER VIA VIRTUAL CONNECTIONS" 논문을 중심으로 진행되었습니다. VCR-Graphormer는 Graph Transformer 모델의 한계를 극복하기 위해 가상 노드를 도입하여 각 노드의 표현을 효과적으로 취합하고, Personalized PageRank(PPR)를 활용해 중요한 노드를 선택하는 방법을 제안합니다. 또한, METIS Partitioning을 사용해 그래프를 분할하고 대표 노드를 생성하여 계산 효율성을 높였습니다. 이번 발표는 논문의 핵심 개념과 기법을 명확히 설명해 주어 이해하기 쉬웠으며, 그래프 구조 처리의 새로운 가능성을 제시해 주었습니다. 좋은 발표 준비해 주셔서 감사합니다.

이번 세미나에서는 "VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections"에 대해 소개해주셨습니다. Graph 데이터는 구조적 정보가 꼭 반영되어야 한다는 특징을 갖고 있으나, 기존 GCN의 경우에는 over smoothing이 발생한다는 한계점이 존재했습니다. 이에 따라 Graphformer는 GCN의 약점을 보완하고자 transformer에 graph 정보를 넣는 방법론으로, 의미적 유사성과 노드의 중요도를 고려한 attention 및 그래프 자체적 구조에 대한 학습이 가능하다는 특징을 갖습니다. 다만, 이는 node의 개수가 많은 large graph에서 제 역할을 해내지 못한다는 한계점을 가졌고, 이에 대해 graph 상의 모든 node를 사용하는 것이 아닌, 선택과 집중을 통해 일부 node만을 representation 생성에 활용하자는 아이디어로 해결한 방법론이 바로 VCR-Graphformer라고 할 수 있습니다. 이때 선택 기준으로는 Personalized PageRank 방법을 적용하고 있고, 이는 graph의 구조적 정보를 활용하는 계산법입니다. 매 세미나에서 Graph와 관련된 논문을 소개해주시는데, 이번 시간을 통해서도 흥미로운 연구를 접할 수 있었던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections" 논문을 중심으로 발표가 진행되었습니다. 이 논문은 기존 Graph Convolutional Networks (GCNs)와 Transformer의 차이점을 비교하면서 Graphormer의 독창적인 접근 방식을 소개합니다.

GCN은 이웃 노드 간의 메시지 전달을 통해 학습하며, 여러 레이어를 통해 더 멀리 있는 노드의 정보를 받습니다. 반면, Graphormer는 전체 노드 쌍에 대한 Attention을 통해 중요한 노드를 선별합니다. 이 연구는 Transformer 모델이 그래프 구조 정보를 충분히 반영하지 못하는 한계를 극복하고자, 중앙 집중성 등을 포함한 다양한 그래프 특성을 학습에 반영하는 방법을 제안합니다.

특히, Personalized PageRank(PPR)를 활용하여 효율적인 노드 선택 및 표현을 가능하게 하여, 큰 그래프 데이터셋에서도 높은 성능을 보였습니다. 또한, VCR-Graphormer는 가상 노드를 도입하여 각 노드의 표현을 효과적으로 취합하고, METIS Partitioning을 사용해 그래프를 분할하고 대표 노드를 생성하여 계산 효율성을 높였습니다.

이 논문은 그래프 데이터의 복잡성과 크기에 따른 문제점을 극복하고자 하는 다양한 문제 해결 방식을 제시하였습니다. 발표를 통해 그래프 구조의 특성을 고려한 트랜스포머 모델의 가능성을 확인할 수 있었으며, 이는 그래프 기반의 머신러닝 알고리즘의 발전 가능성을 크게 제시했다고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 그래프 트랜스포머의 새로운 접근 방식을 다룬 “VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections” 논문에 대해서 발표해 주셨습니다. 해당 논문은 큰 그래프 데이터 셋에 효율적으로 적용할 수 있는 그래프 트랜스포머 모델을 제안하며, 기존의 GCN(Graph Convolutional Networks)과 다르게 전체 노드 대신 중요한 노드만을 선택적으로 사용하는 방법을 통해 노드 Representation을 효율적으로 생성합니다. 특히, Virtual Node와 Token list를 활용하여 각 노드의 표현을 효과적으로 취합하고, 이를 통해 그래프의 구조적 특성과 내용 정보를 반영한 점이 매우 인상깊었습니다. 이러한 접근은 메모리 사용량을 줄이고, 계산 효율성을 높이는 데 크게 기여합니다. 본 논문은 그래프 데이터의 복잡성과 크기에 따른 문제점을 극복하고자 하는 문제 해결 방식을 잘 보여주며, 그래프 기반의 머신러닝 알고리즘의 발전 가능성을 제시하였다고 생각합니다. 그래프 구조가 매우 복잡하고 구현도 어려운데 반해 그만큼의 성능이 나오지 않아서 최근에는 LLM 위주의 방법론으로 흐름이 가고 있다고 생각하였는데 이번 세미나를 통해 그래프 구조만이 해결할 수 있는 방향성이 있다는 생각을 하게 되었고, 앞으로도 발전 가능성이 많다고 생각하는 계기가 되었습니다. 좋은 발표 해주셔서 감사합니다.

본 세미나는 "VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMER VIA VIRTUAL CONNECTIONS"라는 논문을 바탕으로 진행되었습니다. 해당 논문은 PPR을 통해 Token list를 생성하고, 이를 graph transformer에 사용하는 방법론을 제안하였습니다. 특히 기존에 있던 graph bias를 생성하는 불필요한 연산을 수행하지 않았습니다. 또한 Heterophilous 상황에서 virtual node를 사용하여 그래프 구조 정보를 반영하고, content 정보를 반영하는 방식을 제안하였습니다. 가장 흥미로웠던 점은 token list를 통해 node를 표현하는 방식이 sub-graph sampling 방식과 유사하나 정보를 받아올 이웃을 선택할 때, local & global 정보를 받아올 수 있도록 ppr 방식을 적용한 것이었습니다. virtual node를 통해 학습 단계에서 message passing에 효과적인 도움을 주는 것은 그래프 구조를 활용하는 다양한 task에서도 적용할 수 있다고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 트랜스포머 구조와 그래프의 데이터 특성을 모두 고려한 모델 구조를 제시한 "VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMER VIA VIRTUAL CONNECTIONS"을 중심으로 진행되었습니다. 기존의 그래프 모델링 기법들은 엣지를 통한 노드 간 관계성을 모델 구조에 녹이기 위하여 여러가지 모델 구조를 제안하였습니다. 하지만 transformer의 많은 관심 속에서, 그래프 도메인에 적용되면서, attention 메커니즘과 함께 사용되기 위해서는 그래프 구조에서 여러가지 조정이 필요합니다. 특히, 전체 노드 간의 정보가 잘 교류되면서 smoothing 문제를 일으키지 않는 것이 중요하고 이를 위해 해당 논문에서는 local 정보와 global 정보를 적절히 활용하도록 전체 그래프를 클러스터링을 통해 분할하고, 각 sub graph의 정보를 취합하는 virtual node를 생성하는 방식을 소개하고 있습니다. 이전부터 trasnformer의 self attn이 graph 구조에 잘 적용될 수 있는 방식에 대해 많은 궁금증을 가지고 있었는데, 좋은 방향을 제시한 논문인 것 같습니다. 좋은 발표 감사드립니다.

오늘 세미나는 "VCR-GRAPHORMER: A MINI-BATCH GRAPH TRANSFORMER VIA VIRTUAL CONNECTIONS"라는 논문을 중심으로 진행되었습니다. 해당 논문은 PPR을 통해 토큰 리스트를 생성하고 이를 그래프 트랜스포머에 사용하는 방법을 제안합니다. 특히, 기존의 그래프 바이어스를 생성하는 불필요한 연산을 피했습니다. 또한 이 논문은 이질적 상황에서 가상 노드를 사용하여 그래프 구조와 내용을 반영하는 방식을 제시합니다. 가장 흥미로웠던 점은 토큰 리스트를 통해 노드를 표현하는 방식이 서브 그래프 샘플링 방식과 유사하지만, 이웃을 선택할 때 로컬 및 글로벌 정보를 반영하기 위해 PPR 방식을 사용한 것입니다. 가상 노드를 통해 학습 단계에서 효과적인 메시지 전달을 지원하는 것은 그래프 구조를 활용한 다양한 작업에도 유용할 것으로 예상합니다. 좋은 발표 감사합니다.

금일 세미나는 'VCR-Graphormer: A Mini-Batch Graph Transformer via Virtual Connections' 라는 논문을 소개해 주셨습니다. 해당 논문에서는 기존 Large graph에서 활용이 힘들었던 Graphormer의 한계점을 지적하며 Large graph에서도 활용할 수 있도록 Node를 선택적으로 사용하여 Representation을 생성하고자 VCR-Graphormer를 제안하고 있습니다. 구체적으로 학습에 필요한 중요한 Node만 선택할 수 있도록 Personalized PageRank (PPR)을 제안하고 있습니다. PPR이란 특정 Node에서 Random walk를 반복해서 진행할 때 다른 Node에 머무를 확률을 의미하며, 단순한 Matrix와 Vector의 연산으로 그래프 상에서 자신과 관련성 높은 Node를 계산할 수 있으므로 그래프 구조를 반영할 수 있으며, 단순한 계산으로 계산 복잡도 또한 낮다라는 장점을 갖게 됩니다. 또한, Long-range Message Passing를 이루고자 METIS Partitioning 방법을 사용하여 그래프 내 Cluster에서 잘 전달될 수 있도록 Super node를 제안하고 있으며, 다른 정보간 구별성을 확보하기 위해 Node label을 활용하여 같은 Label Node를 연결함으로써 같은 Label Node끼리 정보 공유를 하는 Virtual Node 생성 전략 또한 제시하고 있습니다. 해당 논문이 제시하는 Token list 구성이 앞으로의 Graph + Transformer 구조에서 많이 활용될 수 있는 좋은 접근 같아 개인적으로 의미있는 연구이지 않았나 싶습니다. 좋은 발표 감사드립니다.