Graph 분야의 Node classification, link prediction, 그리고 graph classification에 대해 설명해주셨습니다. Node classification에서는 GCN이 강세를 보이고, link level에서는 GCN보다 triplet embedding 관련 방법론이 강세를 보인다는 추세에 대해 짚어주셔서 좋았습니다. 본 세미나에서는 link prediction에 초점을 맞추었고, 이는 특정 노드를 기준으로 연결된 노드의 label이 동일한지(homophily)를 측정하는 task입니다. Homophily가 낮을수록 task의 난이도는 높아지는 편입니다. Task 수행을 위해 heuristic하게는 인접행렬에 대한 first/second-order 기반의 가중치를 고려할 수 있고, 이는 구조적인 정보를 반영하기에 효과적입니다. 다만 학습 이전에 미리 계산되어야 하는 한계가 존재하기 때문에 SEAL 연구에서는 3 이상의 order부터는 큰 영향이 없다는 것을 증명하여 사전 연산에 대한 부담을 줄일 수 있었습니다. 본 논문에서는 unnormalized adjacency matrix에 대해 edge와 node 임베딩을 수행하여 각 노드에 대한 representation을 구축합니다. GCN에서는 normalized matrix를 사용한다는 것이 차이인 것 같은데, raw matrix에 보존되어 있는 정보를 활용하기 위함인 것 같습니다. 결과적으로는 이웃에 대한 정보를 보존하는 노드의 representation을 얻게 되고, 기존 gcn 기반의 representation과 가중합을 진행하여 prediction을 진행합니다. 제 연구 분야에서 Convex combination을 위한 파라미터를 learnable하게 설정한 경우를 자주 보지는 못하였는데, 학습을 통해 최적화하면서 극단으로 치우치는 상황을 보완하기 위해 loss를 추가한 것이 인상깊었습니다. 추후 제 연구에서도 잘 활용할 수 있는 인사이트인 것 같습니다. 잘 들었습니다.

그래프 도메인에 관련된 세미나를 진행하였습니다. 특히 이번 세미나에서는 기존에 많이 진행된 node classification 보다는 link prediction에 집중하였고, 개인적으로는 link prediction의 어려움에 대해서 이해할 수 있었습니다. link prediction은 그래프 임베딩 특성상 기존의 방식으로는 높은 성능을 보이기 어렵습니다. 이를 해소하기 위하여 선행연구에서는 subgraph를 그렸으나 이는 subgraph에 대한 연산을 매번 진행해야 한다는 단점을 지닙니다. 소개해주신 Neo GNN 에서는 기존의 GNN 방식에 더하여 2 hop을 고려하는 adjacency matric를 추가적으로 사용하게 됩니다. 개인적으로 받아들이기로는 최근 다양한 분야에서 사용되고 있는 Transformer-based model의 positional encoding 역할을 하는 것이 아닐까? 라는 생각이 들었습니다. 본 연구에서는 이러한 직관적이면서도 단순한 아이디어를 통해서 보다 효과적이고 안정적인 representation을 얻을 수 있음을 보이고 있습니다. 세미나 중에 언급하셨던 것처럼 최근 NeurIPS의 동향이 수학적인 증명에서 문제를 실질적으로 해결하는 간단한 아이디어로 확장된것이 아닌가 생각합니다. 재미있는 연구에 대해서 알 수 있는 유익한 시간이었습니다.

이번 세미나는 GNN task 중 link prediction을 주제로 진행되었습니다. link prediction은 node 간 missing edge를 예측하는 task로, 두 node 사이의 link의 likelihood를 예측하여야 합니다. Link prediction은 하나의 node를 기준으로 연결된 node들의 label이 동일한 여부를 확인하는 지표인 homophily에 따라 난이도가 바뀌는데, homophily가 높은 경우 gnn으로 충분히 해결 가능하지만 낮은 경우 어려워집니다. 또한 GCN의 aggregation 과정에서 feature smoothing이 그래프 구조 정보를 학습하기 어렵게 만들어 link prediction에 악영향을 끼칩니다. 기존 연구에서는 subgraph가 node pair마다 추출해야하는 문제점이 있었으며, 이를 해결하고자 본 논문에서 제안하는 Neo-GNNs는 각 node pair에 따라 유사도를 다르게 측정하는 방법을 제안하여 subgraph를 추출하지 않고도 그래프 구조를 학습하고자 하였습니다. 기존 GCN에 multi-hop adjacency matric에 각 node의 구조적 특징을 나타내는 값들을 곱하고 가중합하여 multi-hop에 대한 공통 이웃의 정보를 내포하게 하였습니다. 그렇게 구해진 GCN score와 Graph Structure score를 가중합하여 loss function을 정의하였습니다. 기존 GCN에 간단하게 그래프의 구조적 정보를 추가하고자 하였으며, 좋은 성능을 내는 것이 인상 깊습니다. 좋은 발표 감사합니다.

이번 세미나에서는 그래프 네트워크를 큰 소재로 한 작년 NIPS에서 발표된 Neo-GNN 논문이 소개되었습니다. 논문을 살펴보면 Link Prediction Task에서 좋은 성능을 나타내는 모델을 제시함에 기여점이 있다고 논문의 저자들은 주장합니다. Link Prediction은 Node Classification, Link Prediction, Graph Classification과 함께 그래프 네트워크 관련 과업으로 크게 3가지 중 하나로 그래프의 점들 사이의 관계를 파악하고 두 점 사이에 얼마나 연관성이 있을지 예측하는 문제입니다. 이와 관련해서 한 노드의 라벨과 자신과 연결된 노드들 중 얼마나 많은 노드들이 동일한 라벨을 갖는지를 나타내는 지표인 homophily가 높을수록 Link Prediction이 쉽지만 반대의 경우에는 일반적인 gnn의 경우 높지 않은 성능을 보여준다고 합니다. 여러 휴리스틱 한 방법이 등장했고 선행연구(SEAL)에서는 subgraph를 이용하여 그래프의 구조정보를 학습하도록 했지만 노드 pair마다 추출해야 하는 문제점이 발생하고 이를 Neo-GNN으로 해결하는 것입니다. 비록 해당 방법론의 내용을 완벽히 이해하지는 못했지만 그래프 네트워크에서는 구조적 정보를 어떻게 효과적으로 입력하고 반영하는가에 따라 성능이 개선 될 방향이 존재하는 것 같습니다. 한편, 발표자 분께서 동일한 주제에 대해 지속적으로 연구내용을 찾아보고 직접 open review 에 질문을 남기는 등의 적극적인 자세가 매우 인상깊었고 반드시 배워야할 태도라고 생각됩니다. 늘 새롭고 흥미로운 주제를 준비해주시는 발표자 분께 감사의 말씀드립니다.

지금까지 그래프 논문을 살펴보면서 Link Prediction에 대해서는 생각도 안해봤을만큼, 그래프의 활용의 종류로서 언급이 되기는 하나 큰 연구가 되지 않는 분야라고 생각됩니다. Link Prediction은 그래프 내의 노드 간 연결되지 않은 Edge가 어떤 타입인지 예측하는 것으로서 Node Representation 쌍을 통해 두 노드 간의 관계가 무엇인지 판단하는 것입니다. 발표자님께서는 Link Prediction이 왜 난이도가 더 높은지에 대해 먼저 다루고 이는 Homophily가 낮은 경우에서 예측이 어렵기 때문입니다. 기존 Link Prediction 방법에는 1st / 2nd / High Order 휴리스틱 방식들이 있어 Degree가 높은 노드끼리 연결하는 방식 등을 활용하는 것 또는 두 쌍의 노드 관계를 학습하기 위해 구조적 정보(Sub graph)를 활용하는 SEAL 기법이 있습니다. 이에 대하여 본 발표에서 소개하는 Neo-GNN은 Subgraph가 노드 쌍마다 추출해야 하는 SEAL의 문제점에 대하여 Subgraph를 추출하지 않고, Adjacency Matrix와 Overlapped neighborhood와 같이 그래프 구조를 학습할 수 있는 대안을 제시합니다. 자신의 문제를 해결하기 위하여 적은 관심을 갖고 있는 분야에 대해 조사하신 것 같아 수고하셨다고 말씀드리고 싶습니다.

금일 세미나는 "Neo GNNs: Neighborhood Overlap aware Graph Neural Networks for Link Prediction"라는 주제로 진행되었습니다. 본 발표에서는 subgraph가 node pair마다 추출해야 하는 문제점을 해결하기 위해 subgraph를 추출하지 않고 그래프 구조를 학습할 수 있는 Neo GNNs이 소개되었습니다. Neo GNNs는 공통된 이웃의 정보를 내포하는 scale network와 representation을 통해 각 node pair에 따라 다르게 측정 될 수 있는 유사도 측정 방식을 활용하여 link prediction을 수행하였습니다. 발표를 들으면서 본 논문이 기존 방법론의 문제점을 잘 지적하고 이를 해결하기 위한 적절하고 논리적인 방법을 적용하여 좋은 방법론을 제안했다고 생각했습니다. 금일 발표 덕분에 다시 기초의 중요함에 대해 생각해보는 시간을 가질 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 Link Prediction Task를 출기 위한 그래프 기반의 방법론을 다룬 논문 Neo GNNs: Neighborhood Overlap aware Graph Neural Networks for Link Prediction을 주제로 진행되었습니다. 해당 task와 그래프 계열 모델에 익숙하지 않은 연구실 구성원들을 위해 발표자분께서 초반부터 상세하게 task에 관해 정의해주시고, link prediction이 풀기 어려운 문제인 이유에 대해서도 언급해주셔서 연구의 필요성을 잘 받아들일 수 있었습니다. Link Prediction은 직접적으로 연결되지 않은 노드 간의 edge를 예측하는 task로 node representation 학습을 통해 노드 pair 간의 관계를 예측합니다. 기존 연구로 소개해주신 heuristic한 방법론 SEAL의 경우 각 노드 쌍마다 subgraph를 추출해야하는 문제를 내포하고 있습니다. 이에 따라 본 논문은 subgraph가 아닌 각 노드 쌍에 따라 다르게 측정될 수 있는 유사도 측정 방식이 필요함을 제언합니다. 본 논문에서 제안된 Neo-GNNs는 Adjacency Matrix와 Overlapped neighborhood 등을 통해 각 노드의 구조적 특징을 학습하고 GCN score과 Graph Structure score를 가중 결합하여 예측에 활용합니다. 기존 연구의 한계를 극복하기 위해 굉장히 엄밀한 구조의 네트워크를 고안해냈다는 생각이 들었습니다. 유익한 발표 진행해주셔서 감사합니다.

오늘 세미나는 link prediction을 위해 제안된 Neo-GNN에 대한 내용으로 진행되었습니다. 초반에 graph task에 대해 자세히 설명해주셔서 link prediction이 그래프 task 중 비교적 어려운 난이도라는 것을 알게 되었습니다. 오늘 소개된 Neo-GNN은 GNN 기반 방법론들이 link prediction에서 유독 좋은 성능이 나오지 않는 점을 지적하고, 기존의 방법이 가진 subgraph를 node pair 마다 추출해야 하는 문제를 adjacency matrix, overlapped neighborhood 등을 이용해 subgraph 추출 없이 그래프 구조 자체를 학습할 수 있게 하였습니다. 이렇게 학습한 그래프 구조 정보와 기존 GCN representation의 가중합으로 최종 예측을 수행합니다. 궁금한 점들을 저자에게 직접 질문하시고, 답을 공유해주신 부분이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나는 Link prediction task를 수행하는 두 가지 연구, SEAL과 Neo-GNN에 대한 내용으로 진행되었습니다. Link prediction은 Node간의 missing edge를 예측하는 것을 말하며, 주어진 연결성을 고려하여 새로운 edge를 예측한다는 점에서 SNS의 친구추천을 포함한 다양한 추천 시스템에서 관련 방법론이 활용될 수 있습니다. 하지만 그래프의 homophily가 낮거나 scale이 큰 경우 다른 task 대비 어려워지고, 기존의 GCN으로 해결하기에 한계가 존재합니다. 소개된 SEAL에선 그래프의 구조정보를 학습하기 위한 sub-graph를 통해 이를 개선하고, Neo-GNN에선 node pair마다 다르게 측정될 수 있는 유사도 측정방식을 통해 sub-graph를 추출하지 않아도 되는 구조를 제시합니다. 개인적으론 생소한 분야에 대해 비교적 최신 논문까지 다뤄진 세미나였지만 발표자분께서 Graph를 통해 풀고자 하는 task의 정의부터 난이도, 기존의 해결방식 등에 대해 차근차근 설명해주셔서 이해하는데 도움이 되었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 그래프 task 중에서도 link prediction task에 관한 논문을 소개해주셨습니다. Link prediction은 그래프 상에서의 missing edge를 예측하는 task로서, graph aggregation 과정에서 발생하는 smoothing으로 인해 상대적으로 어려운 task이기도 합니다. 이러한 관점에서 처음 소개해주신 논문은 SEAL이라는 방법론을 이용하는데, subgraph를 구축함을 통해 그래프의 구조적 정보를 최대한 이용하고자 하는 방법론입니다. 즉 타겟을 기준으로 측정된 거리를 고려해 구조 정보를 담을 수 있는 labeling을 수행하지만, 연산 측면에서 비효율성이 있습니다. 이를 개선하고자 하는 방법론이 Neo-GNN이며, 이는 GCN 의 representation을 이용해 유사도를 계산하여 연산 상에서 앞선 방법론에 비해 개선점을 제시하고 있습니다. 발표자분께서 보여주신 바 처럼, 직접 저자에게 질문을 하시는 부분이나, 지나칠 수 있는 부분들에 대해서 의문점을 계속 던지시는 모습이 연구자가 지녀야 하는 모습이라고 생각합니다. 좋은 발표 감사합니다.

금일 세미나에서 발표해주신 논문은 “Neo GNNs: Neighborhood Overlap aware Graph Neural Networks for Link Prediction”입니다. 먼저, link prediction이란, Node 간 Missing Edge를 예측하는 task로, QA나 추천 시스템과 같은 downstream task가 존재하게 됩니다. 하지만, 이러한 link prediction은 각각의 노드를 임베딩하기에 각각 노드끼리의 관계를 학습하지 못하며, homophily에 많이 영향을 받고, GCN의 aggregation 과정에서 상대적거리를 별도로 반영해야 할 뿐만 아니라 feature smoothing이 악영향을 끼치게 되어 task 자체의 난이도가 높다고 합니다. 이를 해결하기 위해 성능이 잘 나오는 휴리스틱 기법들이 다수 제안되었지만, 해당 방법론들은 그래프 기법과는 상관없는 사전 계산을 통해 도출이 되었다는 한계가 존재하게 됩니다.
이를 극복하는 모델로 SEAL과 NeoGNN을 알려주시는데요. SEAL은 두 pair node의 관계를 학습하기 위해 pair node를 기준으로 sub-graph를 구축하여 구조 정보를 얻습니다. 하지만, 이렇게 subgraph를 node pair마다 추출하게 되면 cost가 높다는 문제가 생기게 되어 NeoGNN은 이를 극복하기 위해 새로운 방법론을 제안합니다. NeoGNN에서는 Adjacency Matrix와 Overlapped neighborhood 등을 통해 각 노드의 구조적 특징을 학습하고 GCN score과 Graph Structure score를 가중 결합함으로써 prediction을 수행합니다. 좋은 발표 감사합니다.

금일 세미나에서는 Neo-GNN 모델이 다뤄졌습니다. GNN task에서 Link Prediction task가 어려운 이유는, 특정 두 노드에 대해 동형 구조 그래프가 존재할 경우, 그 두 노드에 대한 상대적 거리가 다를 수 있다는 점을 임베딩 상에 반영하기 어렵기 때문입니다. 이에 SEAL이라는 논문에서는 그래프의 구조 정보를 학습하기 위해 sub-graph를 구축하여 사용하는데, Neo-GNN에서는 subgraph를 추출하지 않고 그래프 구조를 학습할 수 있도록 방법론을 제안하였습니다. Neo-GNN은 그래프의 구조적 정보를 뽑기 위해 unnormalized adjacency matrix를 활용하는데, adjacency matrix 로부터 도출된 structural feature와 adjacency matrix의 곱을 통해 overlapped neighbors feature를 뽑습니다. 그리고 이 Graph structure score와 GCN score를 가중합하여 학습을 진행하게 됩니다. 실험에서 Overlap neighbor를 통한 구조적 정보를 이용하는 것이 link prediction에 매우 중요함을 보였는데, 특히나 가중합 파라미터인 alpha 값의 변화로 데이터셋마다 필요한 정보 수준이 조절될 수 있다는 점이 인상깊었습니다. Task를 정확히 분석하고 선행 연구의 문제점 해결을 위한 embedding 구조를 잘 설계한 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 GNN의 link prediction에서의 낮은 성능을 보이는 원인 분석과 이를 해결한 Neo GNN에 대한 소개로 진행되었습니다. 기존 GNN은 node와 그래프의 구조적인 정보(shortest path, common neighbor)를 포함하지 못해 link prediction에서 낮은 성능을 보였습니다. 이런 문제를 개선하기 위해 다양한 방법론이 제안되어왔는데, 대표적인 모델이 SEAL와 Neo GNN입니다. SEAL에서는 pair node 기준 상대적 거리를 기준으로 노드 임베딩을 수행하는 반면, Neo GNN에서는 3-hop까지의 이웃을 추출하여 공통된 이웃 여부에 따라 유사도를 계산하여 common neighbor 정보를 네트워크에 반영합니다. 또한, SEAL에서는 subgraph마다 거리를 계산하여 연산비용이 높았으나, Neo GNN은 scale network를 학습하여 SEAL보다 효율적으로 구조적 특징을 학습하였습니다. GNN의 node classification 이외에 link prediction에 대해 알 수 있었고 해당 task가 어려운 이유에 대해 명확히 짚어주셔서 세미나 이해하는 데에 도움이 되었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나의 주제는 Neo-GNN 입니다. Link Prediction는 그래프 네트워크 task 중 하나로 유독 GNN 을 활용한 방식에서 효과가 좋지 않은데, 이는 Link Prediction과 GNN의 특성과 방식에 기인합니다. (LP에서 두 node간 상대적 거리 정보를 GNN Embedding에 포함하기 힘듦) 이 문제를 개선하기 위해 SEAL과 NEO-GNN 모델이 제안되었으며, SEAL은 그래프의 구조 정보를 학습하기 위해 Sub-graph를 구축하는 형태를 지닙니다. 하지만 Sub-graph을 node pair 마다 추출해야 하기 때문에 computational burden이 커지게 되고, NEO-GNN Model에서는 공통된 이웃의 정보를 내포하는 Scale network 와 representation 을 통해 이 문제점을 개선해줍니다. 항상 Graph Network에 관련된 발표를 쉽고 직관적이게 해주셔서 생소한 영역을 즐겁게 공부하고 있습니다. 좋은 발표 감사드립니다.

이번 세미나는 Neo-GNN에 대해 소개해주셨습니다. 이번 세미나를 통해 기존 GNN이 Link Prediction task에서 낮은 성능을 보이는 원인을 알 수 있었고 이를 해결하기 위해 제안된 Neo-GNN에 대해 배울 수 있었습니다. 결국 link prediction이 잘 안되는 이유는 기존 GNN이 그래프의 구조적 특성을 잘 반영하지 못하기 때문이었습니다. 따라서 Neo GNN은 이웃을 판별하기 위한 유사도를 계산하여 이웃에 대한 정보를 반영하도록 하는 방식을 채택하였습니다. GNN은 그래프를 다루는 모델이기 때문에 다른 task와 다르게 오버스무딩과 같이 그래프가 갖는 고유 특성에서 기인한 문제가 많이 발생하는 것 같습니다. 그래프와 관련한 연구는 아직도 많은 본질적 문제에 직면하고 있기 때문에 듣는 사람으로 하여금 그 논리의 타당성에 대해 많은 생각을 하게 하는 것 같습니다. 이번 발표 또한 unnormalized adjacency matrix를 활용하여 그래프의 구조적 특성을 반영한다는 것이 수리적으로 타당한지에 대해 많이 생각하게 된 것 같습니다. 항상 좋은 발표 감사드립니다.

이번 세미나는 Link prediction, GCN, GNN, SEAL, Neo-GNN을 주제로 진행되었습니다. 가장 최근 연구에서 entity relation을 고려하는 task를 수행하면서 graph domain 지식의 중요성을 실감하고있습니다. 그중에서도 두가지 node의 연결성을 체크하는 link prediction task는 KG 구축과도 큰 연관성을 가집니다. 오늘 소개해주신 내용 중 Neo-GNN파트가 매우 흥미로웠습니다. task별로 어떤 feature가 가장 중요한지 파악하는것은 핵심적인 부분인데, 해당 연구는 심플하고 효과적인 방법으로 graph relation을 학습한다는 점에서 흥미로웠습니다. 결국 graph에서 구조를 잘 파악하기 위해 multihop에 대한 공통 이웃정보를 학습하는것이 효과적이며 실험 결과또한 뛰어났습니다. 좋은 발표 감사합니다.

오늘 소개해주신 내용은 Neo GNNs: Neighborhood Overlap aware Graph Neural Networks for Link Prediction 이라는 논문에 대한 내용입니다. 이번 세미나에서 다루는 주제는 graph 분야의 task 중 하나인 link prediction 입니다. Link prediction은 다른 task와 달리 graph 에 존재하는 node 간의 homophily를 측정하는 task입니다. 두 node의 homophily가 높을 수록 서로 다른 노드라고 볼 수 있고, 반대인 경우 서로 유사한 특성을 가진 node로 판단되어 edge를 연결하는 task입니다. 소개에 따르면 이전 비교 대상의 방법론으로서 SEAL에 대해 소개해 주셨습니다. SEAL은 상대적 거리를 통한 pair node 인코딩을 수행하여 subgraph를 구성하는 방법을 제안하였지만 subgraph 가 늘어날 수록 그만큼 거리를 계산해야하는 문제점이 있습니다. 따라서 세미나 제목과 같이 Neo GNN 방법을 소개하여 이러한 문제를 subgraph를 구성하지 않는 방향으로 그래프 구조를 학습하는 방법을 소개해주셨습니다. 익숙하지 않은 graph 분야에 대한 연구 사례를 들을 수 있어서 좋은 시간이었습니다. 감사합니다.

금일 세미나는 Neo GNNs: Neighborhood Overlap aware Graph Neural Networks for Link Prediction에 대해 진행되었습니다. 매번 저에겐 어려운 주제라 접근하기 어려웠던 graph 분야에 대해 항상 잘 설명해주셔서 감사하다는 말씀을 먼저 드립니다. 오늘 세미나는 graph task 중 Link prediction task에 집중합니다. LP 과제를 수행하기 위해선, LP 과제의 특성을 잘 이해하고, GNN 속 임베딩이 어떻게 이뤄지는 지 잘 이해해야 할 것 입니다. 본 세미나는 기존 SEAL과 Neo-GNN의 차이를 구체적으로 짚으며 효과를 보여줍니다. Neo-GNN은 Pair node 인코딩보다는 common neighbor의 정보를 활용하고, sub-graph 구성 보다는 scale network와 representation에 집중하고자 합니다. 어려운 내용을 예시와 함께 잘 설명해주셔서 보다 잘 이해할 수 있었습니다. 좋은 발표 감사드립니다.