이번 세미나에서는 그래프 네트워크로 추천시스템을 구현하는 것을 주제로 진행되었습니다. 가장 먼저 그래프 네트워크로 추천시스템을 구현했던 NGCF(Neural Graph Collaborative Filtering)으로 부터 LightGCN이라는 방법론이 전개되었으며 이에 Graph Contrastive Learning을 적용시킨 것이 본 방법론이라고 볼 수 있니다. 다만, 추천시스템을 위한 사용자-아이템 그래프인 이분할 그래프는 다른 그래프들과 달리 sparse한 점이 큰 특징이기 때문에 이를 잘 고려해야합니다. 즉, sparse한 그래프에서 augmentation이 진행되면 원 그래프와의 특징이 너무나 다른 그래프들이 생성될 것이고 이는 곧 학습의 효과를 저하시키는 요인이 됩니다. 따라서 augmentation이 그래프 임베딩에 perturbation을 가하는 것이 조금 더 효과적임이 다른 연구를 통해 발표되었습니다. 본 방법론에서는 perturbation의 일환으로 인접행렬을 SVD를 이용해 재구축하는 방식을 택했습니다. 이를 통해 원본의 인접행렬과 재구축한 인접행렬을 모두 활용하여 pairwise loss와 Local-global contrastive loss를 통해 학습을 진행합니다. 특히 SVD의 여러 종류 중 R(andom)-SVD를 이용한 점이 큰 특징입니다. 이를 적용함으로써 perturbation의 목적이 잘 반영되도록 하였습니다. 방법론의 흐름을 하나씩 잘 짚어주신 덕분에 쉽게 이해할 수 있었습니다. 소개해주신 다른 연구들에 대한 논문도 하나씩 살펴볼 예정입니다. 좋은 발표 감사합니다.

이번 세미나에서는 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION" 논문에 대해 소개해 드렸습니다. 이 논문은 추천 시스템을 위한 그래프 네트워크 구조에 대한 내용입니다. LightGCN은 이전에 추천 시스템을 위해 사용되었던 NGCF(Neural Graph Collaborative Filtering)에서 발전된 방법론으로, 그래프 대비 학습을 위해 Graph Contrastive Learning을 도입하는 방법론입니다. 추천 시스템의 사용자-아이템 그래프는 다른 그래프들과 달리 희소성이 큰 특징을 가지기 때문에 이러한 특성을 고려하는 것이 중요합니다. 희소한 그래프에서 augmentation을 진행하면 원래 그래프와 매우 다른 특징을 가진 그래프들이 생성될 수 있으며, 이는 학습의 효과를 저하시킬 수 있습니다. 따라서 perturbation의 일환으로 인접행렬을 SVD(Singular Value Decomposition)를 이용해 재구축하는 방식을 적용하였습니다. 이를 통해 원본 인접행렬과 재구축한 인접행렬을 모두 사용하여 pairwise loss와 Local-global contrastive loss를 통해 학습이 수행합니다. 특히, R-SVD를 활용한 점이 이 방법론의 큰 특징이었습니다. 이를 적용함으로써 perturbation의 목적이 잘 반영되도록 했습니다. 좋은 발표 감사합니다.

금일 세미나 시간에는 이정호 박사과정이 “LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION” 라는 논문을 주제로 GCN을 활용한 추천시스템을 주제로 세미나를 진행해주었습니다. 우선 세미나의 서두에는 추천시스템과 기존 classification task와의 차이에 주목하여, rich sematic 정보가 부족한 추천시스템의 한계점에 대해 짚어주었고, 이를 극복하기 위해 collaborative filtering에 GCN을 차용한 NGCF부터 본 논문의 motive가 되는 LightGCN까지의 과정을 잘 설명해주어서 해당 논문의 취지를 잘 이해할 수 있었습니다. 특히 LightGCN에서 단순한 weighted sum 방식을 취함에도 불구하고 self-connection을 활용하지 않는 것이 흥미로웠습니다. 본 논문인 LightGCL에서는 논문 주제에서도 유추할 수 있듯이 contrastive learning을 그래프 도메인에 활용한 논문으로 기존의 그래프 연구에서 주로 사용하는 contrastive learning은 node dropout, edge dropout과 같은 확률적 증강(Stochastic Augmentation) 기법을 주로 사용하지만, 이는 노이즈로 인한 Bias가 존재하기 때문에 원래 그래프의 의미론적인 구조를 제대로 파악하지 못한다는 단점을 논문에서는 지적하고 있었습니다. 따라서 해당논문에서는 SVD를 기반으로 Data Augmentation을 수행하여 이를 보완하고자 하였습니다. 이러한 SVD를 통해 유저와 제품간의 상호작용 사이의 의미있는 semantic 구조정보를 잘 추출할 수있다고 해당논문은 주장하고 있습니다. 또한 개인적인 생각으로는 비교적 멀리있는 kth-hop의 이웃정보를 활용하기위해서 다층의 layer가 요구되지 않기에 over-smoothing 문제도 어느정도 보완할 수 있을거라고 생각하였습니다. 학습과정에서는 Data Augmentation의 역할을 수행할 수있게 edge-drop과 node-drop을 병행한 것도 인상적이었습니다. 지속적으로 관심을 가지고 있는 그래프 도메인에 관련하여 좋은 정보들을 얻어가는 좋은 세미나 시간이었고, 이런 세미나를 준비한 발표자에게 감사의 인사 전합니다.

본 세미나는 이정호 발표자님께서 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION"라는 논문을 바탕으로 진행해주셨습니다. 해당 논문은 Graph Contrastive learning의 문제점들을 지적하고, 이를 SVD라는 수학적 접근을 통해 해결하고자 하였습니다. 구체적으로 Graph augmentation에서 일반적으로 사용되는 방식이 SVD를 통한 접근을 시도했고, 해당 관점에서 유사한 Graph Constrive learning 연구들이 진행해야 하는 길을 제시했다고 말하고 있습니다. 특히 가장 흥미로웠던 점은, contrastive learning 방법론들이 확률적 증강 기법을 주로 사용하지만, 이는 noise에 의한 bias가 존재하기에 이를 SVD를 통한 Data augmentation을 수행하여 보완한 점이었습니다. 즉 SVD를 통해 user-item 간 상호작용에서 의미있는 semantic 정보를 추출한 점이 SVD의 특징을 잘 살렸다고 생각하였습니다. 본 세미나를 들으면서 GCL에 대해 흥미롭게 들었고, 구체적으로 설명해주셔서 이해하기 쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 기존의 GNN 구조에서 각 레이어의 비선형 연산을 제거해도 좋은 Negative Mining을 통한 GCN 모델 학습 방법론을 제안하는 LightGCL : Simple Yet Effective Graph Contrastive Learning for Recommendataion 이었습니다. 기존의 GNN 모델은 이웃 노드의 정보를 취합하거나, 비선형 연산을 가하는 방식을 변형하여, 모델의 복잡도를 높이고, 성능을 높이는 방향으로 연구되어 왔습니다. 하지만 선행연구인 LightGCN에서는 이러한 비선형 연산의 도입없이도, 가볍고 효율적인 GCN 모델 구조가 가능함을 보이고 있습니다. 해당 연구는 이러한 LightGCN 모델 구조를 사용하면서도, Contrastive learning을 위한 Negative Graph 구조를 SVD를 통해 연산하는 독특한 아이디어를 가지고 있습니다. Truncated SVD의 경우 원본 adjacency matrix의 완전한 복원이 불가능하지만, 중요 edge는 복원할 수 있다는 점을 이용하여 Negative Graph를 생성하게 됩니다. 이를 통해 효율적이면서, negative sample로서 좋은 sample을 확보할 수 있습니다. 특히 해당 논문은 SVD 연산량을 줄이기 위해 R-SVD를 이용하고 있는 점이 특이할 점이라고 할 수 있습니다. Domain에 관계없이 좋은 Negative Sample을 산출하는 것은 Contrastive Learning에서 매우 중요한 과제라는 점을 다시 한번 상기시키는 논문이었다고 생각합니다. 특히, Negative Sampling 방식이 복잡하기 보다는 단순한 방법이 오히려 좋을 수 있다는 motivation을 강조할 수 있을 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나는 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION" 논문을 주제로 진행되었습니다. 해당 논문은 더 가볍고 효율적인 GCN 구조의 추천 시스템을 제안합니다. Graph contrastive learning은 가장 흔한 아이템을 추천하는 "편향"문제를 해결하기 위해 제안되었으며, 그래프 임베딩에 perturbation을 가하여 성능 향성을 거둔 SimGCL을 기존 SOTA 모델로 꼽을 수 있습니다. 본 논문은 Augmentation 방법을 발전시킴으로써 성능 향상을 이루려는 motivation을 가집니다. 저자는 SVD를 활용하여 Negative graph에 대한 constrastive learning 연산을 수행합니다. 이때 Truncated SVD를 활용하게 되면 일부 정보의 loss가 있지만, 주요 정보는 보존되며, 연산량이 비약적으로 감소한다는 장점을 가집니다. 연산량을 줄이기 위해 SVD를 활용한 점이 인상적이었으며, contrastive learning의 negative sampling 산출 방식 역시 새로웠습니다. 다시 한 번 수리적인 접근을 통해 딥러닝 방법론을 효율적으로 개선할 수 있다는 교훈을 얻을 수 있었습니다. 자세한 발표 자료 덕분에 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 추천 시스템을 위한 GNN 구조 개선 방향으로 언급된 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION" 논문을 주제로 진행되었습니다. 해당 논문은 그래프 추천 시스템에서 Graph Contrastive Learning의 이점을 활용하여 성능 향상을 얻고자하는 방법론을 제시하였습니다. 가볍고 효율적인 GNN 구조를 적용하기 위해 복잡한 비선형 연산을 회피하면서도 고품질의 추천 결과를 도출할 수 있도록 하였습니다. 본 논문에서는 효율적인 그래프 대조학습을 통한 상호 작용 탐색에 대한 독창적인 아이디어를 제시하였습니다. SVD를 활용하여 인접행렬을 재구축하며, 여기에 기반한 데이터 증강을 통해 그래프에서 중요한 의미론적 정보를 파악하였습니다. 이러한 접근 방식은 이 분야에 있어 새로운 연구 방향을 제시할 수 있는 점이 인상적이었습니다. 더불어 기존 Graph Constrastive Learning에서의 문제점과 한계를 지적하고, 이를 개선하기 위한 기법을 소개하였습니다. 이번 세미나를 통해 추천 시스템을 위한 그래프 기반 학습의 연구 방향을 안내해주는 매우 유익한 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION 논문을 소개해 주셨습니다. 해당 논문에서는 rich semantic 정보가 없는 input에 기존 GCN 구조를 그대로 사용하는 문제와 관련하여 문제점을 제기하였으며, 더 가볍고, 더 효율적인 추천시스템에 적합한 GCN 구조를 설계하기 위해 LightGCN을 제안하였습니다. NGCF는 GCN을 활용하여 collaborative filtering을 수행한 방법론이며, 해당 방법론에서는 기본적인 GCN의 구조를 차용하고 있습니다. LightGCL에서 사용자와 아이템간의 관계를 다루는 adjacency matrix를 산출할 때는 크게 user part, scaler, item part을 이용하게 됩니다. 그 과정을 살펴보자면, 우선 SVD를 할 adjacency matrix에 random gaussian matrix를 곱해주고, 생성된 matrix에 adjacency matrix 값을 곱하여 해당 값의 성분을 포함하고 있는 작은 matrix를 생성하게 됩니다. 또한 multi-view를 생성한 이후 contrastive learning을 진행하게 됩니다. contrastive learning에는 크게 2가지 loss값을 이용하는데 하나는 CL loss이며, 다른 하나는 Pairwise Loss입니다. 실험 결과에서 Case Study에 대한 실험 부분이 인상적으로 다가왔던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 “LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION”으로 진행되었습니다. 해당 세미나에서 비교 모델인 LightGCN은 더 가볍고 효율적인 추천시스템에 적합한 GNC을 설계하였고, 단순한 weighted sum을 사용하여 node degree를 표현하여 처음 임베딩 값을 위한 trainable parameter만 있으면 되는 방법이고 이를 통해 self-connection을 사용하지 않아도 사용하는 것과 같은 효과를 보임을 수식적으로 증명하였습니다. 해당 논문의 방법론인 graph contrastive learning(GCL)은 contrastive learning(CL)을 통해 pre-train을 한 후 fine-tuning을 합니다. negative sample로는 in-batch negative를 사용하며 여러개의 그래프를 학습해야해 그래프 생성수에 비래하여 학습시간이 증가하게 됩니다. data augmentation시 data sparsity로 인해 bias가 생길 수 있다는 문제점 또한 존재합니다. lightGCL은 multi-view 생성 후 CL을 합니다. adjacency matrix를 활용시 연산량이 너무 많기 떄문에 randomized SVD를 사용하여 효율적으로 연산이 가능한 두개의 matrix로 분리하게 됩니다. data augmentation 방법으로 SVD를 사용했다는 점이 굉장히 인상깊었습니다. 데이터가 굉장히 클 때 matrix를 다루기가 까다롭다는 것을 최근에 느꼈습니다. 행렬 분해, 행렬 곱을 통해 효율적으로 저장공간을 쓰면서 연산이 가능하다는 점을 최근 프로젝트를 통해서 느꼈는데, 이번 세미나에서 이러한 방법으로 접근하여 제안했다는 점이 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “LightGCL : Simple Yet Effective Graph Contrastive Learning for Recommendation”이라는 연구를 소개해 주셨습니다. 해당 논문에서는 GCN과 Contrastive Learning을 추천 시스템에 활용한 방법론인 LightGCL을 제안했습니다. 본 방법론을 설명해주시기 전에 NGCF, LightGCN, GCC 등 이전 방법론에 대한 간략한 설명과 각 방법론의 한계점과 선행 연구의 한계점을 개선한 방법에 대해 설명해주셨습니다. 최종적으로 LightGCL은 Contastive Learning은 활용하는 상황에서 Graph Augmentation 시에 Multi-view를 생성해 사용합니다. 이때 Adjacency Matrix를 User와 Item 및 Scalar로 SVD 시킨 후, 부분 복원을 통해 User - Item Pair를 복원시키는 방법을 이용했습니다. 모델 아키텍처 측면에서의 개선보다는 수식적으로 개선시킨 방법론이라 흥미롭게 들을 수 있었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION 이라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 논문은 추천 시스템을 풀기 위해 graph를 사용한 논문으로 contrastive learning을 통하여 SOTA의 성능을 낸 모델인 LIGHTGCL을 제안한 논문입니다. 전반적인 contrastive learning 기반 graph representation에 대한 설명을 통해 흐름을 잘 정리해주셨고, 각 과정에서 어떤 문제가 있는지 쉽게 설명해주셔서 이해하기 쉬웠습니다. 최종적으로 본 논문의 LIGHTGCL 구조가 이를 어떻게 해결해 나가는지 정리해주셔서 방법론에 대한 motivation이 더욱 쉽게 이해가 되었습니다. 특히 LIGHTGCL이 R-SVD를 통해 Adjacency matrix를 설계하는 방식이 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Recommendation Domain을 위한 Graph Neural Network에서의 Contrastive Learning 방법론을 제시하고 있었습니다. 먼저 Graph Contrastive Learning에서는 Contrastive Learning을 위한 Data Augmentation을 할 때 그래프를 생성하는 방법론에 따른 랜덤성을 고려할 수 있어야 하나, Recommendation Domain 하에서는 Sparsity 문제로 인하여 편향된 학습의 가능성을 제시하기도 하게 됩니다. 이에 해당 분야의 이전 SOTA 모델인 SimGCL에서는 따로 Augmentation을 만들지 않고, 존재하는 그래프 임베딩에 Perturbation을 가하는 형태로 모델을 구성하여 CL에서의 InfoNCE Loss 를 쓰는 게 편향된 결과를 내지 않게 제약 역할을 해서 성능향상에 도움을 준다는 것을 증명하고 있었습니다. 이때, 해당 논문에서 제시하는 모델인 LightGCL은 CL loss는 그대로 적용하고, 그래프까지 단순하게 Random perturbation을 해주는 것 보다는 Augmentation을 잘 해주는 모습을 보이고 있습니다. 이는 User와 Items로 부터 생성되는 Original Graph에 대하여 SVD를 통한 Multi-view를 생성한 후 Contrastive를 진행하는 형태로 구성하여 기존 방법론들에 비하여 더 좋은 성능을 보이고 있었습니다. 단순히 Random walk, perturbation이 아닌 SVD를 통하여 Multi-view를 Augmentation하는 것이 흥미롭게 다가왔습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 추천시스템에서 graph와 contrastive learning을 이용하는 방법론인 LightGCL을 제안한 LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION에 대해 다뤄 주셨습니다. 지난번 세미나에서 소개해주신 LightGCN의 연장선이라고 볼 수 있으며, graph 추천 시스템에서 contrastive learning이 어떻게 활용 되는지, 기존 방법론의 문제점은 무엇이었으며 어떻게 해결했는지 잘 설명해주셨습니다. 추천 시스템에서 contrastive learning은 일종의 제약 조건으로 사용 됩니다. 하지만 contrastive learning을 하는 과정에서 augmentation을 적용하게 되면 graph는 완전히 다른 graph가 되는 문제가 있었습니다. LightGCL은 CL loss를 그대로 적용하되 augmentation에 더 집중하면 성능이 향상되지 않을까 라는 motivation으로 시작 되었고 original graph에 SVD를 적용한 뒤 reconstruct하는 방식으로 augmentation을 가해 contrastive learning을 수행했습니다. 제안한 augmentation 방법론을 통해 성능이 향상된 것을 통해 augmentation이라는 요소가 contrastive learning에서 상당히 큰 영향이 있다는 것을 알 수 있었고, 이러한 부분을 수식적으로 해결하는 과정 또한 인상적이었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION 논문을 소개해 주셨습니다. 본 논문은 Graph를 이용한 추천시스템을 위한 것으로 발표자께서 지난번부터 소개해 주신 Graph Contrastive learning을 활용한 방법론입니다. 요약하자면 LightGCN에 Graph Contrastive Learning을 적용한 것인데, 여기서 추천 시스템 그래프가 일반적으로 sparse 하다는 특징을 반영하여 보편적인 augmentation이 아니라 그래프 임 베딩에 약간의 perturbation을 가하는 것으로 증강을 수행합니다. 이때 활용되는 방법이 인접행렬을 SVD를 이용해 재구축하는 것으로 원본과 재구축한 인접행렬을 모두 사용하여 pairwise loss, Local-global contrastive loss를 함께 학습합니다. 그래프에는 항상 호기심이 있는데, 이렇게 새로운 task에 graph가 적용되는 사례를 보는 것이 참 재미있는 것 같습니다. 특히 본 논문 내용 이외에도 추천 시스템에서 그래프를 어떻게 구축하고 활용하는지 예시로 설명해 주셔서 이해하기 좋았습니다. 항상 좋은 발표 감사합니다.

이번 세미나에서는 LightGCL이라는 방법론에 대해 소개해주셨습니다. 해당 방법론은 grpah contrastive learning을 적용한 LightGCN이라고 볼 수 있었는데 이 때, graph data의 특성을 반영하여 perturbation을 가하는 방식으로 증강을 수행하는 것이 흥미로웠습니다. 또한 SVD를 활용하여 pairwise, local global contrastive loss를 통해 모델을 학습하는 과정과 그 의미를 잘 설명해주셔서 이해하기 수월했던 것 같습니다. Graph data는 다른 data 대비 아직 정복되지 않은 분야라고 생각이 되는데 계속해서 세미나를 통해 graph 관련 연구를 소개해주셔서 follow up을 할 수 있어 좋은 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION"에 대해 소개해주셨습니다. LightGCL은 augmentation을 최대한 랜덤으로 수행해서 그래프 정보 자체를 최대한 훼손하지 않게 해보자는 아이디어에서 시작한 방법론입니다. SVD로 original graph의 matrix를 분해하고, 이를 다시 복원한 graph를 활용해서 두 그래프의 값의 차이를 바탕으로 contrastive learning을 수행합니다. 이때, 각 user와 item에 대한 중요한 정보를 미리 파악하며 이를 보존하는 방향으로 분해 및 복원 과정이 이루어지므로, global collaborative signal을 보존할 수 있게 됩니다. SOTA 모델인 lightGCL을 소개하기 전, 그동안의 graph를 활용한 추천 시스템의 연구가 어떻게 발전되었는지 그리고 graph에서의 constrastive learning이 어떻게 적용되는지에 대한 background를 꼼꼼히 설명해주셔서 이후 이해에 도움이 되었던 것 같습니다. 흥미로운 분야에 대해 소개해주셔서 감사드립니다.

이번 세미나는 ICLR 2023에 억셉된 "LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION" 논문으로 진행되었습니다. 해당 논문은 추천 시스템 분야에서 그래프를 활용한 논문으로, 2020년도에 나온 LightGCN 방법론에 Graph Contrastive Learning을 결합한 LightGCL이란 방법론을 제안했습니다. 해당 방법론은 Graph Contrastive Learning의 이전 연구들이 학습 시 필요한 샘플을 생성하기 위해 augmentation을 수행할 때 발생하는 다양한 문제점들을 바탕으로 R-SVD를 이용해 negative sample을 구축하는 방법을 제안했고, 결과적으로 실험을 수행한 데이터에서 모두 가장 우수한 성능을 보였습니다. 그래프는 매년 다양한 분야에서 새로운 논문들이 나오는 만큼 정말 흥미로운 분야인 것 같습니다. 그래프와 추천시스템과 관련된 좋은 발표 진행해주셔서 매번 감사합니다.