이번 세미나는 Graph neural network를 활용한 recommendation system에 대해 진행되었습니다. 최근 GNN을 추천 시스템에 적용하는 연구가 활발히 진행되고있는데, 궁금한 개념을 다시 정리 할 수 있었습니다. 세미나에서 다룬 논문은 GNN을 통해 아이템간의 관계를 파악하여, 아이템 임베딩 값을 만들어냅니다. 이를통해 한 유저의 특성을 아이템들의 관계로 표현 할 수 있게되고, 각 유저의 특징들이 그래프를 통해 정의내릴 수 있다는 가정을 잘 풀어낸 연구였습니다. 또한 개인적으로 관련 추천시스템 관련 프로젝트에서 가장 최근에 본 10개의 아이템 representation을 모델이 추가해주었을때 가장 성능 향상이 두드러졌었는데, 논문에서도 다음과 같은 결과를 도출해냈다는 것이 인상깊었습니다. 추천시스템에서 cold start문제를 해결하기 위해 다양한 시도를 진행하지만, 최근에 보거나 구매한 제품을 어떻게 representation vector로 만들어내느냐에 따라 모델 성능이 향상될 수 있다는 생각을 하게되었습니다.
추천시스템 발표를 들을 때 마다 metric을 확실히 이해하지 못했었는데, 이번 발표를 통해 metric을 정확히 알 수 있었습니다.

GNN을 사용하여 item의 representation을 구하는 SR-GNN에 대한 세미나 시간이었습니다. 어떠한 item embedding vector로 부터 여러 cell을 계산하여 그 관계, 혹은 순서를 고려하는 GRU-based model의 한계를 극복하기 위하여 sequence를 사용하여 directed graph를 구축한 다음 해당 graph를 통해 순서가 고려된 item vector를 구하는 것이 본 연구의 main contribuiton이라고 생각합니다. 이 뒤의 구조는 굉장히 단순한 attention과 linear transformation으로 구성되어 있습니다. 본 논문의 저자들은 제안하는 방법론이 user-specific하다고 주장하고 있으나, 조금더 엄밀히 말해 session-specific하지 않냐는 발표자의 정리가 매우 좋았습니다. 또한 개인연구에 있어서도 여러 결과들에 대한 발표자 본인만의 해석이 타당해 보였으며 연구를 함에 있어서 반드시 필요한 자세가 아닐까 생각하였습니다. 끝으로 transition probability 를 추가하는 아이디어를 가지고 있는데, 최근에 나온 모델일수록 이를 이미 모델 내부적으로 고려하고 있는것 같아 모델에서 고려하지 못하지만 의미있는 vector를 찾을 수 있으면 좋겠다는 생각을 하였습니다.

graph neural network를 추천시스템에 적용한 논문에 대해 발표를 들었습니다. 그래프는 다양한 정보(노드)간의 관계를 파악할 수 있는 구조기 때문에 다양한 분야에서 많이 사용되고 있습니다. 추천 시스템도 아이템 간 다양한 관계가 있어 이를 그래프로 잘 표현할 수 있을 것이라고 생각했는데 본 논문이 그러한 아이디어를 잘 실행한 것 같습니다. 본 논문에서는 아이템들의 시간 순서를 sequence로 정의하고 이를 이용해 그래프를 구축합니다. 그 후 gnn을 이용해 아이템간의 관계를 임베딩하고 현재 정보와 이를 결합해 아이템을 추천합니다. 아이디어와 성능 모두 좋은 논문이었습니다. 개인적으로 시간 순서를 시퀀스로 표현해 그래프를 구축한 본 논문의 아이디어도 좋지만 아이템의 외관(사진), 메타 정보등을 이용해 비슷한 아이템이 가까운 거리에 놓이도록 그래프를 구축하고 이를 GNN, GCN등을 이용해 추천에 이용해보는 것은 어떨까 하는 아이디어가 있습니다.

금일 발표는 "Session-Based Recommendation with Graph Neural Networks"라는 주제로 진행되었습니다. 해당 방법론은 최근 많은 분야에서 응용되고 있는 Graph Neural Network (GNN)를 추천시스템 분야에 적용하여 좋은 성능을 도출하였습니다. 본 논문에서는 추천시스템에서 가장 중요하다고 볼 수 있는 아이템의 임베딩을 GNN을 통해 학습하였고, 이렇게 임베딩된 아이템 벡터들에 attention mechanism을 적용하여 sequence 벡터를 도출하였습니다. 추천시스템 관련 세미나 발표를 청취할 때마다 아이템 및 시퀀스를 임베딩하는 방법들이 굉장히 중요한 요소라고 느껴지는데, 해당 논문 또한 새로운 임베딩 방법론에 초점을 맞추었기 때문에 그러한 생각이 더 뚜렷해지는 발표였습니다.

기존의 sequential recommender system에서는 유저의 선호도를 반영하는 representation이 존재하지 않아 유저에 대한 특성을 반영하여 예측하지 못한다는 단점이 있습니다. 이러한 단점들을 보완하기 위해 본 논문에서는 Graph Neural Networks를 통해 아이템 간에 발생할 수 있는 많은 관계를 파악하여 아이템들에 대한 representation을 명확히 만들어내고자 합니다.

해당 논문에서는 과거 item sequence로부터 directed graph를 구성하고 Graph Neural Networks를 통해 item간의 관계를 파악하고 item embedding에 대한 정확한 값을 만들어 냅니다 이후 해당 값들을 기반으로 global preference와 current interest를 구하여 예측에 이용합니다.

Graph Neural network에 대해 학습할 수 있어서 유익한 시간이었으며, 전통적인 관점의 추천 시스템부터 최근의 동향까지 간략하게 설명해 주시어 해당 분야의 경향 파악에 큰 도움이 되었습니다.

감사합니다.

Session based recommendation graph network 관련 발표 였습니다.
추천시스템의 핵심 키워드중 2가지를 함께 접목시킨 논문이라 상당히 인용수가 높았던것 같습니다. 핵심은 session based sequence 를 sampling 하는 과정에서 노드를 임베딩하는 과정으로 생각 할 수 있습니다. 노드를 임베딩하는 방법은 상당히 많은 방법론이 다양하게 존재하는데, 최신 graph attention network 관련 방법론을 적용하면 좋은 연구방향이 될 것 같습니다.
추가로 노드(Item)을 임베딩하는 관점에서만 사용했는데, node prediction 관점에서 사용 방법론을 고려해보는것도 (숨겨진 관련성 아이템) 해당분야에서 재밌는 연구가 될 것 같습니다.
기초 구조가 되는 RNN 은 여전히 GRU를 사용하는것으로 보이는데, 더 최신기법을 적용해보는것도 좋을 것 같습니다.

이번 세미나는 천우진 석사과정의 추천시스템과 관련한 논문 발표였습니다. 추천 시스템의 트렌드는 기존의 Matrix Factorization과 같은 방식을 사용하되 DL기반의 다양한 임베딩 구조를 사용합니다. 또한, Attention 등과 같은 추가적인 정보를 반영하여 성능을 향상시키고 있습니다.
이번에 다룬 논문은 Graph Neural Network(GNN)을 사용하여 아이템들에 대한 임베딩을 representation한 추천시스템이었습니다. 해당 논문에서는 Gated-GNN을 사용하여 임베딩을 합니다. 여기서 노드(Node)는 각 아이템의 시퀀스를 의미하며, 엣지(Edge)는 시퀀스에 나타난 연속 두 아이템을 의미합니다.
추천 시스템에 대한 과거에서 부터 현재까지의 전반적인 흐름에 대한 설명과 추천 시스템에서 사용하는 Metric을 예시를 통해 설명해 주셔서 이해가 잘 되었습니다.

그래프방법론을 활용한 세션 기반 추천모델을 발표해주었습니다. 먼저 아이템 시퀀스의 정보가 있으면 그래프를 만들고, attention 산출하고 다음 아이템을 예측하는 구조을 가지고 있습니다. 세부적으로, 아이템 시퀀스, 하루를 하나의 session으로 가정한후 인접행렬을 이용한 gru 임베딩을 진행이 된 다음 attention layer를 추가해서 다음 아이템을 예측하는 내용이었습니다. 각 노드는 item을 의미하며, 초기에는 가우시안 initialization이 되며 학습되게 됩니다. 마지막 hidden vector(최근 시점을 가장 반영한)과 attention vector(global preference)를 병합하여 각 실험구조에 따른 성능평가를 진행하였습니다. 각 아이템을 span하여 데이터 생성하여 데이터를 확장하는 트릭을 사용하였는데 이 부분에 대해서 overfitting에 대한 질문도 같이 언급되었습니다. 선행연구별로 제안 아이디어를 적용했다는점에서 발표자의 노력과 관심이 돋보인 발표였습니다.

금일 세미나 시간에는 추천시스템(Recommend System)분야에서 Item간의 Sequential 정보를 반영하기 위해 Graph Neural Network를 활용한 “Session-Based Recommendation with Graph Neural Networks” 논문을 다루어 보았습니다. 기존의 딥러닝 기반의 추천시스템의 경우, 시간순의 유저 representation을 활용하기 위해서 RNN 계열의 모델을 위주로 사용되어 왔지만, 각 Session 별(각 사용자 별) specific한 특성을 반영하지 못한다는 단점이 존재하였습니다.
따라서, 해당 논문에서는 사용자가 가지는 시간순의 user representation을 위주로 활용하던 기존 논문과 달리 Graph Neural Net을 활용하여 아이템 간의 구매이력을 그래프로 표현하여 representation하여 end-to-end방식의 추천 모델링을 제안하였습니다. 이 과정에서 각 아이템 간의 시간순의 구매이력 sequence는 아이템 기준의 노드를 가진 하나의 sub-graph로 구성되어 이를 GNN을 통해 학습을 수행합니다. 이와 더불어 최근의 구매 패턴을 앞서서 구성한 Global preference와 결합하여 최종적으로 해당하는 아이템의 선호도를 예측하게 됩니다.
개인적인 견해로는 과거 구매이력이 제한적인 아이템들의 경우(Cold-Start), 그 그래프 representation에 얼마나 잘 작동하는 지 여부등이 논문을 통해서 보여주었으면 하는 궁금증도 가지게 되었습니다. 최근 딥러닝 가운데에서도 그래프를 통해서 그 구조적 특성을 활용한 GNN이 많은 관심을 가지고 있는 것 같습니다. 재미있는 논문이 소개된다면 추후에 공유하면 좋을 것 같습니다. 휴가기간 와중에도 세미나 준비를 하느라 고생한 천우진 학생에게 감사의 인사 전합니다.

본 논문은 RNN 계열 모델이 순서를 고려하여 해당 아이템의 순서의 정보가 아이템 관계를 해칠 수 있기 때문에 graph neural network 방법을 이용합니다. 그래프 구조인 node, edge가 주어지면 이를 통해 임베딩하여 구하는 방법으로 추천시스템에 아이템의 관계를 고려한 GNN을 적용한 논문이라고 볼 수 있습니다. session에 대한 item 관계를 그래프로 줄 수 있기 때문에 각 session에 대한 user의 행동이나 정보들이 들어갈 수 밖에 없다고 생각하였고 이를 통해 논문 저자는 user 정보를 반영했다고 표현한 것 같습니다. 개인 연구로 Transition 확률을 고려한 아이템 임베딩 값을 유명한 추천모델들에 추가하여 실험을 진행하였습니다. 결과에서 큰 차이가 없는 것을 보아, Trainsition vector를 concat한 부분의 feature가 학습시 무시된 것이 아닌가 생각하였습니다. 이 때, Transition vector를 단순히 concat하는 것이 아닌 해당 아이템 각 label별로 softmax하는 parameter에 가중치를 반영하면 효과적이지 않을까 합니다.

Graph Neural Network를 활용한 session-based 추천 시스템에 관한 발표였습니다. 제안 방법론인 SR-GNN은 user-specific한 정보와 item간 관계를 반영할 수 있도록 구매이력을 session별 그래프로 구축하고 GNN과 attention mechanism을 통해 다음 아이템을 예측하는 구조로 이루어져 있습니다. 해당 방법론 자체가 가지는 가정도 합리적이고 높은 성능을 기록한 점도 인상적이었지만 추천시스템 분야에 존재하는 많은 베이스라인 모델들도 각각의 장점을 가지는 방법론이 많이 있었습니다. 개인적으로 추천시스템은 타 연구 분야 대비 실용적 가치가 높기 때문에 특정 한 방법론을 제안하는 것도 좋지만 여러 방법론을 융합하는 방법론에 대한 연구 또한 좋은 접근법이 되지 않을까 하는 생각도 들었습니다.

천우진 석사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 2019년에 발표된 논문으로 Session-Based 추천 시스템을 Graph Neural Network 를 사용해서 구축하고자 한 연구 입니다. 먼저, 발표 초반에 추천 시스템 연구 분야의 발전 과정과 최근 트렌드를 소개를 해주셔서 논문 발표를 듣기가 수월했습니다. 해당 논문에서 제안하는 방법은 세션 그래프를 기반으로 아이템의 임베딩을 학습하여 추출하고 이를 Attention 을 적용한 GRU Network 를 사용해서 최종적으로 다음 스텝의 아이템을 무엇을 선택할지를 예측하는 문제를 푸는 방식으로 추천 시스템을 구축했습니다. 추천 시스템 도메인에서 현재 결국 가장 중요한 문제가 embedding 을 잘해야 한다는 점인 것 같습니다. 하고 있는 연구 관련해서 좋은 연구 성과 얻으시면 좋겠습니다.

기존 추천시스템에서 쓰였던 모델들은 아이템 간에 발생하는 관계를 포함하지 못했다는 점, 유저에 대한 특성을 반영하지 못한다는 점이 단점이었습니다. 이번 세미나에서 발표한 Graph Neural Networks는 이러한 단점을 보완하여, 아이템 사이에 발생할 수 있는 관계를 파악해 아이템의 representation을 만들어 내는 모델입니다. 유저들이 구입한 항목의 시퀀스들로부터 directed graph를 구축하고, Graph Neural Networks를 통해 아이템 임베딩 값을 구한 후 global preference와 current interest를 구하는 프로세스로 실행됩니다.
기존 추천시스템에 쓰이는 기법들의 단점을 보완할 수 있는 점에서 의미 있는 모델이었고, 복잡한 아이템들 간의 관계를 반영할 수 있는 모델을 배울 수 있었습니다.