단순 history만으로 추천을 진행하는 것보다 최근의 (특정 window size 내의) 검색 이력에 등장한 아이템이 더 유의미한 추천이 될 것입니다. 그러나 false negative item의 예시를 들어 기존 추천방법론이 잠재적인 positive item이 negative sampling에 포함되어 학습을 방해하는 한계를 지적해주셨습니다. 발표해주신 논문에서는 contrastive learning을 사용합니다. Contrastive learning은 별도의 label 없이 객체 간의 비교를 통해 관계를 학습하는 방법론입니다. 사실 어느 분야에도 적용될 수 있지만 sequential recommendation에서는 어떤 관계를 비교할 수 있는지 처음에는 감이 오지 않았는데, 유저의 다양한 local preference history는 유지한 채 각 history의 임베딩 값끼리 contrastive loss를 비교하는 것으로 이해하였습니다. 정리하면 같은 유저의 임베딩 값끼리는 가까워질 것이고 다른 유저의 임베딩 값끼리는 멀어질 것입니다. 추가적으로 representation pair 구성을 위한 세 가지 형태의 augmentation을 적용하였습니다. 기존 nlp에서 많이 사용하는 masking 이외에 task에 맞는 augmentation을 다양하게 설계하고 실험으로 검증하는 과정이 인상깊었습니다. 예시를 적절하게 들어 주셔서 흐름을 잘 따라갈 수 있었습니다. 감사합니다.

이번 세미나에서는 contrastive learning을 이용한 추천시스템 방법론을 발표해 주셨습니다. 일반적은 추천방식은 고객 구매를 했는지 않했는지 Bag-of-word의 scheme의 방법으로 했다면 이 문제를 해결하고자 구매순서를 고려한 sequential recommendation에 대해서 설명해주셨습니다. 제안된 CL4SREC는 t-1시점의 item을 이용하여 t시점의 아이템을 예측하는 문제를 정의하였습니다. input embedding은 아이템과 대응되는 positioning embedding을 활용하였고, contrastive의 타켓은 augmentation의 파생 아이템 sequence들을 활용하였습니다. 구체적으로 추천기반의 핵심 augmentation 3가지 기법은

1) 임의 token을 지운는 방법 (순서가 재구성되는다는 점에서 위험하지 않을까? 라는 생각이 듭니다.)

2) 임의의 token을 masking하는 방법 (BERT에서 대표적으로 사용되는 방법으로 논리적인다고 생각합니다.)

3) 임의의 token에 대해서 item을 reordering 하는 방법 (마찬가지로, XLNet에서 사용된 pemutation 구조와 유사하다고 생각합니다.)

추천기반의 연구과 NLP와 많이 유사하다는 점에서 서로 다른 분야를 병행하면서 공부하면 좋을 것 같습니다. 좋은발표 감사합니다.

본 세미나에서 다룬 주제는 CL4SREC에 관한 논문입니다. 본 논문에서 소개된 모델은 transformer encoder를 기반으로 하고 있으며, 여기에 contrastive loss를 더하여 sequential recommendation을 하도록 설계되었습니다. 이 논문에서는 loss로 contrastive loss와 recommendation loss의 합을 사용하고 있고, 1~(t-1) 시점의 sequence에 대하여 다음 시점인 t 시점의 item을 예측하게 됩니다. 이때, input sequence의 길이가 길면 n개만 짧은 경우에는 앞에 n 개를 padding 하여 사용하고, 다음 시점 예측에 대해서는 masking이 됩니다. 또한, 관련 논문인 BERT4REC 모델처럼 학습 가능한 position encoding을 사용하고 있습니다. 이 논문에서 주목할 만한점은, 바로 augmentation 기법이라고 생각되는데요, local sequence 추출로 local preference의 변화 예측, masking과 reordering을 통해 robustness를 확보한 점이 인상깊었습니다. 또한 multi-head encoder의 output에 dropout을 적용하여 robust한 모델을 구축하였습니다. contrastive examples에 대해서는 이전 세미나에서도 많이 다뤘지만, 본 논문에서는 example 구축에 다양한 augmentation 기법을 논리적인 근거를 들어가며 제시하고 있어 발표 또한 더욱 재미있게 들을 수 있었습니다. 좋은 발표 감사합니다. 함께 소개해주신 개인 연구에도 좋은 성과가 있길 바랍니다.

Matrix Factorization 기법에 기반한 기존 추천 시스템 방식은 순서, 시기를 반영하지 못해, 시점별로 변하는 User의 기호를 반영할 수 없기에, Sequential한 Recommendation이 불가능합니다. 따라서, 순서를 고려하는 추천시스템은 별도의 방식이 적용되며, BERT4Rec이 대표적이었습니다. 하지만 이 방법들은 지나치게 많은 파라미터와 Data Sparsity 문제를 겪게 되기에, 양질의 User Representation을 구성하기 힘듭니다. 이에 CL4SRec은 최근 많은 분야에서 사용되는 Contrastive Learning을 Sequential Recommendation에 사용하고자 하며, 원래 User의 Sequence에서 Self-supervision signal을 도출하여 (Augmentation) 표상을 구성합니다. 즉, Contrastive Loss와 Recommendation Loss, t시점까지의 Hidden representation과 (t+1)시점의 표상의 곱을 통해 총합 Loss를 구성합니다. 새로운 데이터나 모델을 통해 문제를 해결했다기보다, 기존에 존재하는 기법을 자신의 문제에 맞춰서 적용한 좋은 예시라 생각하며 소개해주셔서 감사합니다.

이번 세미나는 순서를 고려한 추천시스템에 Constractive Learning을 적용한 CL4SREC 논문에 대해 설명주셨습니다. 해당 논문은 일련의 순서를 고려하여 특정 시점 이후 사용자가 어떤 상품을 구매할 것인지를 추천하는 시스템에 대한 내용입니다. 사용자의 상품구매 이력을 활용하여 특정 시점 이전에 구매한 이력을 입력으로 활용하고 특정시점에 구매한 상품을 Label로 활용합니다. Constractive Learning을 적용하여 학습하는 과정은 다음과 같습니다. 먼저 Embedding Matrix를 이용하여 일련의 입력을 Vector형태로 변환합니다. 그리고 단방향 Transformer에 넣어 일정 길이의 Vector를 추출합니다. 이 벡터와 특정시점에 구매한 상품의 벡터를 유사하게 학습할 수 있도록 Constractive Learning을 적용합니다. 벡터를 비교하여 Loss를 구성하는 Constractive Learning은 Cross Entropy를 구성하여 학습하는 것보다 더 큰 정보를 네트워크에 전달하므로 학습이 더 원활한 방법인 것 같습니다. 또한 Negative Sample과 비교를 통해 학습을 하므로 서로 비슷한 상품끼리는 Embedding Space에서 가깝게 표현될 수 있도록 조정하고, 서로 다른 상품끼리는 Embedding Space에서 더 멀게 표현될 수 있도록 조정됩니다. 즉 유사한 상품을 추천해야 하는 시스템에 매우 적합한 학습 방법론인 것 같습니다. 좋은 설명 감사합니다.

추천 시스템에서 역시 Sequential한 정보가 중요하다는 사실을 알게 되어 의미 있는 시간이었습니다. 유저의 취향은 계속해서 변화하고, 아주 오래 전에 구매했던 제품의 정보 보다는 최근의 구매 패턴을 분석하는 것이 보다 좋은 추천을 하기에 도움이 된다는 것은 직관적으로 와 닿는 문제 정의였습니다. 이를 위해 Transformer 기반의 모델들이 널리 사용되고 있다는 것 또한 신선하게 다가왔습니다. 특히 오늘 소개해 주신 논문에서는 Contrastive Learning을 추가적으로 도입하여 성능 향상을 이루는데, 최근에는 분야를 넘나들며 Contrastive Learning이 활약하고 있다는 생각이 듭니다. 계속해서 추천 시스템에 관하여 세미나를 진행해 주시어 지식 확장에 도움을 받고 있습니다. 감사합니다.

코로나로 인해서 급부상하고 있는 e-커머스 시장에서 추천시스템은 매우 핵심적인 연구분야 입니다. 연구실 세미나를 통해서 계속적으로 이쪽 추천시스템을 다루고 있는 발표자이기에, 세미나 서두에 추천시스템에 대한 설명과 최근 이쪽분야에 대한 배경지식을 다루어 주었던 점이 좋았습니다. 사용자가 구매한 이력을 통해서 향후 구매의도가 있는 아이템을 예측하고자하는 추천시스템에서 구매이력이 긴 사용자의 추천을 수행함에 있어서 기존 방법론의 경우에는 큰 연산 cost와 학습과정에서 과거정보를 잃게되는되는 문제점이 발생합니다. 금일 소개해준 Contrastive Learning for Sequential Recommendation에서는 제목에서 유추할 수 있듯이 contrastive learning을 활용하여 기존 recommendation loss와 contrastive loss를 통해 학습을 수행하였습니다. encoder에 해당하는 부분은 이제는 보편화된 transformer encoder구조를 통해 학습을 수행하였습니다. 계속적으로 세미나를 통해서 추천시스템에 대한 정보를 제공해주는 발표자에게 감사의 인사 전합니다.

오랜만에 진행된 추천 관련 세미나였습니다. 추천 시스템의 경우 Feature를 잘 설계하는것이 매우 중요한데, 오늘 소개해주신 논문은 효과적인 추천을 위해 Contrastive learning을 적용한것이 인상적이었습니다. 추천의 핵심이 비슷한 유형을 찾아내 비슷한 추천을 해주는 것이기 때문에 가장 핵심을 잘 활용한 것이 아니었나 생각하게 되었습니다. Sequential한 특징을 반영해주기 위해 Transformer를 사용한것도 흥미로운 포인트였습니다. 좋은 발표 감사합니다

이번 세미나에서는 추천 시스템에 Contrastive Learning을 적용한 CL4SREC를 주제로 진행되었습니다. 기존 추천 시스템은 long term 정보 반영과 순차적 정보에서의 유저의 구매 의도 변화를 고려하지 않았습니다. 이를 해결하고자 본 논문에서는 contrastive loss와 recommendation loss를 활용하였습니다. 또한 augmentation을 3가지 방식의 기법을 활용하였고 각 방식마다 다른 관점에서의 시퀀스를 표현하여 더 많은 정보를 반영하고자 하였습니다. Encoder는 transformer의 encoder부분을 사용하고 있는데 NLP에서 주로 사용하던 transformer나 비전에서 주로 사용하던 contrastive loss를 추천시스템에서도 활용하는 것을 보고 이제는 어느 한 분야에 국한되기 보다는 다른 분야에서의 장점을 가져다가 적용하여 더 좋은 효과를 내는 방법을 고려해봐야겠다고 생각하였습니다. 좋은 발표 감사합니다.

이번 세미나를 통해, Contrastive learning을 추천시스템에 활용하는 방법을 확인할 수 있었습니다. 대부분의 고객 데이터는 순차적인 이력을 갖기 마련이고, 이러한 고객 활동 이력을 토대로 추천 모델링이 가능하다면 효과적일 수 있을 것 입니다. 본 논문은 이러한 시각에서 의미를 더한다고 생각합니다. 기본적으로 Encoder는 Transformer 구조를 활용하였고, Loss는 contrastive loss와 recommendation loss를 활용하였습니다. Contrastive loss는 computre vision에서 주로 도입, 활용되던 개념임에도, sequential한 모델의 학습 loss로 차용한 점이 인상깊었습니다. 이를 통해 모델은 기존 추천시스템에서 갖는 너무 큰 학습 사이즈와 데이터의 sparcity 문제를 해소하고, 더욱 많은 고객 정보의 encoding을 도모하고자 했던 것으로 보입니다. 더욱이, 기존 추천시스템에서의 sampling과정에서 서로 다른 label 데이터가 혼용되어 학습되는 한계를 갖는 점을 contrastive learning을 통해 어느정도 해소할 수 있을 것이란 점 또한 본 모델의 기대효과로 볼 수 있을 것 입니다. 더불어, 3가지의 데이터 augmentation 방법론을 제안하며 ‘어떠한 데이터’를 ‘어떻게 학습’시킬 것인지가 역시나 영향이 크다는 것을 다시 확인할 수 있었습니다. domain을 막론하고, 다양한 방법론을 활용, 접목시키려는 접근이 중요하다는 점을 이번 발표로 확인할 수 있었습니다. 좋은 발표 감사드립니다.

금일 세미나에서 소개해주신 논문에서는 item crop, item mask, item reorder를 통해 데이터 augmentation을 진행한 후 contrastive loss과 recommendation loss를 통해 모델을 학습합니다. 우선 어느 분야에서든 data augmentation이 중요한 역할을 한다는 것을 다시 알 수 있었으며 vision에서 다양하게 사용되던 contrastive learning을 추천시스템의 item embedding에서도 사용할 수 있음을 알 수 있었습니다. 최근 연구실의 여러 세미나에서도 그렇고 개인적으로 보는 논문에서도 contrastive learning, triplet loss와 같이 embedding space에서 input의 특성을 보다 잘 반영하는 로스를 추가하는 연구를 많이 찾아 볼 수 있습니다. 결국 DNN의 standard loss term이 이러한 역할을 못하고 있음을 반증한다고 볼 수 있으며 상황에 따라서 contrastive loss도 기본 loss term이 되지 않을까 생각합니다.

이번 세미나는 추천 시스템에 대한 주제로 2021년 SIGIR에 나온 “Contrastive Learning for Sequential Recommendation”(CL4SREC)이라는 논문을 소개해 주셨습니다. 추천 시스템에서 sequential한 정보를 고려한 방법이고 Computer Vision에서 나온 Contrastive Learning이 self-supervised에서 큰 효과를 가져왔었는데 이를 활용한 점에서 정말 여러 분야에 사용될 수 있구나라는 생각을 하였습니다. 본 논문에서 제안한 방법은 기존 방법들의 문제였던 유저간 interaction이 없는 negative item이 아닌 Hard Negative의 필요성과 GRU의 사용으로 인한 Long Term Dependency가 안되는 점 그리고 Sequence 길이가 길어짐에 따라 연산 시간 또한 급격히 늘어나는 점을 해결하였습니다. 제안 방법은 Encoder에 Transformer 구조와 학습 방식으로는 Contrastive Learning을 사용하여 앞선 문제들을 해결하였습니다. 또한 세 가지 Data Augmentation을 적용하여 모델의 성능을 향상 시켰습니다. 좋은 발표 감사합니다.

이번 세미나에서는 추천 방법론에 contrastive learning을 적용한 방법론인 CL4SREC에 대해 소개해주셨습니다. 우선적으로 triplet loss, constrastive loss 등에 기반한 metric learning이 굉장히 효과를 많이 보고 있는 시점에서 흥미로운 논문에 대해 소개를 들을 수 있어서 좋았습니다. 보통 추천은 아이템, 유저 특성에 기반한 일정 시점 혹은 snap-shot 기반의 추천을 사용하지만 CL4SREC은 유저의 선호도가 시간에 따라 변할 수 있음을 반영하기 위해 sequence를 적극적으로 활용합니다. Transformer 구조와 constrastive learning을 이용해 아이템을 임베딩 시켜, 유저-아이템 간 positive/negative 에 대한 학습을 훨씬 수월하게 수행한 것 같습니다. 구조를 전체적으로 바꾸기보다는 loss를 task에 맞게 활용하는 것이 굉장히 중요함을 다시 느꼈습니다. 좋은 발표 감사합니다.

본 논문은 contrastive learning을 추천 시스템에 적용하였습니다. 명확한 label이 존재하지 않는 경우 positive pair와의 거리는 좁히고 그렇지 않은 negative pair와의 거리는 넓히도록 feature representation을 학습하는 contrastive의 이점이 추천 시스템에 매우 적합하다는 생각을 하였습니다. 추천 시스템은 완벽한 정답이 없기 때문에 단순 학습만으로는 좋은 feature를 학습하기에는 무리가 있을 것이기 때문입니다. Positive와 negative에 대한 정의는 비교적 명확하게 할 수 있는 추천 시스템의 특성상 contrastive learning은 거의 필수 요소로 자리잡지 않을까하는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나는 contrastive learning을 적용한 추천시스템에 대해 진행되었습니다. sequential recommendation이 필요한 이유는, 유저의 기호가 연속적으로 변하기 때문인데, 기존의 추천시스템은 matrix 기반이기 때문에 구매의 시간 정보를 무시한다는 단점이 있습니다. 이전 sequential recommendation 방법론은 GRU를 사용하여 연산 시간이 오래 걸리고, long-term dependency 문제를 가지고 있기 때문에, 이번 논문에서 소개된 Contrastive learning for sequential recommendation은 시간 정보를 반영하는 item matrix를 기반으로 이를 embedding하여 task를 해결하면서 기존 방법론의 문제를 해결하려 하였습니다. embedding을 학습하는 loss는 contrastive loss를 기존 objective에 더해 사용하였습니다. contrastive loss가 computer vision에서 좋은 성능을 보였는데, 다른 도메인이더라도 embedding을 학습한다는 관점에서 같은 역할을 수행하고 있는 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 추천시스템에서의 contrastive learning을 접목시킨 CL4SREC에 대한 소개로 진행되었습니다. 이 모델은 transformer의 encoder와 SASRec 모델을 활용합니다. Encoder 내에서 dropout은 item의 순서에 대한 robust 함을 향상시키고, 여러 모델을 앙상블 하는 효과를 얻을 수 있습니다. Contrastive loss는 augmented sequence에 똑같은 transformer encoder를 거쳐서 나온 결과값과 원래 결과값 간에 적용됩니다. 이때 활용되는 augmentation technique는 item crop, item mask, item reorder 가 있습니다. Item crop은 전체 길이를 일부 crop하는 것으로써, 유저의 local한 선호도를 학습하기 유용합니다. Item mask는 BERT에서MLM task처럼 이루어지며, 마지막으로 item reorder는 순서가 바뀌어도 user의 잠재의도를 잘 파악하기 위한 증강기법입니다. 발표를 통해 NLP에서 주로 활용되는 기법들을 추천시스템에 적용할 수 있다는 점과 최근 여러 분야에서 활용되는 contrastive learning의 활용방식에 대해 알 수 있어 좋았습니다. 유익한 발표 감사합니다.

이번 세미나는 sequence를 고려한 추천시스템에 Constractive Learning을 적용한 CL4SREC(Contrastive Learning for Sequential Recommendation) 논문에 대해 설명주셨습니다.

먼저, 추천시스템에서 순서가 중요하다는 것을 이번 세미나에 처음으로 인지하게 되었는데요. 유저의 기호는 계속해서 변화하기 때문에 기존 추천 시스템의 방식처럼 구매 순서, 시기를 무시하는 방법은 좋지 않고, 사용자의 다양한 선호 중 sequence 기준 next item을 추천해주는 방식이 매우 직관적으로 와닿았습니다.

하지만, 단순 Sequential Recommendation은 다른 순차적 정보를 기반으로 하는 다른 모델들과 마친가지로 long sequence 계산 시 많은 시간이 걸린다는 점과 long term의 정보를 반영하기 힘들다는 문제가 존재하였습니다. 본 논문에서 이러한 문제를 극복하기 위해 transformer encoder를 사용하며, 여기에 contrastive loss를 더하여 sequential recommendation을 하도록 모델을 설계하였습니다. t-1 시점의 item을 이용하여 다음 시점인 t 시점의 item을 예측합니다. Input embedding은 아이템과 매칭되도록 positional embedding을 사용하였고, constrastive의 대상은 augmentation의 파생 아이템 sequence들을 사용하였습니다.

발표자 분께서는 본 논문에서 수행한 총 3가지의 augmentation operator들을 강조하여 설명해주셨는데요. 이는 다음과 같습니다:
(1) item crop - 전체 길이의 일부( ratio 𝜂 ) 만큼 random start point( c ) 에서 cropping하는 방법으로, 유저의 local preference를 학습하고자 하였습니다. (2) item mask - NLP에서 많이 쓰이는 masking 기법과 동일하며, 유저의 잠재 선호도는 masking을 하여도 유지되도록 학습하고자 하였습니다. (3) item reorder - 순서 정보에 의존적이지 않은 방식으로, 순서를 섞어도 유저의 잠재 의도를 구별할 수 있도록 학습하고자 하였습니다.

추천 시스템에서도 트렌스포머를 이용한 NLP와 유사한 연구들이 진행되고 있음을 알 수 있는 좋은 발표였습니다. 감사합니다.

금일 세미나는 "Contrastive Learning for Sequential Recommendation"라는 주제로 진행되었습니다. 본 발표는 최근 많은 분야에서 활용되고 있는 Contrastive learning을 통해 추천시스템의 기존 문제점인 Sampling 방식과 labeled data의 학습을 개선한 방법론이 소개되었습니다. 개인적으로는 예전에 siamese network를 사용하면서 contrastive loss를 접한 적이 있어 관심을 가지고 발표를 들었는데, 다양한 분야에서 해당 loss가 적용되어 좋은 성능을 도출하는 것을 보고 이상치 탐지에서도 해당 loss를 활용하면 어떨까하는 생각이 들었습니다. out-of-distribution 데이터와 normal 데이터를 활용한 contrastive loss를 적용하면 normal 데이터의 representation이 더 잘되지 않을까하는 아이디어가 떠오르는 발표였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Contrastive Learning for Sequential Recommendation이라는 논문을 소개해주셨습니다. 최근 여러 발표에서 contrastive learning을 다양한 분야에 적용한 방법을 볼 수 있었으며 해당 논문은 발표자께서 오랫동안 연구하신 sequential recommendation에 해당 방법을 적용했습니다. 해당 논문은 추천시스템의 문제점을 contrastive learning을 통해 해결하였습니다. 이를 통해 user embedding에서 비슷한 유저끼리는 가까워지도록, 그리도 서로 다른 유저끼리는 멀어지도록 학습합니다. 또한 추천시스템에서 사용되는 augmentation 기법을 설명해주셨는데 NLP에서 사용되는 기법과 유사해 매우 흥미로웠습니다. 좋은 발표를 해 주셔서 감사합니다.

이번 세미나는 Contrastive learning을 활용하여 sequential recommendation을 하는 세미나였습니다. 유저의 기호는 계속해서 변하기 마련이고, 따라서 유저의 현 상황을 파악한 후 정확한 추천을 해야되는 상황에서, sequence 기준 다음 아이템을 추천해줄 때 유용한 방법으로, 오래된 정보는 transformer encoder를 사용하여 반영하도록 하였고, contrastive loss를 통해 sequenctial recommendation을 가능하게끔 하였습니다. Input embedding은 아이템과 매칭할 수 있도록, positional embedding을 사용하였고, contrastive한 것들은 augmentation의 파생 아이템 sequence입니다. 해당 모델은 추천시스템에서 transformer 구조를 도입했다는 점에서 획기적인 면이 있었고, e-commerce와 같이 sequential 한 정보를 통해 추천을 할 때 유용한 방법론인 것 같습니다. 흥미로운 발표 감사합니다.