번호 | 제목 | 작성자 | 작성일 | 추천 | 조회 |
공지사항 |
Paper Reviews 2019 Q3
관리자
|
2020.03.12
|
추천 0
|
조회 10343
|
관리자 | 2020.03.12 | 0 | 10343 |
공지사항 |
Paper Reviews 2019 Q2
관리자
|
2020.03.12
|
추천 0
|
조회 8953
|
관리자 | 2020.03.12 | 0 | 8953 |
공지사항 |
Paper Reviews 2019 Q1
관리자
|
2020.03.12
|
추천 0
|
조회 10063
|
관리자 | 2020.03.12 | 0 | 10063 |
499 |
New [Paper Review]SLMREC: Distilling Large Language Models Into Small For Sequential Recommendation
Doyoon Kim
|
2025.05.01
|
추천 0
|
조회 11
|
Doyoon Kim | 2025.05.01 | 0 | 11 |
498 |
[Paper Review] TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables (10)
Sunghun Lim
|
2025.04.24
|
추천 0
|
조회 113
|
Sunghun Lim | 2025.04.24 | 0 | 113 |
497 |
[Paper Review] Imputation-based Time-Series Anomaly Detection with Conditional Weight-Incremental Diffusion Models (11)
Suyeon Shin
|
2025.04.21
|
추천 0
|
조회 106
|
Suyeon Shin | 2025.04.21 | 0 | 106 |
496 |
[Paper Review] Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective (14)
Woongchan Nam
|
2025.04.16
|
추천 0
|
조회 153
|
Woongchan Nam | 2025.04.16 | 0 | 153 |
495 |
[Paper Review] Your Large Vision-Language Model Only Needs A Few Attention Heads For Visual Grounding (16)
Kiyoon Jeong
|
2025.04.16
|
추천 0
|
조회 294
|
Kiyoon Jeong | 2025.04.16 | 0 | 294 |
494 |
[Paper Review] Reasoning over Time Series with LLMs (15)
Hyeongwon Kang
|
2025.04.09
|
추천 0
|
조회 328
|
Hyeongwon Kang | 2025.04.09 | 0 | 328 |
493 |
[Paper Review] Accurate predictions on small data with a tabular foundation model (16)
Jaehyuk Heo
|
2025.04.02
|
추천 0
|
조회 317
|
Jaehyuk Heo | 2025.04.02 | 0 | 317 |
492 |
[Paper Review] Reasoning and Reinforcement Learning for LLM (15)
Jaehee Kim
|
2025.04.02
|
추천 0
|
조회 320
|
Jaehee Kim | 2025.04.02 | 0 | 320 |
491 |
[Paper Review] LLM based Recommender Systems : EAGER-LLM (19)
Jungho Lee
|
2025.04.02
|
추천 0
|
조회 272
|
Jungho Lee | 2025.04.02 | 0 | 272 |
490 |
[Paper Review] Data-driven discovery of coordinates and governing equations (18)
Hankyeol Kim
|
2025.03.25
|
추천 0
|
조회 253
|
Hankyeol Kim | 2025.03.25 | 0 | 253 |
in Conversational Recommender Systems"을 중심으로 진행되었습니다. 추천 시스템에서 Long-Tail Problem이란 학습 데이터셋에서 자주 등장한 item들이 실제 추천에서도 다수 등장하여 사용자의 선호도가 온전히 추천에 고려되지 못하는 한계점을 의미합니다. 해당 논문은 Wikiepedia의 풍부한 side information을 활용하여 balanced pseudo conversation dataset을 구축하고 해당 데이터셋에 대해 MLM과 유사한 DMP, NSP와 유사한 CCA를 통해 사전학습 시킨 모델을 이용하여 실험을 진행하고 있습니다. 인위적으로 생성된 매우 제한적인 데이터셋을 이용하여 사전학습되었음에도, 해당 사전학습을 통해 많은 Downstream Task에서 Long-Tail Problem이 완화된 모습을 보이고 있습니다. 다소 아쉬운 점은 Long-Tail Problem의 완화를 보이기 위해 제안하는 지표들이 실제 추천의 적절성이 고려되지 못하고, 결국 인위적으로 생성된 데이터셋을 이용한 Retrieval가 필요하다는 점이었습니다. pretrain이 중대한 영향을 미친다는 점은 거꾸로 말하면 전체 추천 item set이 변경될 경우 다시 pretrain이 진행되어야 한다는 의미가 됩니다. Long-Tail Problem이 해소하기 어려운 문제점인 만큼 오히려 처음부터 다시 시작하는 것이 좋은 해결책이 된다는 점이 매우 인상적이었던 논문이었습니다. 좋은 발표 감사드립니다.
이번 세미나에서는 User에게 자주 추천하는 아이템만 추천하여 추천 아이템의 다양성이 매우 낮게 되는 CRS의 Long-tail Problem에 집중한 ‘LOT-CRS: Alleviating the Long-Tail Problem in Conversational Recommender Systems’ 논문에 대해 발표해주셨습니다. 본 논문에서는 학습 데이터를 새로 구성해 Balanced CRS Dataset로 Pretraining을 하고 다른 데이터 셋으로 Fine-tuning을 했다는 점이 매우 흥미로웠습니다. 특히 Simulated 데이터 셋에 대한 마스킹된 항목 및 속성을 예측하는 Domain Adaptive Masked Prediction(DMP) 기법과, 동일한 대상 항목에 대한 두 가지 대화를 사용한 Contrastive Learning을 하는 Contrastive Contexts Alignments(CCA) 기법의 Pre-training Task를 고안하였다는 점이 인상깊었습니다. 위의 기법들을 사용해 Conversation History에 적절한 Response Template을 생성할 수 있게 되었는데, 결과적으로 Long-tail Recommendation Performance를 향상시킬 수 있음을 알게 되었습니다. 본 논문 리뷰를 통해 추천 시스템과 자연어 생성(Response Generation)을 결합한 분야인 CRS(Conversational Recommender Systems)에 대해 잘 알 수 있게 되었으며 DMP, CCA와 같은 LLM의 새로운 테스크에 대해서도 알 수 있었던 유익한 시간이었습니다.
이번 세미나에서는 Alleviating the Long-Tail Problem in Conversational Recommender Systems 논문을 소개해 주셨습니다. 본 논문은 대화 상에서 사용자의 선호를 파악하고 그에 따른 추천을 응답으로 산출하는 과업을 다루며, 그중 특히 Long-Tail recommendation performance 향상을 목표로 하고 있습니다. 사실 분야에 대해 처음 들었을 때는 long-tail item의 경우엔 실제로도 선호될 확률이 낮은 item일 텐데 굳이 추천을 해줘야 하나 생각을 했습니다. 그러나 추천 task에선 언제나 일부분의 random 성을 포함하는 등 다양한 응답을 산출하는 것이 중요하기 때문에, 응답으로 거의 생성되지 않는 item도 응답에 포함하도록 하는 과정들이 유의미하다고 이해하였습니다. 인상적이었던 점은 일반적으로 추천 점수를 산출하는 과정을 조절하는 다른 방법론들과 달리 본 논문에서는 데이터 셋 자체가 skewed 된 경우 Conversation 내에서 long-tail item에 대한 충분한 information을 파악하기 어렵다는 점에 주목하여, data 자체에 변화를 주어 Balanced CRS Dataset을 만들어 준 부분입니다. 학습 단계에서도 cross-entropy loss에 추가로 label smoothness loss와 CCA loss를 추가하여 long-tail item을 추천할 확률을 높여줍니다. 세미나에서 다양한 분야의 다양한 쟁점에 대해 들으며 생각하는 폭이 넓어지는 것 같습니다. 좋은 발표 감사합니다.
이번 세미나에서는 CRS에서 long-tail problem을 해결하기 위한 방법론을 제안한 논문을 중심을 진행되었습니다. Long-tail problem이란 추천 시스템에서 몇개의 아이템만 자주 등장하고 일부는 단 한 번도 추천이 되지 않는 문제를 의미합니다. LOT-CRS는 아이템의 등장횟수가 balanced된 dataset을 구성하여 Masked prediction과 Contrastive Context Alignment 사전학습을 수행하여 long-tail 문제를 해결합니다. 개인적으론 추천 시스템에서 popular한 item만을 추천하는 것은 확실한 문제지만, 추천 결과가 skewed된 것을 해결하는 것에 대해서는 다소 현실 유저의 경향성을 고려했을때 그 필요성에 공감하기는 어려웠습니다. 그럼에도 PLM을 추천 시스템에 적용하기 위한 기반 방법론을 연구하는 과정에서 매우 중요한 인사이트를 제공할 수 있을 것 같습니다. 실용적인 내용에 대해서 자세히 설명해주어서 이해하기 편했습니다. 좋은 발표 감사합니다.
이번 세미나에서는 Alleviating the Long-Tail Problem in Conversational Recommender Systems 라는 논문을 다루었습니다. 해당 방법론은 CRS 데이터에서 자주 등장하는 item에 대한 편향이 존재하여 학습 데이터에 자주 등장한 item만을 주로 추천하게 되고 이로 인해 추천의 다양성이 부족해진다는 long-tail problem을 지적합니다. 해당 논문에서는 이러한 long-tail problem을 해결하기 위해 simulating balanced dataset, pre-training, retrieval-augmented fine-tuning을 제안합니다. 먼저 item에 대한 side information을 수집한 후 slot filling을 통해 대화형 데이터를 생성하여 item의 등장 횟수를 비슷하게 맞춥니다. 다음으로는 이렇게 구성된 balanced dataset에 대한 pre-training을 진행합니다. 마지막으로 유사한 대화를 simulated dataset에서 retrieve하여 추천과 대화의 성능을 모두 높입니다. 이렇게 학습된 모델은 long-tail item에 대한 추천을 더욱 잘 수행하게 된다는 것을 실험을 통해 확인할 수 있었습니다. 해당 방법론에서는 데이터셋의 문제점을 찾아 이를 해결하고 이에 대한 지표를 제안하며 제안된 방법론의 우수성을 입증했다는 것이 인상적이었습니다. 좋은 발표 감사합니다.
금일 세미나는 기존 Conversational Recommender System (CRS)에서 limitation이었던 Long-Tail Problem을 해결하기 위해 제안된 ‘Alleviating the Long-Tail Problem in Conversational Recommender Systems’라는 논문을 소개해 주셨습니다. CRS 분야에서 언급되는 Log-Tail Problem은 일부 자주 등장하는 item에 치중하여 recommendation이 되는 문제점을 의미하며 애초에 dataset 자체가 skewed되어 long-tail item에 대한 충분한 information도 없을 뿐더러, user가 long-tail item에 대해 preference를 갖고 있는지 조차도 파악하기 어렵다는 특징을 가지고 있습니다. 이러한 점에 주목하여 모든 item의 언급 및 추천 횟수가 유사한 simulated dataset을 제시하고 있습니다. 해당 simulated dataset을 활용하여 1) Domain-Adaptive Masked Prediction (DMP)와 2) Contrastive Contexts Alignment (CCA)라는 2가지의 pre-training task를 진행하고 있습니다. 1) DMP에서는 모든 단어들이 masking이 대상이 아닌 item-attribute-related words만 선택적으로 masking을 진행하여 long-tail item을 더 잘 이해할 수 있도록 진행하고 있으며, 2) CCA에서는 동일한 target item을 추천하고 있는 두 개의 다른 conversation을 선택하여 contrastive loss를 활용하여 target item과 관련된 context를 보다 효과적으로 파악하고자 하고 있습니다. Fine-tuning으로는 Human annotated dataset을 중심으로 진행하고 있으나 해당 데이터셋을 바탕으로는 user representation가 long-tail item에 대한 information을 적절히 반영하지 못하기에 구축한 simulated dataset에서 long-tail item에 대해 부족한 정보를 retrieve하는 Retrieval-Augmented Fine-Tuning 방법을 제시하며 이는 user representation을 더욱 enrich하게 만들 수 있어 최종적으로 Long-tail Recommendation performance를 향상시킬 수 있음을 실험 결과를 통해 보이고 있습니다. 본 논문을 통해 개인적으로 들었던 생각은 item-diversity에 대한 user의 preference는 다양하므로 item-diversity에 대한 preference가 높은 user에게는 본 논문에서 제안하는 방법이 효과적일 수도 있겠다고 생각하였으며, 본 세미나에서 eval-metric의 적절성에 대한 의견을 들으면서 이와 별개로 연구에 있어 방법론의 우수함을 입증하는데 있어 적절한 eval metric 또한 중요한 요소임을 느낄 수 있었던 귀한 시간이었던 것 같습니다. 끝으로, 잘 모르는 분야를 꼼꼼하게 설명해주셨던 발표자분의 역량에 감탄하였으며 발표자료 구성을 보며 많은 부분을 배웠던 것 같습니다. 발표를 진행해주신 발표자분께 감사의 인사를 드립니다.
본 세미나는 이지윤 발표자님의 "Alleviating the Long-Tail Problem in Conversational Recommender Systems"이라는 논문을 바탕으로 진행되었습니다. 해당 논문의 목적은 CRS라는 대화형 추천시스템 Task에서 long-tail 문제를 해결하는 것으로, 즉 long-tail item을 골고루 추천할 수 있도록 하는 것입니다. 따라서 모든 item의 conversation 내 등장 횟수가 balanced한 simulated dataset을 구성하여, 2가지 Pre-training task를 수행하고 Retrieval-augmented fine-tuning을 진행하는 것이 기여점으로 보고 있습니다. 특히 CRS Task의 데이터는 자주 등장하는 item으로만 추천이 진행되어, 이는 다양성이 매우 저하된다고 보고 있습니다. 따라서 long-tail problem을 해결할 수 있도록 data 자체에 변화를 주어 해결하는 것을 해결방법으로 삼았고, 데이터셋 구축 방법은 wikipedia page에서 item 설명과 review information을 수집하여 해당 item의 attributes를 구성하고 있습니다. 또한 흥미롭게 느꼈던 점은 Masked item and attribute prediction으로, 모든 단어들에 masking을 씌우지 않고 item과 attribute에 대해 masking을 씌워 item 예측을 잘 이루어지도록 하고 있습니다. 개인적으로 CRS라는 Task가 현재 검색엔진에서 대화형 추천으로 넘어가는 플랫폼만 존재하면, 산업적으로 굉장히 유용하다고 생각합니다. 따라서 데이터셋 특징이 과연 CRS Task를 잘 반영하고 있는가?가 근본적인 문제점으로 생각하고, 이를 해결하는 것이 향후 필수 연구방향이지 않을까 생각합니다. 좋은 발표 준비해주셔서 감사합니다.
이번 세미나에서는 “Alleviating the Long-Tail Problem in Conversational Recommender Systems” 논문을 다루어 주셨습니다. CRS의 핵심은 사용자가 관심있는 아이템을 추천해주는 것과, 사용자에게 의미있는 정보를 담고 있는 답변을 생성하는 것에 있습니다. 하지만 기존 CRS 데이터는 자주 등장한 아이템만 추천하고 long-tail item은 잘 활용되지 못하는 문제가 있었고, 본 논문에서는 이를 해결하기 위해 long-tail item도 골고루 추천할 수 있도록 하는 방법론을 소개하고 있습니다. 또한 유사한 대화를 simulated 데이터셋에서 retrieve하여 user representation을 enrich하게 하고 있습니다. 이를 위해 등장 횟수에 균형이 잡힌 simulated 데이터셋을 구성하여 2가지 pre-training task를 수행하고 있습니다. 본 논문에서 이용하고 있는 LOT-CRS는 long-tail recommendation 성능 향상을 목적으로 하는 CRS 프레임워크입니다. pre-training task로는 첫째로, masked item and attribute prediction을 수행하는 Domain-Adaptive Masked Prediction (DMP) task, 둘째로, contrastive learning을 기반으로 target item의 context를 이해하는 Contrastive Context Alignment(CCA) task가 있습니다. 해당 두가지 task를 이용하여 conversation을 바탕으로 추천할 아이템을 파악하게 되며 이때 long-tail item도 고려하게 됩니다. CRS의 전체적인 흐름 및 구성요소를 꼼꼼하게 다루어 주셔서 추후 발표를 이해하는데 많은 도움이 되었고, 각각의 예시 또한 인상깊었습니다. 좋은 발표 감사합니다!
금일 세미나는 Alleviating the Long-Tail Problem in Conversational Recommender Systems 논문을 바탕으로 진행되었습니다. 해당 논문에서 Main으로 다루고 있는 Coversational Recommender System(CRS)는 Chat과 같은 형태로 User와의 Natural Language Conversation을 통해 Recommendation service를 제공하는 Task입니다. CRS라는 Task를 다루기 위해서 가장 중요한 핵심 포인트는 당연히 Recommended item이 User에게 얼마나 도움이 되는지, 그리고 적절한 Response를 생성하는 것이라고 볼 수 있겠습니다. 그러나 이러한 CRS는 Long-tail problem이라는 문제점을 가지는데, 이는 학습 과정에서 Exposure bias의 영향으로 일부 자주 등장하는 Item만을 추천하여 다양성이 매우 저하되는 문제라고 볼 수 있겠습니다. 이러한 문제는 애초에 dataset에 skewed되어 발생한 문제이므로, Data 자체에 변화를 주어야 더욱 효과적으로 Long-Tail problem alleviation이 가능합니다. 이에 해당 논문에서는 Wikipedia를 통하여 Balanced pseudo conversation dataset을 구축하는 방법을 제안하고 있으며, 구성된 Dataset을 바탕으로 모델을 Pre-training하기 위한 2 가지 Task를 제안하고 있습니다. 먼저 Domain-Adaptive Masked Prediction(DMP)는 Simulated conversation에서 랜덤으로 Item과 attribute tokens을 masking하고, 이를 복원함으로써 CRS의 long-tail item을 더 잘 이해시키고자 하고 있습니다. 다음으로 Contrastive Contexts Alignment (CCA)에서는 Target Item을 추천하는 두 개의 다른 Conversation을 선택한 후, 이 Conversation의 Representation은 서로 가깝게, 나머지 Conversation의 Representation은 멀게 학습하는 Contrastive Learning을 진행함으로써, Target item의 Context 이해를 목적으로 하고 있습니다. 그 다음으로는 Retrieval-augmented Fine-tuning으로, 유사한 대화를 Simulated dataset에서 Retrieve함으로써 Recommendation과 Conversation을 잘 진행하도록 Fine-tuning을 거치고 있습니다. 하나하나 자세하게 설명해주신 덕분에 이해가 수월했던 것 같습니다. 좋은 발표 정말 감사드립니다.
이번 세미나는 "Alleviating the Long-Tail Problem in Conversational Recommender Systems"라는 논문에 대해 소개해주셨습니다. Conversational Recommender System (CRS) 방법론을 제안한 논문으로 CRS의 long-tail problem을 해결하고자 하였습니다. Long-tail problem은 자주 등장하는 item만을 응답하게 되어 CRS의 다양성이 저하되는 문제로, 본 논문에서는 dataset 자체에 문제가 있음을 지적하고 dataset을 새롭게 구축하여 이를 해결하고자 하였습니다. 논문에서는 wikipedia로부터 skewed되지 않은 balanced dataset을 구축하는 방안에 대해 제시하였으며, 이로부터 모델을 학습하는 2가지 pre training 방법을 제안하여 long-tail problem을 완화하는 결과를 보였습니다. 오늘 세미나를 통해서 CRS가 가진 문제점과 현재의 연구 흐름에 대해서 알 수 있어 좋았고, 논문처럼 새로운 datsaet을 구축하는 것 외에 이를 완화할 수 있는 modeling 관점에서의 방법론이 없지 않을까 궁금증이 생겼습니다. 좋은 발표 감사드립니다.
이번 세미나에서는 대화를 통해 추천 Task를 수행하는 CRS 분야의 논문인 “Alleviating the Long-Tail Problem in Conversational Recommender Systems”에 대해 다뤄주셨습니다. 해당 논문은 CRS Task에서 발생하는 Long-Tail 문제에 대해 다루고 있습니다. CRS에서 Long-Tail이란 exposure bias의 영향을 받게 되어 자주 등장하는 item이 존재하게 되고, 대부분의 item은 conversation에서 언급되지 않는 문제입니다. 결과적으로 학습 데이터에 자주 등장한 item만 추천하게 되고 다양성은 매우 저하되게 됩니다. 따라서 Data 자체에 변화를 주어야 효과적으로 Long-Tail Problem을 다룰 수 있다고 주장하며 현실적으로 그것이 어렵기 때문에 사전학습과 파인 튜닝 과정에서의 방법을 통해 해결하고자 합니다. 따라서 본 논문은 Long-Tail Problem 완화를 위한 CRS 프레임워크를 제안하며, 본 프레임워크는 Balanced Dataset 활용한 사전 학습을 하며 Retrieve를 바탕으로 부족한 정보를 채운 Human Annotated dataset을 활용하여 Fine-tuning 하는 방법을 제안합니다. 상당히 낯선 CRS와 관련해서 쉽게 이해할 수 있었고, 문제 정의와 해결방안을 잘 설명해주신거 같습니다. 좋은 발표 감사합니다!
이번 세미나에서는 “Alleviating the Long-Tail Problem in Conversational Recommender Systems”라는 논문에 대해 소개해주셨습니다. 해당 논문에서는 대화 형태의 추천 시스템을 다루는 CRS 연구 분야를 다루고 있습니다. 기존 추천 시스템에서도 주요한 문제인 Long-tail Problem을 해당 논문에서는 지적하고 있으며 이를 해결하기 위한 프레임워크인 LOT-CRS를 제안했습니다. 이를 위해 외부 데이터로부터 Item 및 Attribute 정보들을 수집해 Slot Filling 형태로 Simulated Dataset을 구성해 Long-tail Problem을 완화한 데이터셋을 구축합니다. 이후 Long-tail에 해당하는 Item과 Attribute에 대한 Representation 성능을 높이기 위한 Domain-Adaptive Masked Prediction 및 Conversation Context를 기반으로 Item에 대한 Representation 성능을 높이기 위한 Contrastive Contexts Alignment라는 방법을 이용했습니다. 기존 데이터셋들이 Long-tail Problem을 가지고 있다는 한계를 가상의 데이터셋을 구축한다는 직관적인 방법에서 나아가 두 가지 Pretraining Task를 함께 제안한 점이 인상적이었습니다. 좋은 발표 감사합니다.
이번 세미나는 Alleviating the Long-Tail Problem in Conversational Recommender Systems를 주제로 진행되었습니다. Conversational recommender system 과업에서 자주 등장하는 item만 추천하고 다양성이 저하되는 long-tail problem을 언급하며 이를 해결하고자 본 논문에서는 LOT-CRS라는 방법론을 제안합니다. LOT-CRS는 external source를 활용해서 information을 수집하고 이를 통해 conversation thread를 구성한 후에 자주 사용되는 패턴을 통해 response template을 생성하여 simulated dataset을 구성합니다. 이렇게 구성된 balanced dataset을 활용하여 pre-training을 수행하는데 domain-adaptive masked prediction과 contrastive contexts alignment를 통해 long-tail item을 더 잘 이해하고 target item의 context를 이해하도록 학습합니다. 그 후에 retrieve 바탕으로 부족한 정보를 채운 human annotated dataset을 활용해서 fine-tuning하는 방법입니다. 자주 등장하는 item에 대해서만 추천하는 문제를 해결하기 위해 balanced dataset을 생성하는 방법 자체는 좋은 접근법이라고 생각되는데 이미 balanced dataset을 사용해서 pre-training을 수행하는데 domain-adaptive masked prediction으로 long-tail item을 이해한다는 언급은 사실 잘 와닿지 않았습니다. 그래도 CRS 과업에서 겪고 있는 문제점이 어떤 것인지 어떤 노력들을 하고 있는지에 대해 들을 수 있어 유익하였습니다. 좋은 발표 감사합니다.
이번 세미나에서는 "Alleviating the Long-Tail Problem in Conversational Recommender Systems"라는 논문을 주제로 이지윤 발표자 님께서 진행해주셨습니다. 논문에서는 CRS(Conversational Recommender Systems)의 본질적인 문제인 Long-Tail Problem에 대한 해결책을 제시하고 있습니다. 먼저 외부 데이터 출처인 Wikipedia를 활용해 기존 데이터셋의 문제를 개선하고자 한 접근이 인상적이었습니다. 그리고 이를 바탕으로 두 가지 사전학습 작업을 제안해 문제를 완화하려고 하였습니다. Domain-Adaptive Masked Prediction(DMP)와 Contrastive Contexts Alignment(CCA)를 이용한 효과적인 표현 학습 방법도 잘 설명해주셨습니다. 그러나 이런 다양한 방법들에도 불구하고, Long-Tail Problem의 완화를 보이기 위해 제안하는 지표들이 실제 추천의 적절성이 고려되지 못하고, 결국 인위적으로 생성된 데이터셋을 이용한 Retrieval가 필요하다는 점이 아쉬웠습니다. 좋은 발표 감사드립니다.
이번 세미나는 "Conversational Recommender Systems에서의 Long-Tail 문제 해결"이라는 주제로 발표해주셨습니다. 이 발표는 CRS라고 불리우는 Conversational Recommender System domain에서 발생할 수 있는 Long-tail 문제에 대해서 다룹니다. 이는 즉 추천시스템의 과정 중에 long-tail에 속하는 데이터에 대하여 어떻게 하면 더 잘 밸런스있게 대답을 뱉을 수 있을까에 대해 다루고 있습니다. 이를 해결하기 위하여 LOT-CRS라는 방법을 제안합니다. 이 방법은 외부 소스의 정보를 활용하여 정보를 수집, 이를 기반으로 대화 쓰레드를 구성하고, 빈번한 패턴에 기반하여 response template을 생성하여 가상 데이터셋을 형성하게 됩니다. 이러한 방법을 통하여 균형있는 데이터셋을 생성하고, 아이템의 맥락을 더욱 잘 학습할 수 있습니다. 그 후에 이를 더욱 잘 보안하기 위하여 사람이 생성한 데이터셋을 활용해 fine-tuning을 수행합니다. 이러한 과정을 통해 균형있는 답변을 생성할 수 있습니다. 본 발표를 들으면서 추천의 과정 중에 long-tail을 활용하는게 적합한가에 대해 고민하게 되고 이에 관한 의견을 들을 수 있었고, 자세한 방법론까지 들을 수 있는 좋은 시간이었습니다. 좋은 발표 감사합니다.
이번 세미나는 대화형 추천시스템인 CRS(Conversational Recommender Systems)가 주제로 진행되었습니다. 대화형 추천시스템은 LLM(Large Language Model)을 기반으로 사용자가 원하는 아이템을 대화를 통해 추천해주게 됩니다. 이때, 한 가지 이슈로 떠오르는 것이 대화 데이터(Conversation)에서 등장하는 아이템의 분포에 따라 추천 되는 아이템도 영향을 받는 다는 것입니다. 즉, 자주 등장한 아이템일수록 추천될 확률이 높아지는 빈익빈부익부 사태가 발생하는 것입니다. 이를 해소할 수 있는 방안 중 직관적으로 생각할 수 있는 것이 곧 데이터셋 자체에 변형을 주는 것일 겁니다. Pseudo Conversation을 더 생성하여 결과적으로 등장하는 아이템의 빈도의 균형을 맟출 수 있게 됩니다. Item과 Attribute(with value)를 수집해 Response template 을 만들어 놓은 후 규칙에 따라 slot에 attirubte와 value들을 랜덤하게 채워넣습니다. 결과적으로 simulated datset내 item의 언급 횟수가 서로 유사해 집니다. 이후에, Atribute와 Item에 masking을 적용해 예측하는 것과 contrastive learning을 이용한 Pre-training을 거친 후 retrieval을 통해 finetuning을 진행합니다. 본래 추천시스템은 그래프 네트워크를 중심으로 발전되어 왔다가 LLM의 등장 이후 대화형 추천시스템이 특히 더 주목을 받고 있는 듯 합니다. 그럼 그래프 네트워크의 장점과 LLM의 장점을 서로 융합한다면 어떤 효과가 있을지 확인하는 방법도 좋은 연구가 될 듯하나, 현실적으로 각각의 특징이 어우러질 수 있을지 의문이 듭니다. 늘 똑부러지는 발표 준비해주셔서 감사합니다.
금일 세미나는 CRS 분야에서 long-tail problem에 대한 해결책을 다루는 Alleviating the Long-Tail Problem in Conversational Recommender Systems 논문으로 진행되었습니다. Long-tail problem은 CRS 데이터셋 내 아이템들의 출현 빈도 간 차이가 있어서 학습 시 bias가 발생할 수 있는 문제인데, 이를 해결하기 위해 총 3가지의 해결책을 제안했습니다. 가장 먼저 아이템들의 출현 빈도가 균등한 데이터셋을 만들고, long tail item 및 item의 context를 이해하기 위해 Domain-Adaptive Masked Prediction, Contrasitve Contexts Alignment task를 통해 사전 학습을 진행합니다. 마지막으로 user의 representation을 더 잘 학습하기 위해 retrieval-augmented fine-tuning까지 수행하여 두 가지 데이터셋에 대해 long-tail recommendation 성능이 향상된 것을 실험적으로 확인하였습니다. 문제점과 그에 따른 해결 방안이 잘 들어맞는 논문이었지만 출현 빈도가 높은 아이템은 이유가 있다고 생각해서 데이터의 균형을 억지로 맞추는 것이 실제 서비스에서 사용자의 만족도 향상으로 이어질지는 의문이 듭니다. 좋은 발표 감사합니다.
이번 세미나에서는 "Alleviating the Long-Tail Problem in Conversational Recommender Systems"라는 논문을 주제로 진행되었습니다. CRS에서 ㅣong tail 문제는 자주 등장하는 아이템이 있고, 대부분 자주 언급되지 않고 있다는 문제가 있습니다. 이러한 데이터로 학습하는 경우 exposure bias의 영향을 받게 되고 학습 데이터에 자주 등장한 item만 추천하게 되어 다양성을 매우 떨어뜨린다는 문제점이 있습니다. 해당 논문은 이 문제를 개선하기 위해 LOT-CRS라는 새로운 프레임워크를 제안합니다. LOT-CRS는 모든 아이템을 균등하게 커버하는 CRS 데이터셋을 시뮬레이션하고 활용하여 CRS의 long-tail 추천성능을 개선합니다. 먼저 CRS dataset으로 시뮬레이션 한 후, balanced dataset으로 사전학습을 통해 long-tail item에 대한 이해도를 높이고 retrieval-augmented fine-tuning을 통해 long-tail item에 대한 추천도가 높아져 다양한 추천이 가능하게 됩니다. CRS task와 관련된 논문 중 long-tail problem을 직접적으로 다룬 논문은 많이 보지 못했습니다. 해당 논문을 통해서 데이터셋을 보완하고 사전학습을 시킴으로써 해당 문제점이 개선되었다는 포인트가 인상적이었습니다. 좋은 발표 감사합니다.
이번 세미나에서는 "Alleviating the Long-Tail Problem in Conversational Recommender Systems" 논문을 통해 대화형 추천 시스템(CRS)에서의 long-tail 문제를 해결하는 방법론을 소개하였습니다. Long-tail 문제는 일부 인기 있는 아이템만 자주 추천되고, 나머지 아이템들은 거의 추천되지 않는 현상을 말합니다. 이를 해결하기 위해, 논문에서는 모든 아이템의 등장 횟수가 균형을 이룬 가상의 데이터셋을 구축하고, Domain-Adaptive Masked Prediction과 Contrastive Context Alignment라는 두 가지 사전학습 방법을 제안하였습니다. 이를 통해 long-tail 문제를 완화하고, 추천 시스템의 성능을 향상시키는 것을 목표로 하고 있습니다. 좋은 발표 감사합니다.
본 세미나에서는 "Alleviating the Long-Tail Problem in Conversational Recommender Systems" 에 대한 리뷰를 진행하였습니다. 본 연구는 Conversational Recommender Systems의 long-tail problem 해결을 목표로 합니다. Long-tail problem이란, 자주 등장하는 일부의 item만 conversation에서 언급하는 문제를 의미합니다. 결론적으로 imbalanced setting의 data에 대해서도 long-tail term을 잘 추천하고자 하는 목표로 진행됩니다. 본 논문에서는 애초에 data가 skew 되어있는 상황이라면, long-tail item에 대한 정보가 부족하기 때문에 data 자체에 변화를 주어 효과적인 long-tail alleviation을 제안합니다. 이를 달성하기 위해 Collecting Item Attributes, Building Conversation Threads, Pseudo Conversations Simulation 의 과정을 거칩니다. 단순히 CRS 분야 뿐만 아니라 imbalanced dataset에서 공통적으로 갖는 문제인 long-tail problem이기 때문에, 관련 아이디어가 다양한 분야에 적용될 수 있을 것 같다는 생각이 들었습니다. 좋은 발표 감사합니다!