[Paper Review] LLaRA:Large Language-Recommendation Assistant

Paper Review
작성자
Doyoon Kim
작성일
2024-08-02 18:46
조회
1227
  1. 논문 제목: LLaRA:Large Language-Recommendation Assistant
  2. 논문 링크: https://dl.acm.org/doi/pdf/10.1145/3626772.3657690
  3. Venue: SIGIR 2024
  4. 논문 내용
    - Sequential Recommendation을 수행하기 위해 LLM과 SASRec, GRU4Rec, Caser 등의 기존 방법론을 융합하는 방안에 관한 연구
    - 아이템의 표상(representation)을 획득하기 위해  학습이 완료된 기존 방법론 내 아이템 임베딩 활용하여 hybrid prompt 구성
    - Curriculum learning의 전략에 따라 학습 초기에는 text-only prompt가 택하도록, 후반부에는 hybrid prompt가 선택되도록 확률적으로 구성
  5. 발표 영상 (추후 첨부)
전체 13

  • 2024-08-02 19:57

    이번 세미나는 “LLaRA:Large Language-Recommendation Assistant”라는 논문에 대한 발표를 중심으로 진행되었습니다. LLaRA는 Item Representation을 구성하는 ID 기반 또는 Text 기반의 방식을 혼합하는 Hybrid Item Representation을 활용하고자 Hybrid Prompt Design을 설계하고, Curriculum Prompt Tuning 방식을 통해 학습을 진행합니다. 본 논문에서 인상깊었던 부분은 Curriculum Learning입니다. LLaRA에서는 학습 초반부에 Text-Only Prompt를 통해 Sequential Recommendation에 대한 기본 패턴을 알려주며 LLM을 Warm-Up시키고, 후반부에는 Hybrid Prompt를 활용해 Behavior Knowledge를 LLM에 주입시키는 방식으로 학습을 진행합니다. 오늘날 LLM이 매우 광범위한 분야에서 활용되고 있지만, 사전 학습 단계에서 활용하는 데이터들로는 이를 모두 커버하는 것이 불가능합니다. 따라서 조금은 난이도가 낮은 부분을 통해 초반부에 학습을 진행하고, 실제 목적에 맞는 학습을 후반부에 진행한다는 개념 자체가 매우 흥미로웠습니다. 좋은 발표 해주셔서 감사합니다.


  • 2024-08-12 14:42

    이번 세미나는 “LLaRA: Large Language-Recommendation Assistant” 논문을 중심으로 진행되었습니다. LLaRA는 ID 기반 또는 텍스트 기반의 방식을 결합한 Hybrid Item Representation을 활용하여 Hybrid Prompt Design과 Curriculum Prompt Tuning을 통해 학습을 진행하는 것이 특징입니다. 특히, 본 논문에서 가장 인상 깊었던 부분은 Curriculum Learning의 도입이었습니다. LLaRA는 학습 초반에 Text-Only Prompt를 사용하여 Sequential Recommendation에 대한 기본 패턴을 LLM에 학습시키고, 후반부에는 Hybrid Prompt를 통해 Behavior Knowledge를 주입하는 방식으로 학습을 진행합니다. 이 방법은 LLM이 사전 학습 단계에서 모든 데이터를 다룰 수 없는 한계를 다루기 때문에 흥미롭고 실용적인 접근이라 생각했습니다. 좋은 발표 감사합니다.


  • 2024-08-12 23:05

    이번 세미나에서는 "LLaRA: Large Language-Recommendation Assistant"라는 논문에 대해 자세히 살펴보았습니다. 이 연구의 큰 틀은 LLM과 기존의 Sequential Recommendation 방법론을 융합한 방법론입니다. 그 중에서도 Item Embedding과 Text Prompt를 혼합하여 사용하는 Hybrid Prompt Design을 통해 Sequential Recommendation을 수행하는 새로운 접근법을 제시하였습니다. 특히, 이 방법론은 Curriculum Learning을 적용하여, LLM이 학습 초기에는 기본적인 추천 패턴을 학습하고, 후반에는 보다 구체적인 행동 지식을 통합함으로써 더욱 정교하게 모델을 학습시킬 수 있도록 하였습니다. LLaRA는 다양한 데이터셋에 대한 실험을 통해 최근 급속도로 발전 중인 LLM을 Sequential Recommendation에 활용할 수 있는 방법을 제시하였고, 다른 LLM 기반 방법론들과 비교하여 우수한 성능을 보였습니다. LLM의 발전이 지속되면서 다양한 분야에 LLM을 적용하는 연구가 많이 등장하고 있고, 저 또한 이러한 흐름에 굉장히 공감하고 있습니다. Sequential Recommendation은 제가 접해온 분야가 아니라 생소하였지만, 해당 분야에 LLM을 적용하는 방법과 다양한 관련 기법들에 대해 알 수 있던 세미나였습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-08-13 16:29

    이번 세미나에서는 기존의 Sequential Recommendation과 대규모 언어 모델(LLM)을 통합한 LLaRA: Large Language-Recommendation Assistant 논문에 대해서 발표해 주셨습니다. 해당 연구는 전통적인 추천 시스템과 언어 모델의 융합을 통해, 사용자의 행동 패턴과 상호 작용 데이터를 보다 정교하게 분석하고 활용하는 방법을 제시합니다. 특히, Hybrid Prompt 디자인과 Curriculum Learning 전략의 도입은 기존의 Sequential Recommendation 방식에 비해 더욱 효과적인 결과를 도출해내며, 이는 추천 시스템의 정확도와 적용 범위를 대폭 향상시키는 새로운 접근 방식을 열어주었습니다. 이를 통해, 아이템 임베딩과 텍스트 데이터를 융합한 하이브리드 프롬프트가 언어 모델의 성능을 어떻게 향상시키는지에 대한 이해를 깊게 할 수 있었으며 Curriculum Learning을 적용하여 모델이 초기에는 간단한 패턴에서 시작해 점차 복잡한 패턴을 학습하도록 조정하는 과정이 얼마나 중요한지를 배울 수 있었습니다. 이러한 점진적 학습 방식은 모델의 일반화 능력을 향상시키고, 실제 세계 데이터에 대한 적응력을 높이는 데 기여할 수 있을 것이라 생각합니다. 한편으로는 이제 추천시스템 분야도 LLM을 사용하는 방향으로 나아가고 있다는 사실이 아쉽기도 했지만, 기존 추천 시스템의 한계를 극복하고, 사용자 경험을 향상시킬 수 있는 새로운 기술의 통합이 얼마나 중요한지를 실감했습니다. 무엇보다 발표자 분이 차근차근 쉽게 설명해주셔서 이해하기 쉬웠습니다. 좋은 발표 감사합니다.


  • 2024-08-13 16:30

    금일 세미나는 LLaRA:Large Language-Recommendation Assistant 논문을 바탕으로 진행되었습니다. 해당 연구는 LLM을 기반으로 Sequential recommendation을 진행하는 과업을 중점적으로 다루고 있습니다. Sequential recommendation은 사용자의 행동이 실행된 아이템의 순열 정보를 기반으로 행동이 수행될 다음 아이템을 추천하는 과업이라고 볼 수 있습니다. 이때, LLM을 통해 이를 진행하기 위하여 먼저 기본적으로 Item을 어떻게 나타낼지에 대한 방법을 고려해야 하는데, 기본적으로 ID의 index나 text representation 자체를 이용하기도 합니다. 이때 해당 연구에서는 Item을 표현할 시, ID-based, Text-based 모두 각각 장단점이 존재하므로, 이를 혼합하는 Hybrid Item representation을 활용하고자 하고 있습니다. 이에 Hybrid prompting을 통하여 기존 추천 시스템의 경우를 LLM을 통하여 풀어내고자 하며, Curriculum learning을 적용하여 LLM이 초기에는 Sequential recommendation 과업에 대한 기본적인 패턴을 파악하게 하고, 후반부에는 실제 behavior token도 함께 활용하여 효과적인 학습을 진행합니다. LLM은 Sequential 이해 능력에 큰 장점이 있으므로, 이를 바탕으로 하는 Sequential recommendation이 크게 괴리감이 있지 않았고, 향후 발전 가능성이 충분한 분야라는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.


  • 2024-08-14 15:20

    금일 세미나는 ID의 Index를 활용하는 방법과 Item의 제목이나 메타 정보 등을 활용하는 Text 기반 방법을 혼합하여 Sequential Recommendation 방법론인 'LLaRA:Large Language-Recommendation Assistant'라는 논문을 소개해 주셨습니다. 해당 방법론은 최근 연구 흐름과 동일하게 LLM을 활용하고 있습니다. 해당 연구에서는 Item 기반 방법과 Text 기반 방법을 혼합한 Hybrid Prompting을 제안하고 있으며, 구체적으로 History items와 Candidate items에 해당하는 SR-EMB를 준비한 뒤, tokenizing한 embedding 값을 지정한 prompt list 내에 삽입하여 LLM의 Input으로 활용하고 있습니다. 이 때, Curriculum learning 기법을 적용하여 전반부에는 warm-up의 목적으로 text-only prompt를 적용한 후, 후반부에는 Hybrid prompt에 넣어 Behavior knowledge를 LLM에 주입시키고 있습니다. 해당 방법론을 보면서 간단하지만 powerful한 방법론이라 생각이 들었으며 다만, 지정된 prompt list를 설계한 이유가 따로 언급되지 않아 궁금했던 것 같습니다. 끝으로, 항상 Recommendation과 관련한 연구를 발표자의 시각으로 들을 수 있어서 감사했던 것 같습니다. 좋은 발표 감사드립니다!


  • 2024-08-14 17:13

    금일 세미나는 sequential recommendatation 시 LLM을 활용하는 방법론을 제안한 "LLaRA:Large Language-Recommendation Assistant"를 중심으로 진행되었습니다. LLM이 다양한 텍스트 데이터로 학습되면서 다양한 item에 대한 정보를 습득하고 있습니다. 하지만 실제 recommendatation system이 보유하고 있는 다양한 메타 데이터가 이러한 item과 함께 활용되고, 추천 모델링에 활용되어야 합니다. 이에 본 연구에서는 기존 recommendatation 모델이 산출하는 representation과 plain text를 함께 이용하여 학습하는 hybrid prompting 전략을 이용하고 있습니다. 이를통해 item meta data를 효율적으로 활용하면서도 충분히 높은 성능을 도출할 수 있는 것을 확인하였습니다. 실제 LLM이 추천 시스템으로서 활용 가능성을 가지고 있는지 확인한 탐색적 연구로서 흥미로운 지점들이 많은 연구였던 것 같습니다. 좋은 발표 감사드립니다.


  • 2024-08-18 11:16

    이번 세미나에서는 RecSys 도메인에서 LLM을 활용하는 추천을 가능하게 하는 방법론을 제시하는 논문인 "LLaRA:Large Language-Recommendation Assistant"를 중심으로 진행되었습니다. 기존에도 유저 맞춤형 상품 추천 시나리오에서 지금까지 구매한/선택한 상품 리스트를 기반으로 다음 아이템을 추천하는 지원하는 프레임워크는 존재하였습니다. 하지만, 성능적인 면에서 만족스럽지 못한 경우가 많았고, 이를 LLM의 내재적인 추론 능력 및 지식을 상품 추천에 사용할 수 있도록 유도하는 것으로 해결하고자 하였습니다. 방법론 자체는 간단하게, LLM을 기존 방법론을 사용해 추출한 아이템 임베딩과 그에 해당하는 자연어 메타데이터가 Given되었을 때 다음 아이템을 추천할 수 있도록 FineTuning하는 것입니다. 단순하지만 Working하는 방법론이라는 점이 매력적이었다고 생각이 되며, 더 나아가서 애초에 기존 아이템 임베딩 방법론이 없으면 사용할 수 없는 프레임워크인만큼 Re-Ranking모델로 제안되었으면 더 공정한 비교를 할 수 있지 않았을까 하는 생각이 들었습니다. 좋은 발표 감사합니다!


  • 2024-08-19 07:30

    이번 세미나는 "LLaRA: Large Language-Recommendation Assistant" 논문을 중심으로 LLM과 Sequential Recommendation의 융합에 대해 다루었습니다. LLaRA의 핵심 이론은 Hybrid Item Representation과 Curriculum Learning의 도입에 있습니다. 특히, Hybrid Prompt Design을 통해 ID 기반의 Item Embedding과 텍스트 기반의 정보가 결합되어 더 정교한 추천이 가능하다는 점이 인상적이었습니다. 이 방법은 LLM이 단순한 텍스트 처리뿐 아니라, 추천 시스템에서 중요한 행동 패턴까지 학습할 수 있도록 하는 혁신적인 접근입니다. Curriculum Learning의 전략적 적용도 주목할 만합니다. 학습 초기에 텍스트만을 사용한 프롬프트로 간단한 패턴을 학습시키고, 이후 Hybrid Prompt를 통해 점진적으로 복잡한 행동 데이터를 학습하는 방식은 모델의 성능을 극대화하는 중요한 역할을 합니다. 이를 통해 LLM이 초기에는 Overfitting을 방지하면서도 점진적으로 더 복잡한 문제를 해결할 수 있도록 도와준다는 점에서, 추천 시스템에 LLM을 성공적으로 접목한 사례라고 생각합니다. 이러한 이론적 배경을 바탕으로 앞으로의 추천 시스템 연구가 더욱 발전할 가능성을 보게 되었습니다. 좋은 발표 감사합니다.


  • 2024-08-19 16:58

    이번 세미나에서 발표된 "LLaRA: Large Language-Recommendation Assistant" 논문은 흥미로운 개념을 제시하며 깊은 인상을 남겼습니다. 이 연구는 기존의 Sequential Recommendation 시스템과 대규모 언어 모델을 통합하여, Hybrid Item Representation과 Curriculum Learning을 적용했습니다. 특히 초기 학습 단계에서는 Text-Only Prompt를 사용하여 기본적인 추천 패턴을 학습하고, 후반에는 Hybrid Prompt를 통해 보다 복잡한 행동 지식을 주입하는 방식이 인상 깊었습니다. 이러한 접근은 LLM의 성능을 최대화하며, 실제 데이터에 대한 모델의 적응력을 향상시키는데 크게 기여했다고 생각합니다. 이 논문은 추천 시스템 분야에서 LLM의 활용 가능성을 새롭게 조명하는 흥미로운 연구로, 앞으로의 발전 가능성을 기대하게 만듭니다. 좋은 발표 감사합니다!


  • 2024-08-02 22:20

    이번 세미나는 "LLaRA: Large Language-Recommendation Assistant"에 대해 진행되었습니다. LLaRA는 기존의 Sequential Recommendation 시스템에 대규모 언어 모델(LLM)을 융합하는 접근을 제시하며, ID 기반 및 텍스트 기반 방식을 혼합한 Hybrid Item Representation과 Curriculum Prompt Tuning을 통해 학습 성능을 극대화합니다. 특히, Curriculum Learning을 도입하여 학습 초반에는 Text-Only Prompt로 기본 패턴을 익히고, 후반에는 Hybrid Prompt로 Behavior Knowledge를 주입함으로써 모델의 성능을 정교하게 다듬는 방법론이 인상 깊었습니다.

    이 연구는 LLM의 한계를 보완하며 추천 시스템의 정확도와 적용 범위를 넓히는 데 중요한 기여를 합니다. 단계적 학습 방법론을 통해 LLM의 일반화 능력을 크게 향상시킨다는 점에서 매우 실용적이고 흥미로운 접근으로 다가왔습니다. 발표자 분의 명확한 설명 덕분에 복잡한 내용을 쉽게 이해할 수 있었고, 매우 유익한 시간이었습니다. 감사합니다.


  • 2024-08-02 22:27

    이번 세미나에서는 “LLaRA: Large Language-Recommendation Assistant” 논문을 중심으로 진행되었습니다. 본 연구는 대규모 언어 모델(LLM)을 활용하여 Sequential Recommendation의 성능을 향상시키는 방법을 제안합니다. 기존 추천 시스템의 아이템 임베딩 방식과 LLM의 강력한 추론 능력을 융합해, 사용자 행동 패턴과 상호작용 데이터를 정교하게 분석 및 활용할 수 있는 새로운 프레임워크를 소개했습니다. 논문은 Hybrid Prompt Design을 통해 아이템을 ID와 텍스트 정보를 결합한 방식으로 표현하며, LLM이 추천 작업에 적합하도록 학습을 진행합니다. 특히, Curriculum Learning 전략을 도입해 모델이 초기에는 간단한 패턴을 학습하고 점차 복잡한 사용자 행동 데이터를 학습하도록 설계했습니다. 이를 통해 Sequential Recommendation 과업에서 LLM의 강점을 효과적으로 활용할 수 있음을 입증했습니다. 본 연구는 LLM 기반 추천 시스템이 기존 방법론의 한계를 극복할 가능성을 보여줬으며, 단순한 아이템 예측을 넘어 사용자 경험 향상에 기여할 수 있는 방향성을 제시했습니다. 다만, 기존 아이템 임베딩 방법론에 의존하는 구조적 한계와 Re-Ranking 모델로서의 비교가 추가되면 더욱 공정한 평가가 가능할 것이라는 점은 아쉬움으로 남았습니다. LLM과 추천 시스템의 융합이라는 흥미로운 주제를 쉽게 풀어주신 발표 덕분에 유익한 시간이었습니다. 좋은 발표 준비에 감사드립니다!


  • 2025-01-30 12:24

    이번 세미나에서는 "LLaRA: Large Language-Recommendation Assistant" 논문을 중심으로 발표가 진행되었습니다. LLaRA는 Sequential Recommendation 시스템과 대규모 언어 모델을 결합한 혁신적인 접근을 제시하며, Hybrid Item Representation과 Curriculum Learning을 활용해 모델의 학습 효율성을 극대화합니다. 특히, 초반에는 Text-Only Prompt로 기본적인 추천 패턴을 학습하고, 후반에는 Hybrid Prompt로 더 복잡한 행동 지식을 주입하는 방식이 매우 인상적이었습니다. 이러한 단계적 학습 접근은 LLM의 성능을 최적화하고, 실용적인 추천 시스템을 구현하는 데 중요한 역할을 할 것으로 보였습니다. 발표에서는 LLaRA의 학습 전략이 특히 주목받았습니다. 다양한 분야에서 활용되는 LLM을 추천 시스템에 적합하도록 조정하는 방식은 매우 흥미로웠습니다. 초반에는 난이도 낮은 텍스트 기반 데이터로 모델을 Warm-Up시키고, 점차적으로 복잡한 데이터를 다루는 방식이 모델의 적응력을 높여주는 데 중요한 역할을 한다는 점에서 큰 가치를 느꼈습니다. 이 연구는 LLM을 추천 시스템에 효과적으로 적용하는 방법을 제시하며, 향후 발전 가능성에 대한 기대감을 불러일으켰습니다. 좋은 발표 감사합니다!


전체 511
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 10672
관리자 2020.03.12 0 10672
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 9293
관리자 2020.03.12 0 9293
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 10389
관리자 2020.03.12 0 10389
508
비밀글 [Rehearsal] 석사학위 논문심사 - 마민정 (19)
Minjeong Ma | 2025.06.02 | 추천 0 | 조회 36
Minjeong Ma 2025.06.02 0 36
507
비밀글 [Rehearsal] 석사학위 논문심사 - 정기윤 (20)
Kiyoon Jeong | 2025.06.02 | 추천 0 | 조회 32
Kiyoon Jeong 2025.06.02 0 32
506
비밀글 [Rehearsal] 석사학위 논문심사 - 남웅찬 (19)
Woongchan Nam | 2025.06.02 | 추천 0 | 조회 32
Woongchan Nam 2025.06.02 0 32
505
비밀글 [Rehearsal] 석사학위 논문심사 - 이상민 (21)
SangMin Lee | 2025.06.02 | 추천 0 | 조회 34
SangMin Lee 2025.06.02 0 34
504
[Paper Review] Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems (4)
Siyul Sung | 2025.05.31 | 추천 0 | 조회 88
Siyul Sung 2025.05.31 0 88
503
[Paper Review] Restructuring Vector Quantization with the Rotation Trick (14)
Woojun Lee | 2025.05.20 | 추천 0 | 조회 196
Woojun Lee 2025.05.20 0 196
502
[Paper Review] Battling the Non-stationarity in Time Series Forecasting via Test-time Adaptation (16)
Jinwoo Park | 2025.05.16 | 추천 0 | 조회 175
Jinwoo Park 2025.05.16 0 175
501
[Paper Review] SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning (18)
Hun Im | 2025.05.15 | 추천 0 | 조회 166
Hun Im 2025.05.15 0 166
500
[Paper Review] AA-CLIP: Enhancing Zero-Shot Anomaly Detection via Anomaly-Aware CLIP (18)
Junyeong Son | 2025.05.08 | 추천 0 | 조회 299
Junyeong Son 2025.05.08 0 299
499
[Paper Review]SLMREC: Distilling Large Language Models Into Small For Sequential Recommendation (16)
Doyoon Kim | 2025.05.01 | 추천 0 | 조회 250
Doyoon Kim 2025.05.01 0 250

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 허재혁 : jaehyuk.heo@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호