이번 세미나에서는 LLM을 활용한 추천 시스템에서의 토큰화 과정을 중점적으로 다룬 ‘TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations’ 논문에 대해서 발표해 주셨습니다. 해당 논문은 Vector Quantization(VQ)를 이용하여 사용자와 아이템의 토큰을 생성하고 이를 기반으로 추천을 수행하는 새로운 접근 방식을 제시합니다. 이 논문은 기존의 추천 시스템과 LLM을 결합한 연구의 발전을 추구하며, 특히 TIGER 모델의 한계를 극복하고자 하는 시도가 돋보입니다. 또한, LLM이 가진 어휘 사이즈의 한계를 극복하기 위해 ‘TokenRec’ 방식을 고안한 점이 매우 흥미로웠습니다. 이 방식은 VQ를 통해 아이템의 세부적인 특성을 포함한 토큰을 생성하며, 이러한 토큰은 추천 시스템에서 유저의 선호도를 더 정확하게 반영할 수 있게 해 줍니다. 특히, 아이템 간의 세밀한 차이를 효과적으로 표현할 수 있는 다중 토큰 생성 방식은, 기존의 단일 토큰 방식에 비해 표현력에서 우수함을 보여주고 있습니다. 추가로, LLM을 사용한 추천 시스템에서의 비효율적인 부분들을 개선하기 위해 제안된 ‘Generative Retrieval’ 방법을 통해 계산 복잡도를 낮추면서도 더 정확한 추천이 가능했다는 점이 인상깊었습니다. 평소 추천시스템에서 LLM이 잘 활용되지 못하고 있다고 생각하였는데, 이번 세미나를 계기로 추천 시스템과 LLM의 융합이 더욱 발전될 수 있다는 가능성을 볼 수 있었습니다. 흥미로운 주제로 좋은 발표해 주셔서 감사합니다.

이번 세미나는 Transformer Encoder-Decoder 구조를 통해 Item에 대한 Semantic ID를 생성하는 TIGER가 가지는 3가지 한계점, 즉 Item Token에 Collaborative Knowledge가 포함되지 않고 Decoder에서 사용하는 Beam Search로 인해 계산 복잡도가 높으며, 모델을 End-To-End로 학습하지 못한다는 점을 개선시킨 TokenRec이라는 모델을 제안하는 “TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 최근 추천 시스템 분야에서도 텍스트 정보를 접목시키기 위해 LLM을 결합하는 연구들이 진행되고 있는데, 처음에는 지금 정도 수준의 LLM이라면 다른 추가적인 방법론 없이 프롬프트를 수정하거나, 간단한 학습 과정으로 가능할 것이라고 생각했습니다. 그러나 실제 그래프 분야에서 추론이 필요한 Task, 그리고 추천시스템에 대해서 아직 LLM이 정확한 추론을 하기 어렵다는 것을 알게 되었습니다. 직관적으로 보았을 때 추천시스템, 특히 유저와 구매 이력 등의 정보를 가지고 있는 Task에서 텍스트 정보를 활용할 수 있다는 것이 매우 큰 기여가 될 수 있다는 생각이 드는데 앞으로 해당 분야에서의 연구 흐름이 궁금해지는 시간이었습니다. 좋은 발표 해주셔서 감사합니다.

금일 세미나는 LLM 기반 추천 시스템을 다루는 연구인 "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations"을 바탕으로 진행되었습니다. 기존의 추천 시스템은 사용자(User)와 아이템(Item)에 개별적인 ID를 부여하고, 각 매트릭스에서 생성된 임베딩 벡터의 스코어를 통해 추천을 수행합니다. 이 과정에서 사용자와 아이템 정보인 Collaborative Information이 자연스럽게 반영된다고 볼 수 있습니다. 다만, LLM을 이용하는 추천시스템은 복잡한 추론성 Collaborative information을 학습하는데 어려움이 있었으며, 이를 LLM 모델에 적절한 형태의 token으로 활용하지 못한다는 한계가 존재했습니다. 제안된 연구는 이러한 문제를 해결하기 위해, 사전 학습된 GNN(Graph Neural Network) 모델을 활용해 사용자와 아이템 간의 Collaborative Knowledge를 추출한 뒤, Masked Vector Quantization을 통해 이를 token화하는 방법을 제안하였습니다. 최종적으로, Generative Retrieval 기반의 방법을 활용해 추천을 수행하는 프레임워크를 제시하였습니다. 어려운 내용임에도 불구하고 발표자께서 명확하고 자세히 설명해주셔서 이해하기가 수월했습니다. 좋은 발표 정말 감사드립니다.

금일 세미나는 LLM을 활용한 추천 시스템 모델링 방법론을 제안한 “TokenRec:Learning to Tokenize ID for LLM-based Generative Recommendtaions”를 중심으로 진행되었습니다. 기존에 제안된 TIGER 등의 논문에서는 자연어 처리 분야의 generative retrieval 방법론들에서 영감을 받아 연속적으로 token을 생성하는 방식을 취했지만, 이로 인하여 느린 추론속도와 적절한 user, item representation 활용이 어렵다는 한계점이 있었습니다. 해당 논문에서는 이를 극복하기 위하여, 1) LLM이 representation을 생성하고, 이를 이용한 nearest-neighbor search 방식 도입 2) 기존 GNN 기반 추천 모델의 representation을 고도화하는 tokenizer 도입하고 있습니다. 특히, tokenizer는 reconstruction 기반으로 학습되어 user representation 내 item 정보가 충분히 고려될 수 있도록 유도하고 있습니다. 실제 실험 상으로 기존 LLM 활용 방법론들 뿐만 아니라 전통적인 GNN 기반의 방법론들보다 높은 성능을 보여주고 있습니다. 향후 추론 개선 방법론 및 장비 개선을 통해 속도 등의 한계점이 극복될 수 있는만큼 자연어로 구성된 메타 데이터를 보유한 추천 시스템에서 LLM의 활용 가능성을 다시한번 확인할 수 있었던 논문인 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations" 논문에 대해 다뤄주셨습니다. 본 연구는 대형 언어 모델(LLM)을 활용한 생성형 추천 시스템에서 ID 데이터를 효과적으로 활용하기 위한 새로운 토큰화(Tokenization) 전략을 제안했습니다. 기존 추천 시스템이 ID 데이터의 표현 방식에 의존해 제한된 일반화 성능을 보이는 문제를 해결하고자, 학습 기반 토큰화 방식을 통해 ID 데이터를 LLM에 적합한 형태로 변환한 점이 인상적이었습니다. 핵심 아이디어는 ID 데이터를 LLM이 처리할 수 있는 구조로 변환하면서도, 데이터 내 잠재적 패턴과 관계를 보존하는 것입니다. 이를 통해 모델은 더욱 풍부한 컨텍스트를 학습하고, 개인화된 추천의 정밀도를 높일 수 있도록 설계되었습니다. 그래프와 추천 시스템은 항상 낯설지만 발표자분께서 쉽게 이해할 수 있또록 잘 발표해주셔서 쉽게 이해할 수 있었습니다 좋은 발표 감사합니다!

본 세미나는 ' TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations'이라는 논문을 기반으로 진행되었습니다. 기존 전통적인 추천시스템 모델과 다르게, Vector quantization을 활용하고자 Tokenization을 적용하여 성능향상을 방법론입니다. 가장 주의깊게 봤던 부분은 아이템의 부가정보를 embedding으로 생성한 후에, 계층적 구조의 ID를 만드는 TIGER 대비, LLM 모델에 적절한 형태의 Token을 만들고자 GNN을 통해 생성된 Representation을 활용하여 Vector-Quantized Tokenizer를 사용하고 있습니다. 즉 LLM에 활용하기 적합한 input이라는 건, user의 item 구매 이력이 반영된 형태라고 이해했습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 추천 시스템에서 효율적인 토큰화를 제안한 TokenRec 논문을 중심으로 진행되었습니다. TokenRec은 사용자와 아이템의 Collaborative Knowledge를 기반으로 Vector Quantization(VQ)을 수행하여 관계성을 반영하는 다중 토큰 ID를 생성합니다. 이 생성된 Token은 LLM에 적합한 입력으로 사용되며, Generative Retrieval 방식을 통해 사용자의 선호도를 기반으로 추천 아이템을 예측합니다. 실험 결과, TokenRec은 기존 LLM 기반 추천 모델 대비 높은 일반화 성능과 unseen 데이터에서도 우수한 성능을 보여주었습니다.

이번 세미나에서는 "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations" 논문을 중심으로, 추천 시스템에서의 효율적인 토큰화 방법론을 다룬 흥미로운 발표를 들을 수 있었습니다. 기존 TIGER 모델의 한계(느린 추론 속도, 제한적인 표현력)를 개선하기 위해, Vector Quantization(VQ)을 활용하여 사용자와 아이템의 Collaborative Knowledge를 반영한 다중 토큰 ID를 생성하는 방식이 매우 인상적이었습니다. 특히, GNN 기반의 Representation을 학습하고 이를 LLM에 적합한 형태로 변환함으로써, 사용자 선호를 더욱 정밀하게 반영하는 구조를 설계한 점이 돋보였습니다. 또한, Generative Retrieval 방식을 통해 계산 비용을 낮추면서도 높은 추천 정확도를 유지한 점은 실용성과 성능을 모두 충족한 뛰어난 기여로 느껴졌습니다. 실험 결과에서도 TokenRec이 기존의 LLM 기반 추천 시스템뿐만 아니라 전통적인 GNN 모델 대비 우수한 성능을 보여주며, unseen 데이터에서도 높은 일반화 성능을 입증한 점에서, 향후 LLM을 활용한 추천 시스템 연구의 가능성을 크게 확장시킬 것으로 보입니다. 좋은 발표 준비해주셔서 감사합니다! 좋은 발표 감사합니다.

이번 세미나는 "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations" 논문을 중심으로 진행되었습니다. 해당 연구는 LLM 기반 추천 시스템의 효율성을 높이고자 Vector Quantization(VQ)을 활용하여 사용자와 아이템의 Collaborative Knowledge를 반영한 토큰화를 제안하고 있으며, 기존 TIGER 모델이 가진 한계, 즉 느린 추론 속도와 제한적인 표현력을 극복하기 위해 GNN 기반 Representation을 학습하고, 이를 LLM에 적합한 형태로 변환하여 더 정밀하고 유연한 추천을 가능하게 한 점이 특히 인상적이었습니다. 또한, Generative Retrieval 방식을 도입함으로써 계산 비용을 줄이면서도 높은 추천 성능을 달성한 점이 인상적이었으며 발표 내용 중, 사용자와 아이템 간 관계를 다중 토큰으로 표현하여 unseen 데이터에서도 높은 일반화 성능을 보여준 실험 결과는 특히 흥미로웠습니다. 항상 발표자분께서 LLM과 추천 시스템의 융합 가능성에 대해 많은 논문들을 소개해 주셨는데 앞으로 향후 연구가 어떻게 진행될지 기대가 되었던 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 “TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations” 논문이 소개되었습니다. 이 연구는 LLM을 활용한 추천 시스템에서 사용자와 아이템 정보를 효과적으로 처리하기 위해, Vector Quantization(VQ)을 사용해 ID를 토큰화하는 새로운 방법론을 제안합니다. 기존 추천 시스템에서 아이템과 사용자 ID를 임베딩 벡터로 변환하는 과정은 LLM과의 결합에서 한계를 보였으며, 특히 LLM의 어휘 크기 제한과 복잡한 Collaborative Information 학습 문제를 극복하기 어렵다는 지적이 있었습니다. TokenRec은 이러한 한계를 해결하기 위해, GNN 기반으로 Collaborative Knowledge를 추출하고, 이를 Masked Vector Quantization으로 토큰화하여 LLM이 다룰 수 있는 형태로 변환합니다. 또한, Generative Retrieval 방식을 통해 토큰화된 정보를 바탕으로 효율적이고 정확한 추천을 수행하며, 세밀한 아이템 차이를 반영하는 다중 토큰 생성 방식을 통해 표현력을 강화하였습니다. 실험 결과, TokenRec은 기존 LLM 기반 모델 및 전통적인 GNN 기반 방법론 대비 성능과 효율성에서 우수한 결과를 보여주었습니다. 이번 발표는 추천 시스템에서 LLM의 가능성과 활용 방안에 대해 새로운 시각을 제공했으며, 향후 LLM을 활용한 추천 시스템 연구가 더욱 발전할 가능성을 보여주었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 추천 시스템에서 대규모 언어 모델(Large Language Model, LLM)을 활용하여 개별 사용자와 아이템 ID의 토큰화를 통해 추천 성능을 향상시키는 새로운 방법론을 제안합니다. 특히, Vector Quantization (VQ) 기법을 도입하여, 각 아이템과 사용자의 ID를 효과적으로 토큰화하고, 이를 추천 시스템에 적용함으로써, 사용자의 선호도를 더 정확하게 반영하게 됩니다. 해당 연구는 기존의 단순한 ID 토큰화 방법을 넘어서, 세부적인 아이템 특성을 반영한 다중 토큰 생성 방식을 도입하여, 아이템 간의 미세한 차이를 보다 효과적으로 표현할 수 있습니다. 이는 추천 시스템에서 아이템을 선택할 때 발생할 수 있는 정보의 손실을 최소화하고, 더 정밀한 추천이 가능하게 합니다. 또한, 논문은 LLM의 추천 성능을 최적화하기 위해 Generative Retrieval 방식을 제안합니다. 이 방식은 사용자의 선호도와 관련된 텍스트 정보를 생성하고, 이를 기반으로 아이템을 추천하는 방식으로, 기존의 방법들에 비해 계산 복잡도를 크게 줄일 수 있는 장점을 가지고 있습니다. 세미나를 통해 LLM을 사용한 추천 시스템의 연구 방향에 대해 특히 다양한 아이템의 세밀한 특성을 효과적으로 모델링함으로써 사용자 선호를 더욱 정확하게 반영한다는 점이 인상 깊었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 “TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations” 논문을 중심으로, 추천 시스템에서의 효율적인 토큰화 방법론을 다룬 흥미로운 발표가 진행되었습니다. 기존 TIGER 모델과 같은 접근 방식들이 겪었던 느린 추론 속도와 제한적인 표현력 문제를 해결하기 위해, Vector Quantization(VQ)을 이용하여 사용자와 아이템의 토큰을 생성하고 이를 기반으로 추천을 수행하는 새로운 방법론을 제안하였습니다. 특히, tokenizer의 reconstruction 기반 학습을 통해 사용자 표현 내 아이템 정보의 충분한 반영을 유도하고, Generative Retrieval 방식을 도입하여 계산 비용을 낮추면서도 높은 추천 정확도를 유지한 점이 인상적이었습니다. 실험 결과에서는 기존의 LLM 기반 및 전통적인 GNN 모델들보다 우수한 성능을 보였으며, unseen 데이터에서도 높은 일반화 성능을 입증하였습니다. 이러한 연구는 추천 시스템과 LLM의 융합 가능성을 크게 확장시킬 것으로 기대되며, 향후 관련 연구에 중요한 기여를 할 것으로 보입니다. 좋은 발표 감사합니다.

이번 세미나는 LLM을 활용한 추천 시스템에 대해서 소개되었습니다. 기존의 추천시스템 방법론들(conventional recommenders)과의 차이점은 각 아이템 및 사용자 별 index 또는 임베딩이 존재하지 않는다는 것입니다. 그러기에 LLM의 토크나이저가 아닌 아이템간의 협업적 관점에서의 의미적 유사성이 반영된 토큰을 활용하는 방안들에 대한 연구도 하나의 축으로 발전 되어 오고 있습니다. 금일 소개해주신 TIGER와 TokenRec 모두 이에 해당합니다. TokenRec의 경우 Vector-Quantization을 활용하며 이에 앞서 사용자-아이템 그래프로 사전 학습한 사용자와 아이템 임베딩을 이용하고 있습니다. 무엇보다 LLM을 활용함에 있어 collaborative 정보를 주입하는 것이 어떠한 기반의 방법론이든 가장 핵심이 되지 않을까 싶습니다. 이에, 현재 많은 방법론들이 한계점을 보이고 있기 때문에, 사전학습된 아이템 및 사용자 임베딩을 배재할 수 있는 방법론으로의 발전도 고려해볼 수 있지 않을까 싶습니다. 흥미로운 주제의 발표 감사합니다.