금일 세미나에서는 'Recommender Systems with Generative Retrieval'라는 논문을 소개해 주셨습니다. 해당 연구에서는 Residual Quantization을 활용하여 계층적 구조의 Semantic ID를생성한 후, 개별 아이템의 Semantic ID를 개별 Token으로 하여 Transformer에 활용하여 Next Item Token ID를 생성하는 방법을 제안하고 있습니다. 구체적으로 Pre-trained Senetence T5를 이용해 Input Embedding을 생성한 후, 해당 Embedding 값을 RQ-VAE에 사용하여 Quantization을 수행하여 정수 인덱스를 생성합니다. 이 때, Code book collapse 현상을 막고자 Codebook의 초기값을 Input batch의 k-means를 사용하고, 각 클러스터의 Centroid를 사용함으로써 소수의 Codebook vector에 쏠리지 않도록 설계하였으며 동일 Semantic ID가 생성되지 않기 위해 구별을 위한 Token 또한 추가하는 방식을 제안하고 있습니다. 실험 결과를 통해, Semantic ID가 계층적으로 생성되어 점차 세분화되는 특징을 확인할 수 있었으며, 더 나은 성능을 기록한 것을 확인할 수 있었습니다. 좋은 발표 정말 감사드립니다!

오늘 세미나에서는 NeurIPS 2023에서 발표된 ‘TIGER: Recommender Systems with Generative Retrieval’ 논문을 소개해 주셨습니다. 이 논문은 문서 검색에서 주로 활용되던 Generative Retrieval 방식을 추천 시스템에 적용한 혁신적인 방법론을 제안합니다. 핵심적인 접근 방식은 아이템을 Semantic ID로 표현하는 것이며, 이를 위해 Vector Quantization과 RQ-VAE 기법을 활용합니다. 구체적으로, RQ-VAE를 통해 개별 아이템의 벡터를 Semantic ID로 변환하여 각 아이템을 독립적인 ID로 정의하고, 이를 바탕으로 사용자의 다음 아이템을 예측하는 Transformer 모델을 학습합니다. 이 과정에서 생성된 Semantic ID는 아이템 간의 유사성을 효과적으로 반영해 추천 성능을 높이는 데 중요한 역할을 합니다. 이 논문을 통해 문서 검색에서 사용되던 Generative Retrieval 기법이 추천 시스템에서도 성공적으로 적용될 수 있다는 점을 확인할 수 있었고, Vector Quantization을 활용한 Semantic ID 생성이 추천 모델의 효율성을 높이는 데 큰 기여를 한다는 점이 인상 깊었습니다. 이를 통해 추천 시스템이 더욱 정교하고 개인화된 추천을 제공할 수 있는 가능성을 엿볼 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 "Recommender Systems with Generative Retrieval"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 추천 시스템에서 generative retrieval을 활용하는 새로운 접근법을 제안하며, 이를 통해 아이템을 벡터로 임베딩하는 방식을 개선합니다. 본 논문은 Vector Quantization를 사용하여 연속적인 아이템 벡터 공간을 semantic ID로 변환하고, 유한한 수의 discrete points로 매핑하는 방법을 소개하고, 이를 통해 더 효율적인 아이템 임베딩을 생성합니다. 또한, RQ-VAE 방법론을 적용하여 각 아이템의 semantic ID를 생성하고, 이 ID를 사용하여 사용자의 다음 아이템 선택을 예측하는 Transformer 모델을 학습시키는 방식을 설명합니다. 이번 세미나를 통해 generative retrieval의 기본 개념과 VQ-VAE의 구조, 그리고 이를 통한 추천 시스템의 구현에 대해 이해할 수 있었습니다. 특히, generative retrieval이 추천 시스템에서 어떻게 활용될 수 있는지 알게 되어 유익한 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 Information Retrieval 분야에서 제시된 Generative Retrieval 방법론을 추천 시스템 분야에 효과적으로 적용한 "Recommender Systems with Generative Retrieval"을 중심으로 진행되었습니다. 이는 기존의 GenRet 방법론을 일부 차용하되 단순화 시켜 사용하고 있습니다. 특히, VQ-VAE를 적용할 때, 초기값을 각 클러스터의 임베딩 평균 값을 활용하는 것 외의 장치가 없음에도 불구하고 잘 동작하는 것이 매우 인상적이었습니다. 아무래도 아이템들의 다양성이 높아, mode collapse 문제가 발생하지 않은 것으로 보입니다. 또한, 추천 시스템이 현업과 매우 밀접하다는 점에서 실제 아이템이 할당되지 않은 id들이 오히려 시장 기회일 수 있다는 말씀이 매우 공감되었습니다. 좋은 발표 감사합니다.

금일 세미나는 Recommender Systems with Generative Retrieval 논문을 바탕으로 진행되었습니다. 해당 연구에서는 Residual quantization 방법을 활용하며, 계층적인 정보를 담을 수 있도록 semantic ID값을 생성해주고 있습니다. 이는 계층의 특징마다 서로 다른 정보를 담게 하기 위함으로, 각 계층마다 서로 다른 코드북을 가짐으로써 구성이 됩니다. 또한, 이때 소수의 codebook vector에 쏠리는 Code book collapse 현상을 막기 위하여 codebook의 초기값을 input batch의 k-means를 사용하고, 구해진 각 클러스터의 centroid를 사용하고 있습니다. 다음으로는, 개별 아이템의 semantic ID를 개별 토큰으로 하여 Transformer encoder-decoder index를 활용하여, decoder에서는 autoregressive하게 semantic ID를 생성하는 형식으로 진행하고 있습니다. 나름 간단한 방법으로 보이지만, sequential item recommendation에 꼭 필요한 부분들을 고려하였다는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 'Recommender Systems with Generative Retrieval' 논문이 소개되었으며, Generative Retrieval 기법을 추천 시스템에 적용한 혁신적인 접근이 특히 인상적이었습니다. 해당 연구는 Vector Quantization과 RQ-VAE를 활용해 개별 아이템을 계층적 Semantic ID로 변환하고, 이를 Transformer 모델에서 활용하여 사용자의 다음 아이템을 예측하는 방식으로 진행되었습니다. 특히 Codebook 초기화를 k-means 클러스터의 중심값으로 설정함으로써 Code book collapse를 방지하는 방법이 인상 깊었고, 아이템 간 유사성을 효과적으로 반영하여 추천 성능을 향상시킨 점이 눈에 띄었습니다. 이러한 방법이 문서 검색에서뿐만 아니라 추천 시스템에서도 좋은 성능을 거둘 수 있다는 것을 확인할 수 있었으며, Generative Retrieval 기법의 가능성을 확인할 수 있었습니다.. 좋은 발표 감사합니다!

이번 세미나에서는 NeurIPS 2023에서 발표된 “TIGER: Recommender Systems with Generative Retrieval” 논문을 소개해주셨습니다. 이 연구는 기존 문서 검색에 활용되던 Generative Retrieval 방식을 추천 시스템에 적용한 혁신적인 접근법을 제시하고 있습니다. 특히, Residual Quantization 기법을 활용해 각 아이템을 Semantic ID로 표현하고, 이를 통해 추천 성능을 높이는 점이 인상 깊었습니다. Semantic ID는 Vector Quantization과 RQ-VAE를 통해 생성되며, Transformer 모델을 활용해 사용자에게 맞는 다음 아이템을 예측하는 방식으로 구성되어 있습니다. 이러한 접근법이 추천 시스템의 효율성과 정교함을 크게 향상시킬 수 있다는 점이 흥미로웠습니다. 좋은 발표 감사합니다!

이번 세미나는 기존 Document Retrieval을 위해 제시되었던 Generative Retrieval을 추천 시스템에 효과적으로 적용시킨 “Recommender Systems with Generative Retrieval”이라는 논문에서 제안하는 Transformer Index for GEnerative Recommender(TIGER) 모델에 대한 발표를 중심으로 진행되었습니다. 이를 위해 TIGER는 처음에 아이템의 부가정보를 활용하여 초기 임베딩 값을 생성하며, RQ-VAE를 활용하여 계층적 구조의 ID를 생성한 후, Transformer를 구성하는 Encoder와 Decoder의 Index를 통해 아이템의 추천을 진행합니다. 기존에 T5와 같은 LLM을 통해 추천 시스템에 적용했을 때 제대로 수행하지 못하는데, 이를 해결하기위해 Dense Retrieval을 추천 시스템에 처음으로 적용했다는 점에서 의의가 있는 연구라는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 "TIGER: Recommender Systems with Generative Retrieval" 논문을 소개해 주셨습니다. 이 논문은 이전 세미나에서 다루어졌던 Generative Retrieval 방식과 유사한 방법을 추천 시스템에 적용하는 접근을 제안합니다. 주요 방법론은 Residual Quantization (RQ)와 VAE를 활용해 각 아이템을 의미적으로 표현하는 계층적 Semantic ID를 생성하는 것입니다. 구체적으로, RQ-VAE를 통해 임베딩을 생성하고, k-means 클러스터링을 활용해 Semantic ID의 초기값을 설정하여 코드북의 Collapsing 문제를 방지합니다. 결과적으로, RQ-VAE가 생성한 Semantic ID는 기존 방식에 비해 추천 성능이 우수하였으며, 이는 Generative Retrieval 기법이 추천 시스템에서 성공적으로 적용될 수 있음을 보여줍니다. 이 논문은 Generative Retrieval 기법의 가능성을 보여주었으며, 코드북 초기화를 최적화하는 과정에서 얻은 효율성 또한 주목할 만하다고 생각합니다. 좋은 발표와 재미있는 논문 소개 감사드립니다.

이번 세미나에서 발표된 "Recommender Systems with Generative Retrieval" 논문은 Generative Retrieval 방식을 추천 시스템에 창의적으로 적용한 흥미로운 접근을 제시하였습니다. 특히, Residual Quantization(RQ)와 VAE를 활용하여 아이템별로 계층적 Semantic ID를 생성하고, 이를 Transformer 모델의 토큰으로 활용하여 다음 아이템을 예측하는 방식이 인상 깊었습니다. 이 연구는 Sentence-T5를 사용한 초기 임베딩 생성과, Codebook 초기화 시 K-means를 활용하여 Code book collapse 문제를 방지하는 방법이 주목할 만합니다. 실험을 통해 Semantic ID가 계층적으로 구성되어 아이템 간 유사성을 반영하여 점차 세분화되는 결과를 보여줬으며, 추천 성능 향상에도 기여한 점이 흥미롭습니다. 좋은 발표 감사합니다.

이번 세미나에서는 'Recommender Systems with Generative Retrieval' 논문을 중심으로, Generative Retrieval 방식을 추천 시스템에 적용한 혁신적인 방법론이 소개되었습니다. 이 연구는 Residual Quantization(RQ)와 VQ-VAE(Vector Quantized Variational Autoencoder)를 활용해, 아이템을 의미적 ID로 변환하고 이를 Transformer 모델의 토큰으로 사용하여 사용자에게 맞춤형 추천을 수행하는 방식이 인상 깊었습니다. 구체적으로, Sentence-T5를 통해 초기 임베딩을 생성한 후 RQ-VAE를 사용해 Semantic ID를 생성하며, 이 과정에서 각 아이템 간의 유사성을 반영하여 점차 세분화된 구조의 ID가 형성됩니다. 또한, K-means 클러스터링을 활용한 Codebook 초기화를 통해 Code book collapse 문제를 방지하는 방법이 제안되어 추천 모델의 안정성을 높였습니다. 실험 결과, Semantic ID 기반의 추천이 추천 성능을 향상시키는 것으로 나타나, Generative Retrieval이 추천 시스템에서도 효과적으로 적용될 수 있음을 확인할 수 있었습니다. 이 논문은 문서 검색에 주로 사용되던 Generative Retrieval 기법을 추천 시스템으로 확장한 의미 있는 연구로, 앞으로의 추천 시스템 발전 가능성을 보여주었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "Recommender Systems with Generative Retrieval"에 대해 소개해주셨습니다. 해당 논문은 기존 추천 시스템이 가진 대규모 데이터 속 효과적인 추천 능력 부족이라는 한계를 극복하고자 이에 Generative retrieval 아이디어를 접목합니다. 기존 추천 시스템은 사용자와 아이템에 대한 임베딩을 기반으로 최적의 후보를 검색하고 추천하는 방식이었다면, 새로 제안하는 아이디어는 추천 모델이 아이템의 식별자를 자동으로 생성하고 이를 활용하여 그 다음으로 사용자가 선호하고 상호작용할 아이템을 예측하게 됩니다. 이 과정에서 semantic ID가 활용되며, 아이템마다 의미 있는 코드를 부여하고 모델이 이 ID를 예측함으로써 사용자의 관심을 보다 정교하게 파악하는 방식입니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Generative Retrieval을 추천 시스템에 적용하여, 아이템을 Semantic ID로 변환하는 새로운 방법론을 제안한 ‘Recommender Systems with Generative Retrieval’ 논문을 발표해 주셨습니다. 해당 방법론은 특히 Vector Quantization을 활용하여, RQ-VAE를 통해 아이템 벡터를 Semantic ID로 표현합니다. 이 과정에서 생성된 아이템의 ID를 바탕으로 사용자의 다음 아이템을 예측하는 Transformer 모델을 학습시키는 방식이 매우 인상깊었습니다. 이번 발표를 통해 Generative Retrieval이 문서 검색뿐만 아니라 추천 시스템에서도 효과적으로 활용될 수 있다는 점을 알게되었습니다. 또한, VQ-VAE와 같은 기술을 사용하여 아이템 벡터를 더 의미 있는 방식으로 표현할 수 있으며 Semantic ID를 사용함으로써 아이템 간의 관계를 더 잘 파악하고, 이를 기반으로 사용자에게 더 정확한 추천을 제공할 수 있다는 점을 알게되었습니다. 흥미로운 주제로 좋은 발표해주셔서 감사합니다.

이번 세미나에서는 “Recommender Systems with Generative Retrieval” 논문이 소개되었습니다. 이 연구는 Generative Retrieval 방식을 추천 시스템에 도입하여 효율적이고 정교한 추천을 구현하는 방법론을 제안합니다. Residual Quantization(RQ)과 VQ-VAE(Vector Quantized Variational Autoencoder)를 활용해 각 아이템을 Semantic ID로 변환하고, 이를 Transformer 기반 모델의 토큰으로 사용하여 다음 아이템을 예측합니다. Semantic ID는 계층적인 정보를 반영하도록 설계되었으며, K-means 클러스터링을 활용한 Codebook 초기화로 Code book collapse 문제를 방지하여 안정적인 학습을 보장합니다. 실험 결과, Semantic ID 기반 접근은 추천 성능을 크게 향상시키며 Generative Retrieval이 추천 시스템에서도 효과적임을 입증했습니다. 기존 문서 검색 기법을 추천 시스템에 확장한 혁신적인 연구로, 향후 다양한 추천 시스템에 적용될 가능성을 보여준 점이 인상적이었습니다. 발표를 통해 논문의 주요 기여를 명확히 이해할 수 있었으며, 유익한 시간이었습니다. 감사합니다!