Recommendation system에 대해 잘 알지는 못하지만, 이용자로서는 늘 사용하고 있는 만큼 분야의 중요성과 현 방법론들의 한계에 대해 공감하고 있습니다. 다른 분야에서도 마찬가지이지만, recommendation system은 end user가 직접적으로 접하는 만큼 UX가 중요하기에 빠른 추론 속도와 모델 경량화가 중요할 듯합니다. 금일 소개해 주신 SLMREC도 비교적 작은 모델로 큰 모델의 성능을 모사할 수 있도록 distillation을 통해 SLM을 학습시켜 LLM-based sequential recommendation을 수행하고자 한 연구입니다. Distillation에 의한 이점이 드라마틱하지는 못하기에 teacher model을 그대로 사용하지 않을 이유가 없지 않느냐는 의문을 차치하면, LLM 기반 추천 시스템에서의 모델 경량화를 위한 새로운 방법론을 제안했다는 점에서 의미가 있다고 느껴졌습니다. ICLR 학회에서 본 논문의 저자와 대화를 나누고 오셔서, 저자의 생각을 일부 곁들여 보다 자세하고 생생한 리뷰를 해주셔서 재미있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 추천시스템에서 활용되는 LLM의 학습 및 추론 속도 문제를 다룬 ‘SLMRec: Distilling Large Language Models Into Small For Sequential Recommendation’ 논문에 대하여 발표해 주셨습니다. 해당 논문은 LLM 안에 존재하는 중복된 역할의 레이어들을 활용하여 효율적으로 압축할 수 있다는 매우 실용적인 인사이트를 제시하였습니다. 특히 기존의 추천시스템에서도 LLM의 중복 레이어가 존재한다는 점을 motivational experiment로 실증하고, 일부 레이어만 활용해도 충분한 성능을 낼 수 있음을 수치적으로 보여주었습니다. 단순히 logits만 유사하게 만드는 기존 knowledge distillation 방식과 달리, 중간 레이어의 representation 간 유사성까지 정렬함으로써 더 강력한 성능을 확보한 방식이 매우 흥미로웠습니다. 특히 teacher 모델의 표현을 직접 모방하게 하는 cosine similarity loss와 feature norm regularization을 통해 작은 모델임에도 성능 저하 없이 속도와 효율성을 확보한 점이 인상깊었습니다. 무엇보다도 단순히 모델을 작게 만드는 데 그치지 않고, 실제 추천시스템에 적용 가능한 형태로 distillation을 최적화했다는 점에서 의미 있는 진보를 보여주었다고 생각합니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나는 LLM을 활용해 추천 과업을 수행함에 있어 LLM 내부의 일부 블록들이 중복된 역할을 수행하고 있으며, 이러한 비효율성을 극복하기 위해 Knowledge Distillation을 활용한 SLMREC이라는 모델을 제안한 “SLMREC: DISTILLING LARGE LANGUAGE MODELS INTO SMALL FOR SEQUENTIAL RECOMMENDATION”이라는 논문에 대한 발표를 중심으로 진행되었습니다. SLMREC은 기존 E4SRec 모델의 Layer 개수에 따른 성능을 확인했을 때 8개의 레이어를 사용한 경우와 24개의 레이어를 사용한 경우의 성능 차이 거의 없음을 확인했고, 이를 통해 LLM 내부에 중복된 레이어의 존재를 확인했습니다. 이러한 문제점을 해결하기 위해서 같은 LLaMA 7B 모델을 가지고 Teacher 모델은 8개의 레이어, Student 모델은 4개의 레이어를 사용해 추출한 중간 단계의 Representation들 간의 Distillation을 수행하는 방식으로 학습을 진행합니다. 세미나를 들으면서 Knowledge Distillation이라는 거창한 이름을 사용하는거 대비 Teacher 모델의 강력함이 부족하고, 그로 인해 Student 모델과의 차이도 적어진다는 점에서 너무 Specific한 모델 구성을 가정한다는 생각이 들었지만, 해당 논문에서 제시하는 두 가지 질문에 대해서 공감하고 있으며, 이에 대한 해결책이 Knowledge Distillation이 될 수 있다는 흐름이 잘 이해가 되었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나를 통해 대규모 언어 모델(LLM)을 활용한 추천 시스템의 효율성과 성능 간의 균형에 대해 고민한 연구인 SLMRec이 소개되었습니다.
먼저, LLM의 중간 레이어 중 상당수가 추천 성능에 큰 기여를 하지 않는다는 실험 결과는 매우 흥미로웠습니다. 이는 모델의 복잡성이 항상 성능 향상으로 이어지지 않음을 시사합니다. 이러한 발견은 모델 설계 시 불필요한 복잡성을 줄이고 효율성을 높이는 방향으로 나아갈 수 있는 가능성을 보여주었습니다.
또한 전체 레이어가 아닌 일부 핵심 레이어만을 활용하여도 작은 모델이 큰 모델에 필적하는 성능을 낼 수 있다는 점은 실용적인 관점에서 큰 의미가 있습니다. 특히 SLMRec이 전체 파라미터의 13%만으로도 기존 LLM 기반 모델과 유사한 성능을 보였다는 점은 인상적이었습니다. 이는 자원 제약이 있는 환경에서도 고성능 추천 시스템을 구현할 수 있는 가능성을 열어줍니다.
마지막으로, SLMRec이 양자화나 프루닝(pruning)과 같은 다른 효율화 기법과도 병행 적용 가능하다는 점에서 실제 산업 환경에서의 적용 가능성을 높여줍니다. 이러한 유연성은 다양한 시스템 요구사항에 맞춰 모델을 최적화할 수 있는 여지를 제공합니다.
이번 세미나를 통해, "더 크고 복잡한 모델이 항상 최선은 아니다"라는 교훈을 얻었습니다. 앞으로의 연구나 실무에서도, 모델의 효율성과 실용성을 고려한 접근이 더욱 중요해질 것이라 생각합니다.
좋은 발표 해주셔서 감사합니다!

이번 세미나에서는 LLM 기반 추천 시스템의 효율성 문제를 해결하고자 제안된 SLMRec 논문을 중심으로 발표가 진행되었습니다. LLM의 과도한 레이어 수가 실제 추천 성능에 필수적이지 않다는 점을 실험적으로 보여주고, 이를 기반으로 Knowledge Distillation 기법을 통해 경량 모델(SLM)을 학습시키는 접근이 흥미로웠습니다. 특히 단순한 출력 모방이 아닌, 중간 표현 정렬을 위한 cosine similarity 및 feature norm regularization 등을 활용해 학습 효과를 극대화한 설계가 인상 깊었습니다. 성능 저하 없이 파라미터 수를 13% 수준으로 줄였다는 점은 실제 시스템 적용을 고려할 때 매우 실용적인 기여로 느껴졌습니다. 다만 distillation을 통해 얻는 이득이 teacher 모델 대비 크게 두드러지지 않는 경우도 있어, 상황에 따라 trade-off가 명확해질 수 있겠다는 생각도 들었습니다. 전체적으로 추천 시스템의 경량화 및 응답속도 개선이라는 현실적인 문제를 LLM 시대에 맞게 풀어낸 연구였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 LLM의 추천 시스템 적용 시 효율성과 성능 간의 trade-off를 다룬 SLMRec 논문을 중심으로 발표해 주셨습니다. 발표를 통해 기존 LLM이 가지고 있는 과도한 레이어 수가 실제 추천 성능에 반드시 필요한 요소는 아니라는 점을 실험적으로 확인할 수 있었고, 이러한 비효율성을 극복하기 위한 distillation 기반의 모델 경량화 전략이 매우 인상 깊었습니다. 특히 logits 정렬뿐만 아니라 중간 레이어 표현 간의 유사성을 정렬하는 방식이 기존 knowledge distillation 기법보다 정교하다는 점에서 흥미를 느꼈습니다. 실제로 전체 파라미터의 13%만 사용하면서도 성능을 거의 유지했다는 결과는, 산업 적용 측면에서 매우 실용적인 시사점을 준다고 생각합니다. 발표자께서 저자와의 직접적인 교류를 통해 연구 의도를 상세히 전해주신 점도 인상 깊었으며, 발표 내용 전반이 매우 명료하고 유익했습니다. 좋은 발표 감사합니다!

이번 세미나는 LLM을 이용한 추천 시스템 경량 모델 학습 프레임워크를 제안한 "SLMREC: DISTILLING LARGE LANGUAGE MODELS INTO SMALL FOR SEQUENTIAL RECOMMENDATION"을 중심으로 진행되었습니다. 그동안 LLM을 추천 시스템에서 활용하기 위한 다양한 노력들이 있어왔고, 실제로도 성능 개선이 가능하다는 점 역시 많이 확인되었습니다. 하지만 매우 큰 모델들을 그대로 활용하면서 실제 서비스 활용에 있어서는 어려움이 있습니다. 이에 대해 해당 논문에서는 LLM의 모든 레이어를 사용하는 경우와 일부 레이어만 사용하는 경우에 성능 차이가 크지 않다는 점에 주목하여, 추천 시스템 학습 시 LLM의 일부 레이어만 사용하는 것을 제안하고 있습니다. 특히나 학습 안정성을 높이기 위해 Knowledge Distillation 분야에서 전통적으로 활용되던 layer-wise loss와 similarity loss를 함께 사용해서 학습을 진행하게 됩니다. 실험 결과를 살펴보면 실제로 일부 레이어만 사용함에도 불구하고 기존 추천 시스템 방법론이나 LLM을 이용한 방법론들보다 높은 성능을 보여주면서 논문이 주장하는 바가 성능 면에서도 일부 유리할 수 있다는 점을 알 수 있었습니다. 좋은 발표 감사합니다.

이번 발표에서는 ‘SLMRec: Distilling Large Language Models Into Small For Sequential Recommendation’ 논문을 통해 추천 시스템에 LLM을 효율적으로 적용하기 위한 모델 경량화 전략을 살펴볼 수 있었습니다. 특히, 중복된 레이어 구조를 활용한 selective distillation 방식은 단순한 파라미터 축소가 아닌, representation 수준의 정렬을 통해 성능을 유지하면서도 추론 속도와 효율성을 개선했다는 점에서 인상 깊었습니다. 추천 시스템은 사용자 경험과 직결되기에 실시간 대응과 경량화가 필수적인데, 이러한 현실적 요구에 맞춘 실용적인 접근이라는 점에서 높은 의의가 있다고 생각됩니다. 발표자께서 현장에서 저자와 직접 나눈 인사이트까지 공유해 주셔서 이해에 큰 도움이 되었습니다. 흥미로운 발표 감사합니다.

이번 세미나에서는 SLMRec: Distilling Large Language Models Into Small For Sequential Recommendation 논문을 바탕으로, LLM 기반 추천 시스템의 경량화 및 효율성 개선에 관한 연구를 소개해주셨습니다. 추천 태스크에서 LLM의 성능을 활용하려는 시도들이 활발한 가운데, 실제 응용 시 병목이 되는 학습 및 추론 속도의 문제를 정면으로 다루었다는 점에서 매우 실용적인 주제였습니다. 특히 LLM 내부에 중복 기능을 수행하는 레이어들이 존재한다는 가설을 추천 문맥에서 실증한 것이 인상 깊었고, 이를 기반으로 모든 레이어를 사용하는 것이 아닌, 선별된 레이어만 활용하는 distillation 방식이 제안된 구조가 흥미로웠습니다. 단순히 최종 출력이 아닌 중간 표현 간 유사성까지 학습에 반영한 방식은 기존 Knowledge Distillation과 차별화된 점으로 느껴졌습니다. 또한, 실험을 통해 student 모델이 적은 파라미터 수로도 높은 성능을 유지할 수 있음을 보이며 실제 시스템 적용 가능성을 높였다는 점에서 연구의 의의가 컸다고 생각합니다. 앞으로 LLM을 그대로 사용하는 것이 아닌, 목적에 맞는 압축과 구조 최적화가 더욱 중요해질 것이라는 방향성을 다시금 느끼게 해준 발표였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SLMRec: Distilling Large Language Models Into Small For Sequential Recommendation 논문을 통해 LLM 기반 추천시스템의 비효율성을 지적하고, 중복 레이어 문제를 실험적으로 검증하여, 일부 레이어만을 선택적으로 증류하는 방식으로 경량화 가능성을 효과적으로 제시하는 전략을 보여주었습니다. 실험을 통해 추천시스템에도 LLM 내부 중복이 존재함을 보여준 점은 특히 설득력 있으며, 실제 서비스 적용을 고려한 접근이라는 점에서 실용성을 확인할 수 있었습니다. 다만 distillation 과정에서 선택되는 레이어 기준이 다소 정성적이라는 느낌을 받았으며, 일반화 가능성에 대해서는 물음표가 남지만, 거대한 모델을 경량화하여 LLM을 실용적 규모로 맞추려는 추천시스템 연구의 중요한 방향성을 제시한 의의 있는 시도라고 생각합니다. 실제로 ICLR 학회에서 저자와 직접 대면하시면서 얻은 디테일한 정보와 소회를 함께 공유해주셔서 더 생생한 리뷰를 들을 수 있었습니다. 좋은 발표해주셔서 감사합니다.

이번 세미나에서는 “SLMREC: DISTILLING LARGE LANGUAGE MODELS INTO SMALL FOR SEQUENTIAL RECOMMENDATION” 논문을 소개해주셨습니다. 본 논문에서는 추천 시스템에서 활용되는 대규모 언어 모델(LLM)의 크기로 인한 학습 및 추론 속도 문제를 해결하기 위해 효율적인 경량화 방안을 제안하였습니다. 특히 LLM 내에서 중복된 역할을 하는 레이어가 존재하며, 일부 레이어만 사용해도 충분한 성능을 달성할 수 있음을 motivational experiment를 통해 입증하였습니다. 기존의 logits만 활용하는 단순한 Knowledge Distillation 방법과 달리, 중간 레이어의 representation 간 유사성까지 고려한 layer-wise loss 및 cosine similarity loss와 feature norm regularization 기법을 도입하여 학습 안정성과 효율성을 동시에 확보한 점이 인상적이었습니다. 결과적으로, 모델 크기를 크게 줄이면서도 추천 성능을 유지하거나 오히려 개선할 수 있다는 실용적인 인사이트를 제공하여, 실제 서비스 환경에서도 효과적으로 활용될 수 있는 의미 있는 방법론이라고 생각됩니다. 좋은 발표 감사합니다.

금일 세미나는 SLMRec: Distilling Large Language Models into Small for Sequential Recommendation 논문을 바탕으로 진행되었습니다. 제안 연구는 LLM을 바탕으로 Sequential Recommendation을 수행하는 과업을 수행하는 것을 목표로 하고 있습니다. LLM 기반 Recommendation 모델들이 많아지는 이유는 아이템 내부의 텍스트 정보를 충분히 반영할 수 있으며, LLM 내의 common-sense knowledge를 통하여 cold item에 대해서도 충분히 대응이 가능하기 때문입니다. 다만, Collaborative information에 대해서는 충분한 반영이 어렵기 때문에, 이를 어떻게 반영할지가 LLM 기반 Recommendation 모델들이 고려해야할 부분이라고 할 수 있겠습니다. 제안 연구에서는 LLM 기반 추천 시스템의 학습 및 추론 속도 문제를 해결하기 위해 모델 경량화를 시도한 연구로, LLM 내부의 일부 레이어들이 중복된 역할을 수행한다는 실험적 근거를 바탕으로하여 일부 필요 레이어만을 선택적으로 distill하는 방식으로 소형 모델을 학습합니다. 단순히 최종 logits만 정렬하는 기존 knowledge distillation 방식과 달리, middle level representation 간의 유사성까지 고려한 cosine similarity loss와 feature norm regularization을 함께 사용함으로써 성능 저하 없이 파라미터 수를 약 13% 수준까지 줄이고 있었습니다. 다시 비효율적인 부분이 있긴 하지만, 모델 경량화와 실시간 추론이 중요한 실제 추천 시스템 환경에서 SLMRec은 실용적인 대안이 될 수 있다고 느꼈습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 LLM 기반 추천시스템의 효율성 문제를 다룬 논문 “SLMRec: Distilling Large Language Models Into Small For Sequential Recommendation”으로 진행되었습니다. 발표에서는 LLM 내 레이어들 간의 기능적 중복성을 정량적으로 분석하고, 이러한 중복을 활용한 distillation 전략을 통해 경량화와 성능을 동시에 달성하는 방법론을 소개해 주셨습니다. 특히 Teacher 모델의 중간 표현을 단순히 흉내내는 수준을 넘어, cosine similarity 기반의 representation alignment와 feature norm regularization을 통해 Student 모델의 표현력까지 효과적으로 유지한 점이 인상 깊었습니다. 또한 기존 knowledge distillation이 최종 출력에만 의존했던 방식과 달리, 내부 구조를 더 깊이 있게 반영했다는 점에서 실용적이면서도 정교하다고 느껴졌습니다. 추론 속도와 효율성을 요구하는 실제 추천 시스템 환경에 적용 가능하도록 distillation 과정을 최적화했다는 점에서 학술적 의의뿐 아니라 실무적 가치도 높다고 생각됩니다. 유익한 발표 준비해 주셔서 감사드립니다.

이번 세미나에서는 “SLMREC: Distilling Large Language Models Into Small For Sequential Recommendation” 논문에 대해 소개해주셨습니다. LLM의 내부 레이어 중 일부가 중복된 기능을 수행한다는 점을 실험적으로 밝히고, 이를 바탕으로 효율적인 knowledge distillation을 통해 경량화된 모델을 제안한 접근이 매우 인상 깊었습니다. 특히 실험에서 student 모델이 주요 레이어만을 학습함에도 성능 저하 없이 원 모델의 표현력을 효과적으로 모사할 수 있다는 점은 추천 시스템에 LLM을 현실적으로 적용하는 데 있어 실질적인 기여라고 생각됩니다. 기존 LLM 기반 추천 방식이 가진 계산 자원 측면의 한계를 완화하면서도 높은 성능을 유지할 수 있는 방향을 제시한 점에서 실용성과 이론적 기여를 모두 갖춘 논문이라 느꼈습니다. 좋은 논문 소개해주셔서 감사합니다.

이번 세미나에서는 “SLMRec: Distilling Large Language Models into Small for Sequential Recommendation” 논문을 중심으로, LLM 기반 Sequential Recommendation의 경량화 방안에 대해 발표가 진행되었습니다. 최근 추천 시스템에 LLM을 적용하려는 시도들이 활발한 이유는, 아이템의 텍스트 정보를 효과적으로 활용하고, LLM의 commonsense knowledge를 통해 cold item에 대응할 수 있기 때문입니다. 그러나 collaborative signal 반영의 어려움과, LLM의 높은 계산 비용은 여전히 해결 과제로 남아 있습니다. SLMRec는 이러한 한계를 해결하기 위해, LLM 내부의 중복 기능을 수행하는 레이어들에 주목하여 선택된 일부 레이어만을 distill하는 구조를 제안합니다. 단순 logits 정렬 기반의 기존 distillation 방식과 달리, 본 연구는 중간 표현 간 cosine similarity와 feature norm regularization을 추가로 적용함으로써 성능 저하 없이 파라미터 수를 약 13% 수준으로 감소시켰습니다. 또한, 실험을 통해 student 모델이 적은 계산 자원으로도 기존 LLM 기반 모델과 동등 이상의 성능을 보였다는 점에서 실제 시스템 적용 가능성이 높다는 점이 인상적이었습니다. 전체적으로, LLM의 장점을 유지하면서도 효율성을 확보한 구조 설계가 돋보인 연구였습니다. 좋은 발표 감사합니다!

이번 세미나에서는 ICLR 2025에 발표된 SLMRec: Distilling Large Language Models into Small for Sequential Recommendation 논문을 중심으로, 대형 언어 모델(LLM)의 성능을 유지하면서도 경량화된 모델을 활용한 시계열 추천 시스템의 새로운 접근 방식을 소개해주셨습니다. 이 연구는 LLM의 중간 계층이 시계열 추천(SR) 작업에서 과도하게 중복되어 있다는 관찰에서 출발하여, 지식 증류(Knowledge Distillation)를 통해 소형 언어 모델(SLM)로 효과적으로 이전하는 방법을 제안하였습니다 .
SLMRec는 단순하면서도 효과적인 지식 증류 기법을 활용하여, LLM의 표현 지식을 SLM에 전달합니다. 특히, 다중 감독 신호를 설계하여 학생 모델이 작업에 특화된 지식을 내재화하도록 유도하였습니다. 이를 통해 SLMRec는 LLM 기반 추천 모델의 13%에 불과한 파라미터를 사용하면서도, 훈련 속도는 최대 6.6배, 추론 속도는 최대 8배 향상된 성능을 보였습니다 .
이번 발표를 통해 대형 모델의 효율적인 활용과 경량화에 대한 깊은 통찰을 얻을 수 있었으며, 실제 산업 환경에서의 적용 가능성에 대해 다시 한번 생각해보게 되었습니다. 좋은 발표 감사합니다!