이번 세미나에서는 RAG에서 더욱 정교하고 다양한 검색된 텍스트에 대응할 수 있는 InfoRAG를 제안한 ‘Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation’ 논문을 발표해주셨습니다. 해당 방법은 검색된 텍스트의 품질과 관련성에 따라 모델이 내재적인 지식을 업데이트하고 개선할 수 있도록 설계되었습니다. 특히 정확한 지식이 포함된 경우, 부정확한 지식이 포함된 경우, 문제 해결을 위한 정답이 없는 경우로 세 가지 시나리오를 상정하고, 각각에 적합한 Unsupervised 학습 방법을 적용하는 것이 인상적이었습니다. 모델은 검색된 텍스트에서 유용한 정보를 추출하고, 잘못된 정보를 수정하며, 필요한 지식이 없는 경우에는 모델 내부의 지식을 활용하여 문제를 해결하도록 유도합니다. 이러한 접근 방식은 기존의 프롬프트나 Supervised Fine-Tuning에 의존하지 않고, 모델이 스스로 학습하면서 발전하는 능력을 향상시킬 수 있는 잠재력을 가지고 있습니다. 특히, 실험 결과에서 방법론의 Robustness를 증명하며, 다양한 유형의 검색된 텍스트에 효과적으로 대응할 수 있음을 보여주었습니다. RAG의 품질을 높일 수 있는 다양한 논문이 나오는 시점에서 매우 흥미로운 주제였다고 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 RAG 상황에서 다양한 Retrieved Text에 대처할 수 있도록 LLM에 Unsupervised Learning을 적용한 INFORAG라는 방법론을 제안한 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation”라는 논문에 대한 발표를 중심으로 진행되었습니다. 해당 방법론은 기존 RAG 방식이 Retrieval을 수행하는 단계에서 실제 정답을 생성하는 데 있어 도움이 되지 않는 텍스트를 검색할 수 있고, 이렇게 검색된 텍스트를 활용하는 능력이 LLM에게는 없다는 점을 문제점으로 지적합니다. 이러한 문제점을 해결하기 위해 본 논문에서는 3가지 시나리오에 대응할 수 있는 Unsupervised 방법론을 제안합니다. 세미나를 진행하면서 본 논문에서 지적하는 문제점이 명확했고, 이를 해결하기 위해 구체적인 3가지의 시나리오를 설정해 LLM을 활용한 각각의 해결 방법을 제시했다는 점이 인상깊었습니다. 좋은 발표해주셔서 감사합니다.

금일 세미나는 기존의 RAG 모델이 가지는 한계점을 비지도 학습 관점에서 극복한 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation”을 중심으로 진행되었습니다. 기존의 RAG 방법론들은 공통적으로 passage 내에 없는 정보를 생성하거나, 잘못된 passage 정보를 그대로 생성하는 등의 문제점을 가지고 있습니다. 하지만 이를 학습 데이터에 반영하는 작업은 매우 고비용의 작업이 될 수 밖에 없습니다. 이에 대해 해당 논문에서는 wikipedia 데이터를 적절히 전처리하여 실제 문제 상황과 유사한 query, passage 상황을 재현하고 이에 대해 학습하여 해결이 가능한 점을 보이고 있습니다. 특히나 3가지 task 중 하나라도 제외될 경우 성능이 저하되는 점과 잘못된 passage 이용에 대해 높은 효과를 보이는 점을 ablation study를 통해 밝히는 점 등이 매우 인상적인 연구였습니다. RAG의 활용처가 점차 다양해지면서 다양한 적용이 가능한 방법론이 중요해지는 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation” 논문을 중심으로, RAG 환경에서 다양한 검색된 텍스트에 효과적으로 대응할 수 있도록 대규모 언어 모델에 비지도 학습을 적용한 InfoRAG 방법론을 소개했습니다. 해당 연구는 기존 RAG 모델이 검색된 텍스트의 품질이나 관련성에 따라 성능 저하가 발생할 수 있다는 문제점을 지적하고, 이를 해결하기 위해 정확한 지식, 부정확한 지식, 필요한 지식이 없는 세 가지 시나리오에 맞춘 비지도 학습 방법을 제안했습니다. 특히, 위키피디아 데이터를 적절히 전처리하여 실제 문제 상황과 유사한 쿼리와 패시지 상황을 재현하고, 이를 통해 모델이 스스로 유용한 정보를 추출하고 잘못된 정보를 수정하며, 필요한 경우 내부 지식을 활용하도록 유도한 점이 인상적이었습니다. 실험 결과에서도 제안된 방법론이 다양한 유형의 검색된 텍스트에 대해 높은 견고성과 효과를 보임을 확인할 수 있었으며, 이는 RAG의 활용도가 높아지는 현 시점에서 매우 중요한 기여라고 생각됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation” 논문을 중심으로, RAG 환경에서 다양한 검색 텍스트에 대응할 수 있는 InfoRAG 방법론을 제안한 발표를 들을 수 있었습니다. 특히, 검색된 텍스트의 품질에 따라 발생할 수 있는 문제를 해결하기 위해 정확한 지식, 부정확한 지식, 지식이 없는 상황이라는 세 가지 시나리오를 설정하고 각각에 적합한 비지도 학습 방법을 적용한 점이 매우 인상적이었습니다. 특히 시나리오2의 경우 Retrieved Text에 부정확한 지식이 포함되어 있는 경우 Informative token을 기준으로 수정하도록 유도하고 있으며, Informative token을 결정짓기 위해 DoLa라는 방법을 차용하여, 각 문장 내에서 JSD 값이 큰 상위 50% token을, 정보 수정의 효과성이 큰 Informative 토큰으로 선택하여 활용하는 방법을 제시하고 있습니다. 다만, 시나리오 3의 경우 Retrieved Text를 활용하지 않고 모델의 Intrinsic Knowledge를 활용하는 만큼 더 큰 사이즈의 모델을 사용한 실험도 풍부하게 제공되었다면 더욱 좋지 않았을까 생각이 들었습니다. 좋은 발표 준비해 주셔서 감사합니다!

이번 세미나에서는 "Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 연구는 Retrieval-Augmented Generation(RAG) 환경에서 검색된 텍스트의 다양성과 품질 문제를 해결하기 위해, 세 가지 시나리오에 적합한 학습 방법론을 설계한 INFO-RAG를 제안합니다​. INFO-RAG는 다음 세 가지 시나리오를 중심으로 학습을 진행합니다. Scenario 1 "Keep"은 검색된 텍스트에 정답과 관련된 정보가 포함된 경우, 불필요한 정보를 제거하여 간결하고 정확한 출력을 생성합니다. Scenario 2 "Correct and Complete"은 잘못된 정보가 포함된 경우, LLM의 내부 지식을 활용해 잘못된 정보를 수정하고 누락된 정보를 완성하도록 학습합니다. Scenario 3 "Contextual Stimulation"은 검색된 텍스트에 정답이 없는 경우, 모델의 내부 지식을 활용해 문제를 해결하도록 유도합니다​. 해당 연구에서는 3가지 시나리오를 기준으로 해당 시나리오에 대응되는 방법론을 제안한 점이 인상 깊었습니다. 이런 시나리오 기반의 연구에서는 예외 사항에 대해 고민해보곤 하는데, 해당 연구에서는 3가지 시나리오가 거의 모든 상황을 표현할 수 있다는 점에서 적절한 설계를 하였다 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 ＂Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation＂ 논문을 바탕으로 진행되었습니다. 제안 연구는 기존의 RAG 방법론의 문제점으로 볼 수 있는 Retrieval 과정에서 유의미한 Passage만이 Retrieval 되지 않는 다는 점을 고려하고자, 다양한 Retrieved text에 대처할 수 있도록 unsupervised learning 방법을 기반으로 재학습 하는 방법을 제안하고 있습니다. 이를 위하여 총 3가지 시나리오로 unsupervised learning을 위한 데이터 수집부터 시작하여 학습 방법까지 따로따로 제안하고 있습니다. 먼저 첫 번째 시나리오에서는 질문에 대한 모든 지식이 Retrieved text에 있는 경우로, 복잡한 Retrieved 텍스트에서 올바른 지식만을 추출하여 간결하고 정확하게 생성하는 목적으로 하고 있습니다. 다음 시나리오에서는 Retrieved text에 부정확한 지식이 포함되어 있는 경우로, Retrieved text의 정확한 지식을 활용하여 잘못되고 누락된 지식을 수정하는 목적으로 데이터셋과 학습 방법을 제안합니다. 마지막으로 Retrieved text에 문제 해결을 위한 정답이 없는 경우를 위한 방법을 제안하고 있습니다. 제안 연구에서는 특정 Task에 국한된 Supervised Fine Tuning을 진행하는 방법이 아닌, Unsupervised learning을 통해 모델의 내재적인 지식을 업데이트했다는 부분에서 장점이 두드러지는 것 같습니다. 좋은 발표 정말 감사드립니다.

"Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation" 논문은 학습 데이터를 라벨링하지 않고도 대형 언어 모델(LLM)의 성능을 강화하는 방법론을 제시합니다. 이 연구는 검색 기반 생성(Retrieval-Augmented Generation, RAG)의 한계를 극복하기 위해, 정보를 효율적으로 정제(refinement)하는 새로운 학습 프레임워크를 제안하며, 기존 RAG 모델 대비 효율성과 성능 면에서 큰 개선을 이루었습니다.

핵심 아이디어는 검색 단계에서 불필요하거나 부정확한 정보를 제거하고, 관련성 높은 정보를 강조하여 생성 단계에 최적화된 학습 데이터를 제공하는 것입니다. 이를 통해, 모델은 잡음(noise)에 민감하지 않고, 더 정확하고 맥락적으로 풍부한 응답을 생성할 수 있습니다.

흥미로운 점은 이러한 접근이 전적으로 비지도 학습(unsupervised learning)에 기반하고 있어, 대규모 라벨링 비용 없이도 고성능 RAG 모델을 개발할 수 있다는 점입니다. 실험 결과, 이 프레임워크는 다양한 데이터셋에서 기존 RAG 방법론을 능가하는 성능을 입증했으며, 정보 검색과 자연어 생성의 융합 가능성을 한 단계 끌어올렸다고 볼 수 있을 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 RAG 시나리오의 성능 향상을 위한 LLM 학습 방법론인 INFO-RAG: Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation가 소개되었습니다. 기존 RAG 모델은 Retrieved Text의 유효성과 정확성에 따라 성능이 크게 좌우되는 문제가 있었으며, 이를 해결하기 위해 INFO-RAG는 세 가지 주요 시나리오(유효한 텍스트 추출, 잘못된 정보 수정 및 보완, 모델 내부 지식 활용)에 대해 적합한 학습 방법론을 도입했습니다. 특히, Unsupervised Multi-task Learning 방식을 활용하여 저비용으로 다양한 Task에 대한 일반화 성능을 확보하였고, 실험 결과 다양한 Task와 데이터셋에서 기존 SOTA 모델 대비 우수한 성능을 기록했습니다.

이번 세미나에서는 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation” 논문을 바탕으로 InfoRAG 방법론에 대한 흥미로운 발표를 들을 수 있었습니다. 기존 RAG 모델이 검색된 텍스트의 품질과 관련성에 따라 성능이 크게 좌우된다는 문제를 지적하며, 이를 해결하기 위해 세 가지 주요 시나리오(정확한 정보 활용, 잘못된 정보 수정, 내부 지식 활용)를 중심으로 비지도 학습 기반의 접근 방식을 제안한 점이 인상적이었습니다. 특히, Retrieved Text가 부정확하거나 불완전할 때에도 모델이 스스로 잘못된 정보를 수정하고 유용한 출력을 생성할 수 있도록 설계된 학습 방법론은 실질적인 활용 가능성을 높인다고 생각합니다. 다양한 시나리오를 재현하기 위해 Wikipedia 데이터를 활용한 점과 Ablation Study를 통해 각 시나리오의 효과를 체계적으로 분석한 점도 돋보였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation” 논문을 통해 RAG(Retrieval-Augmented Generation)의 한계를 극복하고자 제안된 InfoRAG 방법론이 소개되었습니다. 이 연구는 기존 RAG 모델이 검색된 텍스트의 품질과 관련성에 따라 잘못된 정보를 생성하거나 불완전한 답변을 제시하는 문제를 해결하기 위해 설계되었습니다. 특히, 정확한 지식을 포함한 경우, 부정확한 정보를 포함한 경우, 그리고 정답이 없는 경우라는 세 가지 시나리오를 상정하고, 각각에 적합한 비지도 학습 전략을 적용한 점이 흥미로웠습니다. InfoRAG는 위키피디아 데이터를 기반으로 검색된 패시지와 쿼리를 재현하고, 이를 통해 모델이 유용한 정보를 효과적으로 추출하거나, 잘못된 정보를 수정하며, 필요한 경우 내부 지식을 활용할 수 있도록 학습하는 방식을 도입했습니다. 실험 결과, 제안된 방법론은 검색된 텍스트의 다양한 품질과 유형에 대해 높은 견고성과 성능을 보였으며, 기존 RAG 모델의 한계를 비지도 학습을 통해 극복할 수 있는 가능성을 입증했습니다. RAG의 활용도가 증가하는 현재의 연구 동향 속에서 InfoRAG는 실용성과 확장 가능성을 동시에 보여준 유의미한 연구로 평가되었습니다. 좋은 발표 준비해주셔서 감사합니다!

이번 세미나는 기존 RAG의 한계점을 보완하기 위한 방안을 제안한 연구가 소개되었습니다. 제안하는 InfoRAG 라는 방법론은 RAG의 과정 중 retrieval로부터 retrieve 된 문서들을 활용하여 LLM을 학습하는, 즉 결과적으로 정답이 존재하는 입출력 쌍이 아닌 방식인 비지도 학습 방식을 적용합니다. 학습시에는 wikipedia 문서로부터 k개의 연속된 문장들을 구축하여 각 문장들을 특정 step을 기준으로 prefix(입력)와 target(출력)을 정해서 미리 정해놓은 세가지 시나리오에 따라 학습합니다. 즉,실제 추론 과정에서 retrieve 되는 다양한 문서들에 대응할 수 있는 능력을 키울 수 있도록 함입니다. 별도의 labeled 데이터 없이 Generator(LLM)을 학습할 수 있는 좋은 방안으로 생각됩니다. 더불어, retrieve 과정 이후의 모습에 대한 상황에 대해서 학습한 것으로 판단되는데, 이것을 과연 RAG와 연관이 있다고 판단할 수 있을지는 모르겠습니다. 조금 극단적으로 표현하면, RAG와 상관없이 LLM을 비지도학습 한 것으로 볼 수 있는 것이 아닐까 싶습니다. RAG와 연결짓기 위해서는 실제 retrieve 과정이 포함되어야 하지 않나 생각합니다. 아이디어는 참신한 연구입니다. 좋은 발표 감사합니다.