오늘 세미나는 "SELF-REFINE: Iterative Refinement with Self-Feedback" 논문을 주제로 진행되었습니다. 해당 논문은 LLM을 refine하여 보다 정확하고 유저가 원하는 답변을 얻을 수 있도록 해줍니다. 기존에 refinement를 위해서는 refine 데이터와 human annotation이 필요했지만, 본 모델은 LLM 자체를 refine과 feedback 생성에 활용하여 human annotation의 필요성을 최소화 하였습니다. 정해진 prompt를 기반으로 LLM에 질문을 입력, 이에 대한 feedback 생성, feedback을 반영한 refined된 답변 생성의 과정을 통해 보다 relevant한 답변을 생성하도록 보장합니다. 비교적 간단한 방법론에도 불구, Self-Refine은 매우 좋은 성능을 거두었으며, 개인적으론 labeled된 데이터 셋에 대한 의존도를 낮췄다는 점에서 매우 흥미로운 것 같습니다. ChatGPT의 등장 이후 LLM이 다양한 task의 backbone으로 사용되고 있고, 이전에는 상상하지 못한 창의적인 task가 생기고 있는데 이러한 흐름을 파악할 수 있어서 매우 유익했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "SELF-REFINE: Iterative Refinement with Self-Feedback"에 대해 소개해주셨습니다. Self-refine은 간단히 말해, 어떠한 input에 대해 도출된 output을 평가하고(feedback) 수정하는(refine) 과정을 모델 스스로 진행하는 방법론입니다. 이때에는 하나의 LLM만이 사용되며, 이전 단계의 feedback과 output을 바탕으로 feedback-refine의 과정을 반복하여 적절한 refined output을 얻어내게 됩니다. 특히, 기존 refinement 방법론들의 경우 refine을 위해 모델을 학습시키기 위해 추가적인 학습 데이터 및 human annotation 데이터가 많이 필요하다는 한계점이 있으나, Self-refine은 refinement를 위한 추가적인 데이터가 필요하지 않고, response에 대한 feedback과 refine에서도 사람의 역할이 전혀 필요하지 않은 부분이 큰 의의라고 생각합니다. 방법론에 대한 설명 외에도 기존 refiner들의 종류 및 evaluation method에 대한 소개로 함께 진행해주셔서 방법론이 가지는 차이점과 의의를 이해해볼 수 있었습니다. 방법론이 매우 간단하면서도 기존 LLM의 한계점을 보완하며, 또한 성능도 어느정도 우수하게 나왔다는 점이 흥미로웠습니다. 좋은 발표 감사드립니다.

금일 세미나에서는 "SELF-REFINE: Iterative Refinement with Self-Feedback" 논문을 주제로 진행되었습니다. 해당 연구는은 Large Language Model의 한계를 극복하기 위해 인간의 문제 해결 사고 패턴을 모방한 스스로 피드백을 통해 개선을 이룬다는 주제를 중심으로 진행 되었습니다.. 다양한 연구들을 통해 점차 실제 인간의 사고 방식 패턴을 모방하는 단계에 접근하고 있는데, 점차 인간의 개입을 줄이고자 하는 연구 방향이 흥미로웠습니다. 이번 연구는 기존에 시도되었던 방법론들과 달리 동일한 모델을 활용하여 추가적인 비용이나 강화학습이 필요하지 않음에도 불구하고, 주어진 문제를 더욱 효과적으로 해결할 수 있는 방법을 제시하였습니다. 이 과정에서 과거의 경험 기록을 추가하여 유지하는 방식은 대화 모델이 과거의 실수를 학습하고 방지 할 수 있게끔 도와줍니다. 이러한 접근 방식은 흥미롭고 가치 있는 연구로 소개된 논문의 결과와 다양한 작업에서 모델의 성능을 더욱 개선할 수 있는 가능성을 보여주었습니다. 좋은 발표 감사합니다.

해당 세미나는 "SELF-REFINE: Iterative Refinement with Self-Feedback"로 진행되었습니다. 최근 LLM의 등장으로 제안되는 방법론의 스타일 또한 바뀌었다는 것을 느낄 수 있습니다. 해당 논문 또한 그러한 트렌드가 잘 반영된 논문이라고 느꼈습니다. 초기의 논문들은 사람이 개입되어 모델의 writing 퀄리티를 향상시키는 방법이 많이 제안되었습니다. 모델의 성능이 향상되면서 사람이 아닌 모델을 이용하여 output을 개선하는 방법들이 많이 등장하고 있습니다. 해당 방법도 input 구성만 사람이 조정하고, 이후 feedback과정은 모델이 하고 있습니다. 과거의 모델 학습 과정은 gradient를 이용하여 model weight를 어떻게 잘 업데이트 하는지 집중했다면, 현재는 다른 방향으로 모델 내부가 아닌 학습 하는 과정의 전체적인 틀에 집중하고 있다는 느낌을 받았습니다. self-refine은 generator, refiener, feedback probider를 하나의 모델로 사용합니다. 하나의 모델에 여러 역할을 부여하여 writing을 개선시키는 것은 효율적이며, 해당 방법을 진행되었을 때 첫번째 step에서의 output보다 여러번 개선된 output을 사람이 더 선호한다는 결과와 평균적으로 task 성능이 약 20%향상 되었다는 결과를 주고 있습니다. 좋은 발표 감사합니다.

이번 세미나에서는 추가적인 데이터 및 모델 학습 없이 더 나은 결과를 생성할 수 있도록 하는 방법인 Self-Refine을 제안한 “SELF-REFINE: Iterative Refinement with Self-Feedback” 논문에 대해 다뤄 주셨습니다. Refine이란 마치 강화학습 처럼 최적의 결과를 얻을 때 까지 반복해서 생성하는 것으로, 본 논문에서는 기존의 refiner를 통해 refinement를 이용하는 것과는 달리 LLM 모델을 이용해 반복적으로 스스로 refinement를 수행하는 방법을 제안하고 있습니다. 이미 학습이 완료 된 LLM을 사용하기 때문에 추가적인 학습이 필요 없으며, 3종류의 prompt : Intial generation, feedback, refine만을 이용해 refinement가 가능함을 보여주고 있습니다. 이를 한번만 수행하는 것이 아닌 stop-condition을 만족할 때 까지 feedback - refine step을 반복하게 됩니다. 최근 chatGPT, GPT4를 필두로 많은 LLM이 개발됨에 따라 모델 자체 보다는 어떻게 하면 데이터를 잘 학습 시키고, 어떻게 하면 이 학습 된 LLM을 잘 활용할 수 있는지에 집중하는 연구들이 많이 이루어 지고 있는 듯 합니다. 아직 까지는 Vision에서는 이러한 추세는 볼 수 없었는데 multi modal로 NLP와 Vision이 이어지면서 이러한 추세가 Vision 쪽으로도 넘어올 수 있지 않나 라는 생각도 드는 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나는 SELF-REFINE: Iterative Refinement with Self-Feedback를 주제로 진행되었습니다. Refinement란 output에 대해 개선점을 찾고 이를 반영해서 output을 개선하는 과정을 반복하는 것을 말합니다. 기존의 refinement 방법론들은 refinement를 위한 모델을 학습 시키거나 데이터 수집 비용이 발생하였습니다. 본 논문에서는 LLM 자체가 3가지의 prompt를 통해 initial generation, feedback, refine를 수행하는 방법론을 제안합니다. 어떻게 보면 너무나 당연하게 여겼었던 단독 refiner에 대해서 다시 한번 생각해본 아이디어가 돋보였습니다. 또한 LLM을 통해서 여러 task를 한번에 수행하도록 한 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SELF-REFINE: Iterative Refinement with Self-Feedback 논문을 다루어 주셨습니다. SELF-REFINE은 output에 대해 feedback과 refinement를 반복하면서 output quality를 향상시키는 방법론이며, 추가적인 데이터 및 모델 학습을 필요로 하지 않고 있습니다. 본 논문 발표에 앞서 reinforcement learning, learned refiner와 prompted refiner를 포함한 refinement 접근법을 다루어 주어서 추후 발표 내용을 이해하기 수월하였습니다. SELF-REFINE은 크게 initial generation, feedback, refine, iteration으로 구성된다고 할 수 있습니다. 초기 generation에서는 모델을 이용하여 초기 output을 생성하며, 다음으로 모델로 output에 대한 feedback을 생성합니다. 피드백 과정에서는 모델이 actionable하고 구체적인 feedback을 생성하도록 prompting을 해주게 됩니다, 마지막으로는 모델로 피드백을 하여 output을 refine시켜줍니다. feedback-refine step에 해당되는 iteration을 진행하면서 stopping condition을 만족할 때까지 반복하게 됩니다. 이전 iteration에 대한 정보를 제공하기 위해 prompt에 이전 단계의 feedback과 output을 추가해주고 있습니다. 실험 부분에서 title이 주어졌을 때 줄임말을 생성하는 Acronym Generation task와 주어진 keyword로 문장을 생성하는 Constrained Generation task를 제안한 점이 새로웠습니다. 또한, 실험 부분에서 제공해주신 예시에서 볼 수 있듯이 website layout generation과 같은 복잡한 task에 있어서도 SELF-REFINE의 잠재력을 보였다는 점이 인상적이었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 “Self-Refine: Iterative Refinement with Self-Feedback”이라는 연구를 소개해 주셨습니다. 해당 논문에서 제안한 방법론은 LM의 Output에 대해 Feedback과 Refinement를 반복하면서 Output의 Quality를 향상시키는 방법론을 제안했습니다. GPT-3의 Task Description 및 Demonstration에서 더 발전되어 Instruction 형태로 LLM들이 Multi-task들을 Text-to-Text로 풀이가 가능하게 된 이후로 사용자의 Instruction을 잘 따르도록 LLM을 Tuning하는 다양한 방법론들이 제안되어왔습니다. 또한 ChatGPT가 정말 다양한 분야에서 사람들이 사용하게 되며 연구에 대한 수요도 증가하게 되어 더욱 활발히 연구되고 있다고 느껴집니다. API 형태로 사용하는 흔히 Black-box LLM이라고 불리는 방법론들은 Hidden States에 대한 접근이 불가능하기에 Output Text만을 가지고 응용하는 연구들도 진행되고 있습니다. 이번 세미나에서 소개해주신 Self-Refine 또한 LLM의 Output만을 이용해 모델 스스로 Feedback과 Refine 과정을 특정 Stopping Condition이 만족할 때까지 반복하는 구조를 띄고 있습니다. 단순히 모델 Output을 기반으로 Input을 재구성하는 방식을 취하기에 별도의 모델 학습이 필요하지 않다는 점이 큰 장점입니다. 방법론 또한 직관적이고 실험 결과 성능도 기존 모델보다 월등히 높은 성능을 보인 점이 인상적이었습니다. 그러나 기본으로 사용되는 LLM의 성능 자체가 뛰어나야 Self-Refine 과정에서 더 많은 성능 개선이 이루어진다는 점에서 GPT-3.5나 GPT-4보다 작은 LLaMA나 Vicuna 등에 대한 적용 방안에 대해서도 연구가 이루어지면 좋을 것이라 생각됩니다. 좋은 발표 감사드립니다.

본 세미나에서는 SELF-REFINE: Iterative Refinement with Self-Feedback라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 방법론은 output에 대한 feedback과 refinement를 반복하며 ouput의 quality를 향상시키는 방법론입니다. 추가적인 데이터와 모델의 학습이 필요하지 않다는 특징으로 인해 다양한 task에 대해 쉽게 적용 가능한 방법론입니다. 본 논문에서 제안하고 있는 방법론을 통해 LLM으로 하여금 human problem-solving의 본질적인 특징을 학습할 수 있도록 합니다. Iterative-self refinement를 통해 인간이 언어를 배우는 과정과 비슷하게 LLM이 학습된다고 판단됩니다. 구체적으로 해당 과정은 initial generation, Feedback, Refine, Iteration의 과정을 통해 진행됩니다. 이러한 과정을 통해 다양한 task에서도 우수한 성능을 기록하였습니다. LLM이 단순히 stochastic parrot이 아니기 위해서는 본 논문에서 제안한것과 같이 feedback과 refinement가 필수적이라고 생각합니다. 좋은 발표 감사합니다!

이번 세미나는 SELF-REFINE: Iterative Refinement with Self-Feedback 논문을 바탕으로 진행되었습니다. 해당 논문에서 제시하는 Self-refine이라는 개념을 알기 위해서는 먼저 Refinement에 대해서 알아야 합니다. Refinement란 어떠한 Output이 제공된다면, Output에 대한 개선점을 제공하는 Feedback과 해당 Feedback을 바탕으로 Output을 개선하는 방법론입니다. 이때 Refinement가 제시된 이유는 기존 LLM이 다양한 Instruction에 대해 우수한 Output을 생성할 수 있지만, 복잡하고 다면적인 Instruction에 대해서는 정확하게 Output을 생성하지 못하는 경우가 있기 때문입니다. 또한, 기존 Iterative Refinement 방법론들은 Refinement를 위하여 데이터 수집 및 모델 학습 과정에서 비용이 발생하였기에 Iterative-self refinement가 제시되었습니다. 이러한 Self-refinement는 Model을 통하여 Initial output을 생성하는 Initial Generation 단계와, Output에 대한 Feedback을 생성하는 Feedback 단계, 모델에서 Feedback을 반영하여 Output을 Refine 하는 Refine 단계로 나누어지며, 이 과정을 Output이 Stopping condition을 만족할 때까지 진행하게 됩니다. 결국, 이 단계에서 필요한 것은 하나의 LLM과, 3종류의 Prompt(Initial Generation, Feedback, Refine) 뿐이라고 볼 수 있습니다. 결국, 해당 논문에서는 해당 방법론을 제안함으로써 다양한 Task에 대해 SELF-REFINE의 유용성과 확장성을 입증하면서, Human creative process의 비용을 줄이는 연구 방향에 기여했다고 볼 수 있습니다. 해당 논문에서 제시하는 개념을 처음으로 접하여 생소하였지만, 발표자분이 Background부터 하나하나 자세하게 설명해주셔서 이해가 수월했습니다. 재미있는 개념을 하나 알게 된 좋은 세미나였습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 Prompting을 통하여 Large Language Model의 생성문의 품질을 향상시키는 "SELF-REFINE : Iterative Refinement with Self-Feedback"이었습니다. 최근 LLM이 다양한 태스크와 도메인에서 주목할만한 성능을 보여주고 있습니다. 그 과정에서 단순히 Instruction과 Input만 주어지는 경우 여전히 비교적 낮은 성능을 보이고 있고, 이를 개선하기 위해 In-Context Learning에 사용될 Demonstration을 효과적으로 Retrieval하거나 Model의 Output을 개선시키는 Refinment와 관련된 연구들이 활발히 진행되고 있습니다. 본 논문에서는 모델의 Output을 다시 Refinement를 유도하는 Prompt와 함께 입력하여 스스로 품질을 개선시키도록 하고 있습니다. 그 과정은 생성-피드백 작성-수정으로 이루어지며, 특히 피드백 작성과정에서 수정해야 할 문구와 수정 방안을 구체적으로 언급하도록 하고 있습니다. 이와 같은 전과정은 별도의 모델 업데이트없이 ICL을 이용하여 이루어지고 있습니다. 단순히 이러한 prompting 기법을 도입하는 것만으로도 모델의 성능을 비약적으로 향상시키는 모습을 실험을 통해 보여주고 있으며, 특히 이전 연구들과 비슷하게 모델의 성능이 좋을수록 Instruction을 이해하는 능력이 좋아지기 때문에, 성능 개선 폭 역시 큰 것을 볼 수 있습니다. 하지만 여전히 매 단계에 해당하는 Prompt와 Demonstration을 매 태스크마다 새로이 설정해야 하고, Prompt 전반의 내용에 따라 성능이 불안정할 수 있다는 추측이 가능합니다. LLM 활용의 중간 단계로서 유의미한 연구이고, 최근 연구되는 Reasoning Path와도 결을 같이하는 좋은 연구인 것 같습니다. 친절한 설명을 많이 담아 세미나를 준비해주셔서 이해하기 수월했던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나는 SELF-REFINE: Iterative Refinement with Self-Feedback 논문에 대해서 소개해주셨습니다. 해당 논문은 Single LLM으로 initial generation을 수행하고 generated output에 대해 Feedback과 Refine의 과정을 iteration하여 output quality를 향상시키는 방법론 입니다. 학습 데이터와 모델 학습이 필요하지 않다는 장점이 있고 다양한 Task에 적용가능한 방법론이라는 점에서 인상 깊었습니다. LLM의 연구가 지속적으로 발전되어 오면서 점차 기존 LLM을 어떻게 활용할 것인지에 대한 방향으로 많이 연구가 되고 있는 듯 합니다. Transformer가 나온 직후 수많은 연구가 진행되듯이 LLM에 대한 가능성 및 실험에 대한 capacity를 줄여나가면서 큰 기업 뿐만 아니라 연구실 단위에서도 연구가 가능해지면서 많은 가능성과 문제점들을 확인하는 과정인 것 같습니다. 그런면에서 이번 세미나의 내용은 기존 LLM을 self-refine을 iterative하게 진행하여 LLM의 성능이 크게 향상된다는 점에서 인상 깊었습니다. 좋은 발표 감사합니다.

본 세미나는 김중훈 발표자님의 "SELF-REFINE: Iterative Refinement with Self-Feedback"이라는 논문을 바탕으로 진행되었습니다. 해당 방법론은 Model의 Output에 대해 Feedback과 Refinement를 반복하면서 output quality를 향상시키는 것이 핵심입니다. 특히 추가적인 데이터 및 모델 학습이 필요하지 않아, Single LLM으로 다양한 Task에 대해 쉽게 적용 가능할 수 있는 점이 산업적으로나 연구적으로 획기적이라고 생각하였습니다. 하지만 몇 가지 의문이 들었던 점이 Chain-of-thought이나 Self-ask 같은 인터리빙을 기반으로 반복 수행하는 방법론들과 비교하지 않았던 점이 아쉬웠다고 생각하였습니다. 따라서 해당 연구와 본 연구의 차이점을 찾아보고 방법론들을 비교해보는 것이 개인적으로 가치 있다고 생각하였습니다. 마지막으로 Blackbox LLM의 문제점이 1) hallucination, 2) Human feedback 이었다고 생각하는데 이 2가지를 모두 해결하는 방법론이라고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 최근에 arXiv에 게재된 SELF-REFINE: Iterative Refinement with Self-Feedback 논문으로 진행되었습니다. 해당 세미나는 단일 LLM으로 Initial Generation부터 Feedback, Refine까지 모두 수행하는 SELF-REFINE이라는 방법론을 제시한 논문이며 모든 단계에서 학습을 필요로 하지 않는 방법입니다. 각 단계에 맞는 프롬프트가 주어지고, 이전 단계에서의 아웃풋을 그 다음 단계에서 입력으로 함께 활용하여 매 단계에서 생성을 진행하며, 이 과정에서 추가적인 annotation 데이터가 필요 없다는 것이 큰 contribution인 것 같습니다. 관련된 예제를 많이 첨부해주셔서 발표 내내 흥미롭게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SELF-REFINE: Iterative Refinement with Self-Feedback 논문을 소개해 주셨습니다. 본 논문은 chat-GPT 이후 크게 인기를 얻고 있는 모델 자체의 Feedback을 활용하는 연구로 반복적으로 스스로의 응답을 강화하고자 합니다. 유사한 연구가 많이 있으나 본 연구의 핵심은 output을 산출과, feedback을 산출이 모두 하나의 모델을 통해 이루어진다는 점입니다. 즉, 사람의 개입이 최소화 되어 덕분에 unlabeled 환경에서 좋은 성능을 보였습니다. 추가로 학습 데이터와 모델 학습이 필요하지 않기 때문에 바로 다양한 task에 적용이 가능하며 논문에서도 단순한 dialogue response 생성으로 부터 code optimization까지 다양한 task의 성능을 리포팅 하였습니다. 모델이 스스로 학습을 위한 데이터를 구성하는 최근 연구의 흐름을 보면 결국 사람이 필요한 영역은 model의 output을 정말 human evaluation 처럼 믿을 만한 metric으로 평가하는 부분이라는 생각이 듭니다. 최근 연구 트랜드를 다시 생각해 볼 수 있는 기회였습니다. 좋은 발표 감사합니다.

이번 세미나는 자연어처리 분야 중 텍스트 생성(text generation) 관련 여러 과업에 적용할 수 있는 언어모델의 refinement 기술을 주제로 진행되었습니다. 소개된 논문의 제목은 SELF-REFINE : Iterative Refinement with Self-Feedback 입니다. 제목에서도 알 수 있듯이 모델의 결과물(output)에 대해 피드백과 refinement를 반복(iterative)하는 과정을 통해 정확한 생성문을 만들어낼 수 있도록 하는 것이 핵심입니다. 언뜻보면 강화학습과도 연관이 있어 보이는데, 실제로 이는 refinement 의 방식 중 하나의 갈래로 reward function 을 통해 계속해서 refiner가 진행되도록 하는 방법이 있습니다. 본 방법론은 모델의 학습을 필요로 하지 않으며 Initial generation, 피드백, Refine을 위한 prompts를 이용하는 것이 특징입니다. 이때 피드백이 진행될 때에는 과업마다 상이한 Task-specific prompt를 이용하는 점도 눈여겨 볼 점입니다. 실험으로 진행한 과업들 중 code optimization, code readability 등은 실제 코드로 어떻게 구현했으며 이에 대한 결과물은 어떻게 나오는지 직접 한 번 살펴보고자 합니다. 챗 GPT의 등장 이후 거의 무한한 형태의 텍스트가 생성될 수 있음이 확인되었기에 본 연구 분야가 앞으로 더욱 활발히 진행되지 않을까 생각됩니다. 매우 흥미로운 주제였습니다. 발표 감사합니다.

금일 세미나 시간에는 김중훈 석사과정이 비교적 최근 5월 23일에 아카이브에 소개된 “SELF-REFINE: Iterative Refinement with Self-Feedback” 이라는 논문을 주제로 다루어 보았습니다. 최근 다양한 연구들을 통해서 Large Language Model은 다양한 instruction에 대해 우수하고 일관된 출력을 생성할 수 있게 되었습니다. 하지만, 대화 응답 생성처럼 다양한 목표를 가진 작업이나 프로그램 가독성 개선과 같이 모호한 성격의 정의가 어려운 문제에 대해서는 불충분한 경우가 많은데, 이러한 문제점 해결을 위해 저자들은 인간의 문제 해결 사고 패턴에 착안하여 스스로 feedback을 가혹 refine하는 과정을 대화생성모델에 적용하고자 하였습니다. 물론, 이러한 refinement과정을 LLM에 적용한 시도가 해당 논문에서 처음으로 시도한 것은 아닙니다. 기존 연구들에서는 이 과정을 위해서 학습데이터 셋이나 human annotation과 같은 추가적인 cost가 요구되거나 강화학습이 필요하였지만, 해당 방법론에서는 동일한 모델을 계속적으로 활용한 점이 특징으로 생각됩니다. 해당 방법론을 크게 보면 Initial-Feedback-Refine-Feedback의 순환을 계속적으로 수행하면서 가장 적절한 대화 응답생성을 생성하거나 코드생성을 수행하게 됩니다. 이과정에서 과거의 경험 기록을 계속 append하여 유지하는데 이는 과거의 실수를 학습하고 방지하는 장치라고 생각됩니다. 또한, 피드백 단계에서는 실제로 요구사항을 충족하지 못하는 이유를 좀더 구체적인 action 형태와 phrase를 명시하여 좀 더 개선된 refinement가 가능하도록 하였습니다. 세미나에서 다룬 모델에 대한 내용도 간략하고, 실제 해당 논문 역시 간단명료하게 작성되었지만, 수행한 다양한 task에 대한 모델의 결과들이 흥미롭고 인상적이었습니다. 최근 다양한 연구들을 접하는 과정에서 특히 이러한 LLM과 관련된 대화생성모델에 대한 연구들은 점차 실제 인간의 사고방식패턴을 모방하는 단계에 이르렀는데, 점차 사람의 개입이 줄어드는 방향으로 흘러가고 있다는 게 느껴집니다. 재미있는 논문을 세미나시간을 통해서 소개해준 발표자에게 감사의 인사 전하며 후기 마치겠습니다.