Labeled Data가 부족한 상황에서 딥러닝을 수행할 수 있는 Few-Shot Learning에 관한 논문 리뷰를 들었습니다. 해당 논문은 Matching Network Model의 단점을 극복하는 방법을 제안합니다. 기존 Matching Network의 경우 Episode 내에서 Random으로 Class를 선별하여 Support Set 중 Batch Set에 해당하는 Class를 맞추는 방식으로 학습을 진행합니다. 하지만 Random으로 Training Set에서 Batch를 Sampling하기 때문에 Episode마다 Task의 난이도가 달라지는 문제가 존재합니다. 즉, Episode 별로 모델이 학습하는 효과의 차이가 발생합니다. 이를 극복하기 위해 논문은 Scheduled Sampling 방법을 제안합니다. 해당 방법은 Sampling과정에서 Diversity와 Similarity Metric을 포함하여 Episode의 난이도를 조절합니다.
개인적으로 기존에 많이 접하지 못했던 Few-Shot Learning의 동향에 관해 학습할 수 있었고, Few-Shot Learning을 위한 방법론들을 접할 수 있어 매우 유익했던 시간이었습니다. 대단히 감사합니다.

박중민 석사과정의 세미나 발표를 들었습니다. 코로나로 인해 처음 온라인 세미나로 진행을 했음에도 깔끔하게 진행을 해주셔서 먼저 수고 많으셨다는 말씀을 드리고 싶습니다. 이번에 발표해주신 논문은 Matching Network 를 이용해 One-shot Learning Task에서 Scheduled Sampling 을 적용한 논문입니다. 먼저 발표 초반부에 Labeled Data 확보에 어려움과 이를 해결 하고자 One-shot, Few-shot Learning 등이 나오게 된 배경과 이번 발표 논문에 핵심이 되는 모델인 Matching Network 모델 구조를 그림을 통해 잘 설명을 해주셔서 해당 개념에 대해 리마인드 할 수 있었습니다. 이번 논문에 핵심은 기존 Matching Network 논문에서 Support Set 구성시 Random Sampling 을 사용했던 것을 Scheduled Sampling 으로 변경한 것이었습니다. 이렇게 변경하면서 맞추기 어려운 Episode 구성 대신 모델이 더 잘 학습 가능한 Episode 를 구성할 수 있게 된다고 합니다. 이를 위해 논문에서는 Semanitc Diversity 와 Similarity 를 고려한 Novel Metric 인 Difficulty Measure를 제안하였고, 이 Measure를 기준으로 쉬운 Episode 먼저 학습을 진행하고 점점 어려운 Episode 를 학습하도록 구성한 것이 이번 논문의 핵심 아이디어였습니다. 마지막으로 발표 후반부에서 발표자분께서 위 논문의 한계로 말씀하신 Text Embedding에 치중했다는 부분과 하이퍼파라미터에 설정에 민감하다는 점은 보완되어야 할 사항이라는 점에 공감하고 개인연구 방향도 어느정도 구체적으로 잡으신 것 같아서 좋은 연구 결과물 얻으시면 좋겠습니다. 발표 잘 들었습니다. 감사합니다.

이번 세미나 발표는 박중민 석사과정의 one-shot learning과 관련된 논문이 었습니다.
해당 논문은 matching network를 이용한 one-shot learning에서의 scheduled sampling 방법에 대한 내용이었습니다. 기존의 one-shot learning은 support set을 구성할 때 random sampling을 통해 구성하기 때문에 semantic relation 정보를 무시하여 품질이 낮은 support set을 구성한다는 문제가 있습니다. 예를 들어, 고양이를 분류한다고 할 때, {cat, tree, grass} 는 {cat, dog, lion} 보다 구분하기 쉬운 support set이라 할 수 있습니다. 해당 논문은 {cat, dog, lion} 과 같이 유사한 레이블로 구성 되어 있는 support set을 구성하기 위해 Difficulty Measure를 제안하였습니다. 해당 논문의 방법론은 support set을 구성하는 아이디어는 좋았지만, 발표자인 박중민 석사과정의 의견대로 label을 embedding 할 때 text embedding을 사용했다는 부분과 설정 해줘야할 하이퍼 파라미터들이 많다는 점에서 하이퍼 파라미터 설정에 따른 실험 결과 매우 상이하게 나타날 수 있을 것이라 생각됩니다.
마지막으로, 꾸준히 Few-shot learning에 대해 개인연구를 진행하고 있는 것으로 알고 있는데, 졸업 전까지 좋은 연구 결과를 얻었으면 좋겠습니다.

박중민 석사과정의 few-shot learning에 대한 발표를 들었습니다. 꾸준하게 해당 분야에 대한 발표를 진행해주어서 청자로서 이해의 폭이 늘어가고 있는 것 같습니다. 논문을 따로 열심히 찾아보지 않고도 분야를 이해할 수 있게 좋은 발표를 해 주어서 고맙다는 말을 먼저 하고싶습니다.
본 세미나에서는 지난번 발표를 해준 matching network에서 발전된 Scheduled sampling for one shot learning via matching network을 발표하였습니다. Matching network가 다소 초반에 나온 논문이고 지금 보면 여러모로 공격을 받을 여지가 있는 논문이며 오늘 발표를 진행한 논문이 이러한 약점을 contribution으로 잘 타겟하였다고 생각이 듭니다. 또한 저자들이 내세운 의문을 해소하기 위해 새롭게 제안하는 발전된 형태의 방법도 제가 볼때는 매우 합리적이고 논리적으로도 타당하다는 생각이 들었습니다. 한가지 재밌었던 점은 결과에서 저자들이 제안한 방법들(Linear, Exponential, Sigmoid) 중 baseline을 이기지 못하는 방법들이 매우 많습니다. 하지만 제안한 방법들 중 하나라도 baseline을 이기는 경우가 '많기' 때문에 좋은 결과라고 인식되는 것 같습니다. 이러한 실험 결과 제안도 연구자로서 배울법한 방법이지 않을까 생각합니다. 하이퍼파라미터 탐색에 대한 시각화도 매우 잘 했다는 생각이 들었습니다. 발표를 듣는동안 발표자가 만든 추가적인 시각화 자료와 수학적인 설명 덕분에 매우 쉽게 논문의 흐름을 따라갈 수 있었습니다.
끝으로 개인연구의 경우 조금씩 실험을 진행하고 왜 되지 않는지를 고민하고 수정하는 작업을 꾸준히 하시는 것 같아 대단하다는 생각이 듭니다. 지속적으로 고민을 하다보면 졸업 전까지 꼭 본인만의 컨트리뷰션을 찾을 수 있을 것이라 믿습니다.

N-shot learning이 나타나게 된 배경부터 소개해주었고, 이 외에도 레이블 데이터가 없는 많은 경우에서 어떤 식의 방법론들이 연구되고 있는지 볼 수 있었습니다.
Matching network model에서 진행했던 에피소드 트레이닝을 그림과 식을 같이 다시 짚어주어서 이해하기 수월했습니다. 오늘 소개해준 논문에서는 기존 matching network 메커니즘에서 의문을 가지면서 연구된 논문이었습니다. 기존에는 에피소드 트레이닝을 하기 위한 데이터를 구성할때 랜덤하게 샘플링하지만, 그렇게 할 경우 고르게 학습되지 않을 가능성이 있으며, 특정 class에 대해서만 잘 학습되는 격차가 생길 수 있다는 것이었습니다. 그렇게 되면 결국은 one-shot learning이 제대로 이루어지지 않게 되기 때문입니다. 그래서 본 논문에서는 다양성을 가지면서, 좀 더 어려운 에피소드를 구성하기 위한 metric을 제시합니다. 레이블의 워드 벡터를 통해 벡터간의 방향을 기반으로 하여 다양한 클래스의 데이터들이 하나의 에피소드를 이루게끔 만들었습니다. 이렇게 설정한 difficulty measure를 이용해서 스코어를 산출하고 이를 기반으로 샘플링을 하도록 수정한 것이 본 논문의 contribution입니다. 사실 전체적인 내용을 살펴보면 엄청난 아이디어가 들어갔다기보다는, 기존에 존재하는 모델에서 문제점을 찾고 해당 문제점을 해결하기 위해 여러 방법론을 적용해보는 과정입니다. 해당 field에 대해서 이해도가 높은 편이 아님에도 논문의 내용을 이해하는데 어려움이 없도록 설명해주어 좋았습니다.
또한 소개해준 논문의 전개처럼, 본인도 기존에 존재하는 문제점을 찾고 어떤식으로 해결할지 탐구하는 과정이 인상적이었습니다. 이러한 자세가 참된 연구자의 자세가 아닐까 생각했고, 저도 끊임없이 발전하고 개선하는 연구자가 되어야 겠다는 교훈을 얻었습니다. 감사합니다.

이번 논문은 matching network를 이용해 one-shot learning에서 scheduled sampling을 하는 방법에 대한 논문입니다.
발표 가장 첫 부분에 n-shot learning에 대한 내용을 짚어주셔서 n-shot learning이 무엇인지, label이 없을 때 잘 쓰일 수 있다는 장점 등을 알 수 있었습니다. 여러가지 task를 수행하는 Meta Learning의 경우 training set에서 random sampling을 수행하면 그 샘플들이 비슷한 정보를 담고 있어 classification하기 너무 어렵거나, 아주 다른 정보를 갖고 있어 너무 쉬울 수 있습니다. 이 논문은 이 랜덤성을 개선하고자 sample이 얼마나 어려운지를 판단하는 기준인 'Novel Metric'을 설명하였습니다.
이러한 단점이 존재해도 랜덤이라는 이유로 개선하지 않았던 기존의 관점에서 탈피해 새로운 sampling 기법을 만드는 관점이 신선했고 이러한 새로운 관점을 예시를 들어 잘 설명해주어 좋았습니다. 또한 개인 연구를 할 때 성능이 낮게 나온 원인을 자세하게 파악하고 해결하는 방법을 탐색하는 과정이 배울만한 자세입니다. 이번 논문도 그렇고 발표자의 개인 연구 과정도 그렇고 중간에서 만족하지 않고 개선하려고 했던 점에서 자극을 받았습니다. 생소한 분야에 차근차근 설명을 해주어 쉽게 이해했습니다. 감사합니다.

few shot learning과 관련된 논문 발표를 들었습니다. 본 논문에서는 matching network에서 batch를 구성할 때 랜덤 샘플링을 하는 과정에서 쉬운 class와 어려운 class의 구분 없이 배치가 구성되기 때문에 학습이 제대로 되지 않을 수 있다는 문제를 지적합니다. 이를 위해 자체적으로 class간 쉽고 어려움을 구분하는 metric을 제안하고 이에 따라 쉬운 배치로 학습을 시작해 점점 어려운 배치를 학습에 이용합니다. metric은 diversity와 similarity를 이용해 계산하는데 이 때 class의 단어 벡터를 사용합니다. 이 중에서 similarity matrix의 행렬식을 이용하는 diversity metric를 처음 접했는데 굉장히 신선했습니다. 기존에 자주 사용되던 similarity metric은 본 논문에서 나온 것과 같이 벡터간의 거리 정보를 주로 사용했습니다. 해당 diversity metric을 본 논문에서 한 것처럼 거리 정보와함께 사용한다면 few shot learning 말고도 다양한 분야에서 활용할 여지가 많겠다고 생각되었습니다. 최근 저도 label이 적은 상황일때의 학습에 대해 많은 관심을 갖고 공부하고 있는데 많은 것을 배울 수 있던 세미나였습니다. 감사합니다.

박중민 학우가 발표하는 분야는 머신러닝 및 딥러닝 분야가 갖고 있는 근본적인 한계에 대해 다루고 있기 때문에 항상 더 관심이 가는 것 같습니다. 오늘 발표한 논문은 이전에 발표하신 논문에서 제안한 matching network의 한계점을 지적하고 이를 극복하는 방법을 제시하였습니다. 항상 논문을 읽거나 그 논문에 관한 발표를 들을 때 저자들이 어떻게 자신들이 풀어낸 문제에 대해 정의 혹은 설명하는지 그리고 그에 맞는 방법론을 적용하여 그 문제를 해결하기 까지의 과정을 어떻게 논리적으로 연결하는지를 집중해서 파악하려고 합니다. 그 관점에서 이번 논문과 그에 대한 박중민 학우의 발표는 배울 점이 많았습니다. Random sampling에 기반한 기존의 방법론의 한계점을 설명하고 이를 보완하기 위해 어려움의 정도를 측정할 수 있는 지표를 도입하여 문제를 해결하는 일련의 과정이 끊김없이 잘 이해가 되었고 앞으로 연구를 하는데 있어 본받아야겠다는 생각을 하게 되었습니다.

해당 세미나에서는 기존 레이블이 없거나 그 수가 제한적인 상황에서 support set(레이블이 존재하는) 과 레이블이 존재하지 않는 이미지를 활용하고자하는 few-shot learning의 상황에서 어떻게 효율적으로 sampling을 수행하여 해결하고자 한 "Scheduled sampling for one-shot learning via matching network" 논문을 다루어 보았습니다. 본 논문에서는 기존 matching network가 단순 무작위의 샘플링 전략을 통해 이미지를 추출하는 방법 대신 suppot set에서의 학습난위도를 평가가능한 diversity와 similarity metric을 도입하여 sampling 전략을 수립하고, 기존 matching network 학습을 효율적으로 이끄는 것을 결과로 보여주었습니다. 이과정에서 발표자께서 diversity와 similarity의 기하학적의미를 다양한 시각자료를 통해서 설명해주어 어려운 내용도 쉽게 따라갈수 있었습니다. 해당 논문에서 학습의 hyper-parameters λ 와 ω 에 따른 예측정확도와 같은 실험결과의 시각화 도표 및 차트 등이 명시적으로 잘 확인할 수 있어, 논문작성시 좋은 사례가 되었다고 생각합니다. 프로젝트와 수업와중에서도 좋은 세미나를 진행해주어 매우 감사의 인사 전하며, 좋은 연구 결과를 기대하겠습니다. 감사합니다.

해당 세미나에에서 레이블이 없거나 제한적인 상황에서 활용되는 few shot learning 관련 논문이였습니다. 현실적인 데이터에 확률기반 데이터 생성이 힘든것을 설명하며, 제한 된 상황에서 학습하는 여러 관점을 설명해주었습니다. 특히 관심 있게 보았던 것은 메타러닝 learning to learn 관련 항목 중 메트릭 learning 이였습니다. metric learning은 다양한 관점에서 사용되고 있는데, 최근 커널함수를 적용하여 해당 커널을 찾는 방법론들이 적용 되고 있는것을 보았습니다. 에피소드 구성에서 랜덤샘플링으로 구성하는 것은 너무 쉬운 task 가 될 수 있기 때문에, 학습에 도움이 되지 않는다고 합니다. 이는 pair-wise learnng 에서 관점과 유사했습니다. 개인적으로 연구하는 분야에서도 최근 샘플링 관련 논문들을 읽고 있는데, 직접 하면서도 샘플링에 따라 모델이 학습하는 방향 및 능력이 매우 달라지는 것을 보았습니다. 특히 유사성을 계산하여 difficulty를 고려하고 이를 통해 어려운 태스크를 생성해 내는 것은 모델에게 학습시킬 때 간단히 적용할 수 있는 아이디어 였던거 같습니다. 해당 분야 전체에 많은 지식이 없었지만, 적용하는 개념은 근본적으로 비슷하다고 생각합니다. 다양한 도메인의 세미나를 준비해준 박중민 석사과정의 세미나에 상당히 많은 생각을 받았고, 앞으로도 좋은 세미나 부탁드립니다. 감사합니다.

데이터가 부족한 상황에 필요한 모델을 설명해주셨습니다. 이는 현실적으로 레이블인 부족한 상황에 많은 도움이 될 것 같습니다. 먼저 이 논문은 확률적 생성방법과 판별적 방법중에 판별적 방법에 대해서 자세히 설명해주고 있습니다. 전반적으로 트레이닝 전략에는 에피소드(by sampling) 러닝을 주로 사용되는 것 같습니다. Training class에 대해서 support set(랜덤 3개의 클래스)과 batch set(그 중에 하나의 클래스)를 구성합니다. support set과 batch set사이의 거리를 측정하기위해 커널 함수를 정의하였고 여기서 support set은 다양할수록, batch set은 유사할수록 좋기 때문에 이 특성에 대한 metric을 외적 및 L1-norm을 구해서 에피소드의 다양성과 유사성을 구한다는 것을 알 수 있었습니다. 깊은 이해를 위해서는 직접공부와 연구가 개인적으로 필요할 것 같습니다. 감사합니다.

박중민 석사과정의 one-shot-learning 논문 리뷰 잘 들었습니다.
해당 논문은 matching network를 활용한 schedule sampling을 집중적으로 다루고 있습니다.
기존 논문의 schedule sampling은 support set을 random Sampling을 통해 구성하기 때문에 때로는 모델이 학습하기 어려운 set이 구성되지만
때로는 품질이 낮은 set이 support set으로 구성되기 때문에 학습하는데 비효율적인 단점을 갖고 있습니다.
따라서 논문에서는 다양성과 유사성 metric을 만드는 방법과 support set을 구성하는 방법에 대해 이야기 하고 있습니다.
먼저 다양성과 유사성 확보하기 위하여 label의 word-vector을 활용한 다양성 metric과 유사성 metric을 논문에서 제시합니다.
실제 적용방법은 먼저 랜덤셈플링을 통해서 다양한 후보 support Set을 만들고 그 후보안에서 라벨들의 word-vector로 다양성과 유사성 score을 구한뒤
score에 따라 각 후보들에게 확률을 부여합니다. 그 후 확률에 따라 후보를 추출하여 support Set을 구성하는 방법으로 진행합니다.
이 논문의 샘플링 아이디어는 랜덤 샘플링을 적용한 다양한 알고리즘에 적용되어 성능을 높일 수 있을것 같아 보입니다.
감사합니다.

Matching Network에 Scheduled sampling 기법을 적용하여 성능을 개선한 연구에 관한 발표였습니다. 처음 few shot learning과 matching network에 대해 설명을 들었을 때는 실험 자체의 셋팅이나 작동 원리에 대해 명확하게 이해하지 못했었는데, 이번 발표에서 그림과 적절한 예시가 함께 설명되어 명확하게 해당 분야 및 방법론에 대해 이해할 수 있었습니다. 제안 방법론인 scheduled sampling은 기존 matching network가 가지는 random sampling 방식의 효과에 의문을 품고, 모델이 보다 고난도의 support set과 batch set으로 학습을 진행할 수 있도록 diversity와 similarity에 기반한 sampling 방법을 제안하였습니다. 개인적으로 궁금했던 것은 해당 방법론을 적용하면서 연산 상의 병목이 생기지는 않았는가 하는 부분이었습니다. 또한 발표자분이 지적한 것과 같이 하이퍼파라메터에 대한 민감도와 text embedding의 사용이 개선의 여지가 있다는 생각이 들었고, 개인연구에서 타 거리 metric을 사용하여 거둔 성능향상이 인상깊었습니다. 지난 학기 프로젝트를 함께 할 때 해당 방법론에 대한 아이디어를 함께 얘기나눴던 기억이 나는데, 유사한 연구가 존재한다는 점이 오히려 연구의 방향이 잘 잡혀있었다는 생각이 들었고, 발표 중에 언급한 단점들을 잘 보완한 연구결과가 나오길 바라겠습니다.

이번 세미나는 scheduled sampling for one-shot learning via matching network를 주제로 세미나가 진행되었습니다. 모든분야에서 그러하듯, 성능이높은 모델을 만들기위해서는 label이 달려있는 좋은데이터가 필요합니다. 하지만 현실에서 이러한 데이터를 구축하는것에 큰 비용이 들며, limited data로도 충분히 좋은 성능을 낼 수 있도록 다양한 연구가 진행되고있습니다. 이때 Data augmentation , model , method 측면으로 연구가 진행되며 오늘 세미나에서는 Method 기반의 방법론에 대해 다루었습니다.

Meta learning은 여러가지 task를 학습할 수 있는 방법론 자체를 학습한다는것이 포인트인데 (Learning to learn), 이때 좋은 모델을 생성할 경우 새로운 task(Novel data)에서도 좋은 성능을 낼 수 있습니다. Meta learning은 크게 Model-base , Metric-base, Optimized- base approach로 나눌 수 있으며, support set-> x값이 어디에 속하는지 확률값 리턴 , 커널함수를 기반으로 데이터 사이의 유사도를 거리를 계산하며, gradient descent 방식을 이용해 효율적으로 새로운 데이터를 학습할 수 있도록 만드는 방법입니다.

오늘 리뷰할 논문의 핵심 아이디어는 Matching network에서 학습을 진행할때 Episode별로 모델이 학습하는 효과가 차이(원인 : indistinguishable label set, random sampling) 난다는점을 지적하며 새롭게 Episode를 구성합니다. 이때 support set의 task 난이도를 정량화하여 (difficulry measure) batchset와 supprot set의 semantic diversity, similarity를 고려합니다. 따라서 모델을 학습할 때 쉬운 task에서 어려운 task로 가며 학습됩니다 (이때 smiliarity가 높을수록 classification에서는 어려운 task)

Learning 알고리즘은 다음과같습니다.

1) N개의 sampling후보를 선정

2) diversity와 similarity로 산출한 difficult measure를 통해 score를 산출

3) score를 기준으로 'from easy to difficult'를 학습하기위해 sampling 확률 부여

4) 정규분포를 위해 '평균'값을 Linear / Exponential / Sigmoid 3가지 방식으로 제안

새로운분야를 접할 때 사전 지식에대해 알지못하면 깊게 이해하지 못하는 경우가있습니다. 하지만 논문 설명에 앞서 이 분야의 흐름을 따라갈 수 있도록 정리하여, 세미나의 이해도가 높아질 수 있었습니다. 또한 박중민 석사과정의 세미나를 들으며 항상 느끼는점은 수식과 알고리즘을 굉장히 이해하기 쉽도록 정리해준다는것인데 저도 많이 배워야겠다는 생각을 하게되었습니다. 오늘 연구실 세미나를 통해 많은 것을 배울수 있었고 저 또한 세미나를 준비할때 어떤 자세를 가지고 임해야할지 고민할 수 있는 기회가 되었습니다.

금일 발표는 "Scheduled sampling for one-shot learning via matching network"라는 주제로 진행되었습니다. 본 발표에서는 labeled data를 구축하는데 다양한 어려움이 존재하는 현실에서 limited data를 사용하여 좋은 성능을 도출할 수 있는 방법론에 대해 설명하였습니다. 세부적으로는 limited data를 다루기 위해 사용되는 data augmentation , model , method 측면의 연구 중 method 기반의 방법론에 대해 자세히 다루었습니다. 본 발표에서는 초반에 few-shot learning에 대해 step-by-step으로 설명이 진행되어 이에 대한 기본 개념을 적립하는데 큰 도움이 되었습니다. 더불어 본 발표 후반부에 소개된 개인연구에서는 기존의 method 관련 방법론의 random sampling 부분에 대한 한계를 극복하기 위한 방법론을 제안하였습니다. 해당 부분에서 meta learning 모델의 특성을 반영하여 training 데이터 내의 diversity (determinant)와 test 데이터와의 similarity를 계산하는 아이디어를 제안하였습니다. 논리적인 아이디어 전개가 인상깊었으며, 최근 제 연구분야인 continual learning에서 유사한 연구를 진행하고 있어 해당 발표가 더 흥미로웠습니다.