이번 세미나는 이제 졸업을 앞둔 박중민 석사과정이 최근까지 진행했던 Few-shot learing과 관련하여 Model-agnostic Few-shot learning이라는 주제로 마지막 세미나발표를 진행해주었습니다. 해당 세미나에서는 총 2개의 논문 Meta-Learning without Memorization (ICLR2020)과 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal (CVPR2019)을 주제로 다루었습니다. 첫 논문인 Model-agnostic Few-shot learning에서는 기존 few-shot learning 방법론에서 문제시되는 memorization problem을 해결하기 위해 Meta regularizer를 사용하는 방법을 제시했습니다. 이를 통해 loss function에 제약을 가함으로써 classification 외의 novel task에 대응할 수 있도록 하였습니다. 두번째 논문인 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 에서는 Category Traversal Module을 통해 성능향상을 시도하였는데, 공통 feature를 공유하는 Concentrator와 각 카테고리별로 불필요한 feature를 mask out하는 Projector, 그리고 feature embedding 과 projector output을 매칭시키는 Reshaper를 통해서 Metric-learning based 관점의 few-shot learning을 시도하였습니다. 연구실에서 few-shot learning 관련하여 계속해서 좋은 연구들을 공유해주던 박중민 석사과정의 졸업을 진심으로 축하하며, 그동안 고생 많았다고 전하고 싶습니다.

최근 few shot learning에 대한 주제로 세미나를 진행해주셔서 아직 어려웠지만 해당 분야에 대해 조금씩 개념이 잡히고 있는 것 같습니다. 이번 세미나에서는 meta learning과 관련된 논문들을 2가지 소개해 주셨습니다. 첫번째 논문은 Meta learning without memorization으로, memorization problem으로 인해 새로운 도메인을 모델을 적용시키기 어려운 문제에 대한 해결책으로 loss function에 stochastic latent variable을 추가하여 제약을 거는 방법을 제안했습니다. (Meta Regularization) 두번째 논문은 Finding Task Relevant Features for Few Shot Learning by Category Traversal으로, concentrator와 projector를 통해 inter/intra class의 commonality와 uniqueness를 찾아 기존 모델의 성능을 향상시키는 방법론을 제안했습니다. (CTM Module) 좋은 발표 감사합니다.

금일 세미나는 novel task 에 대응하기 위해 모델에 agnostic 한 학습방법을 제안하는 논문 소개로 진행되었습니다. 2가지 방법을 소개해주셨는데, loss function 에 제약식을 추가하는 것이고, 또 다른 하나는 model agnostic 학습을 위한 모듈을 모델에 추가하는 방식입니다. loss function에 추가적인 term 을 두어 기존 task 에 대한 학습에 제약을 거는 방법을 알 수 있었습니다. 또한 두번째 논문에서는 model에 projector 와 concentrator를 추가하는 방식으로 novel task 에 대한 성능을 향상시킵니다. 세미나를 들으며 few shot learning 의 학습단계에서 하나의 데이터에 라벨을 고정시키지 않고 각 학습마다 라벨이 랜덤하게 바뀐다는 점을 알게 되었습니다. 특히 첫번째 논문에서 stochastic latent variable 을 고려하여term 을 추가해줬을 뿐인데, novel task 성능이 높아지는 부분에 흥미롭다는 생각이 들었습니다. 메타러닝에 대한 좋은 발표 감사합니다.

박중민 석사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 발표자분께서 연구하고 계신 분야인 Meta-learning, Few-shot learning 과 관련한 발표였습니다. 특히 이번 발표에서는 특정 모델을 위해 성능을 높이기 위한 방법이 아니라 범용성 있게 사용 가능한 Model Agnostic 한 방법인 Meta Regularization, CTM Module 방법론을 제시하는 두 논문을 소개해주셨습니다. Novel task 를 다루는 것은 발표자 분께서 말씀하신 것처럼 매우 중요하다는데 공감하는 부분이었습니다. 이를 위해서 Meta Regularization 논문에서는 Classification 이 아니라 다른 Domain에서 Novel task에 대응할 수 없다는 문제점을 해결하기 위해서 Loss function에 제한을 가하는 방법론이었고, 두번째 논문에서 제안한 CTM Module 은 Metric-based Approach 방법론을 사용하는 모델과 결합할 수 있는 Module을 제시하여 기존 모델들의 성능을 향상시킬 수 있었다고 합니다. 어려운 내용이어서 한번에 이해가 가진 않았지만 최대한 처음 듣는 사람의 관점에서 잘 이해시켜 주시려고 노력하신 것 같아서 감사합니다. 발표 잘 들었습니다.

지속적으로 연구중이신 few-shot learning에 대한 발표였습니다. 어려운 개념이지만 계속되는 발표에서 기본 개념들을 반복적으로 알려주어서 조금씩 이해가 되고 있습니다. Meta-learning without memorization 논문에서는 loss function을 추가하여 기존 모델이 가지고 있는 memorization problem을 해소하고 있습니다. 저자들은 논리를 전개하는 중에 information decomposition of cross entropy를 소개하는데, 기존에 사용되던 term이 문제 해소를 방해하는 요소임을 보여주고 있습니다. 이러한 발견이 참 쉽지 않은데 이해와 직관이 대단하다는 생각이 들었습니다. 두 번째 CTM 논문에대한 발표는 제가 진행중인 개인연구와 유사한 점들이 많아 흥미롭게 들었습니다. 첫 번째 논문과는 다르게 모듈을 추가하는 방식이었고 저의 연구에도 차용할만한 점들이 있다는 생각을 했습니다. 세미나를 진행할때 유사해 보여서 소개해주고 싶었다는 말씀을 하셨는데 감사한 마음으로 차용할 점들을 살펴보겠습니다.

이번 세미나는 few-shot learning의 핵심 문제인 memorization 문제를 해결하는 두가지 논문에 대한 세미나입니다. 첫번째 논문은 term을 하나 추가하여 memorization을 증진시키는 식. (인풋 x와 정보 Q)와 (query y와 정보 D)의 관련성을 최대화 시키는 것이 목표이고 , 인풋 x에서 결과 y를 도출하는 과정을 방해하기 위해 latent term z를 추가하는 방법을 담은 논문입니다. 두번째 논문은 모델 중에서 하나의 모듈을 추가해 모든 모델에 적용할 수 있게끔하는 아이디어를 갖고 있었습니다. 범용적인 모듈을 만드는 것에 대해 벽이 높았는데 이렇게 한가지 예시를 보며 충분히 가능성 있는 아이디어라고 생각할 수 있었습니다. 또한 매번 세미나 초반에 few-shot learning에 대한 정의를 자세하게 짚고 넘어가서 단번에 논문 주제로 집중하기가 좋습니다. 감사합니다.

이번 세미나에서는 메타러닝과 vae개념을 결합한 모델처럼 느껴졌습니다. 에피소드 학습은 상호 배타적이기 때문에 학습이 잘되지만 Regression task은 상호 배타적이지 않다라고 가정을 하게 됩니다. 따라서 이 문제에 메모라이제이션이 문제가 있으니 Support set을 보지 않고 query set으로 해결하고자 하였습니다. 해당 모델은 Support set와 상호배타적인 y를 목적으로 stochastic random variable z를 가정하여 regression을 예측하는 확률 모델이라고 할 수 있을 것 같습니다. 두번째 발표논문은 마지막 conv map을 사용하여, support query기반의 (intra, inter making)새로운 임베딩을 적용하였습니다. 항상 일관된 주제로 발표해주셔서 스토리가 이어지는 것 같습니다.

금일 세미나는 Meta learning중 Few-shot learning에 대한 논문 2가지에 대해 설명 주셨습니다. meta learning은 classification이 아니라 regression과 같은 다른 Task에서 사용할 경우 잘 작동하지 않는 memorization problem을 갖고 있습니다. 이를 해결하기 위하여 첫번째 논문은 latent term z을 구조를 추가하고 loss function에 관련 제약식을 추가하여 해결하는 방법을 제시합니다. 두번째 논문에서는 model에 projector 와 concentrator를 추가하여 같은 class 내의 데이터는 서로 뭉치고 다른 class끼리는 멀어지게끔 학습합니다. 이를 통해 novel task에 대한 성능을 향상시킵니다. 첫번째 논문에서 Latent term을 추가시켜 vae처럼 작동하는 방식이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 meta learning과 관련된 논문 두편을 소개해 주셨는데, 머신러닝/딥러닝 분야가 앞으로 더욱 다양한 task에 대응하고 발전하기 위해서는 필수적이라 생각하는 개념이기 때문에 인상 깊게 들었습니다. 첫번째 논문에서는 meta learning의 memorization problem으로 인해 새로운 도메인에 모델을 적용하기 어려운 문제에 대한 해결책으로써, 모델이 학습하는 loss function에 제약을 거는 방법을 제안했습니다. 두번째 논문은 concentrator로 intra-class commonality를 찾고, projector로 inter-class uniqueness를 찾아 기존 모델의 성능을 향상시키는 방법론을 제안했습니다. few-shot learning 자체가 익숙하지 않은 개념이라 어려웠지만, 논리적으로 논문의 제안을 잘 이해하도록 발표해 주셔서 감사합니다.

본 세미나에서는 meta learning에서 범용성 있게 사용 가능한 meta regularization과 ctm module을 소개한 논문들을 소개해주셨습니다. meta regularization은 모델이 처음 접하는 task인 novel task를 마주했을 때 이를 잘 대응하지 못한다는 문제를 해결하기 위해 목적함수에 제약식을 추가합니다. ctm module은 metric-based 메타 러닝 방법에서 사용할 수 있는 방법인데 projector와 concentrator라는 방식을 추가해 동일 class간 거리는 가깝게, 다른 class간 거리는 멀게 학습을 하게 됩니다. 이를 통해서 novel task에 잘 대응한다는 점을 밝힙니다. 개인연구도 굉장히 흥미롭게 들었습니다. 좋은 발표를 해 주셔서 감사합니다.

꾸준히 few shot learning에 대한 주제를 발표해주셔서 분야에 대해 조금씩 따라가고 있습니다. 발표하신 논문에서는 N-way K-shot 형태의 학습법에서 regression 형태로 학습이 진행될 경우 사물 자체를 학습하여 novel task에서 낮은 성능이 보이는 문제를 짚어주셨습니다. 이 memorization 문제를 해결하기 위해 제안된 meta-regularizer는 결과적으로 loss term에 KL divergence를 추가하는 간단한 형태이지만, 이를 도출하는 과정에서 많은 수식적인 흐름을 보며 저자들의 의도를 유추해가는 것이 재미있었습니다. 또한 inter class와 intra class의 거리를 조정하도록 학습하는 방법론은 꽤 다양한 분야에서 적용되는 것 같은데 few shot learning에서도 적용되는 것을 알게 되어 재미있게 발표 들었습니다. 감사합니다.

본 세미나는 모델이 Noise에 받는 영향에 Robust하도록 Model을 구성하고자 하는데에 목적이 있는 Adversarial과 같이, 제약된 데이터(few)로부터 광범위한(Meta) 학습을 하는 few-shot learning에 대해 다루었습니다. Few shot learning은 분류 문제에서는 문제가 적지만, 회귀 문제같은 경우는 Memorization 문제를 겪게 되는데 이를 모델의 Loss Term을 조정하여, Meta-Regularization과 KL Divergence와 같이 기본적인 개념으로 해결하는 모습을 살펴보았습니다. 두 번째 논문에서는, class의 intra-class commonality와, inter-class uniqueness를 찾아 Few shot learning의 성능 향상을 꾀하는 방법에 대해서 알 수 있었습니다. 기본적으로 Few-shot learning에 대한 경험이 적어 세미나 이해가 다소 어려웠으나, 개념에 대해 다가갈 수 있던 기회를 주신 발표자님께 감사드립니다.

이번 세미나에서는 meta-learning 중 하나인 few-shot learning에 대한 발표를 진행해주셨습니다. 첫번째 논문에서는 기존 모델이 가진 memorization problem을 해결하기 위해 Meta regularizer를 사용하는 방법을 제시했습니다. 이는 loss function에 제약을 가함으로써 classification 외의 novel task에 대응할 수 있게 하는 방법이었습니다. 두번째 논문은 CTM module을 추가하여 모델의 성능을 향상하는 방법을 제안하였습니다. 여러 모델에 결합하여 성능을 향상시킬 수 있다는 점이 인상 깊었습니다. 발표 초반에 few-shot learning에 대한 설명을 해주셔서 발표의 흐름을 따라가는데 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 Model agnostic few shot learning을 주제로 진행되었습니다. 아직까지 제게 meta learning은 연구에 초점이 맞춰져있는 분야라 느껴집니다. 그 이유는 novel task가 등장했을 때 학습을 다시 하는것이 meta learning에서 주장하는 프레임워크보다 쉽고 성능이 높은 방법이기 때문입니다. 이 분야가 지금보다 더 발전하게될 경우 task에 구애받지않는 모델이 등장할것이라 말하지만, 실제로 적용되기엔 무리가 있지않나 생각했습니다.

소개해주신 논문은 새로운 task가 등장했을때 기존 task와 얼마나 차이가 있는지 제약식으로 표현하며 이를 목적함수에 적용하여 penalizing을 진행합니다. 이러한 아이디어는 AD에서도 적용할 수 있지 않을까 생각해볼 수 있었습니다. 항상 세미나 마다 수식을 꼼꼼히 분석해주셔서 많은 도움을 받고있습니다. 감사합니다

이번 세미나는 박중민 석사과정의 Meta Learning 과 관련한 meta regularization과 Category Traversal Module(CTM)과 관련한 발표였습니다. 첫번째 논문은 Meta learning은 regression task에서는 성능이 떨어지는 memorization problem이 있습니다. 이를 해결하기 위해 loss function에 meta regularization을 통해 해결하는 방법을 제안합니다. 두번째 논문은 ctm을 이용하여 동일 클래스간의 거리는 가깝게하고, 다른 클래스간 거리는 멀게 학습하여, novel task에 잘 동작하는 것을 보여준 논문이었습니다. 이번 세미나에서는 수식이 많이 나와 따라가기 어려웠지만, 친절하게 설명해주셨습니다. 발표 감사합니다.

금일 발표는 "Model agnostic Few shot learning"이라는 주제로 진행되었습니다. 본 발표에서는 모델의 성능을 향상시킬 수 있는 Meta Regularization과 CTM Module 방법론이 소개되었습니다. Meta Regularization은 Loss function에 제한을 가하여 few shot learning 문제를 해결하였고, CTM Module은 Metric-based Approach 방법론에 결합할 수 있는 Module을 제시하여 기존 모델들의 성능을 향상시켰습니다. 개인적으로 continual learning 관련 연구를 진행하면서 이 분야가 실제로 적용가능한 분야인지에 대해 많은 고민을 하고 있는데, few shot learning도 continual learning과 유사한 점이 많기 때문에 이런 부분에 대해서 생각해보는 시간이 되었습니다. 좋은 발표 감사합니다.

금일발표에서는 few shot learning 에 대해서 진행되었습니다. few shot loearning 에 대한 중요도를 사실 지금까지는 크게 여기지 않았습니다. 굳이 왜 저렇게 해야하나 라는 생각이 먼저 들었었는데, 최근 많은 프로젝트 혹은 기업들에서 생각하는 관점을 빗대어 보면, 해당 분야가 아직도 더 발전할 여지와 중요도가 있는 것 같습니다. 발표에서는 n way, k shot 개념을 설명해 주셨는데, 좀 더 real data 로 접근하기에는 더 많은 과정이 필요 할 것 같습니다. 이 때 few shot data 에 대해서 학습이 잘되게 하기 위해 다양한 trick (class 간 loss) 를 이용하게 되는데 이러한 접근법은 상당히 합리적이였던것 같습니다.

이번 세미나는 Model Agnostic Few Shot Learning을 주제로 진행되었으며, [Meta Learning without Memorization], [Finding Task Relevant Features for Few Shot Learning by Category Traversal] 두 편의 논문을 소개해 주셨습니다. 첫 번째 논문의 경우 Train, Test Data가 Mutual Exclusive가 아닐 경우 Episodic Training이 좋은 성능을 보이지 않기 때문에, Loss Term을 추가하여 해당 문제를 해결하고자 시도한 논문입니다. 두 번째 논문의 경우, 기존 방법론에 Module을 추가하여, 보다 강건한 Few Shot Learning을 수행하고자 시도한 논문입니다. 기존의 Few Shot Learning 방법들에서 Task 또는 Model에 종속적인 부분이 많이 남아 있음을 알 수 있었고, 해당 문제들을 해결할 수 있는 방법론들에 대해 학습할 수 있었습니다. 감사합니다.