금일 세미나 시간에는 Active Learning과 관련하여 김선우 석사과정이 “Task-Aware Variational Adversarial Active Learning” 논문을 다루어 보았습니다. labeling cost가 크거나 존재하는 label이 원활한 학습에 충족하지 못할 때 사용하는 이러한 active learning은 가장 학습에 도움이 되는 sample을 선택하는 쿼리가 중요합니다. 최근에는 크게 두가지 방향으로 연구가 진행되고 있는데, 현재 레이블링이 존재하는 데이터를 기준으로 가장 멀리 떨어진 데이터를 선택하는 task-agnostic approach와 task 모델의 관점에서 loss나 엔트로피를 기준으로 모델에 가장 유용한 샘플을 선택하는 task-aware approach 방식이 존재한다고 합니다. 두가지 방식 모두 장단이 있는 가운데 본 TA-VAAL 논문은 어떻게 보면 이 두가지 방식을 모두 활용하는 하이브리드 형식의 접근방법론이라고 생각됩니다. Label pool과 label pool이 존재하지 않는 데이터 분포를 모두 고려한 기존 task-agnostic approach의 VAAL 방법론에 ranker라는 모듈을 통해 task-aware approach의 ranking loss를 동시에 활용하였습니다. 해당논문은 과거 RankNet(2019)에서 활용되는 ranking loss를 활용하였는데 일반적으로 검색이나 추천시스템에서 활용되는 것으로 알고 있습니다. 연구를 하면서 과거 다양한 분야의 방법론을 다른 도메인의 문제 해결에 잘 적용한 케이스라고 생각하였습니다. 개인적으로는 슬라이드가 명시적으로 잘 준비해주어서, 직관적으로 잘 이해할 수 있어서 더욱 좋았습니다. 좋은 세미나를 준비해준 발표자에게 감사의 인사 전하며 후기 마치도록 하겠습니다. 감사합니다.

이번 세미나는 active learning을 주제로 진행되었습니다. Active learning은 크게 Task-aware와 Task-agnostic 등 두 갈래로 나뉩니다. 이번 세미나에서 소개된 방법론은 제목에서도 알 수 있는 Task-aware 특성을 지닙니다. 이는 기본적으로 unlabeled 데이터의 영향을 받지 않는 샘플링을 택하는데요 그 중 learning loss를 이용한 계열이 있습니다. 즉, loss를 단순히 구하는 것이 아닌 loss를 예측하는 과정이 추가되는 것입니다. 개인적으로 loss를 예측한다는 것이 어떠한 의미를 지니는지 조금 더 파악해보고자 합니다. 한편, Task-agnostic 의 특성은 labeling 유무와 관계 없이 모든 데이터를 이용한 샘플링 이용하는 점이고 이를 대표하는 VAAL(Variational Adversarial Active Learning)이라는 방법론이 존재합니다. 이에 본 방법론은 VAAL을 Task-aware 한 특성을 지닐수 있도록 ranking loss prediction을 이용한 것으로 요약할 수 있습니다. 핵심이라 생각되는 부분은 RankCGAN을 이용하여 샘플의 상대적 loss의 rank를 비교하는 ranker를 추가해줌으로써 task-aware한 특성을 부여할 수 있는 점입니다. 최근들어서야 Active learning을 주제로 세미나가 진행되고 있기에 아직 해당 분야에 대해 덜 익숙한 것 같습니다. 앞으로도 좋은 발표 기대하겠습니다. 감사합니다.

금일 세미나는 "Task-Aware Variational Adversarial Active Learning" 논문을 주제로 진행되었습니다. 해당 논문은 task-aware한 특징을 갖는 VAAL을 제안합니다. 즉, 라벨링이 되지 않은 데이터 중 어떠한 데이터를 향후 annotate하면 수행하고자 하는 task에 대한 효율성과 성능이 향상될지 선택합니다. 이때 task-aware 방식은 라벨링이 된 데이터만 활용하는 방식입니다. 기존에 제안된 VAAL은 VAE가 생성한 latent variable과 discriminator를 활용하여 입력된 데이터를 라벨링 할 것인지 결정합니다. 본 논문은 task-agnostic한 VAAL에 task-aware적인 요인을 추가한 점에서 독특합니다. 구조상으론 ranker가 VAE의 latent 공간상으로 unlabeled 데이터를 mapping합니다. Active Learning에 대해 다시 한 번 배워볼 수 있는 기회여서 매우 유익했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Task-Aware Variational Adversarial Active Learning”이라는 연구를 소개해 주셨습니다. 해당 연구는 이전에 허재혁 석박통합과정이 세미나에서 다루어주셨던 Active Learning 관련 방법론입니다. Active Learning은 현실적으로 Model을 학습시키기 위해 필요한 Labeled Dataset을 구축하기 위한 Budget이 제한된 상황에서 어떤 데이터를 Query로 선택해 Annotation을 수행할지 연구하는 분야입니다. Zero-shot, Few-shot과 같이 Labeled Data가 제한되어 있고, 추가적인 Annotation을 수행하지 않는 상황을 가정한 연구들은 다수 보았으나 어떤 Instance를 Annotation해야 효율적일지 연구한다는 것이 현실적으로 매우 합리적이라 느껴졌습니다. 소개해주신 논문에서 제안한 방법론인 TA-VAAL은 선행 방법론인 VAAL을 발전시킨 방법론이었습니다. LPM과 RankCGAN을 통합하여 라벨링된 데이터와 라벨링되지 않은 데이터 분포를 모두 고려해 VAAL보다 더 난이도가 높고 영향력이 있는 Informative한 Instance를 산출할 수 있도록 하였습니다. Active Learning이 현업 관점에서 중요한 실용적인 방법론이라 생각이 들어 흥미롭게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 ‘Task-Aware Variational Adversarial Active Learning(TA-VAAL)’ 으로 진행되었습니다. active learning은 라벨링 되지 않은 데이터에서 informative sample을 선택하여 annotation하는 작업을 의미합니다. 라벨링 budget이 제한된 상황에서 해당 방법론을 활용하여 효율적이며 효과적으로 annotation이 가능합니다. VAAL은 라벨링된 데이터와 라벨링되지 않은 데이터 분포를 고려하여 가장 uncertainty가 큰 샘플을 고르는 것입니다. TA-VAAL은 VAAL의 latent space에 특정 태스크에 대한 정보를 반영하기 위해, 태스크 loss function이 아닌 rank를 예측하는 것으로 바꾸어 RankCGAN을 이용하여 latent space를 재구성합니다. RankCGAN을 이용하면, 모델의 관점에서 가장 중요한 샘플들을 찾을 수 있습니다. G는 순위 정보를 이용하여 샘플들을 잠재공간에서 생성하고, D는 G가 생성한 샘플과 실제 샘플 사이의 순위를 비교하여 G를 학습시킵니다. 이를 통해 잠재공간에는 순위정보가 반영된 샘플이 생성되고 active learning에서 선택할 수 있습니다. 해당 방법은 classification dataset에서 SOTA를 기록했지만, RankCGAN의 학습은 어렵고 불안정할 수 있습니다. 순위 정보가 없는 경우에는 적용할 수 없으며 모델 성능이 좋지 못한 경우 순위 정보가 잘못될 수 있다는 한계점이 있습니다. 좋은 발표 감사합니다.

이번 세미나는 "Task-Aware Variational Adversarial Active Learning"(TA VAAL) 논문에 대해서 소개해주셨습니다. 해당 논문은 기존 Variational Adversarial Active Learning(VAAL)의 후속 연구입니다. VAAL은 active learning을 위해 unlabeled pool에서 adversarial training으로 generator와 discriminator를 학습하여 generator로 사용된 encoder의 latent feature를 사용하여 discriminator로 부터 unlabeled sample에 대한 uncertainty를 계산하는 방법입니다. TA VAAL에서는 VAAL 방식에 더하여 learning loss에서 제안한 loss prediction loss(LPL)과 RankCGAN에서 제안한 ranker 개념을 차용하여 ranking loss를 함께 학습합니다. VAAL 기반의 방법은 아무래도 unlabeled sample에 대해서 query를 선택하기 전에 학습하는 과정이 포함되다보니 hyper-parameter에 민감한 경우가 있지 않을까 생각됩니다. TA VAAL은 기존 방법들을 잘 활용한 측면에서 재밌게 보았습니다. 좋은 발표 감사합니다.

이번 세미나는 Task-Aware Variational Adversarial Active Learning 논문을 주제로 진행되었습니다. active learning은 라벨링 되지 않은 데이터에서 informative sample을 선택하여 labeled Dataset 구축하기 위해 어떤 데이터를 선택해 annotation 을 할지 연구하는 방법론 입니다. 개인적으로 active learning 에 대한 연구실 세미나와 nlp 쪽에서도 활용되는 방법론임을 보면서 상당히 효율적이고 실질적인 연구를 위한 방법론으로 생각하고 있습니다. 핵심은 RankCGAN을 이용하여 샘플의 상대적 loss의 rank를 비교하는 ranker를 추가해줌으로써 task-aware한 특성을 반영하여 앞선 active learning 의 관점에서 효율적인 연구임을 설명하고있습니다. 해당 방법론에서 ranking 을 쓴다는 개념이 얼마나 효율적일 것인지에 대한 방법을 이전연구와 비교해서 잘 보여준 것 같습니다. 좋은 발표 감사합니다.

본 세미나는 김선우 발표자님께서 "Task-Aware Variational Adversarial Active Learning"이라는 논문을 바탕으로 진행되었습니다. 해당 연구의 task는 Actvie Learning이라고 하는 unlabeled pool에서 가장 inofrmative한 샘플을 query로 선택하여 annotation을 진행하는 것으로, annotation이 필요한 효과적인 unlabeled dataset을 뽑는 것이 핵심입니다. 기존 연구인 VAAL을 기반으로 해당 연구가 진행되었는데, VAAL은 Generator(VAE)와 Discriminator를 활용하여 latent variable을 통해 annotation이 필요한 query를 선택하는 방법론입니다. 또한 ranking component를 이용하여 generator, discriminator를 학습하는 RankCGAN을 기존 VAAL에 결합한 것이 본 연구의 Method인 TA-VAAL이라고 볼 수 있을 것 같습니다. 따라서 VAAL에서 target attribute를 비교하기 위해, Ranking loss를 사용하여 uncertainty 기반 방법론과 distribution 기반 방법론을 연결 시킨 것이 가장 큰 기여점이라고 생각하였습니다. 세미나를 들으면서 느낀 점이 task-agnostic한 방법론과 task-aware한 model을 결합한 것이 성능 향상에 유의미한 영향을 줬다고 생각하고, loss를 건드리는 것이 Active learning에서 중요한 과제라고 생각했습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 Task-Aware Variational Adversarial Active Learning 라는 논문을 다루었습니다. 이 논문에서는 active learning의 task-agnostic 방법론과 task-aware 방법론으로 구분합니다. Task-agnostic 방법론은 라벨링된 데이터와 라벨링되지 않은 데이터를 모두 이용하여 샘플을 선택하는 기법이며, task-aware 방법론은 라벨링되지 않은 데이터에 영향을 받지 않는 샘플을 선택하는 기법입니다. 이 방법론에 기반이 되는 방법론인 VAAL은 VAE와 GAN을 결합하여 레이블링된 데이터와 레이블링되지 않은 데이터의 분포 차이를 최대화하는 샘플들을 선택합니다. TA-VAAL은 VAAL에서와 달리 모델의 손실 함수를 예측하는 대신, 손실 함수의 순위를 예측하는 방식으로 변경하였고, RankCGAN을 사용하여 손실 함수의 순위 정보를 VAAL의 잠재 공간에 반영하여 학습 모델의 특성을 VAAL의 샘플 선택에 반영할 수 있도록 하였습니다. 실험에서도 우수한 성능을 보였지만 모델 간의 상대적 비교를 중심으로 하여 절대적인 성능을 기재하지 않은 점이 아쉬웠습니다. 이번 세미나 주제는 개인적으로 생소한 주제였지만 발표 자료 구성이 좋아 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

본 세미나에서는 Task-Aware Variational Adversarial Active Learning (TA-VAAL) 이라는 주제의 논문에 대한 리뷰를 진행하였습니다. TA-VAAL은 기존 active learning 관련 선행연구인 VAAL을 라벨링된 데이터와 라벨링되지 않은 데이터 분포를 모두 고려하여 task-agnostic하게 변형 시킨 구조 입니다. ranking loss prediction를 이용하고, RankCGAN을 이용하여 VAAL에 normalize된 ranking loss 정보를 임베딩시켜주고 있으며, 해당 방법론을 이용하게 될 시 기존 VAAL보다 어렵고 영향력 있는 데이터 포인트 산출이 가능한 구조입니다. 해당 내용을 실험을 통해 증명을 하였고, 시각화를 통해 TA-VAAL을 통해 선택한 sample이 타 active learning 방법론으로 선택한 sample보다 분류 경계면에 가까이 위치함을 보였습니다. 최근 프로젝트로 인해 active learning에 대한 연구를 세미나를 통해 많이 다루고 있는데, active learning의 개념 자체가 굉장히 신선하게 다가왔습니다. 좋은 연구 주제에 대한 내용을 주기적으로 받을 수 있는 세미나의 순기능이라고 생각됩니다. 좋은 발표 감사합니다!

이번 세미나에서는 Active Learning의 query strategy 방법론인 TA-VAAL을 제안한 “Task-Aware Variational Adversarial Active Learning”에 대해서 다뤄 주셨습니다. 해당 논문은 본 논문 이전에 제안 된 VAAL에 대한 문제점을 극복하기 위해 제안 된 방법론으로, 기존 VAAL보다 어렵고 영향력 있는 데이터 포인트 산출이 가능합니다. 또한 라벨링이 되지 않은 데이터 포인트만 고려 해서 query를 하는 기존 VAAL와 달리 라벨링 데이터와 라벨링 되지 않은 데이터의 분포를 모두 고려하여 라벨링 할 데이터를 선택하게 됩니다. 구조적 차원에서 기존 VAAL과의 차이점은 별개의 Ranker를 둔다는 것이며, Ranker는 training loss의 ranking을 예측하는 것에 초점이 맞춰져 있습니다. TA-VAAL은 이 ranker를 사용함으로써 기존의 VAAL 보다 더 어려운 데이터를 query할 수 있다는 이점이 생기게 되었습니다. 라벨 데이터와 언라벨 데이터를 모두 고려해서 query를 선택하는 것은 기존의 라벨 분포를 활용 해서 imbalanced data에도 이점이 있지 않을까 하는 생각도 들지만 한편으로는 적대적 학습이 이루어져야 하는 구조 때문에 학습 과정이 불안정하거나 general하게 사용하기는 어렵지 않을까 하는 생각도 듭니다. 더불어 다른 query strategy의 경우 inference만으로 query가 이루어지는 반면 해당 방법론은 query를 위해 추가적인 학습을 필요로 하기 때문에 학습 시간의 이슈 또한 있어 보인다고 생각 합니다. 좋은 발표 감사합니다!!

이번 세미나에서는 TA-VAAL이라는 active learning 방법론을 제안한 논문에 대해 소개해주셨습니다. 기존 VAAL의 문제점을 극복한 새로운 방법론이라고 볼 수 있었는데, VAAL과 달리 라벨링된 데이터의 분포와 라벨링되지 않은 데이터의 분포 모두를 고려한 query를 생성하는 기법을 제안했습니다. TA-VAAL은 RankcGAN을 활용하여 ranking loss를 함께 학습하는데 이 정보를 활용하여 더 영향력 있는 양질의 query를 생성할 수 있도록 하였습니다. 실제 임베딩 시각화 결과 TA-VAAL이 좀 더 분류 경계면에 가깝게 위치하는 sample들을 선택하는 것을 알 수 있었고, 실험 결과 active learning의 성능이 향상되는 것을 보였습니다. 다른 방법과 달리 조금 복잡한 학습 과정을 포함하고 있어 다양한 상황에서 robust한 성능을 낼 수 있을지 의문이 들었지만, 흥미로운 방법론이라고 생각하였습니다. 좋은 발표 감사합니다.

금일 세미나는 레이블이 존재하는 데이터와 레이블이 존재하지 않는 데이터를 모두 아나정적으로 이용하는 Active Learning Framework를 제안하는 Task-Aware Variational Adversarial Active Learning을 중심으로 이루어졌습니다. Active Learning의 중요한 부분 중 하나는 레이블이 존재하는 데이터와 존재하지 않는 데이터 각각의 편향에 영향을 받지 않고, 추가적인 Labeling Sample을 선정하는 방법론입니다. 이를 위해 해당 논문에서는 두 입력 이미지 간의 ranking을 예측하는 loss를 이용하여 ranker를 학습하고, 해당 모듈의 정보를 이용하여 discriminator가 레이블 여부를 판단하는 작업을 통해 sampling을 수행합니다. 이를 통해 Task Agnostic한 프레임워크에서 레이블 유무와 관계없이 데이터 분포를 고려할 수 있게 됩니다. Active Learning 시 Sampling을 위한 logit 값 산출 방식이 단순 task로 산출되는 것이 아니라 별도의 모듈을 통해 레이블 무관한 분포를 고려하는 점이 매우 인상적이었습니다. 연구실에서 최근 active learning에 대한 관심이 높아지고 있는데, 다양한 접근법을 볼 수 있었습니다. 감사합니다.

이번 세미나에서는 "Task-Aware Variational Adversarial Active Learning"에 대해 소개해주셨습니다. 해당 논문에서 중점으로 다루는 것은 Active Learning approach로, 이는 unlabeled data에서 가장 informative query를 선택하여 annotation을 진행하는 것을 목적으로 하며, 그 중 Task-agnostic의 VAAL을 함께 비교합니다. Task-agnostic은 labeled data와 unlabeled data를 모두 사용하여 그 중 샘플을 선택하는 기법으로, VAAL은 Generator와 Discriminator를 활용하여 query를 선택하고 이를 annotation하게 됩니다. 논문에서 제안하는 방법론인 TA-VAAL은 VAAL과 달리, ranker를 사용하고 cGAN 모듈이 추가로 붙는다는 차이점이 있습니다. fine-grained된 rank 정보를 추가로 파악하여 unlabeled된 데이터를 annotation할 수 있으며, Task learner가 주어진 경우, normalize된 ranking loss를 제공한다는 특징을 가집니다. 실험에서 확인할 수 있듯이, VAAL은 고르지만 결정 경계에 가깝지 못하다는 한계점이 있는데, TA-VAAL은 어려운 데이터에 대해서도 결정 경계에 가까우면서 또한 고른 결과물을 도출할 수 있다는 contribution을 보이고 있습니다. 익숙하지 않은 개념이었지만, 차분히 상세하게 설명해주셔서 이해에 도움이 되었습니다. 좋은 발표 준비해주셔서 감사드립니다.

이번 세미나에서는 Task-Aware Variational Adversarial Active Learning 논문을 소개해 주셨습니다. 본 논문은 기본적으로 label 정보가 없거나 labeling cost가 매우 클때 사용하는 active learning 방법론에 대한 것으로, 최소한의 labeling을 통해 높은 효과를 내기위한 주요 sample을 결정하기 위한 것입니다. 기본적으로는 task-agnostic 접근을 위해 현재 label이 존재하는 소수의 데이터로 부터 가장 멀리 떨어져있는 데이터를 선택해 labeling을 수행하며, 동시에 task를 수행하는 모델의 관점에서 loss나 Entropy를 기준으로 sample을 선택합니다. 이는 일반적으로 서로 독립적으로 사용되는 접근으로 이번 논문은 이 두 접근을 함께 사용했다는 것에 의의가 있는 것 같습니다. 이전에는 최대한 사람이 loop에 포함되지 않도록 방법론들을 만드는데 집중 하였다면, 최근에는 오히려 인공지능 모델이 널리 상용되어감에 따라 직접 사람이 개입하여 최고의 성능을 내는 쪽으로 연구가 진행되고 있는 것 같습니다. 특히 자연어 거대 언어 모델 chat 서비스에서도 그런 경향이 많이 보이는데, 이제는 단순히 연구 수준을 넘어 실용적인 성능을 내는 것이 중요해서 그렇지 않은가 생각이 듭니다. 프로젝트에서 Active learning을 다루고 있는 것으로 알아 더욱 궁금한 주제 였는데, 좋은 발표 덕분에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 CVPR 2021에 게재된 Task-Aware Variational Adversarial Active Learning이라는 active learning 분야의 논문으로 진행되었습니다. Active learning이란 라벨링되지 않은 데이터에서 성능이 높아질 수 있는 방향으로 라벨링할 데이터를 active하게 선택하는 task로, 해당 논문에서는 라벨링된 데이터와 라벨링되지 않은 데이터의 분포를 모두 고려하는 TA-VAAL이란 방법론을 제시했습니다. TA-VAAL은 LPM과 RankCGN을 결합한 구조로, 특히 RankCGN에서 loss의 value보다 loss의 상대적인 ranking을 더 많이 고려하는 loss를 설계하여, 더 영향력 있고, 정보량이 많은 데이터를 라벨링할 수 있도록 학습한 점이 인상 깊었습니다. 매번 어려운 논문임에도 직관적인 도식을 많이 담아주셔서 이해에 큰 도움이 되는 것 같습니다. 좋은 발표 감사합니다!!

이번 세미나는 Task-Aware Variational Adversarial Active Learning를 주제로 진행되었습니다. Task-aware active learning은 라벨링 되지 않은 데이터에 영향을 받지 않는 샘플을 선택하여 annotation을 진행하는 방법입니다. Task-aware active learning 방법으로는 labeling 되지 않은 데이터에 대해 loss를 계산하고 uncertainty를 판단하는 방법인 learning loss 기법과 모델의 parameter에 대한 확률 분포를 가정하고 정보량을 기반으로 labeling을 수행하는 BALD 기법으로 나눌 수 있습니다. Task-agnostic 방법은 labeling된 데이터와 그렇지 않은 데이터를 모두 이용한 방법으로 core-set을 활용한 방법과 generator와 discriminator를 활용하여 annotation이 필요한 쿼리를 선택한 VAAL에 대해 소개해주셨습니다. 본 논문에서 제안하고 있는 TA-VAAL은 task-agnostic한 데이터 분포 기반 AL 방법론과 task-aware model uncertainty 기반 방법론을 통합하는 방법으로 VAAL을 개선하여 labeling된 데이터와 그렇지 않은 데이터의 분포를 모두 고려하고자 하였습니다. VAAL에서 RankCGAN의 Ranker가 추가되었다고 볼 수 있는데 이를 통해서 상대적인 loss ranking을 더 고려하고자 한 점이 특징인 것 같습니다. 기존에 제안되었던 방법론들의 장점을 잘 융합하고자 한 점이 인상 깊었습니다. 좋은 발표 감사합니다.