금일 세미나는 "Self-Supervised Classification Network"라는 주제로 진행되었습니다. 본 발표에서는 비지도학습 setting에서 downstream task의 학습 없이 image classification이 가능한 구조인 Self Classifier가 소개되었습니다. 해당 방법론은 collapse를 방지하기 위해 한 이미지에 각각 다른 augmentation을 적용하여 도출한 두 augmented view에 대한 class prediction의 uniform prior를 활용한 cross entropy loss를 사용하였습니다. 해당 loss는 multi-view image가 동일한 cluster로 할당되도록 하는 역할을 하여 모델이 down-stream task에 대한 학습 없이도 self-supervised learning을 통해 classification을 수행하는 것을 가능하게 하였습니다. 개인적으로 요즘 self-supervised learning에 대한 논문을 많이 읽고 있는데 down-stream task에 대한 별도의 학습 없이 self-supervised learning을 활용한 classification을 가능하게 한다는 아이디어 자체가 신선하다는 생각이 많이 들었습니다. 좋은 발표 감사합니다.

금일 발표는 self supervised classification network를 주제로 진행되었습니다. 이는 label이 없는 상황에서 self classifier라는 방법을 통해 supervised learning을 진행합니다. shared backbone network를 사용하여 동일한 이미지를 augmentation한 input을 encoding 한 후 uniform prior를 사용하는 cross entropy loss로 학습을 진행합니다. 해당 방법론에서 말하는 Uniform prior는 two augmented data가 same class를 예측할 수 있도록 강제하는것을 의미합니다. 저자들은 제안하는 방법론을 사용할 경우 기존 방법론과 달리 pretraining, expectation maximization, pseudo labeling 등의 과정이 필요하지 않다고 주장합니다. self classifier가 기존에 좋다고 알려졌던 SwAV, MoCo, DINO와 같은 방법론들 보다 큰 성능 향상폭을 보였다는 것이 인상적이었습니다. 논문을 살펴보니 해당 방법론의 limitation을 언급하고 있는데 1) 예측값에 대한 Uniform prior를 학습하기 위해서는 class의 개수를 미리 알고 있어야 한다는 점과 2) artifact를 줄이기 위해 추가적인 regularization이 필요하다고 합니다. 재미있는 발표 감사합니다.

이번 발표에서는 Unsupervised Image Classification에 대해 소개 해주셨으며 self-distillation과 Clustering을 중점적으로 다루었습니다. self-distillation은 동일한 구조의 teacher-student 모델을 구성하고 각기 나온 결과물을 비교해 loss를 계산하는 방식으로 학습이 진행 됩니다. 제시된 주요 방법론은 이렇게 학습된 self-distillation에서 Representation을 추출하고 이를 기반으로 클러스터링을 해 Classification을 합니다. 주요 Contribution으로는 Uniform Prior를 제안했으며, 클러스터링의 Collapse를 방지할 수 있다고 주장합니다. 기존의 연구들이 사용한 방법을 사용하지 않고 Uniform prior를 사용하는 간단한 방법을 통해 Collapse를 피했다는 것이 인상적이었습니다.

금일 세미나에서는 2022 ECCV에 게재된 Self-Supervised Classification Network에 대해 살펴보았습니다. Unsupervised image classification 은 label정보 없이 유사한 이미지들을 clustering하는 방법으로 최종적으로 clustering 결과를 classification을 위한 pseudo label로 사용합니다. Class prediction에 대해 uniform prior를 적용하여 collapse를 방지하는 아이디어가 본 연구의 핵심으로 보이는데, 매우 흥미로운 접근이라 생각되었습니다. Classification 성능 평가에서 DINO와 MoCoV2와 같은 기존 representation learning 방법들 보다 좋은 성능을 보입니다. 하지만 representation 자체는 기존 방법들이 더 좋은 방향으로 학습 되고 있으며, downstream task에 활용하는 관점에서 본다면 기존 연구들에 비해 강점을 가지기 조금 어렵지 않나 라는 생각이 들었습니다. 하지만 classification만 고려하는 상황에서는 충분히 좋은 연구이며 추가적인 후속 연구가 있을 것 같습니다.

이번 세미나에서는 소개된 논문의 제목인 Self-supervised Classification Network 그대로 자기지도학습을 기반으로 한 이미지 분류 과업에 대해서 다루어졌습니다. 자기지도학습은 비지도학습의 일부로 비지도학습 분류 과업에서(Unsupervised Classification) 주로 클러스터링을 기반으로 알고리즘이 전개됩니다. 더욱이 contrastive learning 과 함께 진행되기도 하는데 본 논문에서 제시한 방법은 Multi-view images 가 같은 클러스터로 할당되도록 Cross-entropy loss로 학습하는 방식으로 이루어집니다. 특히 Uniform prior를 적용하여 collapse를 방지하는 방법이 인상적입니다. 수도코드도 함께 제시되었는데 생각보다 어렵지 않게 진행되는 점이 인상적이었습니다. 당연히 classification이라하면 지도학습만 생각하게 되는데 비지도학습 분류 과업이 존재한다는 사실이 신기하였습니다. 흥미로운 주제 준비해주셔서 감사합니다.

금일 세미나는 “Self-Supervised Classification Network” 연구에 대해 진행되었습니다. 비지도학습 방식을 유지하면서 이미지 분류 네트워크를 구현한다는 것이 매우 신선하게 다가왔습니다. pre-training도 없이 가능하다면, 정말 좋은 방법론이 될 수 있을 것이라는 기대로 보게 되었습니다. 발표자께서 지적해주신 것처럼 uniform prior를 활용해서 기존 방법론들에서 다루던 collapse문제를 해결해낸 것이 매우 인상적이었습니다. background에서 다양한 선행 연구 방법론들을 함께 설명해주셔서 비교하면서 잘 이해할 수 있었습니다. 좋은 발표 잘 들었습니다. 감사합니다.

금일 세미나는 “Self-Supervised Classification Network” 논문을 주제로 진행되었습니다. 해당 연구는 Downstream 학습 없이 image classification 이 가능한 구조를 제안했고, uniform prior를 활용해서 기존연구들의 문제를 해결했습니다. 성능 향상을 위해 기존연구에서 사용한 augmentation 기법을 적용하여, 우수한 성능을 보였습니다. compact 한 발표내용에 집중해서 들을 수 있었습니다. 감사합니다.

이번 세미나는 Self-Supervised Classification Network라는 논문에 대해 다루었습니다. Image classification을 unsupervised learning으로도 할 수 있다는 것이 신기했습니다. 또한 이것을 구현하기 위한 background를 자세하게 설명해 주셔서 차근차근 이해할 수 있었습니다. 그리고 Image classification에서도 베이지안 방법론에 기반한 uniform prior를 사용하는 것이 새로웠습니다. 좋은 발표 감사합니다.

금일 세미나는 Self-Supervised Classification Network에 대해 소개해주셨습니다. 본 연구에서 소개한 내용은 self-supervised learning(SSL)으로 (1) representation을 학습함과 동시에 (2) clustering까지 함께 고려할 수 있다는 점입니다. 본 연구에서 인상 깊었던 내용은 기존 SSL방식에서 주로 사용하던 내용이 아닌 uniform prior를 반영하여 loss function을 설계했다는 점입니다. 이러한 이유로는 collapse 문제가 발생하기 때문입니다. Collapse는 loss만 보면 학습이 잘되는 것처럼 보이지만 실제로는 하나의 class로만 예측을 수행하게 되어 발생하는 문제입니다. 세미나에서는 uniform prior가 어떤부분에서 적용되어 collapse를 개선할 수 있도록 하였는지 잘 설명해주셔서 이해하기 수월했고 기존 SSL 방법들에 대한 배경지식을 하나씩 비교하여 설명해준점이 인상깊었습니다. 좋은 발표 감사합니다.

해당 세미나에서는 Self-Supervised Classification Network라는 논문에 대해 설명해주셨습니다. NLP 분야에서 Unsupervised 방식을 이용한 사례는 알고 있었습니다. 하지만 Image Classification에서는 Unsupervised Learning이 어떻게 수행되는지 몰랐습니다.
Self Classifier라는 방법론을 활용해 Unsupervised 방식 중 Self-Supervised Learning을 할 수 있다는 점이 인상 깊었습니다. 그리고 Backgrounds에서 Contrastive Learning을 이용한 Unsupervised Image Clustering 방법을 알려주신 후에, 해당 연구에서 제안한 방법론이 Multi-view 이미지들이 동일한 Cluster로 할당되도록 Cross-Entropy Loss와 Uniform Prior를 이용해 Self-Supervised Learning을 성공적으로 수행해냈다는 순서로 설명을 해주셔서 선행 연구와 어떤 차별성을 가지고 있는지 이해하는 것에 도움이 되었습니다. 비록 SSL을 이용한 Image Classification에 대해 처음 접해 내용을 완벽히 이해하지는 못했지만, 친절하게 설명해주신 좋은 발표였습니다. 감사합니다.

이번 세미나에서는 “Self-Supervised Classification Network” 논문을 소개해 주셨습니다. 본 논문은 Unsupervised image classification을 연구로, 특히 Downsteam 학습 없이 분류가 가능하도록 Self Classifier를 제안합니다. Self Classifier에서는 동일한 Backbone을 가지는 두개의 Network에 Augmentation된 Multi-view 이미지들을 통과시키고, 두개의 이미지가 모두 같은 class로 분류되도록 하는 uniform prior를 사용하여 cross entropy loss 최적화를 수행합니다. 결과적으로 이전의 연구에서 수행되어야 했던 pretraining, pseudo labeling 과정들이 필요하지 않게 됩니다. 본 연구에서 기존의 Unsupervised Learning 방식을 따르지 않고 Uniform prior을 통해 Loss 함수를 만들어 내 더 간단하며 성능도 좋은 framework를 제안한 것이 인상 적이었으며, 제가 잘 모르는 분야임에도 다른 모델들과 비교를 통해 설명해 주셔서 차별점을 확실히 이해할 수 있었습니다. 좋은 발표 감사합니다.

Self-Supervised Classification Network라는 제목의 논문 발표가 있었습니다. 본 논문에서는 다른 external clustering, pseudo-lables, Moco의 Momentum encoder, BYOL의 stop gradient 등과 같은 기법 없이도 uniform prior를 활용한 loss function의 보완을 통해 collapse를 방지하고자 했습니다. 깔끔한 설명과 발표자료 덕분에 제안 연구 배경과 방법론을 따라가기 수월했습니다. 흥미로운 방법론 소개 감사합니다.

이번 세미나에서는 Self-Supervised Classification Network라는 주제로 발표를 진행해 주셨습니다. Label이 없는 이미지 데이터들을 Classification하기 위해서 label정보 없이 clustering 되어 있는 cluster들을 각각 특정 label에 할당해주는 방법이 필요한데, 이에 Hungarian Algorithm을 사용합니다. 이를 통하여 Accuracy를 계산한 후, 이렇게 계산한 값을 Unsupervised image classification의 생성지표로 사용합니다. 이 논문의 핵심은 Self-classifier구조인데, 이 구조의 특징은 Multi-view image가 같은 cluster로 할당되도록 cross-entropy loss로 학습한다는 것까지는 Self-distillation과는 동일하나 다른 연구들에서 Collapse를 방지하기 위해 사용한 negative pairs, Stop gradient나 EMA구조 등을 사용하지 않고 오직 Uniform prior만을 사용한다는 것입니다. 이를 계산하는 과정은 매우 복잡했지만, 결과값이 비교적 간단하게 나온 점과 Uniform prior로 인하여 많은 과정이 간소해짐이 놀라웠습니다. 선행 연구들에 대해서도 Background에서 너무 잘 설명해주셔서 이해가 훨씬 쉬웠던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 “Self-Supervised Classification Network”이었습니다. Clustering은 Label이 없는 상황에서 유사한 데이터를 벡터 공간 상에 근처에 위치시키는 작업을 의미합니다. 이때 모델에 의해 생성되는 Representation은 이미지의 특징을 잘 잡아내야 하기 때문에 해당 논문에서는 Multi-View를 이용하여 Self Train을 시행합니다. 이때 단순히 weak aug를 이용하여 pseudo label을 생성하는 것이 아니라 uniform prior 을 가정하고 이에 맞추어 noramlizing합니다. 이를 통해 기존 연구들에서 사용되었던 expectation maximization 이나 pseudo labeling과 같은 과정을 제거합니다. 개인적으로 산학 과제를 수행하면서 비슷한 태스크를 맡아 진행했는데, 해당 태스크에서 어려움을 겪었던 부분을 비교적 수월하게 해결하는 모습을 보고, 역시 엄밀한 과정을 수립한 이후 모델링에 나서야 한다는 점을 다시 한번 깨달을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Self-Supervised Classification Network라는 논문을 소개해주셨습니다. 모델 학습의 기본이 되는 데이터와 그에 따른 label 없이 유의미한 정보를 학습하기 위한 시도가 여러가지로 이루어지고 있는데, 오늘 어떤 방법론들이 있는지 정리해주셔서 유익했습니다. 특히 오늘 소개한 논문에서 label 정보 없이 data augmentation과 그에 따른 loss 설계를 통해 classification을 진행하는 과정은 매우 흥미로웠습니다. augmentation된 데이터와 원본 데이터가 같은 class를 갖도록 loss를 역전파 함으로써 label 정보 없이 classification network를 학습시킨 발상은 매우 참신했습니다. 이러한 아이디어가 후의 어떤 downstream task에 응용될 수 있을지 혹은 어떤 후속 연구로 이어질지 매우 기대가 되었습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Self-Supervised Classification Network 논문을 다루어 주셨습니다. 해당 논문에서는 이미지의 라벨이 없는 Unsupervised setting에서 downstream 학습 없이 Image classification이 가능한 self classifier를 제안하고 있습니다. Self classifier는 single-stage end-to-end 방식으로 multi-view 이미지들에 대해 같은 cluster로 할당되도록 하며, label과 representation에 대한 학습을 동시에 진행합니다. 해당 과정에서 class를 예측할 때 uniform prior를 이용하여 collapse 문제를 방지하고 있습니다. pseudo label, momentum encoder, stop-gradient등을 사용하여 collapse 문제를 피하는 기존의 방법론들과는 달리 새로운 cross-entropy loss를 이용하였다는 점에서 의의가 있는 것 같습니다. 제안하고 있는 방법론은 unsupervised image classification task에 있어 SOTA를 달성했다는 부분도 인상적이었습니다. 앞서 언급하였듯이 기존 연구들과는 완전치 차별화되는 새로운 방법으로 collapse 문제를 해결하고자 하였다는 점에서 novelty가 있는 것 같습니다. 좋은 발표 감사합니다!

이번 세미나는 IBM에서 발표한 논문 Self-Supervised Classification Network을 주제로 진행되었습니다. 본 논문은 downstream 데이터에 대한 추가 학습 없이 unsupervised 방식으로 image classification을 수행한 연구입니다. 이미지 분야에서 unsupervised image classification은 보통 이미지에 대한 라벨 정보가 없을 때 유사한 이미지들을 클러스터링 하는 방식으로 학습이 진행됩니다. 이때 실제 라벨 정보가 존재하는 경우 accuracy를 통해 성능을 평가하거나 혹은 NMI, ARI, AMI 등의 지표를 활용하여 평가합니다. 소개해주신 논문에서는 하나의 이미지에서 파생된 multi-view 데이터가 동일한 클러스터로 할당되도록 학습을 진행하고 uniform prior를 도입하여 collapse를 방지합니다. 이때, collapse는 negative sample 없이 self-supervised learning이 진행될 때 서로 다른 class의 이미지들의 representation이 discriminative하게 학습되도록 하는 장치가 부재하여 발생할 수 있는 문제로 차후 서로 다른 이미지들이 동일한 class로 예측될 수 있는 문제를 야기하는 주 원인이 됩니다. uniform prior라는 간단한 방식으로 collapse를 방지할 수 있다는 측면에서 인상 깊은 논문이었던 것 같습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 Self-Supervised Classification Network를 주제로 진행되었습니다. 본 논문 리뷰에 앞서 image classification에서 self-supervised learning을 위해 clustering을 함께 고려한 representation learning에 대해 소개해주셨습니다. 본 논문에서는 self classifier로 두개의 backbone network를 사용하였고, 하나의 class로만 예측되는 collapse 문제를 해결하기 위해 uniform prior를 적용한 cross entropy loss를 사용하였습니다. 기존 많은 SSL 방법론에 대해서도 자세히 설명해줌으로써 이전 연구들과 서로 비교하면서 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 Self-Supervised Classification Network 논문으로 진행되었습니다. 해당 논문은 이미지의 label 정보 없이 유사한 이미지를 클러스터링하는 Unsupervised Image Classification 분야의 논문으로 Self-Classifier 구조를 통해 하나의 이미지에서 얻어진 Multi-view 이미지들이 같은 cluster로 할당되도록 cross-entropy loss로 학습을 진행하며, label과 representation에 대한 학습을 동시에 진행합니다. 이때 발생할 수 있는 collapse를 위해 기존에 자주 쓰이던 Negative sample이나 Stop-gradient 방식이 아닌 class prediction에 대해 uniform prior를 적용한 normalizing 과정을 통해 collapse를 방지한다는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

본 세미나에서는 Self-Supervised Classification Network 라는 주제의 논문에 대한 리뷰를 진행하였습니다. Labeled data가 실제로는 매우 귀하기 때문에 unsupervised learning의 중요성이 점점 대두되고 있습니다. 본 논문은 self classifier를 사용하여 Multi-view images가 같은 cluster로 할당되도록 cross-entropy loss를 최소화 하며 학습을 진행합니다. 또한 uniform prior를 적용하여 collapse를 방지하였습니다. 본 논문에서 제안하는 구조는 Unsupervised Image Classification task에서 state of the art를 달성하였고, COCO det/seg task 로 transfer learning 시에도 기존 연구보다 우수한 성능을 보였습니다. Clustering의 아이디어를 학습에 적용하여 다양한 task에서 우수한 성능을 기록한 것이 인상적이었습니다. 좋은 발표 감사합니다.