이번 세미나에서는 이미지 데이터를 활용한 self-supervised pre-training을 주제로 진행되었습니다. Self-supervised learning을 여러 갈래로 구분지을 수 있는데 그 중에서 Multi-crop Augmentaion은 전체의 이미지 중 일부(crop)를 동일한 라벨 하에 학습하는 것이라 볼 수 있습니다. 단, 이때 주의해야할 점이 임의로 crop 된 view가 동일한 객체를 포함하고 있어야한다는 점입니다(semantic consistency assumption). 이에 본 방법론에서는 하나의 이미지에 여러 객체가 있을 경우에 대해서 scene-scene, scene-instance, instance-instance를 모두 반영하는 목적 함수를 설정하여 학습이 진행됩니다. 즉, 전체 이미지 > scene > instance 의 포함관계가 되는 것입니다. 이를 통해 semantic consistency assumption이 충족되기 때문에 contrastive crop이 효과를 볼 수 있게 됩니다. 허나 발표자 분의 말씀처럼 해당 방법론은 Selective Search 등의 기법을 적용함에 따라 많은 시간이 소요된다는 점과 특정 데이터 셋에서만 방법론이 좋은 성능을 보이는 점을 해결하는 것이 관건이 될 듯 합니다. 흥미로운 발표 감사합니다.

이번 세미나에서 소개된 논문은 UniVIP: A Unified Framework for Self- Supervised Visual Pre-training입니다. 해당 논문은 multi-object 이미지의 representation을 잘 학습할 수 있는 자기지도 학습 프레임워크를 제안합니다. 특히, multi-object 이미지에서 random crop된 샘플의 representation의 semantic consistency와 overlapping 된 multi-view 간의 관계를 학습에 반영할 수 있도록 했습니다. 기본적으로는 BY0L 방법론을 사용하고 있으며 selective search 로 instance 후보를 선정하고 scene-scene, scene-instance, instance-instance discrimination을 위한 loss를 설계하였습니다. Multi-object 이미지에 대해서도 pretraining 이 가능하다는 점에서 일반화할 수 있다는 장점이 있지만, selective search 사용의 비효율성과 관련하여 저 역시 발표자의 의견에 공감이 가는 논문이었습니다. 좋은 발표 감사합니다.

본 세미나에서는 UniVIP : A Unified Framework for Self-Supervised Visual Pre-training 라는 주제의 논문에 대한 리뷰를 진행하였습니다. 본 세미나를 통해 이미지 도메인의 다양한 contrastive learning 방법론에 대한 리뷰를 진행하였습니다. 본 논문에서 제안하는 구조인 UniVIP의 경우 local to global representation을 학습 할 수 있다는 장점이 있는 Multi-crop augmentation을 사용합니다. 결론적으로 Multi-object 이미지에도 적합한 학습 구조를 제안했다는 contribution이 있습니다. Multi-object 이미지에 대한 학습을 진행하기 위해 Scene간의 similarity, scene과 instance의 correlation, instance간의 discrimination을 반영할 수 있는 loss 설계하였습니다. 특히 scene과 scene 사이의 similarity 계산을 위해 selective search를 사용하여 instance candidate 영역을 검출하고 검출된 K개의 instance를 포함하는 2개의 영역 crop - BYOL loss 사용한 점이 인상적이었습니다. Contrastive learning은 도메인에 상관 없이 representation learning의 핵심 방법론으로 사용되고 있습니다. Time series data의 representation learning에 대해 공부하고 있는데, 본 세미나에서 발표해주신 내용을 time-series data의 특성에 맞게 적용하는 부분도 좋은 연구 주제가 될 수 있겠다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 self-supervised visual pretraining 방법론을 제시하고 있는 UniVIP:A Unified Framework for Self Supervised Visual Pre-training에 대해 진행해주셨습니다. 해당 방법론은 Scene-Scene 간의 Similarity , Scene-instance 간의 Correlation , Instance-Instance 간의 discrimination을 활용하고자 합니다. local -global representation 학습을 위해 Multi-crop augmentation을 활용하며, 이미지 내에 Multi-object가 존재할 경우 crop 된 각 샘플들은 서로 다른 representation을 가지며 겹치는 region이 있을 경우 instance view 간의 관계를 학습에 반영하고자 합니다. 기본 Baseline은 BYOL의 구조를 사용하며 Scene-Scene, Scene-instance,instance-instance loss를 계산한 뒤 모두 합쳐 최종 Loss를 도출하게 됩니다. 이미지 내 단일 feature가 아닌 다양한 요소에 대한 feature를 최종 representation에 반영하고자 하는 것으로 생각되며, 풍부한 representation을 가질 수 있다고 생각 됩니다. 하지만 한편으로는 selective search, 두 개의 BYOL 등 연산 cost가 크다는 점이 단점으로 작용하지는 않을까 하는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나는 UniVIP: A Unified Framework for Self- Supervised Visual Pre-training 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Image data의 Self-supervised pre-training을 위한 모델인 UniVIP를 제안하고 있습니다. 모델에서는 local to global representation을 학습할 수 있게 Self-supervised learning에 효과적인 Multi-crop augmentation을 Multi-object에 사용합니다. 그러나 Random crop을 통하여 Augmentation을 수행하면 Random cropped samples는 서로 다른 Representation을 가질 수 있기 때문에, 해당 논문에서는 두 개의 view를 Crop한 후, 이 view의 겹치는 부분에 있는 Instance view간의 관계를 학습에 반영하여 사용합니다. 이 과정은 먼저 Selective Search를 통하여 Instance 후보를 선정한 후, Multi-instance가 포함된 2개의 View를 Crop하여 최종적으로 만들어진 Scene, instance를 통하여 Scene-scene similarity, scene-instance correlation, instance-instance discrimination를 반영하는 전체 목적 함수를 통하여 이루어집니다. 전체적인 모델의 구조와 목적함수는 Transfer learning에서 높은 성능을 보인 BYOL를 사용하고 있습니다. Selective search는 Object detection의 초창기 모델인 RCNN에 쓰일 만큼 오래된 알고리즘이며 수행하는데 많은 시간이 소요되는 것으로 알고 있습니다. 해당 부분을 발표자분도 짚어 주신 것처럼, 이를 개선할 수 있는 방법을 찾았다면 더 좋지 않았을까 하는 생각이 들었습니다. 제가 연구하는 분야와는 다른 분야이지만, 발표자분이 하나하나 자세히 설명해 주셔서 쉽게 이해할 수 있었던 것 같습니다. 정말 좋은 발표 정말 감사드립니다.

이번 세미나에서는 UniVIP: A Unified Framework for Self- Supervised Visual Pre-training 논문을 소개해 주셨습니다. 본 논문은 self-supervised pre-training 방법으로 Multi-object 이미지의 representation을 학습하는 것을 목표로 하며, 기본적으로는 선행 연구인 BYOL 방법론을 따르고 있습니다. 본 연구의 핵심 가정은 만약 이미지 안에 다수의 object가 존재한다면 이미지 전체 보다 작은 level의 views 사이에는 representation의 차이가 발생할 거이란 것이며, 이를 활용하여 이미지 내의 다른 object에 대해 Contrastive Learning이 가능할 것이란 겁니다. 이를 구현하기 위해 논문에서는 이미지의 일부분을 crop하고 그 각각에 대해 원본 이미지와 동일한 label을 할당하는 Multi-crop Augmentaion을 수행하고, 두 cropped view와 그 사이 겹치는 부분의 instance view 간의 관계(Scene-scene, scene-instance, instance-instance)를 학습 loss에 반영합니다. 논문에서 주장하는 학습 가정과 그를 구현하기 위한 접근은 모두 납득이 가나, 실제로 loss를 구성할 때 selective search를 통한 instance 선정, Optimal transport­ Sinkhorn-Knopp 방식의 목적 함수를 설계 등의 구체적인 부분들은 비교적 바로 받아들여 지지는 않았던 것 같습니다. 특히 selective search의 필요성은 인정이 되나 발표자께서도 언급해 주신 것처럼 비효율적인 부분이 존재한다고 생각이 됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 UniVIP: A Unified Framework for Self-Supervised Visual Pre-training이라는 연구를 소개해주셨습니다. 해당 연구는 한 Image 내에 여러 개의 Object가 존재하는 Multi-object Image에 적합한 학습 방법을 제안했습니다. 제안하는 방법론 UniVIP에서는 이미지 내의 일부 영역인 Local View만이 아닌 더 넓은 영역인 Global View를 학습할 수 있도록 Multi-crop Augmentation을 활용하고, Scene-Scene Similarity, Scene-Instance Correlation, Instance-Instance Discrimination을 반영해 Loss 함수를 구성합니다. 이때 Instance-Instance Discrimination을 설계할 때 최적 수송 문제에서 사용되는 방법론인 Sinkhorn-Knopp 방식을 이용해 Loss 함수를 구성한 것이 인상적이었습니다. 그리고 Scene-Scene Similarity를 계산할 때 Selective Search 알고리즘을 이용해 Instance 후보를 선정하는데, Selective Search라는 알고리즘을 처음 접해 상당히 신선했습니다. Background에서 UniVIP를 이해하기 위해 필요한 배경 지식을 설명해주셨는데, 깔끔한 설명과 이미지를 함께 예시로 모두 보여주어서 이해에 많은 도움이 되었습니다. 세미나 후반에 발표자 분께서 말씀하신 것과 같이 Selective Search 과정을 보면 Region Similarity를 계산하기 위해서도 여러 번의 추가적인 계산이 필요한데 이러한 과정을 수반하는 만큼 연산 측면에서는 명확한 단점을 가지고 있는 방법론이라는 생각이 들었습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 UniVIP: A Unified Framework for Self Supervised Visual Pre-training 논문을 다루어 주셨습니다. 본 논문에서는 Multi-Object를 포함하고 있는 이미지도 다룰 수 있는 학습 구조를 제안하고 있습니다. augmentation에 있어서는 multi-crop을 이용하여 Self-supervised Learning을 좀더 효과적으로 수행하고자 하고 있습니다. 구체적으로는 multi-instance가 포함된 2개의 view를 crop하면서 진행을 하고 있습니다. 이미지 내에 단일 instance만 포함되어 있는 경우 랜덤하게 crop 된 샘플들은 서로 다른 representation을 가질 수 있지만, 다수의 instance가 있는 경우는 다른 representation을 가질 수 있다는 점을 반영하여 위와 가이 2개의 view를 이용하고 있습니다. 다음으로 scene과 instance에 대해 scene간의 유사도, scene과 instance 사이의 correlation, instance간의 discrimination을 이용하고 있습니다. 어떤 부분을 다루는지에 따라 유사도를 구할 것인지, correlation을 이용할 것인지 차별을 두는 부분이 인상적이었습니다. 본 논문에서는 UniVIP를 이용하여 multi-object dataset을 이용하고 기존의 방법론에서 이미지의 representation을 학습하기 어려운 문제점을 해결하고자 하고 있습니다. 실험적인 부분에서 local feature를 이용하거나 multi-level feature를 이용하는 연구들보다 fine-tuning 성능이 높다는 점이 인상적이었습니다. 좋은 발표 감사합니다!

이번 세미나는 UniVIP: A Unified Framework for Self Supervised Visual Pre-training 논문에 대해서 다뤘습니다. 기존 SSL method는 semantic consistency assumption 을 만족하는 이상적인 상황을 가정하고, Multi-object dataset을 사용할 경우 이미지의 representation을 학습하기 어려움기에, 이러한 문제점을 해결하기 위해, Pre-train 데이터셋에 대한 제약을 줄여 성능을 개선합니다. 발표자의 자료가 매우 컴팩트하고, 이해하기 쉽게 예시를 잘 작성하여서 배경지식이 없는 상태에서 들어도 현재 Vision task 에서의 문제점을 파악할 수 있었습니다. 좋은발표 감사합니다.

이번 세미나에서는 "UniVIP: A Unified Framework for Self Supervised Visual Pre-training"라는 논문에 대해 다루어주셨습니다. 이 논문에서는 self supervised learning 문제를 풀고자 하는데 이미지안의 여러 물체가 있을 경우를 가정했을 때 적용할 수 있는 학습 방법론을 제안하였습니다. 제안한 논문에서는 multi object를 포함한 이미지를 crop하게 되면 각 crop된 이미지는 서로 다른 물체이기 때문에 다른 representation을 가져야 하는 논리적 이유에 기반하여 crop된 이미지간에 진행할 수 있는 contrastive learning 구조를 제안합니다. 이 때, scene과 instance간의 유샤도를 계산하게 되는데 이 부분에서는 selective search라는 고전적인 방법론을 사용하였습니다. 그렇기 때문에 방법론의 시간이 많이 소요될뿐만 아니라 특정 데이터셋에서는 성능이 떨어지는 결과를 보인 점은 아쉬웠습니다. 하지만 multi-object를 가정한 어려운 문제에 대해서 self supervised learning 방법론의 구조를 논리적으로 적용한 부분은 매우 인상 깊었습니다. 좋은 발표 감사드립니다.

이번 세미나는 이미지 사전학습을 위한 프레임워크를 제안한 논문 UniVIP: A Unified Framework for Self-Supervised Visual Pre-training을 주제로 진행되었습니다. 본 논문은 self-supervised learning 기반 통합 프레임워크를 제안하여 multi-object 이미지를 적절히 학습하도록 하고 랜덤으로 crop된 이미지의 representation 차이를 반영하도록 했습니다. 본 논문의 representation learning은 총 3가지 loss를 기반으로 합니다. 우선 scene 간의 유사도를 파악하기 위해 selective search를 통해 instance candidate 영역을 검출하고 검출된 multi-instance를 포함하는 영역을 crop하여 BYOL loss를 사용합니다. 또한 scene과 instance 간의 상관관계를 반영하기 위해 multi-instance의 representation을 concat하고 FCL을 통해 통합된 representation을 생성하여 scene representation과 함께 BYOL loss를 산출합니다. 마지막으로 contrastive learning에서 필요한 negative sample 수에 비해 부족한 instance 수를 고려하여 instance 간 구분을 위해 optimal transport problem과 Sinkhorm-knopp 알고리즘을 사용합니다. 본 논문은 CoCo와 ImageNet 데이터셋을 통해 downstream task에서 높은 성능을 보임을 증명하였습니다. 이미지 분야의 self-supervised learning 기법에 대해 포괄적으로 접할 수 있어 유익한 시간이었습니다. 고생많으셨습니다. 개인연구도 잘 마무리하시길 응원하겠습니다.

이번 세미나는 UniVIP: A Unified Framework for SelfSupervised Visual Pre-training를 주제로 진행되었습니다. 발표자분께서 이전 세미나들부터 계속해서 이미지 도메인에서 self supervised learning에 대해 설명해주시고 계십니다. 이번 세미나에서는 self supervised learning 중 contrastive learning을 사용하는 한 방법론에 대해서 설명해주셨습니다. 본 논문에서 제안하고 있는 UniVIP의 경우, 전체 이미지 중 일부인 cropped local view를 augmentation으로 사용하는 사용하는 multi-crop augmentation을 사용하고 있는데 이를 multi-object 이미지에 적합한 구조를 제안하였습니다. 특히, multi-object가 존재할 때 두 개의 cropped view와 overlapping region에 있는 instance view 간의 관계를 학습에 반영할 수 있다는 특징이 있습니다. cropped view를 이용할 때 instance가 포함된 이미지를 사용해야한다는 특징이 있는데 해당 방법론은 selecetive search를 통해 instance 후보를 정하고 multi-instance가 포함된 2개의 cropped view를 통해 scene-scene similarity, scene-instance correlation, instance-instance discrimination을 반영한 목적함수를 사용한다는 특징이 있습니다. 해당 세미나를 통해 augmentation을 수행할 때 단순하게 augmentation을 수행했다고 끝이 아니라 학습하고자 하는 특징을 잘 포함하게 augmentation이 수행되었는지, 그리고 global, local의 특징을 잘 학습하게 구성하는 것의 중요도 생각해 볼 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 UniVIP: A Unified Framework for SelfSupervised Visual Pre-training 논문을 소개해 주셨습니다. 지금까지 다양한 Self-Supervised Learning (SSL)에 대한 연구를 소개해주시고 앞선 SSL을 instance discrimination 과 group discrimination 으로 나누고 각각이 가지는 문제점을 알려주셔서 인상적이었습니다. 본 논문에서는 BYOL을 기반으로 multi-crop augmentation 을 활용하여 scene-scene, scene-instance, 그리고 instance-instance 간의 관계를 통해 contrastive learning을 수행하였습니다. 이미지의 특성을 활용하여 selective search를 통해 multi-crop에 대한 scene과 instance를 구분하고 관계를 학습하는 과정이 인상적이었고 unified framework를 위한 고민이 많이 보였던 구조라고 생각됩니다. 오늘도 좋은 발표 감사합니다.

금일 세미나는 "UniVIP: A Unified Framework for Self- Supervised Visual Pre-training"라는 주제로 진행되었습니다. 본 발표에서는 multi-object 이미지에 적합한 Self-SupervisedLearning 구조인 UniVIP가 소개되었습니다. 해당 방법론에서는 multi instance가 포함된 두 개의 view를 crop하고, scene-scene similarity, scene-instance correlation, instance-instance discrimination을 반영한 objective function을 통해 cropped view와 overlapping region에 있는 instance view 간의 관계를 반영하는 representation을 학습하였습니다. 개인적으로는 multi-object 이미지의 특징을 잘 반영한 representation을 학습하기 위한 아이디어를 잘 실현한 방법론이라는 생각이 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 multi-object 이미지에 적합한 Self-SupervisedLearning 구조를 제안한 "UniVIP: A Unified Framework for Self- Supervised Visual Pre-training"에 대해 살펴보았습니다. 본 논문에서는 scene-scene similarity, scene-instance correlation, instance-instance discrimination를 고려하여 cropped view와 overlapping region에 있는 instance view 간의 관계를 반영하고 있습니다. Multi-object image의 표상을 잘 학습하는 방법을 제안하고 있지만 발표자의 의견처럼 cost에 대한 고민도 반드시 필요할 것으로 생각됩니다.

이번 세미나는 CVPR 2022에 억셉된 UniVIP: A Unified Framework for Self- Supervised Visual Pre-training 논문으로 진행되었습니다. 이미지 분야에서의 증강 기법인 Multi-crop Augmentation은 local-to-global representation을 학습할 수 있기 때문에 SSL에 효과적인데, 이미지 내에 single class만 존재하는 경우 크롭된 뷰의 representation이 일치하는 반면 여러 class가 존재하는 경우엔 크롭된 뷰끼리 서로 다른 representation을 가질 수 있기 때문에 Scene간의 similarity, scene과 instance의 correlation, instance간의 discrimination을 학습하는 구조를 설계한 논문입니다. 이렇게 Scene-Scene, Scene-Instance, Instance-Instance 각 옵션별로 적절한 학습 loss를 설계하여 ImageNet과 같은 Single-centric-object, COCO 같은 non-iconic 데이터셋에서 모두 높은 성능을 보였다고 합니다. Scene-Scene, Scene-Instance, Instance-Instance 3가지의 loss를 나눠주게 된 motivation과 각 옵션에 적절하게 학습 방식을 설계한 부분이 인상 깊은 논문이었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 UniVIP를 주제로 진행되었습니다. SSL을 위한 unified framework를 제안하기 위해 크게 scene-scene, scene-instance, instance-instance level의 학습을 진행하고 있습니다. 각 level을 학습하기 위한 구조로 BYOL을 채택하고 multi object를 학습합니다. selective search가 휴리스틱하게 구성되는 것 같다는 인상을 받았으나 성능향상에 핵십적인 역할을 하고 Region candidate으로 GT보다 좋은 성능이 도출되는것이 기억에 남습니다. 좋은 발표 감사합니다.