본 세미나는 Image에 대하여 Augmentation을 활용하여 Representation Learning을 진행하는 방법이 주제이며, 이 때 Non Linear Transformation을 활용한 Contrastive Loss를 사용하여, Generative / Discriminative 방법의 단점을 극복할 수 있습니다. 이미지들에 대하여 Augmentation을 진행한 뒤, ResNet을 Encoder로 사용하여 Vector로 나타낸 다음 같은 이미지로 부터 생성된 이미지 벡터들은 Attract, 아니면 Repel을 하는 식으로 훈련합니다. 벡터 간의 유사도를 통한 훈련은 InfoNCE loss를 활용하며 이런 Contrastive Training은 Supervised Learning에 비하여 Training Step과 Batch Size가 클수록 더 성능이 좋다고 합니다. 연구실 세미나에서 Contrastive Learning이 많이 등장하는데, 프로젝트 및 연구에 있어 성능 향상을 고민할 때 이용해볼 만한 가치가 있다고 생각하며, 개념 소개를 깔끔하게 해주셔서 감사합니다.

최근 SSL 방식으로 학습하는 것에 대한 연구, 관심이 매우 높아졌습니다. 특히 해당 논문은 엄청난 이슈가 되었던 논문인데, 사실 오늘 세미나를 들으면서 다른 분야에서 많이 접했던 방식이여서 친근했지만, 오히려 좋은 학회에 발표된 논문이 시기가 좀 늦은거 아닌가 생각도 들었습니다.(아이디어가 있으면 빨리해야하는것 같습니다). Contrastive learning 자체가 augmentation 을 통해 pos / neg 을 더 잘 학습하게 만드는 방식인데, 이 때 augmentation 이 매우 중요한 역할을 하는 것 같습니다. 이 pair 를 구성하는 것 자체가 의미없는 정보를 내포, 즉 학습에 너무 쉬운 task 를 주게되면 의미가 없습니다. 그래서 data augmentation 의 중요도가 높은것 같습니다. 본 방법론 이후 다양한 도메인에서 CL 방식이 이용되는 것을 느꼈습니다.

이번 세미나에서는 A Simple Framework for Contrastive Learning of Visual Representations 논문에 대해 발표해주셨습니다. 이 논문의 방법은 SimCLR로 Data에 대해 Representation Learning을 Self-Supervised Learning기반으로 하는 방법입니다. 학습은 Data Augmentation을 활용한 Contrastive Learning 방식으로 하였습니다. Augmentation은 Positive sample과 Negative sample에 대해 모두 적용하였고 입력값으로 들어간 뒤 Non-Linear Projection을 통해 Embedding 하여 같은 Label에 대해서는 가깝게 Embedding 되도록하고 서로 다른 Label에 대해서는 멀도록 Contrastive Learning 방식으로 학습하였습니다. 이번 세미나에서는 Loss Function으로 사용되는 InfoNCE의 기반인 KL divergence에 대해 자세히 설명해주셔서 그동안 알았던 개념에 더해서 몰랐던 사실도 함께 알 수 있는 좋은 시간이었습니다. 추가적으로 CLR에서는 Batch Size가 커질수록 성능이 좋아지는 실험에 대해 설명해 주셔서 CLR의 특성에 대해 알 수 있는 좋은 기회였습니다. 좋은 발표 감사합니다.

금일 세미나는 Augmentation과 Contrastive loss 활용하여 이미지의 정보를 학습하는 Representation Learining 방법론을 설명해 주셨습니다. Contrastive loss란 서로 같은 Class의 이미지의 Feature끼리는 가깝게 하고, 서로 다른 Class의 이미지의 Feature끼리는 멀게 만드는 Loss Fucntion 입니다. 즉 같은 Class의 이미지 혹은 유사한 이미지를 모델에 넣었을 때 비슷한 Feature로 표현되게 함으로써 좋은 representation을 학습하는 방법론입니다. 따라서 해당 방법론을 적용하기 위해서는 이미지의 Class 정보 또는 유사 정보가 필요합니다. SimCLR 논문에서는 사이즈 변경, 색 변경, 가우시안 노이즈 추가 등을 활용하여 원본 이미지와 유사한 이미지를 생성하고 이를 Contractive Loss로 활용합니다. 요즘 contrastive learning을 음성에 적용하는 방법에 대해 주로 공부하고 있기 때문에 이미지에서는 어떻게 적용할까 궁금했었는데 아주 유익한 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나는 A simple Framework for Contrastive Learning of Visual Representations에 관한 발표를 진행해 주셨습니다. 해당 논문의 핵심적인 내용은 loss에 contrastive loss를 설정하여 임베딩 스페이스에서 이미지의 임베딩을 classification에 맞게 학습시키는 직관적인 내용이나, 학습을 위한 example 설정이 augmentation을 통해 수행된다는 점이 신선했습니다. 처음에는 finetuning 개념의 학습인줄 알았는데, unsupervised 학습으로 실험 결과와 같은 성능을 냈다면 상당히 좋은 결과라고 생각합니다. Image retrieval 분야에서도 unsupervised learning이 supervised에 비해 핫하다고 알고 있는데, 오늘 소개해주신 내용을 적용해보면 어떨까 생각이 들었습니다. 굉장히 깔끔한 논문인 것 같고, 시각적인 요소를 잘 활용해서 이해가 쉽게 설명해 주셔서 감사합니다. 앞으로도 좋은 세미나 기대하겠습니다.

금일 세미나 시간에는 김동화 박사과정이 “A Simple Framework for Contrastive Learning of Visual Representations” 논문을 주제로 Visual representation을 확보하기 위해 Contrastive Learning을 수행한 연구를 다루어 보았습니다. 해당 논문에서는 제안하는 SimCLR 프레임을 통해서 데이터 증가 구성이 예측을 위해 중요한 역할을 하고, representation과 Contrastive Learning loss 사이의 학습 가능한 비선형 변환을 도입하여 성능을 향상시키며, 실험적으로는 배치 사이즈를 크게 할수록 Contrastive Learning이 수월하게 진행될 수 있음을 실험적으로 보여주었습니다. 최근 세미나 등에서 Contrastive Learning이 자주 등장하는 만큼 다양한 분야의 연구들에서 고려되는 학습방법이 된 것 같습니다. 저 또한 제가 수행하고 있는 Graph 관점에서 적절한 연구활용 분야가 어디 있을지 생각해보게 되었습니다. 좋은 컨텐츠를 세미나를 통해 공유해준 발표자에게 감사의 인사를 전합니다.

금일 세미나는 contrastive learning의 학습구조 ‘SimCLR’을 제안하는 논문을 바탕으로 진행되었습니다. 본질적으로 기계학습의 많은 부분이 Representation learning의 측면에서 생각될 수 있을 것 같습니다. 이러한 측면에서 본 세미나에서 representation learning에 대한 개념 소개로 시작하며, 이러한 판 위에서 학습의 과정과 모습이 설명되어 역시나 직관적인 이해를 높일 수 있었습니다. 최초의 input(original image)에서 시작해, augmentation, resnet 구조를 활용한 encoder 등을 거치는 과정을 단계별 설명이 있어 수월히 이해할 수 있었습니다. SimCLR에선 infoNCE loss를 활용하였고, 벡터내적을 활용한 유사성 개념을 적용하였습니다. 실험을 통해서 SimCLR 모델이 vision 데이터에서 대해 representation learning 성능을 향상시킬 수 있다는 점에 대해서 확인할 수 있었습니다. 본 세미나를 통해서 contrastive learning, data augmentation, representation learning, infoNCE 등 다양한 개념에 대해 이해할 수 있었습니다. 좋은 발표 감사합니다.

오늘 세미나에서 소개해 주신 논문에서는 Data Augmentation을 활용한 Representation Learning 방법에 대해 제안하고, 이 과정에서 Contrastive Learning을 활용한 방법을 제안합니다. 우선적으로 각 Class에 속한 Blur, Crop 등의 Augmentation을 수행하고, Augmented Data를 Positive Pair로, 다른 Class의 데이터를 Negative Pair로 설정합니다. 이후 Contrastive Learning을 사용하여 Positive Pair끼리는 가깝게 위치하도록, Negative Pair와는 멀리 위치하도록 Representation을 학습합니다. 별도의 복잡한 구조를 도입하지 않고, Augmentation과 Loss의 변경만으로 좋은 성능을 달성한 점이 인상깊었던 논문입니다. 좋은 발표 감사합니다.

Contrastive learning은 최근에 굉장히 관심을 가지고 있는 주제인데 세미나에서 다루어주셔서 다시금 의미를 되짚어 볼 수 있었습니다. Contrastive learning은 매우 다양한 분야에서 적용될 수 있기 때문에 vision 쪽 domain에서 어떻게 활용되는지 알 수있는 좋은 기회였습니다. 결국에 Contrastive loss는 데이터의 relation을 나타내는것에 포인트를 두고 있기 때문에 augmentation 간의 관계를 잘 반영하는것이 가장 중요한 파트가 아닌가 생각했습니다. 좋은 발표 감사합니다.

이번 세미나는 visual representation에 contrastive learning을 적용한 논문에 대해 다루었습니다. contrastive learning은 positive pair는 가깝게 negative pair에 대해서는 멀도록 학습하는 방식인데, 이번 세미나를 통해 각각의 pair를 생성하는 방식과 loss 함수의 설계에 대해 자세하게 알 수 있었습니다. 세미나를 듣고 contrastive learning의 핵심은 질 높은 pair를 구축하는 것이라고 생각했습니다. 이미지 데이터에서는 기존의 augmentation 기법을 활용하여 양질의 pair를 생성할 수 있었는데 만약 다른 분야에 적용된다면 pair를 어떻게 생성하는 것이 좋을지에 대해 고민해보는 것도 좋은 시도일 것 같습니다. 좋은 발표 감사드립니다.

지금까지는 데이터와 상응하는 레이블과의 비교를 통해 모델을 주로 학습해 왔는데, 생각해보면 그 많은 데이터를 모으면서 데이터 간의 관계를 잘 살피는 시도는 많지 않았던 것 같습니다. Contrastive learning이 굉장히 많이 연구되고 있는 것 역시 많은 데이터끼리의 관계를 파악하여 이를 학습에 활용하는 것이 효과적이라 밝혀졌기 때문일 것입니다. 저는 Unsupervised Data Augmentation(UDA) 논문을 통해 contrastive learning을 처음 접했는데 공통적으로 augmentation이 중요한 역할을 하는 것 같습니다. 기준이 되는 데이터에서 유사한 관계를 갖는 객체를 뽑아내는 방법에 대한 연구가 흥미롭게 다가와서 관련 논문을 찾아보려 합니다. 그리고 세미나 중 forward kld와 reverse kld에 대해 설명해 주셔서 좋은 참고가 되었습니다. 감사합니다.

오늘 세미나는 data augmentation을 활용한 representation learning에 대해 진행되었습니다. representation learning은 generative, discriminative 두 가지 방법으로 분류할 수 있는데, generative 방법은 시간이 오래걸리기 때문에 논문에서는 discriminative 방법을 차용하여 효율적인 학습을 추구했습니다. 논문에서 제시한 핵심적인 아이디어는 data augmenation을 활용한 contrastive learning인데, ResNet을 사용해 이미지의 feature를 뽑으며, 이때 같은 class의 다르게 augmentation된 이미지는 가깝게, 다른 class와의 거리는 멀게 하는 loss로 학습합니다. 학습 목적과 계산 과정에서 말씀해주신 것처럼 자연어 처리의 word embedding과 유사하다는 생각이 들었습니다. loss를 변경하여 더 나은 representation을 학습하는 방법론이 많이 있는 것 같은데, 이에 대해 더 공부해보고 싶습니다. 좋은 발표 감사합니다.

금일 세미나는 A Simple Framework for Contrastive Learning of Visual Representations라는 논문에 대해 설명해주셨습니다.

Representation learning은 이름에서 알수 있듯이 유용한 representation(예: 해석 가능하거나 잠재된 특징이 있거나 이전 학습에 사용될 수 있는 표현)을 학습하기 위한 학습 알고리즘입니다.
Representation learning은 크게 generative와 discriminative 두 가지 방법으로 분류할 수 있는데, generative 방법은 데이터 생성 기반의 방법으로 시간이 오래 걸린다는 특징이 있으며, discriminitive 방법은 supervised learning과 유사하지만 unlabeled data를 사용하여 판별하게 됩니다.

해당 논문은 data augmentation을 하며 representation learning 중 discriminative 방법을 차용한 contrastive learning을 메인 contribution으로 가져가고 있습니다. ResNet을 사용해 이미지의 feature들을 뽑아서 사용하며, positive class의 다르게 augmentation된 이미지는 가깝게, negative class와의 거리는 멀게 하는 loss로 학습을 진행합니다.

최근 세미나 등에서 Contrastive Learning이 자주 등장하는 것을 볼 수 있는데, 다양한 분야의 연구들에서 고려되는 만큼 중요한 학습 방법 중 하나가 된 것 같습니다. 좋은 발표 감사합니다!

금일 세미나는 "A Simple Framework for Contrastive Learning of Visual Representations"라는 주제로 진행되었습니다. 본 발표는 데이터 augmentation을 활용한 representation learning을 중심으로 진행되었으며, contrastive loss가 해당 논문에서 중요한 역할을 했습니다. 개인적으로는 예전에 siamese network를 사용하면서 contrastive loss를 접한 적이 있어 관심을 가지고 발표를 들었는데, 다양한 분야에서 해당 loss가 적용되어 좋은 성능을 도출하는 것을 보고 이상치 탐지에서도 해당 loss를 활용하면 어떨까하는 생각이 들었습니다. out-of-distribution 데이터와 normal 데이터를 활용한 contrastive loss를 적용하면 normal 데이터의 representation이 더 잘되지 않을까하는 아이디어가 떠오르는 발표였습니다 좋은 발표 감사합니다.

금일 세미나는 vision에서 data augmentation을 활용한 contrastive learning에 대한 발표로 진행되었습니다. 이전 김정희 석사과정의 세미나에서의 sequence 기반의 contrastive learning과 연관지어 들을 수 있었습니다. 논문에서는 augmented data 간의 거리는 가깝게 위치하도록 하고, 서로 다른 class의 데이터의 거리는 멀어지게 위치하도록 non-linear projection 과정을 거치도록 합니다. 특히 feature를 뽑기 위해 ResNet을 활용하였고, 이후에 transformation 모듈을 추가적으로 적용합니다. 학습을 위해 InfoNCE를 loss function으로 활용하는데, 이는 2개의 벡터에 대한 KL divergence로 표현됩니다. 보다 구체적으로는 Anchor와 proposal 벡터의 내적을 통해 각 샘플 간의 유사도를 계산할 수 있습니다. 이러한 contrastive learning 방식을 활용하여 vison 에서의 representation 성능을 향상시키는 것을 결과로서 확인하였습니다. 단계별로 설명해주셔서 이해하기 좋았습니다. 항상 좋은 발표 감사합니다.

이번 세미나에서는 data augmentation을 contrastive learning에 대한 내용이 다뤄졌습니다. 소개된 논문은 다양한 augmentation을 사용하고 nonlinear projection을 추가함으로써 accuracy를 높였습니다. 또한 batch size를 크게할 수록 더 좋은 성능을 보였습니다. loss는 cosine similarity를 활용하여 동일 class 쌍의 유사도를 최대한 높이는 방향으로, 즉, 임베딩 공간에서 거리를 좁히는 방향으로 학습합니다. 이 과정을 들으며 얼마 전의 세미나 주제였던 metric learning 에서의 triplet loss가 떠올랐습니다. 각 loss에 대한 장단이 있겠지만, 이번 세미나에서 소개된 논문에서는 상대적으로 간단한 contrastive loss와 함께augmentation 기법이나 batch size의 조정 등의 관점에서 성능향상을 이끌어 냈다는 점이 흥미로웠습니다. 발표 잘 들었습니다.

이번 세미나에서는 A simple Framework for Contrastive Learning of Visual Representations라는 주제로 진행되었습니다. 세미나는 augmentation을 활용한 Contrastive Learning에 대한 설명과 두 가지의 KL divergence의 차이, Info Noise Contrastive Estimation(InfoNCE), Data augmentation 종류, 결과 순으로 진행되었습니다. 세미나 중간에 Forward KL divergence와 Reversed KL divergence에 대해 설명해주셨습니다. Forward KL divergence는 target distribution & predicted distribution이 0을 피하게 학습되는 반면에 Reversed KL divergence는 반대로 0이 되도록 학습되게 된다는 것을 알았으며 VAE에서 Mean field approximation을 위해 Reverse KL divergence를 활용한다는 것에 대해서도 설명해주셨습니다. 그리고 InfoNCE에 대해 설명해 주셨는데 Anchor와 proposal 벡터의 내적을 통해 유사도를 계산하고 softmax를 취하여 augment label을 예측하는 것을 알 수 있었습니다. 이번 세미나에서 Contrastive Learning을 vision 분야에서의 representation 성능을 올릴 수 있다는 것에 대한 설명과 두 가지 KL divergence의 차이, augmentation 기법들에 대한 정리 등 알찬 세미나였습니다. 좋은 발표 감사합니다.

최근 제 개인연구와 관련된 여러 논문들을 살펴보고, 패션데이터 생성 프로젝트를 진행하고, 또 연구실에서 진행중인 세미나를 들으면서 contrastive learning이 참 팔방미인이구나 라는 생각이 들었습니다. 사용하지 않은 연구 분야를 찾기가 어려울 정도로 다양한 task에서 contrastive loss를 사용하고 있는데, 그만큼 다양한 task를 수행하는데 CE loss는 큰 한계가 있다고 생각합니다. 이번 세미나에서 다룬 논문에서도 이러한 contrastive loss를 활용하여 visual representation을 잘 생성하는 방식을 제안합니다. 논문 제목부터 논리 전개까지 직관적이고 태클을 걸 부분이 없다는 생각이 들어 좋은 연구라 생각하였습니다.

올해 초 개인적으로 굉장히 관심 있게 보았던 SimCLR 논문에 대해 발표해주셨습니다. 최근 Contrastive Learning이 굉장히 많은 분야에서 사용되고 있습니다. 개인적으로 augmentation 기법들을 공부하면서 해당 방법론에 많은 관심을 갖고 공부했습니다. 본 세미나에서 소개해주신 논문도 굉장히 큰 도움이 되었습니다. 최근에는 이를 이상치 탐지 및 OOD 문제에도 적극적으로 활용되는 것으로 알고 있습니다. 이미 있을 것이라고 생각되긴 하지만 언어 모델에서 최근 다양한 augmentation 기법들이 제시되고 있어 이를 이용한 contrastive learning을 연구해보면 굉장히 흥미로울 것 같다는 생각을 했습니다. 명쾌한 발표를 들려주셔서 감사합니다.

이번 세미나는 self-supervised방식으로 데이터 증강을 위한 visual representation learning에 대한 세미나였습니다. 구체적으로 nonlinear transformation을 사용한 contrastive loss를 설정하였습니다. SimCLR의 장점으로는 color augmentation을 강하게 주면 대게 성능이 떨어지는 경향이 있으나, 해당 방법론은로는 그럴수록 성능 향상을 보일 수 있다는 점이 있습니다. 또한 데이터 aubatch size와 contrastive learing의 관계를 실험하여, 일반적으로 batch size가 크면 CLR성능이 높다는 것을 입증하였습니다. 비전 분야에서 data augmentation할 수 있는 방법을 더 많이 소개 받아 유익한 세미나였습니다. 해당 방법을 부족한 이미지의 양으로 인해 발생하면 데이터 불균형의 문제에 적용하면 해당 문제가 해결될 것 같습니다. 좋은 발표 감사합니다.