이번 세미나에서는 비전 분야에서는 굉장히 활발히 적용되고 있는 contrastive loss 기반 학습을 NLP 분야에 적용하고자 한 SimCSE에 대해 소개해주셨습니다. 비전 분야에서는 이미지의 positive-negative pair를 통해 나름 간단한 방식으로 학습이 진행되지만, 또 그렇게 해서 좋은 효과를 보였지만, 과연 NLP 분야에서는 어떠한 방식으로 contrastive learning이 가능할까 궁금했던 차에 본 세미나를 진행해주셔서 굉장히 흥미롭게 들었습니다. 19년에 발표된 sentence BERT의 경우에 두개의 siamese 네트워크 구조에 triplet loss 등을 이용해 sentence 임베딩을 학습했는데, supervised 기반이라는 점에서 한계점이 있습니다. 이와 달리 SimCSE의 경우 unsupervised 기반 방법론도 제안한 것이 흥미로웠는데, positive pair를 구성하기 위해 dropout을 이용하였다는 점이 특히 재밌었습니다. 또한 자연어의 isotropy와 uniformity라는 개념에 대해서도 다시금 생각할 수 있었습니다. 해당 개념은 비전 쪽에서도 이슈가 되는 부분일텐데, 추후 연구에 참고하도록 하겠습니다. 좋은 발표 감사합니다.

이번 세미나는 NLP 쪽 Contrastive Learning 적용 연구에 대해 소개해주셨습니다. Contrastive Learning은 이미 이미지 데이터에서 좋은 성능이 입증되었는데, 이 방법론의 핵심은 pair를 augmentation하는 방식입니다. 이미지의 경우 비교적 쉽게 pair를 생성할 수 있다는 장점이 있기에 Contrastive Learning과 같은 방법론이 이미지 데이터를 기반으로 연구가 이루어졌다고 생각합니다. 따라서 이것을 NLP에 적용한다면 과연 pair를 어떻게 생성할 것인지에 대해 궁금했습니다. 역시 자연어라는 특수성으로 인해 많은 시행착오가 필요해 보이지만 오늘 세미나를 듣고 난 후 NLP에서도 이 데이터의 특성에 맞게 Contrastive Learning을 적용하는 것이 실현 가능하다는 생각을 하게 되었습니다. 좋은 발표 감사드립니다.

이번세미나에서는 contrastive learning 관점에서 NLP task의 성능을 향상시킨 연구를 소개해 주셨습니다. 주요 contribution은 모델에 dropout을 줘서 서로 다른 예측결과의 contrative learning을 적용하여 모델성능의 regularization을 향상시킬 수 있는 접근법이었습니다. 여태까지 공부하는 과정에서 머신러닝/딥러닝 연구에서는 boosting/ensemble 구조의 접근법이 지속적으로 고려되고 있는것 같습니다. 이 연구에서도 여러 모델 예측결과의 variance를 줄이수 있는 ensemble구조를 contrastive learning에 적용되었다고 할 수 있습니다. 좋은 발표감사합니다.

오늘 세미나는 SimCSE : Simple Contrastive Learning of Sentence Embeddings이라는 논문에 대해 소개해주셨습니다. 기존 이미지 분야에서 제안되었던 SimCLR와 유사하게 contrastive learning을 NLP task에 적용하여 좋은 성능을 보인 논문이었습니다. 단 이미지와 다르게 positive와 negative sample을 구성하여 학습한 점에서 새로웠습니다. Transformer가 처음 자연어에서 적용되고 이미지에 활용된 사례처럼 contrastive learning 방법 또한 역으로 활용된 점에서 분야 관계 없이 데이터의 특성만 잘 고려한다면 양방향 또는 다양한 방향으로 한 가지 방법을 활용할 수 있겠다 생각이 되었습니다. 오늘도 좋은 논문 소개해 주셔서 감사합니다.

금일 세미나는 SimCSE : Simple Contrastive Learning of Sentence Embeddings에 대해 진행되었습니다. 본 연구는 vision 도메인에서 높은 성능을 보이는 방법론인 simCLR을 기반으로 하고 있습니다. Contrastive learning을 기반으로 하는 데, 이를 텍스트 쪽에서도 역시나 잘 활용하고 있고, 이를 소개해주신 세미나였습니다. 세미나 중 프린스턴 nlp 연구실과 교수님들에 대해 소개해주셨습니다. 쉽게 알 수 없는 내용들인데, 관련해 깊은 연구와 고민을 해오신 분으로부터 지름길을 안내 받은 것 같아 참 인상적이었고 고마웠습니다. Sentence embedding에서 contrastive learning이 어떻게 활용될 수 있을 지 궁금했는 데, 이를 잘 해소해주셨던 세미나였습니다. 쉽지는 않은 내용들이었지만, 굉장히 포괄적으로 다양한 접근들을 넓게 소개해주셔서 전체적인 이해에 도움이 되었습니다. 좋은 발표 감사드립니다.

본 세미나는 비전 분야에서 성공을 보인, Representation에 Contrastive Learning을 적용하는 SimCLR의 기법을 차용하여, 문장 임베딩에 대한 Constrastive Learning을 진행하는 논문에 대해 소개하였습니다. CL의 방식을 Unsupervised, Supervised로 나누며, 전자는 같은 문장에 대하여 Dropout을 노이즈로 사용하여 두 문장의 임베딩을 다르게 한 Positive Sentence로 간주하고, 후자에서는 NLI Task의 Entailment 문장을 Positive, Contradiction 문장을 Negative로 설정하여 CL을 적용합니다. 설정한 Downstream Task에서 CL을 사용한 모델이 더 좋은 성능을 내는 것은 논문의 당연한 결과이지만, 저는 발표자가 이전 발표와 함께 엮어서 함의점을 정리한 것을 높게 평가하고 있습니다. 논문에서 제시한 CL은 단순 성능 향상을 도운 것이 아니라, 모델의 Representation의 Isotropy (유사 단어의 임베딩 거리가 좁다), Uniformity (임베딩이 지나치게 Contextualized되어 모두 같은 표상을 나타내는 것이 아니라, 골고루 퍼져있다)의 특성을 만족하게 되는 것이 매우 흥미로웠습니다. 이는 BERT 류의 Self-attention이 층이 올라갈수록 Contextulized되어 각자의 중요도를 제대로 표현하지 못해 설명력이 되지 못하는 부분과 유사한 현상인 것 같습니다. 항상 좋은 발표 감사드리며 존경합니다.

금일 세미나에서는 SimCSE에 대한 발표가 있었습니다. 이 논문에서는 문장 임베딩을 contrastive learning을 활용하여 학습하는 방법을 제안하고 있으며, positive pair, negative pair를 새로 정의하였습니다. 그리고 두 가지의 setting을 제안하였는데, unsupervised setting은 동일한 문장을 positive pair로 활용하고자 했으며 dropout을 적용해서 약간의 augmentation 효과를 주었습니다. supervised setting으로는 서로 다른 문장을 positive pair로 활용하였고, pair 구축을 위해 NLI 데이터셋을 활용했습니다. 이를 통해 SOTA sentence embedding을 만들어냈습니다. 또한 SimCSE는 기존 다른 논문에서 제안했던 alignment와 uniformity 개념을 모두 만족하는 sentence representation을 생성하고 있음을 보였습니다. 이 두 조건을 만족함으로써 embedding space가 균일해지고 각각의 토큰, negative/positive 문장들이 고르게 space 상에서 분포하게 되는 효과를 얻었습니다. 본 논문에서는 positive pair를 구축할 때 dropout만 적용해도 효과적인 augmentation으로 쓰일 수 있음을 실험적으로 보였고, 하나의 encoder가 dual encoder보다 좋은 성능을 보임을 입증했으며 Sentence similarity를 학습하기 위해 NSP task로도 학습을 진행했습니다. SimCLR도 재미있게 보고 있고, 이와 관련하여 이전에 ConSERT라는 논문을 읽고 발표도 했어서 더욱 흥미롭게 본 발표를 들을 수 있었습니다. Contrastive learning을 활용해서 연구를 해보고자 이것저것 탐색중인데 개념적으로 고민해볼 수 있는 부분이 많았던 세미나였습니다. 좋은 발표 감사합니다.

SimCSE에 대한 세미나였습니다. SimCSE는 contrastive learning을 통해 보다 유의미한 문장의 임베딩을 학습하는 방법을 제안합니다. negative sample을 생성하는 방식은 기존의 연구들과 다름이 없었지만 positive sample을 생성하는 방식을 새롭게 제안하는 연구였습니다. positive sample을 생성하기 위해 서로 다른 random seed를 사용하여 드랍아웃 레이어의 랜덤성을 변경하는 방식을 사용하고 있는데 실질적으로 이는 매우 유사한 두 벡터가 나올 것이라 예상할 수 있습니다. 사실상 두 벡터는 이미 거리가 가까울거기 때문에 triplet을 구성하지 않더라도 실험 결과에 큰 영향을 미치지는 않을 것 같았는데, 동일한 seed를 사용한 실험을 보면 성능이 매우 떨어지는 것을 확인할 수 있습니다. 개인적으로는 이 이유가 positive loss는 0인데 negative loss는 존재하기 때문에 발생하는 scale 이슈인지, 아니면 정말 드랍아웃 시드에 의한 미세한 변화가 그만큼 유의미한 상황인지에 대한 고민이 필요할 것 같습니다. 그리고 세미나 시간에 버트가 유니폼니티를 가지지 못하는 이유에 대해 물어봤었는데 다시 생각해보니 BERT pretraining시에 mlm이나 nsp 모두 기본적으로 CE loss를 사용하게 되기 때문에 당연히 그런 현상이 발생할 수밖에 없는 구조라는 생각이 들었습니다.

c금일 세미나는 "SimCSE : Simple Contrastive Learning of Sentence Embeddings"라는 주제로 진행되었습니다. 본 발표에서는 contrastive learning으로 sentence embedding을 학습한 모델 SimCSE가 소개되었습니다. SimCSE는 간단한 framework로 good sentence representation을 생성하였으며, contrastive learning을 수행하기 위하여 positive pair를 구성하는 방식에 따라 unsupervised/supervised SimCSE를 제안하였습니다. 발표를 들으며 unsupervised SimCSE에서 동일한 input에 dropout을 다르게 적용하여 도출한 representation을 positive pair로 사용한 점이 인상깊었습니다. 더불어 해당 논문에서 성능 향상 원인을 Alignment, Uniformity 관점에서 분석한 것을 발표자가 쉽게 설명해주셔서 좋았습니다. 좋은 발표 감사합니다.

금일 세미나로 SimCSE: Simple Contrastive Learning of Sentence Embeddings에 대해 다루어 주셨습니다. 최근 SimCLR 관련된 연구를 진행하고 싶어 자료 조사를 하던 중이라 재미있게 들을 수 있었습니다. SimCLR는 vision에서 contrastive learning으로 좋은 representation을 생성한 연구로, Self-supervised, Semi-supervised learning에서 좋은 성능 기록하였습니다. SimCSE는 이러한 SimCLR와 같은 방법을 sentence embedding에 적용한 것으로 Unsupervised setting, supervised setting으로 실험을 나누어 설계합니다.

각각의 세팅 별로 어떻게 positive와 negative를 정의하는 가가 매우 인상깊었는데요. 가장 먼저, unsupervised SimCSE의 경우 positive를 동일한 문장으로 사용하였고, Supervised SimCSE는 서로 다른 문장을 positive pair로 사용합니다. 둘 다 BERT-base의 pretrained embedding을 활용하여 contrastive learning을 수행하게 됩니다. Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere(ICML2020)에서 Contrastive Learning을 통해 Representation이 Alignment와 Uniformity를 배운다는 것을 밝혀내었고, 본 논문에서도 Alignment와 Uniformity를 통해 representation을 평가합니다.

마지막으로, 본 논문은 Contrastive learning을 통해 학습을 Negative Pair를 Positive Pair와 멀게 강제하는 과정에서 embedding space를 균일하게 분포하도록 만들어 줌으로써 기존 PLM의 문제인 Anisotropic의 완화를 가능하게 하고, Uniformity 증가시킵니다. 좋은 발표 들려주셔서 감사합니다.

Contrastive learning 기반 텍스트 임베딩 방법론인 simCSE에 대해 소개해주셨습니다. 이미지와 다르게 텍스트에 stochastic augmentation을 적용하는 것이 직관적으로 다가오지 않는 경향이 있는데, supervised와 unsupervised 모두에 대해 적용할 수 있는 범용적인 방법론이라는 점에서 의의가 있습니다. Unupervised에서는 dropout을 통한 augmentation 효과를 나타내고, supervised에서는 NLI 데이터의 특성을 활용하여 label을 설정합니다. 다른 task의 데이터를 창의적으로 활용한 것 같습니다. 추가적으로 contrastive representation 자체를 평가할 수 있는 alignment와 uniformity라는 지표에 대해서 알게 되었습니다. Downstream task만으로 확인해야만 했던 기존 평가 방식의 한계를 보완한 시도로 보입니다. 좋은 metric의 선택하는 기준에 대해 고민해볼 수 있었습니다. 감사합니다.

이번 세미나는 SimCSE: Simple Contrastive Learning of Sentence Embeddings에 대한 세미나였습니다. Vision 분야에서 contrastive learning으로 더 나은 representation을 표현한 연구를 Sentence embedding에 도입한 연구로서, contrastive learning을 수행할 때 positive pair를 구성하는 방법으로 서, 문장을 다룰 때 문장 여러개를 하나의 mini batch에 구성한 후, 포함된 sentence의 pair를 구성한 후 두가지 문장의 의미가 같은지의 positive pair를 찾는 방법론입니다. 해당 방법론의 가장 주목이 되는 특징은 비지도와 지도 학습 방법으로 나누어 실험을 설계했다는 점인데, 비지도 SimCSE는 동일한 문장을 positive pair로 활용하여 레이블이 필요하지 않게 설정하였고, 지도 SimCSE는 입력으로 서로 다른 문장을 positive pair로 두었다는 점이 특징입니다. 또한 해당 논문은 성능 향상 원인을 alignment, uniformity 관점에서 분석하였는데, contrastive learning을 평가할 수 있는 두 성능 지표에 대해 알 수 있는 기회였고, vision 분야의 방법론을 sentence embedding에 도입하는 시도를 배울 수 있었던 발표였습니다. 좋은 발표 감사합니다.

이번 세미나는 비전에서의 SimCLR을 차용한 SimCSE를 주제로 진행되었습니다. 본 논문은 contrastive learning을 통해 sentence를 학습하고 unsupervised, supervised 두 가지로 실험을 나누어 진행하였습니다. unsupervised setting에서는 dropout을 통해 동일한 문장을 다르게 임베딩하여 positive pair로 활용하였습니다. supervised setting에서는 NLI dataset을 활용하여 Contrastive Learning을 진행하였습니다. 단순히 성능이 좋다를 넘어서 contrastive learning을 통해 생성된 representation을 평가하는 척도인 'Alignment', 'Uniformity'를 확인하여 제시하는 방법론의 타당성을 잘 나타낸 것 같습니다. 제 개인적으로는 unsupervised setting에서 dropout을 통해 약간의 augmentation 효과를 줄 수 있을 것이라는 아이디어를 생각한 것이 가장 인상 깊었습니다. 다른 연구에서도 dropout을 이용한 contrastive learning을 차용할 수 있을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나에서 비젼 분야에서 contrastive learning을 적용하여 representation learning에 좋은 효과를 보여주어 NLP 분야에서도 이를 적용한 SimCSE가 소개되었습니다. 본 논문에서는 비지도 학습 방식과 지도 학습 방식의 SimCSE 방법론을 설명하고 있습니다. SimCSE를 통해 생성된 representation은 paired instance 사이의 거리는 짧도록 하는 개념인 Alignmen와 embedding 분포의 균일성을 나타내는 Uniformity를 학습하게 됩니다. 특히 Uniformity를 향상 시킨다는 의미는 Isotropic해진다 혹은 Anisotropic이 완화된다고 표현 가능합니다. 금일 세미나를 통해 Contrastive learning, Uniformity, Anisotropy 등 새롭게 접하게 된 개념들이 많았습니다. 발표자님께서 본 논문에 대해서 실험을 꼼꼼하게 진행한 점을 높이 평가했는데 덕분에 이 점을 늘 유의하며 연구를 실행하거나 논문을 살펴볼 수 있을 것 같습니다. 배울 점이 많았던 발표를 준비해주신 발표자 분께 감사의 말씀 드립니다.

금일 세미나에서는 SimCSE (Simple Contrastive Learning of Sentence Embeddings) 를 주제로 진행되었습니다. SimCSE는 Sentence embedding을 위해 제안된 contrastive learning 기반의 연구로 좋은 representation을 생성하기 위해 활용하고 있습니다. 해당 논문에서는 Unsupervised setting - Only Dropout, supervised setting - NLI dataset 을 제안합니다. 또한 성능 향상에 대한 근거로 Contrastive objective 가 Alignment, Uniformity 을 향상시켜주며, 이 과정에서 embedding space의 anisotropic 성질이 완화됨을 잘 보여주고 있습니다. NLP 에 대해 많은 세미나 발표가 이루어지고 있는데, 논문 선정 배경, Background 지식, Overview 를 통해 쉽게 이해할 수 있도록 차근차근 잘 설명해주셔서 정말 감사드립니다.

이번 세미나에서는 텍스트 데이터에 contrastive learning을 적용한 "SimCSE : Simple Contrastive Learning of Sentence Embeddings"라는 논문에 대해 소개되었습니다. 논문에선 unsupervised setting에서 dropout layer를 적용한 결과를 positive sample로 사용하는 것만으로 기존 성능을 뛰어넘었다고 제시합니다. SimCLR에선 이미지 representation 학습으로 적절한 augmentation조합을 찾았다는 점이 하나의 큰 contribution이었는데, 비교적 다양한 augmentation 방법이 존재하지 않는 NLP분야에서도 간단하게 활용할 수 있는 방안을 제시했다는 점이 인상깊었습니다. MC dropout에선 dropout을 사용한 결과의 variance를 uncertainty값으로 사용하는데, 제안한 positive sample 지정 방식은 학습 데이터에 대해 이러한 uncertainty를 낮춰준다는 점에서도 의미있는 방법인 것 같습니다. Supervised setting에선 NLI 기존 데이터셋을 활용하는 점 또한 contrastive learning을 활용하기 위한 저자의 아이디어가 돋보였던 것 같고, alignment, uniformity 를 통한 성능 검증도 제안 방법의 신뢰성을 높여주는 것 같습니다. 이번 세미나에서는 발표자분의 개인연구에 대해서도 자세히 소개해주셔서 논문과 함께 재밌게 들을 수 있었던 발표였습니다. 좋은 발표 감사합니다.

금일 세미나는 자연어 분야에서 contrastive leraning을 적용하여 모델의 성능을 향상시킨 SimCSE 논문을 소개해 주셨습니다. 해당 논문은 좋은 representation을 생성하기 위하여 비젼분야에서 Contrastive learning을 적용한 SimCLR과 매우 유사한 논문입니다. 독특하게도 Unsuerpervised 방법론과 Sueprvsied 방법론을 모두 제안하였으며, Contrastive objective가 alignment, uniformity를 향상 시키며 이 과정에서 embedding space의 anisotropic 성질을 완화함으로써 성능을 향상시킬 수 있다는 분석이 흥미롭습니다. Contranstive learning을 자연어에도 활용할 수 있는 방법에 대해 알아볼 수 있는 좋은 시간이었습니다. 발표 감사합니다.

금일 세미나는 contrastive learning으로 sentence를 학습한 SimCSE에 대한 리뷰로 진행되었습니다. Contrastive learning은 vision 분야에서 활용되면서 좋은 성능을 기록한 것으로 유명하며, 소개해주신 논문에서는 sentence embedding을 학습하는 과정에서 contrastive learning을 활용하였습니다. Constrastive learning을 위해서는 positive pair를 구성해야하는데, unsupervised setting에서는 서로 같은 의미의 문장들로 pair를 구성하고, supervised setting에서는 서로 다른 의미를 가진 pair로 문장을 구성합니다. 또한 positive pair를 생성하기 위해 같은 문장을 서로 다른 standard dropout mask를 적용한 것으로 정의하고, negative pair는 같은 batch 내에 있는 다른 문장들로 구성합니다. 이러한 pair들로 constrastive learning을 수행하였을 때, high quality의 sentence representation을 추출할 수 있다는 것을 다양한 비교실험을 통해 확인할 수 있었으며, downstream task에서도 좋은 성능을 보이는 것을 알게 되었습니다. vision에서 활용되던 아이디어를 nlp에 접목시키기 위해 자연어에 대한 특성을 잘 고려한 연구라고 생각하며, 저자들이 구성한 꼼꼼한 실험에서도 배울 점이 많다고 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나에서는 SimCSE에 대해 소개해 주셨습니다. SimCSE는 SimCLR를 기반으로 하는 방법론으로, contrastive learning을 활용한 representation learning을 language model의 representation에 적용합니다. Contrastive learning에서 positive pair로는 같은 문장에, 서로 다른 dropout mask를 적용한 representation을 활용하였는데 이 부분이 상당히 흥미롭게 느껴졌습니다. Dropout이 결국 수많은 모델의 ensemble처럼 활용된다면, mask를 변경한 각각의 representation을 augmentation과 같이 활용할 수도 있지 않을까 하는 생각도 들었습니다. 흥미로운 발표 감사합니다.

이번 세미나는 contrastive learning으로 sentence embedding을 학습하는 방법론을 다룬 논문 SimCSE: Simple Contrastive Learning of Sentence Embeddings을 주제로 진행되었습니다. 본 논문의 배경이 되는 SimCLR은 비전 분야에서 constrastive learning으로 representation을 생성한 연구로 self/semi-supervised learning에서 좋은 성능을 기록하였습니다. 본 논문에서는 이 방법론을 차용하여 sentence embedding을 위한 constrastive learning 기법을 제안하였고 unsupervised, supervised, 두 셋팅으로 나누어 실험을 설계하였습니다. 미니 배치 별로 문장 pair를 구성하여 positive pair, 즉 두 문장의 의미가 같은지를 찾아내는 원리로 학습이 진행되고, unsupervised 셋팅에서는 동일한 문장을, supervised 셋팅에서는 서로 다른 문장을 positive pair로 활용하였습니다. 해당 논문의 방법론에 관한 설명과 더불어 세밀한 실험 설계의 우수성에 대해서도 함께 언급해주셔서 논리 전개와 이를 증명하는 각각의 실험 셋팅에 관해 많이 배울 수 있었습니다. 또한 paird instance 사이의 거리를 나타내는 Alignment와 임베딩이 얼마나 균일하게 분포하는지에 관한 uniformity라는 두 컨셉에 대해서도 새로 알게 되어 유익한 시간이었습니다. 개인적으로 자연어처리 분야에서 임베딩 공간 상의 적절한 representation을 학습하는 방법론에 관심이 많은데, 연구실 세미나를 통해 다양한 representation learning 기법에 대해 공부할 수 있어 도움이 많이 되고 있습니다. 항상 유익하고 꼼꼼하고 친절하게 세미나 진행해주셔서 감사드립니다.

오늘 세미나는 contrastive learning을 NLP representation 학습에 적용하고자 한 SimCSE에 대한 내용으로 진행되었습니다. contrastive learning을 수행함에 있어서 positive와 negative pair를 정의하는 것이 중요합니다. negative pair는 기존 연구들과 유사한 방식으로 구성되었고, positive pair는 동일한 문장에 대해 dropout을 활용하여 서로 다른 embedding을 생성하여 구성하였습니다. 비전 분야에서 contrastive learning이 좋은 성능을 보이면서 여러 다른 분야에서 이를 활용하는 연구들이 많이 나오기 시작했는데, 각 도메인에 맞게 positive, negative pair를 구성하는 것이 매우 중요할 요소일 것 같습니다. 좋은 발표 감사합니다.

NLP 에서 Contrastive learning 을 적용하여 representation 을 진행한 논문을 세미나로 진행되었습니다. contrastive learning 에서 positive pair 와 negative pair 를 정의함에 있어서, context를 해치지 않으면서 positive pair 를 정의하는게 중요합니다. 이미지에서 일반적으로 효과가 가장 좋았던 것은 색상왜곡인데, 색상왜곡에서 확인할 수 있는것은 이미지의 모양, 질감 등에 대한 context가 변하지 않는 것입니다. 그런데 NLP 에서는 몇개의 단어가 변하면 context 가 매우 무너져 버렸었고, 이러한 문제를 해결하기위해 dropout 을 사용한 contrastive pair 를 구성했습니다. data augmentation 관점에서 dropout 의 결과가 정말 잘되었는가에 대한 의문이 있으며, 이말을 결국 근본적인 contrastive learning 을 통한 성능향상 보다는 regularization 의 효과를 극대화 한것이 아닌가 하는 생각이 들었습니다. 이런 의문이 있어 논문에서는 data augmentation 이 맞다는 것을 실험적으로 좀더 많은 구성을하여 독자들을 설득시킨것 같습니다.
좋은 발표 감사합니다.