오늘 세미나는 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks" 논문을 중심으로 진행됐습니다. 해당 논문은 CLIP의 explainability와 관련하여 두 가지 문제를 지적하며, 이를 완화할 수 있는 두가지 방법론을 제안합니다. 첫 번째, CLIP은 Foreground에 집중하지 못하고 Background에 집중하는 Opposite Visualization 문제를 지적하였습니다. 이를 위해 Self-Attention Block 내의 Query-Key 연산을 Value-Value 연산으로 바꾼 후 이를 New Block으로 정의한 후 Original Self-Attention Block과 함께 Dual Path로 구성하는 방법을 제안했습니다. 두 번째, Attention Map내에서 Uniform하게 Noise 형태로 Activation이 되는 Noisy Activation 문제를 지적하였습니다. 이를 해결하기 위해 feature 내에서 불필요한 feature를 제거하여 연산을 수행하는 Feature Surgery를 제안하였습니다. 세미나 시간에도 언급되었지만, 해당 feature들이 redundant하다기 보단 학습에 도움이 안되는 feature로 표현하는 것이 옳지 않을까 생각이 들었습니다. CLIP을 backbone으로 멀티모달 연구가 꾸준히 제안되고 있는데, 기반 모델에 대한 충분한 평가와 개선 역시도 동반되어야 향후 강건한 모델로 발전할 수 있지 않을까 개인적으로 생각합니다. 좋은 발표 감사합니다.

금일 세미나는 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks"를 중심으로 진행되었습니다. CLIP은 2021년 발표된 이후 Vision-Language 분야에서 선도적인 방법론으로서 다양한 활용 방안이 연구되어 오고 있습니다. 하지만 두 Encoder 간의 Similarity를 기반으로 학습하면서 설명력을 확보하는 측면에서는 1) 전경보다 후경에 집중하는 Opposite Visualization이 발생하고 2) 그 원인으로는 Self Attention 과정에 있음을 지적되어 왔습니다. Clip Surgery는 이와 반대로 Opposite Visualization은 Self Attention 내부에서도 Query-Key Similarity 연산 과정이 다양한 정보를 취합하도록 구성되어 있음을 지적합니다. 이를 해결하기 위해서 각 객체 별 자신에게 집중되는 Value-Value Attention을 통해 설명력을 확보하고자 합니다. 또한, Value-Value Attention 사용으로 인한 성능 저하를 억제하기 위해서 Original Attention 연산을 포함하는 Original Block과 V-V Attention으로 구성된 Dual Path 구조의 Transformer를 사용하고 있습니다. 또한, 상당수의 Activation 값들이 노이즈로 작용하는 점을 완화하기 위한 Activation Normalization 기법 역시 함께 제안하여 설명력을 확보하고자 합니다. 이러한 기법들은 학습 없이 모델 구조의 간단한 변경으로 적용가능하다는 장점이 있으며, 실제 성능 측면에 있어서도 기존에 제안된 학습이 필요한 방법론에 비해서도 매우 높은 성능을 달성하고 있습니다. 논문에서 제안하는 해결책과 문제가 직관적으로 연결된 이유가 모호하였지만, 성능 면에서 월등한 모습을 보이는 것이 인상적인 논문이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks라는 논문을 다루었습니다. 해당 논문에서는 CLIP이 Foreground에 집중하지 못하고 background에 집중하는 opposite visualization과 전역적으로 noise가 activation되는 noisy activation이라는 두가지 문제점을 지적합니다. 먼저 opposite visualization 현상을 해결하기 위해 V-V self-attention을 계산하고 FFN Layer를 제거한 새로운 block으로 모델을 구성하고 학습합니다. 이를 통해 안정적인 input을 유지하고 multi-label recognition과 같은 classification task를 정확하게 수행할 수 있습니다. 또한 noisy activation 문제를 해결하기 위해 이미지 내 feature들의 평균값으로 redundant feature를 정의하고 이를 줄이는 전략을 채택합니다. 실험에서도 주장하는 바와 일치하는 실험 결과를 보여주었고 다양한 시각 자료로 이해를 도운 점이 인상적이었습니다. 해당 분야에 대한 지식이 부족한 사람도 쉽게 이해할 수 있도록 자세한 설명과 발표 장표로 구성되어 있는 발표였고 덕분에 많은 것을 배울 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 기존 CLIP의 문제점을 해결하기 위한 CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks에 대해 다뤄주셨습니다. CLIP을 먼저 소개하고, 자연어 감독이 왜 필요한지, 어떤 이점을 얻을 수 있는지, 그리고 어떤 결과를 얻었는지에 대해 잘 설명해주셨습니다. 또한, Related works에서 언급한 Attention pooling과 관련된 내용에서 max pooling을 했을 때 foreground와 object를 더 잘 잡는 양상과 fine tuning 없이 inference 수정 만으로 문제를 해결하고자 했던 것이 인상적이었습니다. 다만 activation 되지 않은 feature는 feature space에서 남게만 되고 noise로 작용하기 때문에 이를 제거할 필요가 있다는 것, explanability에 방해를 준다는 점은 잘 납득이 되지 않았습니다. 그럼에도 다양한 attention map, grad cam을 통한 직접적인 시각화를 보여줌으로써 쉽게 이해가 될 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 “CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks”라는 연구에 대해 소개해 주셨습니다. 해당 논문에서는 선행 연구인 CLIP의 두 가지 문제점을 지적했습니다. CLIP이 이미지 내에서 전경이 아닌 배경에 집중하고 있으며, 전역적으로 Noise 형태로 Activation이 발생한다는 문제들을 해당 연구는 극복하고자 했습니다. CLIP Surgery에서 제안한 방법론은 Q-K Self-attention 뿐만 아니라 Value-Value Attention을 함께 이용하는 Dual-Path 구조를 이용해 Foreground에 집중하도록 했습니다. 그리고 이미지에서 전역적으로 Activation이 발생하는 문제점을 완화하기 위해 이미지 내 Feature들의 평균값으로 Redundant Features를 정의해 이를 기존 Feature Map에서 빼주는 방식을 취했습니다. 첫 발표임에도 불구하고 Background인 CLIP 및 실제 코드를 첨부하는 등 발표 자료 구성을 깔끔하게 잘해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사드립니다.

금일 세미나는 CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks 논문을 바탕으로 진행되었습니다. 해당 논문에서는 Vision-Language model인 CLIP의 Explainability와 관련한 2가지 문제점을 극복하여 추가적인 학습없이 더 뛰어난 Explainability를 확보하고, Multiple Open-vocabulary task와 Multi-label recognition Task와 같은 Downstream task 성능 향상을 목표로 하고 있습니다. 기존 CLIP에서는 Foreground에 집중하지 못하고 Background에 집중하는 Opposite Visualization 현상과, Attention map에서 전역적으로 Noise의 형태로 Uniform하게 활성화가 되는 Noisy Activation 현상에 존재했습니다. 이에 해당 논문에서는 기존 Transformer Block(q-k self attention)과 함께 v-v self-attention을 사용하는 새로운 블록을 사용함으로써 Dual-path로 구성하여 Foreground에 집중하도록 수정하고 있으며, Obvious class를 강조함과 동시에 중복되고 불필요한 Feature들인 Redundant feature를 계산하여 Feature를 수정하는 모습을 보이고 있습니다. 기존 연구의 문제점을 해결하기 위하여 여러 방법론을 새로 제안한 것이 흥미로운 방법론이었지만, 특히 v-v self attention 이라는 부분이 흥미롭게 다가왔습니다. 기존 q-k self attention이 요소들 간의 관계를 평가한 후, 이에 대한 가중치를 요소에 대한 실제 값인 v에 곱하는 것이었다면, v-v self attention은 실제 값 자체를 직접 비교하여 더 극단적으로 비교하는 방식이라고 생각하였기에, 해당 방법을 이상치 탐지에서 사용하면 어떨까 라는 생각이 들었습니다. 전체적으로 상세하게 작성해 주셨고, Background 역시 잘 작성해주셨기에 이해가 수월했습니다. 정말 감사드립니다.

금일 세미나에서는 VLM 모델 중 가장 유명한 모델인 CLIP 의 문제점을 제안하고, 해결한 CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks 논문을 소개해주셨습니다. 해당 논문에서는 CLIP의 크게 두가지의 문제점을 말하였습니다. 이는 대체로 이미지의 주제를 담고있는 foreground에 집중하지 않고 background에 집중하는 opposite visualization, 그리고 전역적인 noise의 activation 문제를 얘기한 noise activation 입니다. Opposite Visualization 과 같은 경우 그 문제가 Self Attention에서 야기된다 말하며, 기존의 QKV 방식의 Attention이 아닌, 객체, 자기 자신에게 집중하는 V-V Attention을 추가적으로 dual path 형태로 구성하여 이 문제를 해결합니다. Noisy Activation 같은 경우 Activation Normalization을 적용하여 이를 해결합니다. 이를 통해 기존 CLIP 보다 높은 성능을 보임을 확인할수 있었습니다. 지난 Ano-VL 세미나 때 V-V Attention이 갖는 이점과, 그것이 제안된 이유가 궁금하였는데, 이번 세미나를 통해 논리적 근거와, 그 효과를 확인할 수 있었습니다. VLM 모델의 경우 모델 구조가 복잡하여 설명하기 어려운데도 불구하고 이해하기 쉽게 잘 설명해주셨습니다. 좋은 발표 감사합니다.

이번 세미나는 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks"에 대해 소개해주셨습니다. 해당 논문은 기존 CLIP 방법론의 2가지 문제점을 보완하는 방법을 제안하며, 이를 통해 더 우수한 explainability를 확보하고 downstream task의 성능을 향상시키는 것을 목적으로 합니다. 주목한 문제점은 Opposite visualization과 Noisy activation 2가지였습니다. Opposite visualization은 CLIP이 background에 더 많은 집중을 하여 foreground에 대한 효과가 떨어지게 되는 것으로, dual path(Q-K self-attention + V-V self-attention)을 수정하여 nearby token들에 집중하게 유도하게 됩니다. Noisy activation은 activation이 기대하지 않았던 부분에 noise의 형태로 나타나게 되는 문제점으로, 중복되거나 불필요한 feature인 redundant feature를 제거하여 obvious class에 대한 집중을 높이도록 하였습니다. 첫 세미나임에도 불구하고, 모든 장표들을 깔끔히 구성하고 또 차분히 잘 설명해주시어 이해에 도움이 되었던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나는 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks”라는 논문에 대한 설명과 함께 진행되었습니다. 이 논문은 기존의 CLIP의 문제점을 보완하는 방법을 제안하고 있습니다. 논문에서 지적한 CLIP의 문제점은 물체보다는 배경에 더욱 집중하는 opposite visualization과 activation이 이미지 여러 곳에 마치 noise처럼 존재하게 되는 noisy activation입니다. 먼저 opposite visualization은 qkv attention과 value-value attention을 동시에 가져가는 dual path를 통하여 해결합니다. 이렇게 누적된 v-v attention의 결과는 이미지의 foreground에 더욱 집중하는 양상을 나타냅니다. noisy activation은 불필요한 feature인 redundant feature를 제거하여 obvious class에 대한 집중을 높이도록 하였습니다. 흥미롭게 읽었던 논문인데 내용이 많아 잘 전달할 수 있을까 걱정했는데, 아주 훌륭하게 내용을 잘 전달해주신거 같습니다. 수고 많으셨습니다!

이번 세미나에서는 Vision-Language 모델 중 가장 유명한 CLIP이 가진 문제점과 이를 해결하는 연구에 대해 소개되었습니다. 논문 속 저자들은 CLIP의 두 가지 문제를 제시하였습니다. 첫 번째는 CLIP이 이미지 상에서 배경화면에 계속해서 주목한다는 점입니다. 두번째는 CLIP이 이미지 내 전반적으로 noise가 활성화 된다는 점입니다. 이에 첫 번째 문제에 대한 해결 책으로 기존의 attention 계산과는 다른 Value-Value Self-attention을 추가로 활용하고 있습니다. 이에 대한 원인으로 Self-Attention에서 Query-Key 연산을 통해 실제 이미지 상에서 의미하는 부분(semantic regions)과는 다른 영역을 탐색하기 때문이라고 주장하였습니다. 개인적으로는 Value-Value 연산을 통해서 semantic region에서도 가장 핵심적인 부분을 찾아내게 되지 않은가 생각이 됩니다. 따라서 기존의 self-attention과 V-V attention을 융합한다면 찾고자 하는 영역이 좀 더 잘 포착될 수 있을 것이라 생각됩니다. 두 번째 문제에 대해서는 결국 noise를 제거하기 위해 feature들의 평균값으로 일종의 normalization을 진행합니다. 어떤 개체들 간의 관계성을 구함에 있어서 불필요한 요소들 혹은 noise를 제거할 때 이처럼 평균값을 이용해 centering 해주는 것이 꽤나 효과적인 것 같습니다. 실험에서는 별도의 학습 없이 inference만 진행하여 결과를 내었는데 그중에서도 정성적 분석, 즉 실제 이미지 상에서 나타나는 attention map의 모습이 꽤나 인상적이었습니다. 재미있는 연구 소개해주셔서 감사합니다.

본 세미나는 남웅찬 발표자님께서 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks"라는 논문을 바탕으로 진행해주셨습니다. 해당 논문의 핵심은 1) 기존 CLIP의 Explainability와 관련한 2가지 문제점을 지적하면서, 추가 학습 없이 더 좋은 Explainability를 확보하고 2) multiple open-vocabulary 및 multi-label recognition task의 down-stream task의 성능을 더 향상시키는 것입니다. 특히 기존 문제점은 1) Opposite Visualization, 2) Noisy Activations이라는 background에 집중하고, noise의 형태로 activation된다는 문제점이 있습니다. 이 문제점들을 각각 Opposite visualization이라고 하는 가까운 token들에 집중할 수 있도록 Dual path(Q-K, V-V attetion)로 수정하고, Noisy Activations이라고 하는 중복되고 불필요한 feature 즉 redundant features를 제거하여 더욱 obvious class에 강조하도록 하는 것이 기여점입니다. VLM이 새로운 연구 분야로 떠오르면서 많은 관심을 받고 있는데, 차근차근 설명해주셔서 너무 이해하기 쉬웠습니다. 좋은 발표 준비해주셔서 감사합니다.

"CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks" 논문은 기존 CLIP 모델의 한계를 극복하고자 하는 참신한 접근을 보여주며, AI 분야에서 설명 가능성의 중요성을 강조합니다. 본 논문이 제시하는 Value-Value Attention과 Feature Surgery는 기술적인 해결책을 넘어, 모델의 결과물에 대한 직관성과 신뢰성을 향상시킵니다. 실제로, 이러한 접근법들은 Foreground에 더 집중하고 Noisy Activation 문제를 완화함으로써, 모델의 예측이 보다 명확하고 해석 가능하게 만들어줍니다. 개인적으로 본 논문을 통해 제시된 해결책들이 기존의 이론적 한계를 넘어서며, 모델이 실제 세계의 복잡한 시나리오에서 어떻게 작동할 수 있는지에 대한 흥미로운 통찰을 제공한다고 생각합니다. 특히, Value-Value Attention과 같은 혁신적인 아이디어가 실제 응용 분야에서 어떤 영향을 미칠지에 대해 기대가 큽니다. 이 연구는 모델의 설명력을 향상시키는 것이 단순히 이론적인 과제가 아니라, 사용자가 AI의 결정을 더 잘 이해하고 신뢰할 수 있게 만드는 실질적인 단계라는 것을 잘 보여줍니다. 그렇기 때문에 이 논문은 AI 분야, 특히 멀티모달 모델의 미래 발전에 있어 중요한 이정표가 될 것이며, 지속적인 연구와 개선을 통해 AI의 투명성과 신뢰성을 더욱 강화할 수 있는 기반이 될 것으로 기대합니다. 좋은 발표 감사드립니다.

이번 세미나에서는 "CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks"라는 논문을 소개해주셨습니다. 해당 논문에서는 기존의 CLIP 모델이 XAI 관점에서 2가지 문제점이 있다고 지적하였습니다. 첫 번째로 이미지의 배경에 집중하는 부분에 대해서는 value-value attenction을 추가로 활용하여 dual path를 구성함으로써 해결하였습니다. 이를 통해 좀 더 semantic한 object에 더 집중하게 된다고 주장하였습니다. 두 번째로는 noisy activation 문제를 제기하였는데, 이는불필요한 redundent feature 때문이라고 지적하며 이 noise를 없애고자 activation nomarlization을 해결책을 제시하였습니다. XAI 관점에서 이러한 연구는 XAI 성능 개선보다도 모델 자체의 본질적인 원리를 파악하는데 더 기여점이 높다고 생각합니다. 그런 점에서 매우 흥미로운 세미나였습니다. 좋은 발표 감사드립니다.

이번 세미나는 CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks를 주제로 진행되었습니다. 기존의 Vision 모델들이 전경에 집중하지 못하고 배경에 집중하는 현상이 opposite visualization 문제를 언급하였습니다. 그래서 RCLIP과 ECLIP에서는 해당 문제가 attention pooling 연산에서 발생하며 이를 해결하기 위해 max pooling을 사용할 것은 제안하였습니다. 제안하는 CLIP surgery에서는 opposite visualization 현상을 해결하고 attention map에서 전역적으로 noise 형태를 띄는 noisy activation 현상을 해결하고자 하였습니다. Opposite visualization 현상을 해결하기 위해 Q-K_V self-attention을 계산하는 original block과 V-V self-attention을 계산하는 new block을 사용하는 dual path로 구성하였습니다. noisy activation 현상을 해결하기 위해서 중복되고 불필요한 feature들을 제거하고자 하였습니다. 이를 위해 이미지 내 feature들의 평균값으로 redundant features를 정의하고 redundant features를 뺌으로서 최종 cosine similarity map을 생성하는 방법을 제안하였습니다. 문제점들을 제시하고 이를 해결하기 위한 방법들을 체계적으로 잘 설명했다고 생각하며 ITSM 시각화를 통해서 너무나 해당 objective를 잘 나타내는 점이 인상 깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서 'CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks'에 대해 소개해주셨습니다. CLIP 모델의 한계를 극복하려는 이 논문의 접근 방식이 흥미로웠습니다. 특히, Value-Value Attention과 Feature Surgery를 통해 모델의 신뢰성과 직관성을 높이려는 시도가 돋보였습니다.
또한, Attention Pooling과 관련된 내용에서 Max Pooling을 했을 때 Foreground와 Object를 더 잘 잡는 양상과, Fine Tuning 없이 Inference 수정만으로 문제를 해결하고자 한 점을 강조했습니다. 이는 CLIP 모델의 설명력을 향상시키는 것이 단순히 이론적 과제가 아니라, 사용자가 AI의 결정을 더 잘 이해하고 신뢰할 수 있게 만드는 실질적인 단계임을 보여줍니다. AI 모델의 설명 가능성을 개선하는 것이 얼마나 중요한지 다시 한번 느꼈습니다. 멀티모달 모델의 발전을 위한 중요한 기여라고 생각합니다. 좋은 발표 감사합니다.