번호 | 제목 | 작성자 | 작성일 | 추천 | 조회 |
공지사항 |
Paper Reviews 2019 Q3
관리자
|
2020.03.12
|
추천 0
|
조회 11394
|
관리자 | 2020.03.12 | 0 | 11394 |
공지사항 |
Paper Reviews 2019 Q2
관리자
|
2020.03.12
|
추천 0
|
조회 10032
|
관리자 | 2020.03.12 | 0 | 10032 |
공지사항 |
Paper Reviews 2019 Q1
관리자
|
2020.03.12
|
추천 0
|
조회 11106
|
관리자 | 2020.03.12 | 0 | 11106 |
512 |
[Paper Review] TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment (2)
Sieon Park
|
2025.07.14
|
추천 0
|
조회 43
|
Sieon Park | 2025.07.14 | 0 | 43 |
511 |
[Paper Review] Exploring Intrinsic Normal Prototypes within a Single Image for Universal Anomaly Detection (2)
Subeen Cha
|
2025.07.10
|
추천 0
|
조회 71
|
Subeen Cha | 2025.07.10 | 0 | 71 |
510 |
[Paper Review] Theory of Everything (About Sequence Modeling with DL Models…) (14)
Jaewon Cheon
|
2025.06.27
|
추천 0
|
조회 242
|
Jaewon Cheon | 2025.06.27 | 0 | 242 |
509 |
[Paper Review] Evaluation of Multilingual Image Captioning: How far can we get with CLIP models? (16)
Minjeong Ma
|
2025.06.07
|
추천 0
|
조회 346
|
Minjeong Ma | 2025.06.07 | 0 | 346 |
508 |
![]()
Minjeong Ma
|
2025.06.02
|
추천 0
|
조회 38
|
Minjeong Ma | 2025.06.02 | 0 | 38 |
507 |
![]()
Kiyoon Jeong
|
2025.06.02
|
추천 0
|
조회 35
|
Kiyoon Jeong | 2025.06.02 | 0 | 35 |
506 |
![]()
Woongchan Nam
|
2025.06.02
|
추천 0
|
조회 33
|
Woongchan Nam | 2025.06.02 | 0 | 33 |
505 |
![]()
SangMin Lee
|
2025.06.02
|
추천 0
|
조회 35
|
SangMin Lee | 2025.06.02 | 0 | 35 |
504 |
[Paper Review] Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems (14)
Siyul Sung
|
2025.05.31
|
추천 0
|
조회 438
|
Siyul Sung | 2025.05.31 | 0 | 438 |
503 |
[Paper Review] Restructuring Vector Quantization with the Rotation Trick (16)
Woojun Lee
|
2025.05.20
|
추천 0
|
조회 375
|
Woojun Lee | 2025.05.20 | 0 | 375 |
금일 세미나는 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness연구에 대해 진행되었습니다. CNN이라는 친숙할 수 있는 모델이 어떻게 작동하는 지에 대해 심층적으로 이해할 수 있는 좋은 주제여서 보다 흥미를 갖고 들을 수 있었습니다. 흔히 생각하기에 CNN모델은 low level feature를 초기에 추출하고 점차 high-level feature로 넘어간다고 이해돼고 있었습니다. 결국, 이미지의 부분에서 전체로, shape를 위주로 해석하는 접근으로 이는 shape hypothesis라고 명명, 이해될 수 있습니다. 따라서, 이러한 해석에 따르면 CNN은 shape bias를 가진다고 이해할 수도 있습니다. 하지만 본 연구는 shape가 아닌 texture bias를 가진다는 새로운 해석을 제시합니다. CNN의 분류 결과는 shape보다 texture를 따름을 주장한 것 입니다. 그 근거로서 Texture를 지울 경우, 이미지 데이터에 대한 분류 성능이 낮아지는 것을 제시합니다. 더불어 Local patch만으로 학습을 진행해도 분류 성능에 유의미한 차이가 없음도 그 근거로서 활용될 수 있습니다. 흥미로웠던 점은 CNN모델의 shape bias와 texture bias를 비교하기 위해 진행한 실험입니다. 사람을 위한 실험 설계로서 psychological 실험이 진행되었는 데, 처음 보는 접근이어서 흥미롭게 볼 수 있었습니다. 그리고 실험 결과를 통해 사람과 CNN의 중요 bias가 서로 극명하게 다름을 확인할 수 있었습니다. CNN을 일상적으로 사용함에도 불구하고, 그 내부적으로 어떻게 작동하고, 어떠한 점이 중요한 지에 대해 명확하게 이해하지 않고 넘어가곤 했던 것 같습니다. 이번 세미나를 통해 보다 근본적으로 작동 원리와 특징을 확인할 수 있어서 좋았습니다. 다양한 논문에 대해 종합적으로 잘 설명해주신 점 발표자 분께 다시 한 번 감사드립니다. 잘 들었습니다. 감사합니다.
금일 세미나에서는 CNN의 bias에 대한 논의가 있었습니다. 특히, texture bias와 shape bias에 대한 논의가 있었는데, CNN 모델의 예측 성능이 shape가 아니라 texture에 편향되어 있음을 보이기 위한 여러 실험 결과물을 확인해볼 수 있었습니다. 또한, 반대로 shape bias를 높여주기 위한 데이터셋, 실험 설정 등을 볼 수가 있었는데 단순한 data augmentation 느낌이 아니라, 실제로 shape bias를 어떻게 부여할 수 있을까, 어떻게 texture bias를 모델이 분리하여 생각할 수 있을까에 대해 추가적인 아이디어를 생각해볼 수 있는 시간이었습니다. CNN을 중점적으로 하여 CNN만의 특징, 그리고 문제점, 현재 연구 동향 등을 함께 고려해볼 수 있는 유익한 시간이었습니다. 또한 입증해보이고 싶은 주장을 위한 실험 설계 과정도 배울만한 점인 것 같습니다. 좋은 발표 감사합니다.
금일 세미나는 CNN Bias에 대한 발표였습니다. 먼저 기존 저희가 일반적으로 알아 온 CNN은 객체를 분류하기 위해 low-level feature를 점점 더 복잡한 형태인 high-level feature로만든다고 인식한다고 인지되고 있었습니다. 이러한 CNN의 인식에는 ZFNet과 같은 연구 등을 통해 shape bias가 존재한다 것을 확인할 수 있었습니다. 하지만, CNN의 bias에는 당연히 shape 뿐만 아니라 texture bias가 존재한다는 것을 최근 연구들이 밝혀냈습니다. 이와 관련된 대표적인 연구 4개를 통해 texture bias의 존재, augmentation을 통한 shape bias의 향상, texture에 공격을 가하는 Adversarial Attack, 그리고 마지막으로 ViT의 texture bias에 대해 다루어주셨습니다. 평소 CNN Bias에 관심이 많은터라 너무 재미있게 잘 들었습니다. 일단 최근 소규성 석사과정의 SIN 데이터 소개 발표로 인해 CNN의 texture bias에 대한 연구를 하고 싶어서 관련 자료들을 찾아보고 있던터라 전반적인 개념부터 이슈 사항들까지 짚어 주신 본 세미나가 더욱 유익하게 느껴졌습니다. 좋은 발표 감사합니다!
이번 세미나는 CNN 계열 모델의 texture bias에 관해 다룬 논문 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness(ICLR 2019)를 주제로 진행되었습니다. 일반적으로 CNN은 low-level feature 학습을 시작으로 후반 layer로 갈 수록 high-level feature를 학습한다고 알려져 있는데, CNN이 내재적으로 형태를 학습한다는 근거로 high-level feature를 input에 투영했을 때 object 부근이 활성화되는 것이 제시되기도 했습니다. 최근, 새로운 해석으로 CNN 계열 모델이 이미지의 texture bias를 학습한다는 주장이 제기되었고 이와 관련하여 다양한 연구가 진행되었습니다. shape bias가 큰 사람의 인지 방식과 달리 CNN은 낮은 shape bias를 가지고 있으며, texture 정보를 지운 sketch 이미지에 대한 분류 성능이 크게 하락하는 것을 통해 texture bias의 존재가 증명되기도 했습니다. 딥러닝 모델이 결과를 도출하는 과정에서 어떤 부분에 집중하여 학습하는지 증명해보이는 것은 향후 연구 방향을 결정짓는데 아주 중요한 역할을 할 것이라 생각합니다. 발표자분께서 다양한 예시 이미지를 통해 texture bias를 설명해주신 덕에 흥미롭게 들을 수 있었습니다. 유익한 발표 진행해주셔서 감사합니다.
본 세미나는 소규성 석사과정이 소개한, CNN의 분류 방법의 근원이 Shape가 아니라 Texture에 Bias 되어 있다는 Texture Bias에 대해 재소개하며 활용이나 발표자 의견을 제시합니다. 특히 발표자의 연구 주제인 Adversarial Attack에 대해 집중적으로 다루며, Texture Bias를 하나의 Attack으로서 활용하여 이미지에 큰 차이를 주지 않으면서 Color, Texture만을 변화시켜 모델의 성능을 저하시키는 것을 보여, 기존 FGSM, PGD Attack에 한정되어 있던 기법의 확장 가능성을 보였습니다. 지난 저의 발표와 더불어 기존의 절대 진리라고 정의되었던 개념들이 하나씩 부정되고 있는 것을 보면, 사람의 Inductive Bias를 통해 모델 성능을 향상 시키는 것에는 한계가 있어 사물(Vision) 또는 자연어(NLP)를 인식하는 것을 인간의 개념으로만 한정지으면 연구의 발전이 미미할 것 같습니다. 마치 영화 '컨택트'에서 인간의 관점으로 언어를 이해하는 모습에서 전혀 다른 외계인의 관점을 통해 세상을 인식했을 때 사고의 확장이 일어난 것처럼, 기존 관습을 무너뜨리는 새로운 기법이 나타났으면 좋겠습니다. 항상 좋은 발표 감사드립니다.
금일 세미나에서는 CNN 에서 발생하는 bias와 관련된 논문을 소개해 주셨습니다. ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness(ICLR 2019) 논문에서는 통해서 CNN 아키텍처가 shape bias가 아닌 texture bias를 갖고 있다고 주장합니다. 그 근거로 Texture를 지운 sketch image에 대한 분류 성능은 매우 낮음을 실험적으로 보여줍니다. 또한, 해당 논문에서는 Local patch만으로 학습을 진행해도 성능에 큰 하락이 없음을 확인하였습니다. 이는 모델이 이미지의 local한 영역의 histogram에서 통계적 규칙성에 의존적임을 나타냅니다. 오늘 발표한 논문의 결과는 상당히 인상적이었습니다. 딥러닝 모델이 사람의 행동양식을 모방하지 않고, 나름의 패턴을 찾아가기 때문에 이러한 오해가 생기는 것 같다는 생각이 듭니다. 따라서, 딥러닝 모델이 어떤 bias를 갖고 있는지 연구가 지속되야 좀 더 고도화된 모델을 설계할 수 있겠다는 생각이 들었습니다. 좋은 발표 감사합니다.
지난번 세미나에 이어 Texture bias에 대해 생각을 해보았는데, 어쩌면 texture bias는 당연하 것이 아닌가 생각이 들었습니다. 발표자료에서 shape에 대한 정보만 가진 이미지를 보고 생각했는데 그 이미지를 기준으로 봤을 때, shape 정보는 대부분 선으로 표현되는 반면 texture 정보는 면으로 표현됩니다. 따라서 둘간의 정보량의 차이가 굉장히 크다고 생각되었고, 이로 인해 texture 정보를 더 활용하는 것은 매우 당연하다는 생각이 들었습니다. 해당 texture bias가 과연 실제로 어떤 문제를 야기할지에 대한 것은 조금 더 생각해보아야 할 부분인 것 같습니다. 좋은 발표 감사드립니다.
CNN 은 일반적으로 객체에 대한 인식을 위해 low feature 에서 이들의 조합으로 high level 의 feature 를 학습한다고 알려져있습니다. 이러한 과정에서 shape / texture 등이 학습된다고 생각하고 있었습니다. 발표에서 texture 에대한 정보를 뭉개버린 이미지들에 대해 실험했을 때의 성능 비교를 통해서 texture bias 가 존재함을 보여주었습니다. 제일 처음 cnn 을 배웠을 때 예시가 고양이의 귀, 코 등이 였는데 의외로 shape bias 가 낮음을 제시하며, 사람과의 인지방식이 다름을 보여주었습니다. 이를 많은 실험과 다양한 데이터셋을 통해서 증명하는 과정이 흥미로웠고, shape bias 가 생성되는 이유에 대해서 texture 와의 상관관계를 언급했습니다. 발표자의 의견과 유사하게 데이터의 문제이지 않았을까 하는 고민을 조금 더 해보게 되었습니다. 몇가지 vision task 를 진행하면서 texture 에 대한 정보가 더 필요하거나, 반대로 shape 가 중요한 task 가 있다고 생각하는데, 단순 접근보다 이러한 부분을 더 고려해서 데이터에 맞는 모델 설계를 할 수 있는 방법이 중요하지 않나 생각합니다.
이번 세미나는 CNN이 갖고 있는 shape bias와 texture bias에 대한 세미나였습니다. 해당 논문은 CNN은 shape bias보다 texture bias를 갖고 있다고 주장하는데, 이는 texture를 가 없는 sketch image에 대한 분류 성능은 매우 낮음을 보여주며 뒷받침합니다. 개인적으로 이미지에 대해 특징을 지을 때 shape도 물론 고려해야할 요소이지만 texture 정보도 물체에 대한 큰 설명력이 될 것이라고 생각하여 shape biased되면 성능이 더욱 높아진다는 본 논문의 주장에 반론할 만한 점이 있습니다. 다양한 주장을 내세우기 위해 필요한 데이터 세팅과 실험을 어떻게 구성하였는지에 대해 많이 배울 수 있었던 세미나였습니다. 유익한 세미나 감사합니다.
금일 세미나는 'ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness"라는 주제로 진행되었습니다. 본 발표에서는 CNN의 texture bias에 대한 새로운 시각과 ViT의 texture bias에 대한 연구 동향이 소개되었습니다. 아직도 모델의 성능을 향상시키는데 큰 관심이 있는 상황에서 CNN의 본질에 대해 논의하는 시간을 가질 수 있어 좋았습니다. 발표에서는 shape-bias와 texture-bias가 논의되었는데 해당 이슈를 제기한 논문에서 이를 확인하기 위한 과정이 논리적이고 흥미롭다고 생각했으며, 특히 sketch 이미지를 사용해 texture-bias를 확인한 점이 가장 직관적이라고 느꼈습니다. 더불어 bias 관련해서 이전에 프로젝트를 수행하면서 shape가 거의 없는 이미지에 대한 CNN 분류 모델을 학습했을 때 모델이 texture 보다 color에 bias 되는 경향을 보였었는데 이에 대한 논의도 이루어지면 어떨까하는 생각이 들었습니다. 좋은 발표 감사합니다.
설계한 모델이 실제로 우리가 생각하는 방식으로 작동하는지, 어떠한 점이 우리의 생각과 다른 지 그 특성을 파악하고 고민하는 것은 당장 해결책을 주지 못하더라도 가치 있다고 생각합니다. 이번 세미나에서는 통상적으로 언급되는 CNN이 단순한 형태에서 복잡한 형태로 Feature를 형성한다는 Shape Hypothesis와 달리, CNN의 분류 결과는 이미지의 Texture에 강한 영향을 받는다는 Texture Hypothesis에 관해 큰 흐름을 소개해 주셨습니다. 연구들의 주제 자체도 흥미로웠지만, 실제 CNN이 Texture에 강한 영향을 받는지, Shape에 강한 영향을 받는 지와 같은 아직까지 누구도 확실하게 정답을 말할 수 없는 문제에 대해, 어떠한 방향으로 논리를 전개하고 실험을 설정하여 다른 연구자들을 설득할 수 있는지 그 방법에 대해 배울 수 있어 유익했습니다. 좋은 발표 감사합니다.
이번 세미나는 CNN에서의 texture bias에 대한 주제로 진행되었습니다. texture bias에 대해서는 지난 세미나에서도 다뤘었지만, CNN모델에서 이미지의 shape를 따르는 것이 아닌 texture를 따른다라는 것입니다. 이 주장을 뒷바침하기 위한 실험 결과들에 대해서 소개해주시고, shape bias를 높이기 위한 연구들도 소개해주셨습니다. 저번 세미나를 통해 texture bias에 대한 논쟁과 연구들이 굉장히 흥미롭다고 생각하였는데 이에 대한 여러 연구들에 대해서 소개해주셔서 재밌게 들을 수 있었습니다. 하지만 그때와 마찬가지로 texture 또한 어떠한 물체, 객체를 나타내는 굉장히 중요한 요소라고 생각이 들며, shape보다 굉장히 넓은 영역, 많은 정보를 담고 있기 때문에 texture bias가 높은 것이 나쁜 것인가라는 것에는 의구심이 듭니다. 또한, 강제로 texture가 바뀐 객체를 실제 그 객체라고 할 수 있는가라는 개인적인 생각이 듭니다. 단순히 모델의 bias에 대한 문제뿐만 아니라 우리가 사물을 인지하는 본질적인 개념을 다시 생각하게 만든 재미있는 주제인 것 같습니다. 좋은 발표 감사합니다.
이번 세미나는 "ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness" 라는 논문을 다루었습니다. 지난 번에도 한번 다루어졌던 내용으로 CNN이 Shape-bias 보다 Texture에 Bias되어 있음을 한번 더 되집어 주며, ViT 계열 모델의 경우 사람의 시각과 유사하게 Shape-bias 되어있음을 보여줍니다. Texture로 분류를 하는 CNN이 과연 궁극적으로 인간의 판단을 대체할 수 있을것인가에 궁금했었는데, 이번 세미나를 통해 다양한 연구 방법들이 진행되고 있음을 알 수 있었고, 발표자님의 의견을 통해 어떤식으로 생각을 확장시켜 나가야하는지 배웠던 것 같습니다. 좋은 발표 감사드립니다.
금일 세미나는 컴퓨터 비젼 분야에서 CNN 및 ViT 계열 모델이 이미지를 처리하는 과정에서 이미지의 질감과 형태/모양 중 어떤 속성에 더 영향을 받는지를 의미하는 shape-bias, texture-bias에 대해 살펴보았습니다. shape-bias가 있다는 것은 형태와 모양을 더 많이 고려한다는 것이고 texture-bias는 질감에 더 민감하다는 것입니다. 사람의 경우는 물체를 인식할 때 형태를 주로 파악한다고 알려져 있지만 여러 실험을 통해 CNN 모델은 질감을 더 주요하게 여김이 확인되었고 ViT 계열 모델의 경우는 사람의 시각과 유사함이 증명되었습니다. 우선 왜 이런 현상이 나타는지에 대한 궁금증이 생겼습니다. 그리고 사람의 경우 shape-bias가 있는 이유는 사물 인식에 있어 물체나 동,식물의 움직임 및 기능을 함께 고려하기 때문이지 않을까 생각해봅니다. 한편, CNN에 texture-bias가 있다면 dominating texture가 있을지에 대해서도 궁금함이 생겼습니다. 금일 세미나를 통해 CNN bias에 대한 개념을 확실히 이해할 수 있었고 여러 호기심도 생긴 흥미로운 세미나였습니다. 발표자 분께 감사의 말씀 드립니다.
이번세미나에서는 ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness에 대한 실험 연구를 소개해주셨습니다. CNN은 texture bias가 매우 강조되고 있는 부분을 문제로 정의하고 있습니다. 개인적으로 어쩌면 데이터 도메인/task마다 나눠서 bias를 구분해야 될지 모른다는 생각이 듭니다. 일반적으로 shape만 보면 분류를 잘할 수 있기때문에 사람이 shape bias가 있는 것처럼 느껴지지만 질감이 중요한 데이터 도메인에서는 제안논문의 결과대로 나올수있는지 의문점이 듭니다. 그리고 High-resolution을 다루는 segmentation의 경우는 shape bias가 높은 결과물들을 본적이 있기 때문에 이미지를 학습하는 CNN이 어떠한 bias를 가진다라고 일반화하는 관점에서도 어려움이 있지 않을까 생각해봅니다. 좋은 발표 감사합니다.
cnn 구조가 low level feature에서부터 high level feature를 포착한다는 주장은 아주 오랫동안 설득력있는 주장으로 여겨졌습니다. 하지만 texture hypothesis에 따르면 cnn이 shape bias보다는 texture bias에 더 큰 영향을 받는다고 합니다. 이후 texture를 변형하거나 삭제하는 실험들을 통해 주장을 뒷받침합니다. 모델 및 사람에 의한 bias를 실험하는 과정에서 '모든 모델이 100%로 맞추는 이미지'만을 사용하는 실험 설계 과정이 인상깊었습니다. 주장하는 바를 나타내기 위해 적절한 데이터 집합을 선택하였다고 생각했습니다. 처음에는 꼭 cnn이 사람의 bias와 일치해야 하는지, 단순히 end task의 성능만 높으면 되는 것이 아닌지 의심을 했었지만 연구 분야가 더 발전하고 실제 서비스로 상용화되는 단계에 진입한다면 외부 공격의 위험성을 반드시 고려해야 한다고 개인적인 결론을 내렸습니다. 발표 잘 들었습니다.
오늘 세미나는 CNN이 texture 등 특정 요소에 biased 되었을 수 있다는 내용으로 진행되었습니다. 기존에는 CNN을 쌓은 모델의 경우, 각 layer별로 low-level feature부터 high-level feature를 만들고, 이들의 조합으로 이미지를 분류할 수 있다고 생각해왔습니다. 하지만 최근 많은 연구들이 인간이 shape-bias를 가지는 것과 달리, CNN은 texture에 biased 되었다고 주장하고 있습니다. texture를 제거한 sketch image에 대해 잘 분류하지 못하고, local patch만으로 학습을 해도 성능이 크게 떨어지지 않는 등 여러 실험 결과가 그 근거가 되었습니다. 소개해주신 논문에서는 Stylized-ImageNet(SIN)을 제안하였는데, texture가 달라도 shape 정보가 유지되고 있는 이미지들로 구성하여 local 정보만으로 class를 예측할 수 없도록 한 dataset입니다. 이 dataset에 대해 AlexNet, VGG-16 등 CNN 모델의 학습 결과를 확인해보면, ImageNet과 달리 SIN dataset으로 학습했을 때 모델이 좀 더 shape-biased 되었다고 할 수 있습니다. 최근 딥러닝 모델들이 설계의 의도대로 학습하지 못하고 있다는 연구가 많은 것 같은데 앞으로 관련 연구들을 계속 확인해야 할 것 같습니다. 좋은 발표 감사합니다.
이번 세미나는 이전에도 다뤄진 적 있던 CNN의 texture bias에 대한 내용으로 진행되었습니다. AlexNet을 시작으로 더 깊은 CNN layer가 사용되면서 computer vision의 여러 task에 대한 성능도 높아질 수 있었는데, 이러한 CNN의 성능향상이 사람의 인지수준과 가까워지는 것을 뜻함은 아니라는 것을 texture bias를 통해 보여준 것 같습니다. CNN의 성능을 높이는 데 주요한 역할을 하는 augmentation으로 gaussian blur나 color distortion이 있고, 다른 이미지와의 합성이나 patch 단위로 이미지를 제거 또는 합성하는 augmentation 방법으로 mixup, cutout, cutmix 같은 방법도 제안되어왔습니다. 발표에서도 다뤄졌던 것처럼 이러한 augmentation이 사실 texture bias를 지우는 역할을 했기 때문에 모델의 성능을 향상 시킬 수 있었던 것이고, 근본적으로는 모델의 shape bias를 높이는 것이 이미지를 다루는 모델이 나아가야할 방향이지 않나 하는 생각이 들었습니다. CNN은 local한 영역을 반복해서 본다는 구조적인 특징 때문에 이미지의 전체적인 shape보다는 texture에 집중할 수 밖에 없는데, 최근 많이 연구되고 있는 vision transformer에서는 이러한 texture bias가 cnn만큼 높지 않다는 점에서 ViT를 활용한 vision task의 연구방향이 적절함을 느낄 수 있었던 것 같습니다. 좋은 발표 감사합니다.
금일 세미나는 최근 많은 이슈가 되고 있는 CNN의 shape-bias와 texture-bias에 대한 논문을 소개해주셨습니다. 기존 CNN 기반 모델은 layer 순서에 따라 high-level feature와 low-level feature로 구분되어 학습되는 것으로 알려져 있습니다. 본 논문에서는 CNN 모델은 두 가지 모두 학습하지만 주로 low-level feature와 같은 texture-bias가 high-level feature와 같은 shxpe-bias보다 크다 라고 얘기합니다. 실제 사람이 이미지에서 물체를 인식하는 방법은 shape-bias를 많이 가지고 인식하지만 반면 CNN 모델은 texture-bias에 많이 치중되어 있음을 보입니다. 본 논문에서는 style-transfer를 통해 이미지에 texture만 변형하여 모델을 학습하여 shape-bias 높이고, 이렇게 학습한 결과 보다 robust하며 정확도를 개선할 수 있음을 보였습니다. 이번 세미나를 통해 이미지 분류 모델로 많이 사용되는 CNN 모델의 내재적인 특성을 더 알아 갈 수 있는 좋은 시간이 되었습니다.
요새 비전 분야에 대한 보다 근본적인 내용에 관한 연구가 활발히 수행되는 것 같습니다. CNN이 깊은 레이어로 갈수록 semantic한 부분을 캐치해서 이미지를 이해할 수 있다 등의 내용으로 많이들 알고 있는데, 그런 CNN이 학습된 데이터에 따라서 심한 bias를 갖는다는 내용은 어떻게 보면 딥러닝이 인간이 생각하는 방식과는 매우 다른 식으로 학습이 된다는 점을 의미할 수 있습니다. 이런 내용들을 보면서 옛날에 인공지능 로봇이 게임을 클리어할 때 사람이 생각지도 못한 방식으로 클리어하는 내용들과 비슷하구나 싶기도 합니다. 어쨌든 CNN이나 ViT 모델이 shortest path 방식으로 지도 기반 학습이 되면서, 그리고 자체적인 구조적 특성에 의해 texture 혹은 local 정보를 이용해서 정답을 맞춘다는 내용은 사실이고, 많이들 관심을 가지는 부분은 이를 어떻게 하면 shape biased한 모델로 바꿀 수 있는지?가 될 것 같습니다. Shape biased가 되면 보다 인간과 유사한 방식으로 시각 정보를 처리할 수 있으므로 다양한 attack에 대해 robust 할 것이라는 주장이 있는데, 현재 측정하는 방식으로 shape bias가 높다고 해서 꼭 그렇지만도 않을 수 있겠다는 생각입니다. 좋은 발표 감사합니다.
금일 세미나는 CNN 대비 shape/texture bias에 강건한 ViT의 특징을 리뷰하는 논문에 대한 소개로 진행되었습니다. CNN 계열 모델의 경우 shape나 texture bias된 input이 주어졌을 때 오분류할 가능성이 매우 높다는 것을 실험결과를 통해 확인할 수 있었습니다. 특히 adversarial example을 생성하는 측면에서도 shape/texture bias가 많이 활용된다는 것을 고려해보면, ImageNet으로 학습된 CNN이 해당 bias들에 대해 상당히 취약하다는 것을 생각해볼 수 있는 시간이었습니다. ViT에 texture bias된 이미지를 넣었을 때 CNN보다 강건하며, input으로 활용되는 patch에 occlusion을 주는 변형 정도에 따른 성능의 저하가 CNN보다 완만한 것을 통해 bias에 강건한 ViT의 속성에 대해 알 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.