이번 세미나는 CNN이 사람과 달리 이미지안의 물체의 모양보다는 텍스쳐에 좀 더 집중한다는 주장을 하는 논문들에 대해 발표해주셨습니다. 주장 자체가 매우 흥미로웠고, 실제로 texture bias가 매우 높게 학습된다는 점에 놀랐습니다. 일반적으로 생각했을 때 모양을 보고 판별하는 것이 인간의 판단 과정과 매우 유사하기 때문에 높은 texture bias가 문제가 될 수 있을 것 같았지만 texture 정보 또한 물체의 고유한 정보라고 생각한다면 과연 실제로 큰 문제를 야기할 것인지에 대해서는 의문이 들었습니다. 따라서 texture bias가 높게 학습되었을 때 CNN 모델이 취약할거처럼 느껴지지만 예시에서 든 것처럼 코끼리의 texture를 가진 고양이는 존재하지 않을 것이기 때문에 실제로 취약성이 높지는 않을 것 같다고 생각하였습니다. 그럼에도 불구하고 논문에서의 주장은 여태까지 생각해보지 못했던 것이고 여기서 연결되어 어떻게 하면 좀 더 강건하고 성능이 좋은 CNN 모델을 개발할 수 있을지는 계속 고민해보아야 할 문제라는 생각이 들었습니다. 좋은 발표 감사드립니다.

금일 세미나는 ImageNet Pret-rained CNN 모델에서 존재하는 Texture bias에 대한 연구로 진행되었습니다. 발표자분께선, 1) Texture bias가 존재함, 2) 그렇다면, Texture bias가 왜 존재하는 가? 이 2가지 답에 대한 합리적으로 설명해주시기 위해, 2가지 논문을 설명해주셨습니다. 개인적으로, 발표자분께서 언급해주신 것과 같이 CNN 모델은 classification시, 물체의 shape 요소에 크게 영향을 받을 것이라 생각했습니다. 하지만, 그 점이 학습하는 데이터에 따라, 모델이 주목하는 것이 다를 수 있다는 점이 굉장히 흥미로웠습니다. BagNet의 경우에서 볼 수 있듯, Classification task로 한정한다면, 굳이 global information이 아닌, patch 단위의 local texture information으로도 충분히 성능을 가져갈 수 있다는 점도 흥미로웠습니다. 물론, Object detection 및 segmentation task의 경우, 조금 다른 이야기가 될 수 있을 것 같습니다. 그리고 이러한 데이터 given 모델의 bias를 파악함으로써, 최종적으론 성능의 향상까지 이뤄낼 수 있다는 점 또한 흥미로웠습니다. 이를 위해, bias를 texutre에서 shape로 변환해가는 시도. 그리고 이를 우리가 쉽게 보곤 했던 RandomCrop을 활용해 이뤄냈습니다. 이를 통해, 단순히, 모델에만 주목하지 않고, 데이터를 더욱 깊이 파봐야한다는 점을 다시 한 번 떠올릴 수 있었습니다. Vision task와 관련해 항상 흥미로운 주제로, 좋은 발표를 진행해주셨던 발표자님께 감사드립니다. 이번에도 좋은 인사이트를 발표에서 얻을 수 있었습니다. 다시 한 번 감사드립니다.

금일 세미나는 “The Origins and Prevalence of Texture Bias in Convolutional Neural Networks”에 대한 리뷰로 진행되었습니다. CNN은 이미지 분류, 객체 탐지 등 여러 분야에서 많이 활용되는 Neural Network 구조입니다. 기존에 CNN는 물체를 shape 정보를 활용하여 이미지 내 물체를 인식한다는 의견이 지배적이었으나, 소개해주신 논문에서는 CNN의 학습과정에서 texture bias가 주입되며, texture 정보가 중요하게 활용됨을 밝힙니다. 1개 이미지에 대해 color distortion, edge, texture 등의 여러 변형을 주고 예측을 수행한 결과, color에는 여전히 강건하게 예측하지만 domain shift 및 texture 변형에는 취약한 CNN의 특성을 파악할 수 있었습니다. 또한 이후 style-transferred ImageNet 데이터셋으로 학습한 CNN과의 비교를 통해 사용하는 데이터셋에 따라 이미지 내에 shape 정보로부터 representation을 추출하도록 학습할 수 있음을 알게 되었습니다. 당연하게 생각하던 CNN의 동작원리가 사실 texture 정보에 기반하고 있다는 것을 탄탄한 실험으로 보여주어 저자들의 논리에 납득할 수 있었습니다. 좋은 논문 공유해주셔서 감사합니다.

이번 세미나는 Texture Bias of CNN에 대한 두 논문을 다룬 세미나였습니다. 우선 첫번째 논문에서는 ImageNet으로 학습된 CNN은 물체의 모양보다는 texture를 다루는 것에 치중되어 있다는 것을 증명한 논문으로서, ImageNet이라는 데이터에 classification 목적으로 학습될때 texture bias가 주입되어 texture-bias한 특성이 나타나며 이는 인공적으로 합성된 style-transfered ImageNet 데이터셋을 이용하여 물체의 모양을 위주로 물체를 판단하는 shape bias를 높이도록 학습하도록 하였습니다. 또한 두번째 논문은 왜 texture-biased 되었는지의 원인을 파악하였는데, 데이터 증강, 학습 목적 등 여러 요인들을 달리하여 실험한 결과 texture bias가 주입되는 데에는 ImageNet이라는 데이터의 분포 자체가 가장 주요한 요인이며, augmentation을 추가하는 것 만으로도 CNN 모델이 shape-biased 될 수 있음을 보였습니다. 개인적으로 이번 세미나를 통해 CNN에 대한 고정관념을 깨는 계기가 되었고, 한편으로는 타 논문에서 MVTec 데이터셋으로 실험을 할 때 물체와 texture 이 둘로 나누어 실험하게된 이유를 납득할 수 있던 논문이었습니다. 유익한 세미나 감사합니다.

오늘 발표해주신 논문은 이미지 학습에 Texture bias가 발생되는 문제를 다고 있습니다. 제안된 논문에서는 foreground의 고양이와 background의 코끼리 texture를 style transfer를 적용했을 때 코끼리로 분류를 한다는면에서 texture에 bias가 있다는문제를 제기하고 있습니다. 이 문제를 해결하기위해 augmentation(gaussian blur. etc.)을 이용한 shape bias를 주입하여 texture bias를 줄이고자 하였습니다. 두번째 논문에서는 이 texture bias의 원인을 탐색하는 부분을 다뤘습니다. 먼저, 데이터 augmentation관점에서는 일반적으로 shape bias를 증진시키는 방향으로 작용하는 것 같습니다. 그리고 random crop, center crop을 이용하여 texture bias를 비교하는 실험에서는 center crop이 texture bias가 줄어드는 결과가 나왔습니다. 목적함수 관점에서는 location, exampler, encoder representation를 비교했을 때, SimCLR의 경우 높은 shape bias를 가졌습니다. 이 실험결과에서 목적함수보다 데이터 augmentation이 bias에 많은 영향을 주는 것 알 수 있었습니다. 그리고 architecture별 실험을 했을 때, Shape bias가 generalized performance 완벽한 상관관계를 이루지 않는다는 면에서 어떤 bias가 더 좋은지 생각해 볼 필요가 있는 것 같습니다. 개인적으로 의견을 남기자면 task-specific에 따라 어느 bias가 좋은지 나눠질 것 같습니다. 한 예시로 과거에 패션아이템에 대한 segmentation을 다룰때, shape bias가 상당히 강한 cascade mask-rcnn이 되는것을 확인하였습니다. shape bias가 분류성능면에서 좋을 수 있지만 패션이미지 자체가 texture에 따른 고객 선호도가 달라지기 때문에 texture bias가 높은게 오히려 더 좋을 수 있을 것 같습니다. 좀 더 이미지에 대한 딥러닝 모델을 이해하는데 좋은 발표였습니다. 감사합니다.

금일 세미나는 CNN 모델이 데이터(이미지)를 파악하는 과정에서 이미지의 어떤 특성이 중요한 역할을 하는지에 대한 근원적인 물음에 대한 주제를 다루었습니다. 일반적으로 인간은 물체를 인식할 때 그 형태와 모양을 중요시 여겨지는 것으로 알려져있습니다. 그리고 모든 딥러닝 모델의 궁극적인 목표가 그러하듯 인간이 이미지를 인식하는 과정을 CNN 모델이 모방하는 것은 내재적인 지향점이라 할 수 있을 것입니다. 이와 관련하여 여러 이미지의 특성 중 모양 및 형태 또는 질감이 CNN 모델의 이미지 속 물체 인식에 어떻게 영향을 미치는지 논의할 수 있는 두 편의 논문이 소개되었습니다. 첫 번째 논문인 ImageNet-trained CNNs are biased towards texture: increasing shape bias improves accuracy and robustness에서는 기존 이미지넷(Image-Net) 데이터를 이용해, 가령 새(Bird) 이미지 형태에 개(Dog) 이미지 질감을 입힌 것과 같은 데이터와 기존 이미지에 다양한 Style-Transfer를 적용한 데이터를 활용하여 모델이 이미지를 어떤 물체로 분류하는지 실험을 하였습니다. 그 결과 이미지넷 데이터를 학습할 때는 데이터 자체로 인해 CNN이 이미지의 질감에 영향을 받있음을 보여주고 Style-Transferred 이미지넷 데이터를 통해서는 CNN에 존재하는 편향을 조절할 수 있어 모델의 이미지 왜곡(Image distortion)에 대한 강건함을 향상 시킬 수 있음도 함께 보여주고 있습니다. 두 번째 논문인 The Origins and Prevalence of Texture Bias in Convolutional Neural Networks는 이미지넷으로 학습된 CNN 모델이 왜 이미지의 질감에 더 영향을 받는지에 대해 탐구하고 있습니다. 전반적인 학습의 과정, 모델의 구조, 목적 Task, 데이터 증강(Augmentation) 등의 여러가지 요소를 다루며 실험을 진행하였는데 결과적으로 데이터 증강을 적용하여 학습의 대상이 되는 데이터의 분포가 가장 중요한 요인이었음을 보여주고 있습니다. 특히 Naturalistic Data Augmentation을 적용한다면 사람이 물체를 인식하는 데 중요한 Shape Bias를 주입할 수 있음을 확인할 수 있습니다. 연구원 분들께서 질문하신 것 처럼 정확히 모델이 이미지의 어떤 특성에 살펴보고 있는지 자세히 확인하기 위해서는 분류 문제외에도 Segmentation 실험을 함께 진행하거나 모델 중간의 Feature Representation을 정성적으로 평가하는 방법도 함께 제시되는 것이 필요해 보입니다. 한편, 이미지 넷 데이터가 아닌 다른 데이터를 사용하였을 때의 결과가 어떻게 될지도 궁금해졌습니다. 흥미로운 주제를 준비해주신 발표자 분께 감사 인사 드립니다.

이번 세미나는 ImageNet으로 학습한 CNN이 가지고 있는 texture bias 문제에 대해 다루어졌습니다. 관련 논문으로 'ImageNet-trained CNNs are biased towards texture: increasing shape bias improves accuracy and robustness', 'The Origins and Prevalence of Texture Bias in Convolutional Neural Networks' 의 두 가지를 소개해주셨고, 첫 번째는 texture bias현상의 발견을, 두 번째 논문은 이러한 texture bias의 원인 및 해결 가능성을 실험을 통해 보여주었습니다.
1. 우선, 첫번째 논문에서 제시한 실험 결과를 보면 여러 cnn 모델들이 grayscale 이미지에 대해선 동일한 성능을 보여주나, silhouette, edge, texture의 distortion을 주었을 때 성능이 큰 폭으로 하락함을 확인할 수 있습니다. 이 부분에 대해선 발표자님이 언급하셨던 것과 동일하게 silhouette, edge, texture의 distortion이 학습에 사용되지 않은 OOD 이기 때문인 것으로 생각되고, Color distortion와 같은 augmentation은 흔히 사용되기에 grayscale이나 color distortion에 대해선 좀 더 안정적인 성능을 보여준 것이라 생각합니다.
2. 두 번째 논문의 실험 결과 중 학습 시 다양한 augmentation을 사용하면서 ImageNet 성능과 Shape Bias를 측정한 그래프가 인상적이었습니다. Color distortion, Gaussian blur 와 같은 비교적 weak augmentation을 사용하였을 때만 ImageNet acc와 Shape Bias가 모두 증가하고, random crop이나 style transfer와 같은 strong augmentation을 사용하였을 땐 Shape Bias는 증가하면서 ImageNet acc는 감소하는 결과를 보였습니다. 이 결과로 볼 때 Shape Bias와 ImageNet Acc 사이에 어느정도 trade off가 있는 것으로 생각되고, 최대한으로 ImageNet Acc를 증가시키려면 Shape Bias를 적정 수준까지만 증가시켜야 될 것 같다는 생각이 들었습니다. 추가로, 첫번째 논문에선 SIN+IN으로 학습 후 IN으로 fine tuning 하였을 때 ImageNet Acc가 증가함을 보였는데, 두 번째 논문의 실험에서도 Shape Bias가 높아진 모델에 weak augmentation만 사용한 fine tuning을 추가로 진행했다면 baseline 보다 ImageNet Acc와 Shape Bias 모두에서 좋은 성능을 보일 수 있지 않았을 까 생각됩니다.
3. SimCLR에서 사용한 augmentation을 supervised learning에 그대로 사용하기만 해도 Shape Bias가 크게 증가한다는 점이 놀라웠습니다. 이미지의 유의미한 representation을 학습하기 위해 단순한 transformation에 의한 차이가 아니라 다른 instance에 대한 차이를 크게 학습하기 위해 SimCLR 에서도 augmenation에 대해 다양한 실험을 했던 것으로 기억하는데 이렇게 검증된 augmentation 방식이 Shape Bias를 높이는 데에도 크게 기여한 것이라 생각합니다.
4. 비슷한 주제로 biased representation을 학습한 모델의 output과의 거리 개념을 loss term에 추가하는 것으로 de-biased representation을 학습하는 연구가 있어 링크남깁니다.
http://proceedings.mlr.press/v119/bahng20a.html
generalization과 accuracy 사이에는 어느 정도 trade off가 있을 수 있다고 생각하고 있었지만 shape bias와 texture bias라는 지표를 도입해 이를 정량화 했다는 점이 새로웠고, 문제의 발견과 원인 탐색이라는 관점에서 두 개의 논문을 소개 해주셔서 재밌게 들을 수 있었던 세미나였습니다. 감사합니다.

본 세미나는 기존의 널리 알려져 하나의 개념으로 자리잡고 있었던 정의가 틀렸을 수도 있다 라는 주장을 하는 논문을 발표해주셨으며, 이는 CNN이 물체의 형체를 통해 분류를 하는 것이 아니라 질감을 통해 하고 있었다는 주장을 합니다. 이를 Texture Bias라 하며 색깔, 형태, 실루엣 등의 요소들과 함께 질감 역시 예측에 큰 영향을 미치거나 오히려 더 큰 영향을 준다는 것입니다. 해당 가설을 증명하기 위해 기존 이미지에 Style Transfer를 통해 질감을 변화시켜 분류를 진행했을 때, 질감으로만 분류를 진행한 경우가 많았음을 밝히고 CNN이 Global 정보를 취하는 능력보다 Local Texture의 정보를 학습함을 나타냈습니다. 이는 모델이 원인이 아니라, 기존 벤치마크 데이터셋들의 분포에서 비롯되었다고 할 수 있으며, 사람의 시각의 다양한 Variation을 주는 Augmentation을 통해 CNN을 기존 목적인 Shape를 탐색하게 할 수 있는 Shape Bias를 주입할 수 있다고 합니다. 이는 성능을 향상시킬 수는 있지만, 주어지는 Variation에 따라 약간의 Trade-off가 발생할 수 있다하며, 마치 Attention이 Explanation이라고 많이들 알고 있지만 사실은 그것이 아니라고 말하는 여러 논문들과 같이 흥미로운 발표 주제였습니다. 좋은 발표 감사드립니다.

이번 세미나는 이미지 인식을 위한 CNN 모델에서 발생하는 Texture Bias 문제를 주제로 진행되었습니다. 소개해주신 두가지 논문은 각각 Texture bias 현상을 파악하고 원인을 규명합니다. 우선 첫번째 논문의 경우 스타일 트랜스퍼를 이용하여 이미지 내 두 특성(shape, texture)가 충돌하도록 데이터를 생성하고 분류 결과에서 Texture로 맞춘 개수의 비율을 texture bias로 정의합니다. ImageNET 데이터로 학습하여 높은 성능을 기록한 모델이 실제 학습 과정에서 인간의 사고 과정처럼 물체의 모양(shape)을 인식하기보다 이와 달리 Texture(질감)을 기준으로 이미지를 분류한다는 다소 놀라운 실험 결과를 확인할 수 있었습니다. 이에 대한 원인을 파악하기 위한 두번째 논문의 실험은 random crop, rotation과 같은 data augmentation 기법을 통해 shape bias와 texture bias의 영향을 측정하고 학습 데이터, 모델 구조의 영향도 실험을 통해 보이고 있습니다. 각 가설에 맞는 세밀한 실험 설계가 인상 깊었습니다. 이를 통해 기존 ImageNet 데이터에서 texture bias가 주입되는 원인으로 데이터의 분포를 들고 있으며, 모델이 shape에 집중하게 할 수 있도록 shape bias를 주입하는 방안을 제시합니다.
모델의 성능이 높을 때 그 결과를 있는 그대로 받아들이지 않고 현상의 이면을 탐구하여 발견해낸 bias, 그리고 이를 해결할 수 있는 방향까지 제시한 두 논문의 전체적인 흐름이 상당히 인상 깊었습니다. 제가 관심을 두고 있는 분야에서도 Transformer와 같은 모델의 이면을 볼 수 있는 연구가 진행되고 있는지에 관해 새로 찾아보고자 합니다. 연구자의 자세에 대해 생각해 볼 수 있는 기회를 주었다는 측면에서 이번 세미나가 큰 도움이 되었습니다. 좋은 발표 진행해 주셔서 감사합니다.

오늘 세미나는 ‘The Origins and Prevalence of Texture Bias in Convolutional Neural Networks’ 논문을 통해 이미지 데이터에 대해 CNN이 가지는 texture bias를 소개해 주셨습니다. CNN은 우리가 기대하는 feature를 학습하기도 하지만 반면 주어진 데이터에서 기대와는 다른 feature를 학습하는 경우도 있습니다. 본 논문에서는 ImageNet 데이터를 통해 CNN은 특히 texture에 biased 되어 있음을 보여주었습니다. 이러한 과정을 설명하기 위해 style transfer를 사용하여 기존 이미지에 다른 texture로 변환하여 학습 후 결과에 대해 변화가 있음을 보였습니다. 그리고 이러한 texture bias를 우리가 기대하는 shape bias로 변화시키기 위해서는 augmentation 과정을 통해 어느정도 해소 할 수 있음을 보입니다. 이번 세미나에서 인상 깊은 점은 texture bias에 대해 주장한 것과 style transfer와 같은 이미지 변환 모델을 통해 주어진 이미지를 주장하고자 하는 내용에 맞게 변화하여 검증한 과정이었습니다. 모델의 성능과 더불어 모델이 학습한 내용에 대해 해석한 연구라는 점에서 관심있게 보았습니다.오늘도 역시 좋은 시간을 만들어 주셔서 감사합니다. 앞으로도 좋은 발표 기대하겠습니다.

오늘 세미나에서 다룬 논문은 CNN에 존재하는 bias를 바꿀 수 있다는 것을 보여주고, 이것이 image distortion에 대해 더욱 높은 robustness를 제공한다는 것을 증명하고자 한 논문입니다. 논문에서는 색 정보는 물체 인식에 대해 영향력이 크지 않고 texture bias의 정보의 역할에 집중합니다. Texture bias, 또는 shape bias를 정량적으로 측정하기 위해 Style Transfer를 이용하여 하나의 이미지 내에 두 특성(texture, shape)이 서로 충돌하는 데이터셋을 생성하여 실험을 진행했습니다. 그 결과, CNN이 굉장히 texture-biased 되어 있는 것을 확인할 수 있었고, ImageNet dataset을 classification 하는 task 자체가 local texture 정보 만으로도 충분할 수 있다는 것을 보여주었습니다. 하지만, 이러한 실험 결과는 데이터 자체의 분포 영향력이 클 수 있어, 이러한 texture biased 모델을 shape biased모델로 만들고자 하였고, Style transfer를 통해 다양한 texture의 이미지를 augmentation하여 학습했을 때, 기본 ImageNet 데이터에 robust한 성능을 보였고, 이는 shape biased 모델로서 학습된 것으로 해석해볼 수 있습니다. 이렇게 주 bias를 변경해보고자 하는 아이디어가 신선했습니다. 두번째 논문에서는 ImageNet으로 학습된 CNN이 texture bias를 갖는 원인에 대해 탐구해보고자 했습니다. 본 논문에서는 실험을 통해서 Random crop을 수행할 때, minimum crop area를 높일 수록 shape bias가 커지지만, 동시에 ImageNet top-1 accuracy는 감소하는 현상을 보이며 top-1 accuracy와 shape bias 간의 trade-off를 설명하였습니다. Center crop을 수행하면, random crop에 비해 shape bias가 더 높아지나 상대적으로 texture bias에 대한 의존도는 낮음을 보였습니다. 본 세미나에서 소개된 논문들 모두 모델의 bias 측면에서, 특히 모델의 구조 보다는 데이터 자체의 특성에 입각하여 모델 동작 원리를 이해하고 설명하고자 한 점이 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나는 평소 우리가 생각했던 CNN에 의문점을 제기한 매우 흥미로운 논문에 대해 두가지 논문을 소개해 주셨습니다. 첫번째 논문[1]의 경우 ImageNet에 학습된 CNN이 굉장히 texture에 biased 되어있다는 것을 실험적으로 증명한 연구이며, 두번째 논문[2]은 그러한 현상이 왜 발생하였는지에 대해 실험적으로 밝혀내고자 한 논문입니다.

[1] ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
기존의 많은 연구들은 CNN이 계층적으로 low에서 high layer로 갈수록 물체의 low feature들을 차례차례 합성한 shape feature를 학습한다고 주장합니다. 반면, 해당 논문은 물체 인식에 있어서 물체의 texture가 중요한 역할을 한다고 주장합니다. 이는 고양이 이미지를 코끼리의 질감으로 바꾼 이미지를 Classification을 수행하게 되면 코끼리라고 예측을 하게 된다는 것입니다. 저자들은 Texture bias, 또는 shape bias를 정량적으로 측정하기 위해 ImageNet에 Style Transfer를 이용하여 cue-conflict 데이터셋을 생성하고, 실험한 결과 CNN이 굉장히 texture-biased되어 있는 것을 확인할 수 있었습니다. 개인적으로 본 논문에 대한 설명을 들었을 때는 매우 흥미로운 논문이라는 생각이 들었습니다. 하지만, CNN이 단순히 shape feature와 비교하여 texture bias가 존재한다는 것은 어찌보면 CNN이 가지고 있는 inductive bias로 인해 자연스럽게 생기는 것이며, SIN데이터셋을 이용하여 학습하는 것은 일종의 shape정보를 추가적으로 더 볼 수 있도록 해주는 일종의 augmentation이 아닌가라는 생각이 들었습니다.

[2] The Origins and Prevalence of Texture Bias in Convolutional Neural Network
앞에 [1] 파트를 들으면서 항상 들었던 궁금한 점이, “Texture Bias를 갖는 것이 뭐가 문제인가?”였습니다. 본 연구에서는 Texture Bias는 “Adversarial example에 대한 CNN의 취약함과 연관성이 있을 수 있으며, Domain shift, small-data regime과 같은 task에 있어서 학습을 어렵게 하는 CNN의 비밀과 연관이 있을 수 있다.”라고 주장하며 학습 과정, 모델 아키텍처, Task, 데이터 증강 등의 요소를 기반으로 ImageNet으로 학습된 CNN이 texture bias를 갖는 원인에 대해 탐구하고자 하였습니다. 이를 위해 CNN 아키텍처가 shape 정보를 충분히 이용할 수 있는지 알아보기 위해 shape, texture 레이블 각각에 대해 학습하고, 학습 과정을 비교하였습니다. CNN은 충분히 shape와 texture에 대하여 좋은 분류 성능을 보였기에 CNN 모델 자체의 inductive bias와 같은 구조적인 특성보다는 ImageNet에 학습시키는 것 자체(4가지)에서 원인을 찾고자 하였습니다.

① The role of data augmentation : neural-stylization[1] 없이 naturalistic한 augmentation[simCLR]을 통해서 모델에 shape bias를 주입할 수 있음을 확인하였습니다. / ② Effect of training objective : 학습 목적이 texture bias에 영향력이 있음을 확인하였으며, 학습 목적보다는 데이터 augmentation이 중요한 요인이라는 것을 확인하였습니다. / ③ Effect of architecture : ImageNet 분류에 좋은 성능을 보이는 16개 모델에 대해 shape bias와ImageNet Acc. 간 상관관계 분석을 수행한 결과 비례하지 않다는 것을 확인하였습니다. / ④ Degree of representation of shape and texture in ImageNet models : Shape 또한 충분히 높은 정확도를 보이도록 classifier를 학습시킬 수 있으나, 두 아키텍처 모두 classification layer를 거친 representation은 shape에 대한 정보 손실이 크게 발생한다는 것을 확인하였습니다.

발표 너무 재밌게 잘 들었습니다. 감사합니다.

이번 세미나에서는 이미지 인식 모델인 CNN 이 지닌 Texture Bias 을 소개해 주셨습니다. 평소 우리가 CNN 모델에서 가장 중요하다고 생각했던 Shape Feature 보다 Texture Bias 가 물체를 인식함에 있어 더 중요한 역할을 하지 않을까 하는 의문에서부터 첫번째 논문은 시작됩니다.
1. ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
이 논문에서는 인간과 기계 모델(CNN)을 모두 포함한 실험 설계를 통해 두가지 상반된 가설(Shape Hypothesis vs Texture Hypothesis) 를 해결하고자 하였는데, 이를 통해 CNN 에 존재하는 Bias 를 바꿀 수 있으며 이것이 Image Distortion에 대해 더욱 높은 Robustness를 제공한다는 것을 증명하고자 하였습니다. 하나의 Image(고양이)에 대해 Distortion(코끼리의 질감)을 주고 CNN을 수행하자 고양이가 아닌 코끼리로 예측을 하게 됩니다. 또한 저자들은 Texture Bias와 Shape Feature를 정량적으로 측정하기 위해 Style Transfer1)를 이용하여 cue-conflict Dataset을 생성하여 실험했으며, 그 결과 CNN이 Texture-Biased 되어 있다는 것을 확인합니다.
이는 ImageNet Dataset을 분류하는 Task 자체가 Local Texture 정보만으로도 가능하다는 것을 의미합니다. 보통 사람이 물체를 인식하는 방법(Shape Feature)과 다르게 CNN이 예측할 수도 있다는 점이 굉장이 흥미로웠고, 다양한 예시와 실험 Data를 통해 알기 쉽도록 설명해주셔서 감사합니다.
2. The Origins and Prevalence of Texture Bias in Convolutional Neural Network
두번째 논문에서는 왜 이런 현상이 발생했는지에 대해 실험적으로 증명하고자 했습니다. Adversarial Example에 대한 CNN의 취약함과 연광성이 있는지, Domain Shift, Small-Data Regime 같은 Task에 있어 학습을 어렵게 하는 CNN의 Inductive Bias를 내포하고 있지는 않은지에 대해 원인을 찾으려 노력했으며, 그리고 만약 Primate Visual Processing과의 Divergence를 의미한다면, 이는 인간-기계 비교 연구에 있어 중요한 Key가 될 수 있음을 시사하고 있습니다.
저자는 Shape, Texture 레이블 각각에 대해 학습하고 비교하였으며 이를 통해 다음과 같은 4가지 결론을 보여줍니다. (1) Stylization 없이 Naturalistic한 Augmentation을 통해서 모델에 Shape Bias를 주입할 수 있음을 확인 (2) 학습의 Objective보다는 Augmentation이 좀 더 중요한 요인일 수 있음 (3) ImageNet 분류에 좋은 성능을 보이는 16개 모델(ResNet50, NASNet 등)에 대해 Shape Bias – ImageNet Acc. 간 상관관계 분석 (4) Shape 또한 충분히 높은 정확도를 보이도록 Classifier를 학습시킬 수 있으나, 두 아키텍처 모두 Classification Layer를 거친 Representation은 Shape에 대한 정보 손실이 크게 발생함
이 두가지 논문에서 모델 성능 자체보다 학습한 데이터 분석과 이를 해석하여 결론 내리는 방법을 배울 수 있었고, 다양한 예시를 통해 즐겁게 세미나를 들을 수 있었던 것 같습니다. 감사합니다.

해석가능한 목표를 갖고 모델을 학습하는 사람의 의도와는 다르게 cnn 모델이 사람의 직관과는 다른 방식으로 문제를 푸는 것을 보여준 연구들을 소개해주셨습니다. 일반적으로는 CNN 레이어의 각 위치가 서로다른 feature를 학습하여 전체 네트워크는 global한 feature를 익힐 수 있다고 알려져 있지만, bagnet이라는 논문에서는 네트워크가 texture 정보에 더 의존한다고 주장합니다. 즉 shape bias에 더 집중하여 객체를 인식하는 사람과는 다른 방향으로 인식한다는 뜻입니다. 이는 문제를 해결할 때 굳이 사람의 직관과 일치하지 않고도 쉬운 관계를 찾아 해결할 수 있다는 가능성도 보여줍니다. ImageNet에서도 역시 local texture만으로도 유의미한 구분을 할 수 있다는 주장이 있는데, 조만간 열릴 NeurIPS ImageNet workshop에서도 유사한 내용이 다루어질지 흥미가 생겼습니다. 두 번째 논문에서는 많은 vision task에서 표준으로 사용되는 random crop에 대해 문제를 제기하였습니다. 지나치기 쉬운 실험 셋팅에서 문제를 찾아 내는 방법이 개인적으로 굉장히 반가웠습니다. 또한 이를 center crop과의 비교 실험으로 shape bias를 키울 수 있다는 주장을 뒷받침하는 부분도 좋았습니다. 다만 accuracy와의 tradeoff는 새롭게 정의한 문제 내에서 해결해야 할 과제인 것 같습니다. 발표 잘 들었습니다.

이번 세미나는 이미지 학습에 대해 CNN이 가지는 texture bias를 소개해 주셨습니다. CNN에서의 texture bias란 CNN을 이용한 이미지 물체 인식에 있어서 물체의 형상으로 물체를 인식하는 것이 아닌 물체의 texture를 이용하여 물체를 인식하게되는 경향을 의미를 하며, 물체의 texture가 바뀌면 제대로 인식하지 못하는 점에 대해서 설명하고 있습니다. 본 세미나에서 다루고 있는 논문인 'ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness'에서는 Style Transfer를 이용하여 이미지의 전반적인 texture를 바꾸고 학습하여 texture biasd에서 shape biased 모델로 바꾸고자 하였습니다. 본 발표에서는 물체 인식을 위해 학습된 CNN이 texture biased 되어 있다는 것을 주장하며 왜 그러한 현상이 발생하였는지 실험적으로 증명하고 있습니다. 발표를 들으면서 texture 또한 물체를 나타낼 수 있는 중요한 특징이라고 생각하기 때문에 texture bias가 존재하는 것은 당연하고 필요한 점이 아닌가라는 생각이 들었습니다. 본 발표에서 제시한 Style transfer는 단순히 augmentation이라는 생각도 들며, augmentation 중에 단순히 위 아래로 뒤집은 이미지(예: 비행기)는 현실에서 존재할 가능성이 낮아 성능 개선에 큰 도움이 되지 않기 때문에 잘 사용하지 않는 것으로 알고 있습니다. Style transfer 같이 아예 texture를 바꿔 버리는 것 또한 그 texture를 가지고 있는 물체가 현실에 존재할 가능성이 낮기 때문에 물체 인식에 있어서는 효과적인 방법은 아니지 않을까라고 생각이 들었습니다. 다만 평소에 의심해보지 못했던 허를 찌르는 역발상이었던 것 같아 신선하게 다가왔으며, 여러 연구에 있어서 이러한 의심을 갖을 필요성이 있다고 느껴지는 발표였습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 CNN의 texture bias 문제를 지적하며 이에 대한 해결책을 제시하는 논문을 소개해주셨습니다. CNN이 이미지 classification task에서 매우 좋은 성능을 냈지만, 이 논문에서는 CNN이 우리가 생각하는 것처럼 global, local 정보를 적절히 사용하여 classfication하는 것이 아닐 수 있다고 주장합니다. BagNet의 경우 receptive field를 작게 제한하여 학습하는데 그렇게 되면 global shape 정보보다는 local 정보를 학습하게 됩니다. 그럼에도 불구하고 좋은 성능을 냈다는 점에서 CNN이 global 정보를 학습해야만 좋은 성능을 내는 것은 아니라고 생각할 수 있습니다. 또한 이 논문에서는 texture에 대해 distortion을 주면 classification 성능이 매우 떨어진다는 실험 결과를 보였는데, 이를 근거로 CNN이 texture biased되어 있다고 주장합니다. 이와 더불어 object detection에 있어서 사람은 shape에 강하게 biased되어 판단하는 경향을 가지기 때문에 CNN이 shape bias를 가지도록 학습하는 것이 더 적합하다고 주장합니다. 따라서 shape 정보를 사용하여 task를 수행하게 하는 dataset을 구축하였는데, 이 새로운 dataset은 하나의 class에 속하는 image들이 각기 다른 texture를 가지고 있어 CNN이 texture정보보단 shape에 집중하여 classification하도록 합니다. 이 data로 학습한 CNN은 shape biased되어 사람에 가깝게 분류 task를 수행할 수 있습니다. 하지만 texture bias와 shape bias가 trade-off 관계라고 주장하는 논문도 존재하기 때문에 shape에만 치우치게 학습되는 것도 가장 좋은 경우라고 할 순 없을 것 같습니다. 결론적으로 CNN이 texture나 shape에 biased 되는 데에는 학습 dataset의 분포가 가장 주요한 요인으로 작용하므로, 발표자님이 말씀하신 것처럼 사람이 현실 상황에서 충분히 마주할 수 있는 augmentation 방법을 사용하여 학습하면 좀 더 사람의 행동을 모사할 수 있는 CNN을 학습할 수 있다고 생각합니다. 좋은 발표 감사합니다.

매우 흥미로운 주제의 세미나였습니다. 딥러닝 기반의 모델들은 데이터로부터 잠재된 패턴을 학습하여 목적하는 Task를 수행할 수 있도록 설계됩니다. 이 때 데이터에서 어떤 패턴을 보고 task를 수행하는지는 대다수 모델에서 아직까지 명확하게 밝혀지지 않았습니다. 소개해 주신 논문들은 CNN 기반의 모델들이 우리의 기대와는 다르게 객체의 Shape이 아니라 Texture에 편향된 패턴을 학습한다고 주장하며, 이러한 현상 및 원인에 대해서 실험적으로 밝혀냅니다. 새로운 구조의 모델을 설계하고 성능적인 향상을 보이는 것이 아니라, 근본적으로 딥러닝 모델이 Input 또는 Representation Space상에서 어떠한 특성을 갖고 동작하는지를 파악하기 위한 연구로 생각되어 개인적으로 매우 흥미로웠으며, 향후 이러한 특성들을 어떻게 활용할지 기대되는 발표였습니다. 좋은 발표 진행해 주셔서 감사합니다.

금일 세미나는 "The Origins and Prevalence of Texture Bias in Convolutional Neural Networks"라는 주제로 진행되었습니다. 본 발표에서는 ImageNet에 학습된 CNN이 texture에 편향되어 있다는 것을 증명한 연구와 이러한 현상의 원인을 실험적으로 증명한 연구가 소개되었습니다. 개인적으로 두 연구 중 첫번째 연구가 인상 깊었습니다. 첫번째 연구에서는 CNN이 일반적으로 물체 인식에서 물체의 모양을 위주로 판단한다는 인식에 반박하며, CNN이 물체 인식에서 texture를 굉장히 많이 사용한다는 점을 문제점으로 제기하고 CNN이 texture-biased 되어있다는 가설을 실험적으로 증명하였습니다. 세부적으로 CNN이 ImageNet 분류를 학습하는 과정에서 texture bias가 주입된다는 것을 증명하였습니다. 개인적으로 딥러닝 관련 연구를 하면서 새로운 모델을 제안하는 경우가 많기 때문에 당연하게 생각되는 개념을 반박하는 가설을 제시하고 이를 실험적으로 증명하는 것이 매우 어려운 연구 중 하나라고 생각합니다. 그렇기 때문에 금일 주제 또한 매우 흥미로웠고, 이를 증명하는 과정이 매우 인상적이었습니다. 좋은 발표 감사합니다.

본 세미나에서는 Image classification 을 수행하는 cnn 모델이 꼭 우리가 알고있고, 합리적으로 생각하는 객체를 인식한다는 내용에 반하는 texture 에 더 관련있다는 내용입니다. texture 를 통해 객체를 인식한다는 내용이 단순 이미지의 선별적 예시를 통해서가 아닌 논리적인 실험을 준비하여 결과를 보여주었습니다. 사물을 어떻게 인식할까 라고 생각할 때, 이미 학습이 다된 사람은 객체를 바로 인식할 수 있지만, 처음부터 배우는 과정에서는 그렇게 되는게 더 힘들다고 생각합니다. 즉 그래서 texture 에 대한 학습이 우선적으로 일어날 것이라고 생각은 했지만, 발표 피드백에도 나왔듯이 이러한 생각을 실험을 하는 시작과 과정이 다른 논문들에 비해 매우 인상적이였습니다. 이미지 뿐만 아니라 text 에서도 비슷한 결과가 일어날 것 이라고 생각하기에, 또 좋은 논문들이 나오길 기대합니다. 감사합니다.

본 세미나에서는 CNN과 같은 딥러닝 모델이 물체를 인식할 때 물체의 모양정보가 아닌 주변 상관관계 및 Texture를 활용한다는 것을 실험적으로 증명한 논문에 설명해 주셨습니다. 저자들은 CNN 모델이 ImageNet 등의 데이터에서 분류 목적으로 학습되는 과정에서 Texture Bias가 주입되며, 이 때문에 물체의 모양보다는 Texture가 물체를 분류하는데 더 중요한 정보로 활용된다고 주장합니다. 이와 관련된 가설은 여러 실험들을 통해 증명 되었으며, 이를 극복하기 위하여 데이터 augmentation 관점에서 shape bias를 증진시키는 방향으로 또다른 논문을 소개해 주셨습니다. 두번째 논문에서는 CNN 모델에 shape bias를 주입하는 방법은 사람이 마주칠 수 있는 네추럴한 데이터 augmentation 방법인 rotation이나, SimCLR등을 활용하는 것이라고 주장합니다. 두가지 논문을 들으면서 아직까지도 딥러닝 관련 모델들의 작동원리를 이해하고 사람의 행동패턴과 비슷하게 동작할 수 있도록 보정하는 연구들이 많아지고 있다는 것을 알 수 있었습니다. 또한 그러한 방향의 연구가 모델의 성능 뿐만 아니라 실제 사용환경에서 더욱 가치가 높다는 생각이 듭니다. 좋은 발표 감사합니다.

CNN이 texture bias를 가진다는 논문들에 대해 살펴보았습니다. 개인적으로 생각하기에 ImageNet의 경우에는 다른 benchmark dataset에 비해 모델의 kernel이 볼 수 있는 영역이 이미지의 전체 크기 대비 매우 작기 때문에 이러한 현상이 더 극명하게 나타나는 것 같습니다. 기존에 texture를 통하여 perturbation을 가하는 attack 기법이 있었는데 또 다른 해석을 볼 수 있어서 좋았습니다. 다만 color를 사용하여 공격을 하는 기법도 있는데 소개해주신 논문에서는 color에 영향을 받지 않는다는 결론을 내서 좀 의아했습니다. 좋은 주제와 접근이었지만 해결책인 style-transffered는 본질적인 해결이 아니라고 생각합니다. 앞으로 계속 발전하지 않을까 싶습니다.