오늘 세미나는 computer vision 분야의 concept-based로 해석가능한 AI 방법론에 대해 진행되었습니다. 첫번째 논문의 경우 사전에 정의한 concept를 기준으로 분류하는 classifier를 학습하여 concept activation vector를 얻고자 하였습니다. 다만, concept를 사전 정의하면서 생기는 bias가 문제가 되어 이를 해결하기 위해 automatic concept-based 방법론이 제안되었습니다. 두 번째 논문의 경우 segmentation, 군집화의 과정을 거쳐 concept을 자동적으로 추출할 수 있게 하였습니다. concept의 중요도를 추출하는 방법을 시계열 등 feature가 명확히 정의되어있는 데이터에서도 정성적으로 잘 작동할 수 있을지 궁금합니다. 좋은 발표 감사합니다.

ㅤ금일 세미나는 “Concept-based Interpretable AI In Computer Vision”이라는 큰 컨셉을 가지고 4가지의 논문들을 소개해주셨습니다. 가장 먼저 이전 모델 해석 방법 및 한계점 소개, 이를 극복하기 위해 나온 TCAV을 통한 High-Level Concept 평가 방법 및 한계점 소개, TCAV에서 Concept을 자동으로 추출하는 ACE 방법, Confounding factor 제외하고 평가하는 CaCE 방법, 마지막으로 Concept을 통해 사전학습을 하는 Concept Bottleneck Models 방법 순으로 발표를 진행해주셨습니다. Casual Inference라는 개념에 대한 막연한 궁금증이 있었는데, 이번 기회에 비전에서 말하는 Casual, Concept이란 어떤 것이 있는가 알 수 있는 값진 시간이었습니다. 개인적으로는 앞에서 Interpretability와 post-training에 관한 연구들과 한계점을 가볍게 짚고 넘어가주셔서 전반적인 발표를 이해하는데 너무 수월했던 것 같습니다. 좋은 발표 감사합니다!!

금일 세미나에서는 Concept과 관련한 4가지의 논문을 발표해 주셨습니다. 먼저, 첫번째 논문은 concept을 사전에 정의하고 이를 바탕으로 concept을 분류해내는 분류기를 학습하여 CAV를 얻는 것을 제안합니다. 두번째 모델은 concept 추출 과정을 segmentation과 K-means를 활용하여 할 수 있도록 했습니다. 개인적으로 이렇게 segmentation으로 concept을 구성하는 것이 더 설득력있다고 생각했습니다. 특히, concept들만 스티칭해서 예측한 실험 결과가 인상깊었습니다. 세번째로는 confounding factor를 제외하는 방법인데, concept 유형에 따라서 ATE나 ACE를 계산하는 것입니다. 마지막 논문은 concept 정보를 모델 학습에 사용하는 것으로 input을 통해 concept을 뽑고(g) 이를 바탕으로 output을 예측(f)하는 것입니다. 그 학습 방법으로는 g와 f를 independent하게, sequential하게, joint하게 학습하는 방법이 있습니다. TCAV에 대한 개념에 대해 오늘 처음 알게 되었는데, interpretable AI를 위해 조금 더 정량적인 기준에 입각한 모델을 만들고자 한 연구들을 접할 수 있어서 흥미로웠습니다. 재미있는 발표 감사합니다.

이번 세미나에서는 Post-training explanation의 방식은 모델을 사전에 학습한 후, 변수의 영향력을 탐색하는 과정으로 이루어지는 문제를 지적하고 있습니다 (e.g. Grad-CAM). 구체적으로 기존방식은 데이터 단위로 해석할 수 있으며, 직관적이지 않고, 신뢰도가 낮은 문제가 있습니다. 대안으로 4개의 논문을 설명해주셨습니다. 대안으로, TCAV(Concept activation vectors)를 이용한 고수준 평가방법으로 gradient의 부호를 기저로 컨셉에 대한 설명력으로 측정하고 있습니다. 이러한 해석을 위한 컨셉을 전문가 선택해야하는 한계점도 존재하는것 같습니다. 이러한 컨셉을 자동으로 추출할 수있는 방법으로는 클러스터링 기반의 방법론을 사용해 유사한 컨셉을 정의하는 방법이 있었습니다. 정량적평가로는 핵심 컨셉을 잘 추출하였으면 성능도 뛰어날거라고 가정해서, 주요 컨셉을 이용한 예측성능의 결과를 보여줬습니다. 통제된 상황에서, cauality 기반의 방법으로 모델을 설명하기 위해 통계적인 공분산에 대한 개념을 도입해서 설명력을 보여주는 논문도 소개해주셨고, Generative model의 decoder에 적용한 사례를 확인할 수 있었습니다. 컨셉을 사전에 학습하는 사전학습방법에 대해서도 설명해주셨습니다. 중간에 컨셉이라는 layer를 가정하는 구조를 사용하는 방식의 평가방법이었습니다. 하지만 컨셉에 대한 annotation이 필요하다는 한계점도 존재하였습니다. 좋은발표 감사합니다.

금일 세미나는 Computer Vision 에서의 Concept-basesd Interpretable AI 라는 주제로 세미나를 진행해주셨습니다. ‘Concept’이라는 개념은 Model Agnostic 장점을 갖는 Post-training explanation 방법 중 기존의 Local과 Global 결과가 다른점과, 사용자 비 친화적 방법론, 예측 결과가 다르게 나올 경우 신뢰도가 하락하는 기존 방법론의 한계점을 보완한 방법론을 제시합니다. 레이어의 중간 단계까지의 학습된 모델을 바탕으로 Concept Activation Vector를 산출하는 방법론이 흥미로웠으며, 후속 연구로 소개해주신 중요한 Concept을 추출하고, 평가하고 또한 Concept을 통하여 사전학습 방법론을 제시하는 연구의 흐름을 소개해주셔서 해당 분야가 어떠한 흐름으로 연구가 진행되고 있는지 이해할 수 있었습니다. 제한된 실험환경이었지만, 저자들이 제안하는 방법론을 뒷받침하는 실험조건 설계도 흥미로웠으며, 각 논문의 한계점을 잘 정리해주셔서 제안방법론이 나오게 된 배경을 이해하고 연구흐름을 이해하는데 많은 도움되었습니다. 좋은 발표해주셔서 감사드립니다.

금일 세미나에서는 Concept-based Interpretable AI In Computer Vision이라는 주제가 다루어졌습니다. 총 4가지 논문을 통해 컴퓨터 비젼분야에서 일명 Concept 이라 불리는 Concept Activation Vectors 개념에 대한 소개를 시작으로 기존 saliency map을 통한 설명의 한계점을 보완할 수 있는 방법을 비롯해 concept을 자동적으로 추출하는 방법, 독립변수와 종속변수의 관계에 영향을 주는 제 3의 변수인 confounding factor를 제외한 concept만의 정량적 평가 방법, concept을 이용한 사전학습 방법 등에 대해서 발표자 분께서 긴 흐름을 아주 흥미롭게 잘 설명해주 셨습니다. 이미지 데이터를 이용하다 보니 사람의 의도를 컴퓨터가 제대로 해석하고 받아들인 것을 쉽게 확인할 수 있었던 점이 인상깊었습니다. 이 중 concept을 통한 사전학습 방법이 결국 concept의 활용 방안의 궁극적인 목적지이지 않을까 싶습니다. 한 편 사람마다도 물체를 인식할 때 중요하게 생각하는 Concept이 다르기에 Concept을 자동으로 추출하는 과정을 평가하는 효과적인 방법을 탐색하는 것이 하나의 연구 주제가 될 수 있겠다는 생각을 하였습니다. 긴 시간이었음에도 재밌는 내용으로 발표를 구성해주신 발표자님께 감사의 말씀 드립니다.

Concept을 활용한 XAI 기법에 대한 전반적인 흐름에 대해 발표해주셨습니다. '설명가능성'이 굉장히 주관적인 개념이라 특히 최적화하기 어렵다는 생각을 하였는데, TACV에서는 사람의 직관과 어느정도 일치하는 concept이라는 개념을 도입합니다. Concept은 사용자가 정의하는 개념으로, 이전의 saliency map이나 cam보다 사용하기 편리하며 어떠한 concept에도 적용이 가능하며 넓은 확장성이 장점입니다. 모델의 중간 representation에 linear classificer를 구축하고, coefficient를 concept activation vector (CAV)로 설정합니다. 해당 방법론을 기점으로 coeffeicient를 대신할 수 있는 concept definition 연구가 이루어질 것 같다는 생각도 들었습니다. 같은 저자가 참여한 이후 논문에서는 직접 정의해야 하고, bias가 포함되기 쉬운 기존 concept의 한계를 보완하여 객체에 담겨있는 concept을 학습할 수 있다고 주장합니다. 그 다음 CaCE 논문에서는 기존 방법론이 데이터에 포함되어 있는 confounding factor를 고려하지 못함을 지적합니다. 한 저자가 고안한 방법론을 지속적으로 발전시키며 후속 논문으로 엮어내는 흐름이 매우 인상깊었습니다. 감사합니다.

이번 세미나의 주제는 Concept-based Interpretable AI In Computer Vision 입니다. 4가지 논문을 통해 Concept에 대한 전반적인 내용을 다루어주셨습니다.
먼저 첫번째 논문에서 사용자 친화적 해석 방법으로 CAVs를 제안합니다. 사용자가 정의한 Concept이 학습된 모델이 예측한 결과에 얼마나 영향이 있는지 정량적으로 확인해 볼 수 있는 방법이지만 Concept에 대한 제한이 없어 오히려 중요한 Concept을 파악하기 어려우며, 사람이 직접 선택하는 Concept은 bias가 발생한다는 한계점을 지닙니다.
이에 자동으로 학습한 데이터에서 중요한 Concept을 결정하는 방안으로 두번째 논문을 소개해주셨습니다. 두번째 모델은 Concept 추출 과정을 Multi-resolution segmentation of images, Clustering similar segments and removing outliers, Computing Saliency of Concepts (TCAV 적용) 3단계로 제안하였지만, 결과에 영향을 미치는 요인이 많은 것이 한계점으로 보입니다. 세번째 논문에서는 Confounding factor를 제외하는 방법으로 TCAV의 문제점을 개선하기 위해 CaCE(the Causal Concept Effect) 방법을 제안합니다. Concept 유형에 따라 ATE 또는 ACE를 계산하는 것으로 이 또한 제한적으로만 사용 가능하다는 한계점을 가집니다.
마지막 논문에서는 Concept 정보를 모델 학습에 사용하는 것으로 3가지 Bottlenect 모델(Independent, Sequential, Joint)을 제안합니다. 기존에는 입력값(x) -> 예측값(y) 를 도출했으나, 해당 모델에서는 입력값(x)->concept(c)-> 예측값(y) 을 뽑아냅니다.
이렇게 4개의 논문을 통해 전반적인 Concept 기반 모델 설명에 대한 연구 흐름에 대해 집어주셔서 굉장히 유익했던 세미나였습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Concept-based Interpretable AI 라는 주제로 관련 논문 4개를 소개해주셨습니다. 먼저, 이전 연구인 Saliency Map의 한계와 이를 개선한 TCAV의 등장을 첫 번째 논문을 통해 알 수 있었습니다. TCAV는 사람이 정한 concept이 모델의 예측에 얼마나 기여했는지를 정량적으로 알 수 있게 합니다. 이는 Interpretability 측면에서 사용자 친화적이지만 task와 data에 대한 도메인 지식이 필요하다는 점 등의 여러 한계를 가집니다. 그리고 이러한 한계점을 이어지는 논문들에서 concept의 자동추출(2), confounding factor 제외(3), concept 정보를 포함한 학습(4)의 방식으로 개선합니다. 개인적으로 이번 세미나는 concept이라는 개념을 중심으로 XAI에 대해 많이 공부할 수 있었던 세미나였고, 발표자분의 관심 주제에 대해 많은 선행 연구를 진행했던 연구자의 연구흐름을 따라가며 논문 소개가 진행되어 문제를 개선해오는 일련의 과정도 함께 파악할 수 있었던 것 같습니다. 좋은 발표 감사합니다.

금일 세미나에서는 Concept-based Interpretable AI에 대해 알아보았습니다. 처음 소개해준 Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV) 에서는 기존의 XAI의 문제를 지적하며 TCAV를 통한 모델 설명을 소개하고 있습니다. 이는 사용자가 정의한 concept이 모델의 예측 결과에 얼마나 영향을 주는지를 정량적으로 평가 합니다. 하지만 이러한 방식은 사람에 의한 bias가 생기게 되며 concept에 대한 중요도를 정하기 어렵습니다. 이러한 문제를 완화하기 위해 Towards Automatic Concept-based Explanations 논문이 등장하였으며 해당 연구에서는 TCAV 에서는 고려하지 못했던 confounding factor를 제외하고 자동으로 concept을 결정하게 됩니다. 이후에도 Causal concept을 고려하는 CaCE와 이를 발전시킨 Concept Bottleneck Models 연구에 대해 살펴 보았습니다. DNN의 등장 이후 black-box라는 비판을 받으며 반드시 필요한 연구 분야로 언제나 XAI가 손꼽히지만 연구가 잘 되지 않는다는 느낌을 받았습니다. 이번 세미나를 통해 어떤 식으로 연구가 되고 있는지를 간략하게 살펴볼 수 있어서 좋았으나 개인적으로는 다소 두루뭉술 하다는 느낌을 받았으며 이러한 이유로 연구가 매우 어렵겠다는 생각을 하였습니다.

이번 세미나에서는 'Concept-bases Interpretable AI In ComputerVision'이라는 주제로 진행되었습니다. 본 세미나에서는 concept을 주제로 4가지 논문에 대해서 소개해주셨습니다. concept은 첫번째 논문인 TCAV에서 처음으로 소개되었으며, 사용자가 정의한 concept이 학습된 모델이 예측한 결과에 얼마나 영향이 있는지 확인하는 방법입니다. 두번째 논문에서는 concept을 자동으로 추출하는 ACE를 제안하였습니다. Multi-resolutionsegmentation과 K-means를 사용하여 군집화하고 군집화된 concept들에 TCAV를 적용하는 방법이었습니다. 세번째 논문은 Confounding Factor를 제외하고 평가하기 위한 CaCE를 제안하였습니다. CaCE는 Concept 유형에 따라 ATE 또는 ACE를 계산합니다. 네번째 논문은 Concept 정보를 모델 학습에 사용하여 더 직관적인 모델 해석이 가능하도록 하였습니다. 개인적으로 네번째 논문에서 도메인 전문가를 통해서 잘못 예측한 concept을 수정해서 성능 개선 가능한 부분이 인상 깊었습니다. 아무리 모델이 좋아도 도메인 knowledge가 필요한 상황이 많으며, 모델을 수정하기 어려운 경우도 많았는데, 이는 모델이 전문가의 보조 역할을 하면서, 성능을 올릴 수 있을 것 같다고 생각하였습니다. 4개의 논문을 한 번에 소개해줌에 따라 한 연구 분야에 대한 일련의 이야기를 들은 것 같았습니다. 좋은 발표 감사합니다.

금일 세미나는 Interpretable AI와 주제로 "Concept-based Interpretable AI In Computer Vision" 과 관련된 논문 4가지를 소개해 주셨습니다. Explainable AI는 사용자에게 딥러닝 모델을 활용할 때 신뢰성을 줄 수 있다는 점에서 자주 활용됩니다. 하지만 Explainable AI를 통해 시각화한 결과를 도출하지만 이 해석 결과가 예측 결과와 다르면 신뢰도가 하락하는 단점을 갖고 있습니다. 이를 극복하기 위하여 첫번째 논문인 TCAV는 High-Level Concept의 정의와 평가 방법을 소개하고, 이를 자동으로 추출하는 ACE 방법을 제안합니다. 두번째 논문은 Conept를 추출하는 과정을 segmentation과 K-means등을 활용하여 3단계로 나누어 적용하는 방법에 대해 다루고 있습니다. 세번째 논문인 CaCe는 concept 유형에 따라서 ATE나 ACE를 계산하는 Confounding Factor를 제외하는 방법에 대해 다루고 있습니다. 마지막 논문에서는 concept 정보를 사전학습하는 방법을 제안합니다. 동일한 주제에 대하여 다양한 연구들이 진행되고 있다는 점에서 굉장히 흥미로운 세미나였습니다. 좋은 발표 감사합니다.

금일 세미나는 "Concept-based Interpretable AI"라는 주제로 진행되었습니다. 본 발표에서는 Concept-based Interpretable AI와 관련된 총 4개의 논문이 소개되었습니다. 개인적으로 이상치 탐지 분야 연구를 하고 있기 때문에 Interpretable AI에 대한 관심이 높은데 지금까지 접했던 방법론들은 주로 gradient 또는 activation 기반의 방법론들이었기 때문에 concept을 기반으로 하는 방법론을 접할 수 있어 좋았습니다. 발표 초반에 Interpretable AI의 한계점을 local과 global의 설명 결과가 동일해야한다는 점, saliency map가 사용자 친화적이지 않다는 점, 예측 class와 해석 결과가 다르게 나오면 신뢰도가 하락한다는 점 총 3가지로 나누어 설명해주신 부분이 좋았습니다. 첫번째 논문인 TCAV가 이러한 한계점을 극복하기 위해 사용자가 정의한 concept이 학습된 모델이 예측한 결과에 얼마나 영향을 미치는지 정량적으로 확인하였고, 이러한 해결 방법이 인상적이었습니다. Feature를 의미하는 concept를 도입하여 문제를 해결한 점이 참신하다고 생각되었고, feature를 나타내는 concept를 변수로 변경하면 이상치 탐지 분야에서 사용할 수 있지 않을까하는 생각도 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 ‘Concept-based Interpretable AI’를 주제로 진행되었습니다. Computer vision 도메인에서의 XAI를 주제로 한 내용이라, 다소 어려웠지만 그럼에도 불구하고 관심있게 들을 수 있었습니다. 무려 4개의 논문을 압축해서 소개해주셔서 감사할 따름이었습니다. XAI에 대해 매우 포괄적으로 잘 다뤄주신 것 같습니다. 서두에서부터 XAI를 최적화 관점에서 3분류로 나눠주시고, 그 중에 model agnostic한 관점을 담은 post-training explanation 관점을 잘 다뤄주셨습니다. 지금까지의 방법론이 사용자 친화 관점에서 부족한점을 보완하는 TCAV모델에 대해 설명해주셨습니다. TCAV의 핵심이 되는 Concept activation vector 개념은 매우 신선했습니다. 그 내용이 직관적이면서도 유용한 방법이라고 생각했습니다. 무엇보다 model agnostic하기 때문에 쉽게 활용가능할 것이라 생각했습니다. 하지만, TCAV역시 concept에 대한 score는 얻을 수 있지만, 수 많은 concept중 어떠한 컨셉이 중요한 것인 가에 대한 판단은 어려웠습니다. 그래야 가장 중요한 영향을 끼친 요인을 파악해 설명가능할 테니, 이는 중요한 문제라고 볼 수 있습니다. 이를 자동화하는 방법을 두번째 논문에서 소개해주셨습니다. 군집화를 통해 대상이 되는 concept을 추리고, 그 중에서 가장 중요한 concept을 선별해내는 방법을 취하고 있습니다. 하지만, 이는 segmentation과 이미지 모델의 성능에 크게 영향을 받는 다는 점이 한계로 지적되었습니다. 그리고 종속, 독립변수에 모두 영향을 주는 교란적 요인을 고려해 XAI를 실현할 수 있는 방법인 ‘causal concept effect’논문을 소개해주셨습니다. 그 외에 concept 정보를 함께 학습에 활용해 보다 concept 기반의 XAI를 강화하는 방법까지 소개해주셨습니다. XAI에 대해 concept기반의 접근을 하는 것 자체가 새로웠는 데, 거기에 통시적으로 쭉 설명을 해주셔서 정말 유익한 시간이었습니다. 고생 많으셨을텐데, 발표자님께 다시 한 번 감사드린다는 말씀을 전하고 싶습니다. 발표 잘 들었습니다. 감사합니다.

이번 세미나에서는 발표자분께서 관심이 많으신 XAI 분야에 대한 발표를 진행해주셨습니다. 다양한 방법론이 제안되고 연구될수록 XAI 분야의 중요성 또한 높아진다고 생각하기 때문에, 항상 흥미있게 듣고 있습니다. 우선 소개해주신 내용은 Concept-based Interpretable AI인데 이와 관련된 4가지 논문을 소개해주셨습니다. Gradcam과 같이 gradient based 방법론 등이 직관적이지 않고, 신뢰도 측면에서 문제가 있다는 점을 지적하고 제안된 concept 기반 방법론은 이미지가 가질 수 있는 어떠한 concept을 정의한 뒤 이것이 미치는 영향력을 수치화하였습니다. Concept를 정의하는 데에 bias가 미치는 영향이 크기 때문에 내부 레이어에서 군집화 기법을 기반으로 concept을 추출하는 방법론 또한 제안되었습니다. 이후 Confounding Factor를 고려하는 방법론 또한 제안되었는데, 선행 연구의 한계점을 지적하면서 새로운 방법론을 제안하는 것은 좋으나 CNN 자체에 존재할 수 있는 bias까지 고려한다면 더욱 복잡한 문제가 될 수 있겠다는 생각도 들었습니다. 항상 비전과 관련한 좋은 발표 진행해주셔서 감사합니다.

이번 세미나는 Concept-based Interpretable AI를 주제로 진행되었으며 발표자 분께서 총 4개의 논문을 소개해주셨습니다. 우선 모델 해석을 중심으로 이전 방법론들의 한계점을 짚어주셨습니다. 모델의 해석 가능성은 최적화 문제로 볼 수 있는데 Post-training explanation은 model agnostic하다는 장점이 있으며 이에 대한 여러 연구가 진행되었습니다. Local과 Global에서 동일한 결과를 보여야 하는데 LIME의 경우 Local만 해석 가능하고 Saliency Map은 데이터 단위로만 확인이 가능하다는 한계가 있습니다. 이에 따라 새로 등장한 TCAV(Testing with CAV)는 학습된 모델의 예측 결과에 사용자가 정의한 컨셉이 얼마나 영향을 주는지 정량적으로 검정하는 방법론입니다. 비전문가도 쉽게 사용 가능하고 어떠한 concept도 적용 가능하며 모델을 수정하거나 재학습할 필요 없이 클래스 단위나 특정 데이터셋 단위로 해석을 가능케 하기 위한 목적성을 가집니다.
이러한 TCAV를 통한 High-Level Concept 평가 방법으로 첫번째 논문 Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)을 소개해주셨습니다. TCAV를 계산하는 과정은 concept 예시와 랜덤 이미지를 분류하는 선형 모델을 구성하고 결정 경계와 concept 방향으로 orthogonal한 vector를 CAV로 정의하여 클래스나 특정 데이터셋 단위로 global하게 계산합니다. 랜덤 이미지를 통해 TCAV를 반복하여 통계적 유의성을 검정하고 TCAV 점수에 따라 모델 bias를 확인할 수 있습니다. 두번째 논문 Towards Automatic Concept-based Explanations은 concept를 자동으로 추출하는 방법을 다루고 있으며 다양한 해상도의 이미지로 super-pixel segmentation을 수행하여 유사한 concept를 군집화하고 TCAV를 적용합니다. TCAV는 confounded concept를 고려하지 못한다는 한계가 있는데 세번째로 소개해주신 논문 Explaining Classifiers with Causal Concept Effect (CaCE)은 이러한 confounding factor을 제외하고 concept에 대한 영향력을 계산합니다. concept 유형에 따라 ATE나 ACE를 계산하고 concept을 통제할 수 있는 데이터셋을 구성하여 generative process로 concept을 통제하여 causal effect를 확인합니다. 마지막 논문 Concept Bottleneck Models은 concept 정보를 모델 학습에 사용하여 직관적인 모델 해석이 가능하도록 합니다. 입력값(x)와 예측값(y) 사이에 concept을 두어 bottleneck 구조를 구성합니다.
이미지 관련 모델 해석이라는 대주제를 중심으로 4가지의 논문을 이어 발표를 구성하신 점이 매우 인상 깊었습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나는 Concept-based Interpretable AI in Computer Vision에 대한 세미나입니다. 기존의 saliency map으로 모델을 해석할 때는 사용자-친화적이 아니라는 점과 예측 class와 해석 결과가 다르게 나오면 신뢰도가 하락한다는 단점이 있었습니다. 이를 해결하기 위해 본 세미나에서 설명하는 첫번째 논문에서는 TCAV를 통한 high-level concept 평가 방법을 제안하였습니다. 해당 모델은 우선 concept example들과 random image들을 분류하는 선형 모델과 decision boundary와 concept의 방향으로 orthogonal 한 CAV(Concept Activation vector)로 이루어져 있습니다. 하지만 TCAV 방식에는 중요한 concept을 파악하기 어렵다는 점과 해석할 때 bias가 존재한다는 점, 그리고 confounded concept를 고려하지 못한다는 단점이 있는데, 이를 해결하는 두번째 논문에서는 concept를 자동으로 추출합니다. 우선 다양한 해상도로 super-pixel segmentation을 한 후, segment들로부터 유사한 concept을 군집화 합니다. 이렇게 군집화된 concept에 최종적으로 TCAV를 적용합니다. 세번째 논문에서는 confounding factor를 제외하고 모델을 평가하는 방법을 제안하였는데, TCAV는 confounding factor를 고려하지 못하는 특징이 있기에 이를 제외한 채로 CaCE(Causal Concept Effect)을 수행합니다. 이때 CaCE는 통제된 상황을 구성한 후에 도입되는 경우와 이미지 생성 모델을 사용하는 경우가 있습니다. 마지막 논문은 Concept Bottleneck 모델에 대한 논문으로서, 입력값이 들어온 후 이에 대한 concept 정보를 모델 학습에 사용하여 예측값을 도출하는 프로세스입니다.
이렇게 전체적으로 concept기반 모델들을 TCAV, 그리고 TCAV의 한계점을 해결하는 두 모델(ACE, CaCE), 마지막으로 concept을 통해 사전 학습하는 방법까지 concept 기반 모델들의 발전 흐름을 볼 수 있었고 concept 기반 설명력에 대해 한계점과 그에 대한 해결책을 이해할 수 있는 유익한 세미나였습니다. 4가지 논문 리뷰하시느라 고생하셨습니다.

금일 세미나에서는 많은 attention map 을 이용한 기존의 방식들, 그리고 개선되고있는 전체적인 흐름을 보앗습니다. 특히, saliency map 을 이용해서 단순 모델의 단점을 class 와 해석결과가 다르다는 부분을 통해 해석력에 대한 신뢰도를 보장하는가에 대한 의문은 이해하기 쉬웠습니다. 논문에서 데이터에 대한 의존성을 확인하기 위한 실험들이 인상적이였으며, concept activation vector 를 정의하는 부분이 직관적이였습니다. 다소 내용이 많았지만, 전체적인 맥락을 이해하기쉽게 잘 정리해주신거 같습니다. 또한, 발표중 접근 자체가 처음듣는 내용이 많았는데, 아직 까지 발전의 여지가 많다고 생각하며, 발표자의 생각을 적용한다면 좋은 연구가 될것 같습니다.

이번 세미나는 XAI와 관련된 논문을 소개해주셨습니다. 개인적으로 XAI 관련하여 gradient 기반의 방법론이 있는 것을 알고 있었는데, 그 밖에 어떤 연구가 있으면 각 연구의 장단점은 자세하게 알지 못했습니다. 하지만 이번 세미나로 인해 어느정도 정리할 수 있어서 매우 유익했습니다. 오늘 발표해주신 논문은 기존 방법론이 사용자 친화적이 아님을 지적하고 사용자 친화적 XAI 방법론을 제안하였습니다. 결국 해당 논문의 핵심적인 요소는 Concept activation vector이었는데 해당 개념에 대해 잘 설명해주셔서 이해하기 수월했습니다. XAI는 사실상 정답이 없는 문제라고 생각이 드는데 향후 연구가 어떤 방식으로 흘러갈지 굉장히 기대가되고 앞으로도 세미나를 통해 follow up 할 수 있다면 좋을거 같다는 생각을 하였습니다.

Deep Learning Model은 Loss를 이용하여 Feature를 변환하는 과정을 반복하여 학습되기에, 특정한 결과를 도출한 이유를 사람이 명확하게 알기 어렵습니다. 특정 도메인에서는 판단의 근거가 중요한 경우가 많기에 Interpretability에 관한 다수의 연구들이 수행되었지만, 여전히 사람이 명확하게 인지할 수 있는 형태로 모델의 판단을 설명하는 것에 어려움이 있었습니다. 이번 세미나에서는 Concept를 도입하여 사람이 명확하게 해석할 수 있는 형태로 모델의 판단 근거를 도출하는 연구들에 대해 소개해 주셨습니다.
첫 번째로 소개해 주신 논문에서는 얼룩말의 줄무늬와 같이 특정한 Concept를 가진 Example과 Random Example을 모델에 입력하여 Concept Example의 방향을 나타내는 Vector를 구한 뒤, 이를 활용하여 Concept이 모델의 결정에 미친 영향을 계산합니다.
하지만 사람이 직접적으로 Concept에 해당하는 Example을 선정해야 하는 한계점이 존재하였고, 이를 해결하고자 자동으로 Concept를 추출하는 방법, 결과에 영향을 주는 Compounding Factor를 분리하는 방법 및 Concept를 모델의 학습에 직접적으로 활용하는 방법 등이 제안되었습니다.
상당히 직관적이고 재미있는 연구라고 생각되었습니다. 아직까지는 초기 단계에 해당한다는 느낌을 개인적으로 받았으나, High Level에서 모델을 해석하는 것은 다양한 도메인에서 널리 사용될 수 있을 것으로 생각되기에 향후 많은 발전이 있을 것이라 생각됩니다. 좋은 논문을 소개해 주셔서 감사합니다.

본 세미나는 발표자의 관심 주제인 'Explainability'에 대한 내용이며 특히, 사람의 인식과 다른 설명에 대하여 Inductive Bias를 부여하는 TCAV에 대하여 소개하였습니다. 기존의 Vision 분야에서 사용하는 Saliency Map이 있지만 해당 개념은 예측 class와 해석 결과가 다르게 나오는 경우가 빈번히 나타나 신뢰성있는 지표가 아닙니다. 따라서 사용자가 정의한 concept이 학습된 모델 예측 결과에 얼마아 영향이 있는지 파악하는 Concept Activation Vector를 제안하며, 이를 활용한 Testing이 TCAV입니다. TCAV는 확실히 사람의 인식과 유사한 설명력을 도출하긴 하지만 Concept을 사람이 직접 선택하기 어려운 부분과 bias로서 작용하기 때문에 문제가 발생합니다. 이로써, CAV를 자동으로 선택하는 기법, Confounding Factor를 제외하고 평가하는 방식 등 다양한 개선 연구들이 나타났으며, 마지막에는 Concept 정보를 사전에 함께 학습하여 직관적인 모델 해석이 가능하도록 하였습니다. 최근 Attention의 설명력으로서의 정당성을 검증해보고 있는데 많은 도움이 되는 발표였습니다. 감사합니다.

금일 세미나는 XAI를 위한 concept-based 방법론들에 대한 소개로 진행되었습니다. TCAV는 사전에 정의한 concept이 학습된 모델의 에측 결과에 얼마나 영향이 있는지 정량적으로 확인할 수 있는 방법입니다. 하지만 TCAV는 중요한 concept을 파악하기 어렵고, confounded concept을 고려하지 못한다는 한계점을 갖고 있습니다. 먼저 중요한 concept을 자동으로 추출하기 위한 ACE 방법이 새롭게 제안되었는데, multi-scale로 segmentation을 수행하고, segment들로부터 유사한 concept들을 군집화한 후, 군집들에 대해 TCAV를 적용하는 방법론입니다. 2번째 한계점을 개선하기 위해 confounding factor를 제외하고 평가하는 CaCE가 제안되었으며, 이미지 생성 모델 혹은 통제된 상황 구성을 통해 두 concept에 대한 예측값의 기대값 차이를 계산하여 concept의 영향을 비교합니다. concept 정보를 활용하여 학습한 concept bottleneck model을 통해 학습과정에서 concept 정보를 사용하는 것이 데이터 효율성과 실제 도메인 knowledge 반영 측면에서 굉장히 활용성이 높음을 배울 수 있었습니다. XAI에 대해 이해도를 높일 수 있었던 유익한 시간이었습니다. 좋은 발표 감사합니다.