금일 세미나는 딥러닝 모델의 설명력을 주제로 진행되었습니다. 딥러닝 모델로 task의 성능이 향상되었지만, 현업에서는 local 정보를 통해 task 성능 향상의 원인을 분석하는것이 중요합니다. 논문에서 제안한 completeness score는 특정 conceptem들이 이루는 subset이 prediction의 설명력에 기여하는지를 정량적으로 평가하는 지표입니다. 이러한 지표를 통해 점수화 시킬 경우 다양한 모델로부터 산출되는 설명력을 비교할 수 있기에 매우 중요한 접근이라 생각합니다. 하지만 실험결과를 통해 조금 아쉬웠던 점은 해당 metric을 다양한 방법론에 적용하여 타 방법대비 우수성을 보여주었다면 좋지 않을까 생각하였습니다. 발표 감사합니다. !

본 세미나에서는 XAI를 주제로 On Completeness-aware Concept-Based Explanations in Deep Neural Networks 라는 연구에 대해 알아보았습니다. 본 연구에서는 completeness score라는 개념을 통해 concept vector를 추출하고 최종적으로 concept의 중요도를 계산합니다. 실험 결과를 봤을때, 서로 다른 class에서 같은 concept이 중요하다고 고려되는 경우가 생각보다 많아서 신기했습니다. 개인적으로 세미나를 듣기 전까지는 서로 다른 label은 그만큼 다른 concept이 중요해야 한다고 생각하고 있었는데 여러 요소가 복합적으로 고려되고 있겠지만, 생각보다는 나이브하게 모델이 작동하고 있다는 느낌을 받았습니다. XAI는 여러 분야에서 딥러닝을 사용하기 위해 반드시 필요하지만 어떤 방향으로 발전하는 게 맞는지 답을 찾기 어렵다고 생각합니다. 발표자님께서 바쁜 시간 쪼개서 상당한 볼륨의 내용을 정리해서 유튜브에 올려주셨는데 많은 사람들에게 도움이 되지 않을까 싶습니다. 감사합니다.

이번 세미나는 모델을 좀 더 해석할 수 있는 concept 기반의 딥러닝 모델 설명방법론에 대해서 설명해 주셨습니다. 모델을 설명하는 기본원리는 특정변수가 타켓변수에 얼마나 많은 영향을 주는지 측정하는 방법으로 수행되었습니다. 그 정량적 지표인 completeness score를 정의를 하였고 컨셉을 도입하는 모델과 그렇지 않은 모델의 차이를 비교해서 컨셉 중요도를 산출하는 방법을 사용하였습니다. 또한 컨셉 정규화를 통해 무분별한 곳에 중요도가 산출되는 부분을 없애주는 면에서 Guided-Grad CAM 방법론과의 본질적인 연구방향이 동일한 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 XAI의 일환으로 concept을 기반으로 모델의 설명력을 확인할 수 있는 방법론들을 비교해주었습니다. 첫 번째 기존 연구 방법론인 TCAV의 경우 사용자가 지정한 Concept으로부터 전개해 나가게 되는데 마지막 TCAV 값을 통해 해당 concept의 영향을 받은, 특정 클래스로 예측된 샘플의 비율을 알게 됩니다. 또 다른 방법론인 ACE의 경우 자동적으로 concept을 생성하여 image segmentation 차원에서 TCAV 값을 통해 각 concept의 saliency를 계산하게 됩니다. 본 논문에서 제시된 방법론인 ConceptSHAP는 completeness score, 즉 concept들로 이루어진 여러 집합의 모델 예측 기여도를 정의한 점과 concept의 중요도를 파악할 수 있는 지표가 됩니다. 마지막 실험부분의 텍스트 분류의 결과를 확인하면서 이를 통해 텍스트 내에서 속성 또는 키워드를 추출할 수 있는 방법론에 활용될 수 있겠다는 아이디어를 얻을 수 있었습니다. 실제로 captum 튜토리얼 중 이용해 텍스트 분류를 수행한 CNN모델에 TCAV를 적용하는 자료를 찾을 수 있었는데 ConceptSHAP로도 충분히 적용해볼 수 있을 것 같습니다. 발표자분의 마지막 세미나 너무 잘 들었습니다. 감사합니다.

타 일정으로 인해 직접적으로 세미나에 참석하지는 않았지만, 발표 자료를 통해 후기를 기록합니다. 딥 러닝 모델은 다양한 Task를 효과적으로 수행할 수 있지만, 어떻게 Task를 수행할 수 있는지를 확인하기 어려운 Blackbox 모델이라는 점이 지속적으로 단점으로 언급되고 있습니다. 이번 세미나에서는 Concept를 기반으로 하는 Explainable AI에 대해 소개해 주셨습니다.
Concept는 사람이 직관적으로 이해할 수 있는 데이터의 특징 또는 사용자가 직접 정의한 특징에 해당합니다. 소개해 주신 논문에서는 Deep Learning Layer 중 Concept를 적용할 수 있는 중간 Layer를 찾기 위해 Higher Layer부터 Lower Layer까지 순차적으로 Layer를 탐지합니다. 이 과정에서 Input Data에 대해 각 Patch들이 갖는 공간적인 의미가 있다고 가정하고, 동일한 Concept에서는 Nearest Neighbor Patch간의 근접성을 주장합니다. 이러한 가정을 이용하여 모델의 설명을 예측하는 Concept를 탐지하고, 각 Concept가 Completeness Score에 기여하는 정도를 평가합니다.
Image와 Text Classification에 대한 실험 결과가 매우 흥미로웠으며, 모델이 특정한 결과를 도출한 근거를 사람이 인지할 수 있는 형태로 설명한다는 점에서 매우 유용하고 향후 많은 발전이 이루어질 것이라 생각합니다. 발표 감사합니다.

이번 세미나는 ConceptSHAP를 주제로 진행되었습니다. 해당 논문에서는 XAI를 위한 새로운 평가지표인 Completeness score를 제안하였으며, ConceptSHAP라는 방법론을 제안하였습니다. completeness score는 concept의 subset들이 prediction에 대해 잘 설명하고 있는지를 나타내는 정량적인 지표입니다. 기존의 TCAV이나 ACE의 경우 concept들이 complete한지 보장하지 못한다는 한계점을 들며 제시하고 있는 ConceptSHAP라는 방법론을 통해 shapley value기반으로 각 concept이 얼마나 completeness score에 기여하고, model prediction에 기여하는지 판단하고자 하였습니다. 기존의 ACE와 TCAV에 대해서 결과나 접근법 자체에 대해서 의구심이 들었는데 그보다는 설명력을 가지는 방법론이었던 것 같으며, 실험 결과에서도 다른 baseline에 비해 높은 결과를 얻은 것이 인상적이었습니다. 마지막까지 좋은 발표 감사드립니다.

금일 세미나는 "ON CONCEPT-BASED EXPLANATIONS IN DEEP NEURAL NETWORKS"라는 주제로 진행되었습니다. 본 발표에서는 XAI를 위한 정량적 지표인 completeness score와 해당 score를 기반으로 모델을 설명할 수 있는 ConceptSHAP가 소개되었습니다. 먼저 completeness score는 concept들이 이루는 부분 집합이 예측을 설명하는데 기여하는 정도를 정량적으로 측정한 지표로 각 concept과 input이 근접한 정도를 나타내는 concept score를 활용하여 계산됩니다. 세부적으로 concept score는 concept을 도입한 모델의 예측 정확도를 concept을 도입하지 않은 방법론의 예측 정확도로 나누어 도출합니다. 최종적으로 ConceptSHAP는 앞서 도출된 score를 shapley value의 산출에 사용하여 각 concept이 completeness score 및 model의 예측에 기여하는 정도를 계산함으로써 각 concept의 중요도를 도출하였습니다. 개인적으로 이상치 탐지를 연구하면서 XAI가 매우 중요하다고 생각해왔기 때문에 오늘 소개된 ConceptSHAP의 내용이 매우 흥미로웠습니다. 특히 기존의 XAI 방법론들은 raw 변수의 설명력에 집중하고 있는데 Concept를 중심으로 모델을 설명한 점이 인상 깊었습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 ConceptSHAP에 대한 소개가 있었습니다. 본 논문에서는 completeness score로 특정 concept이 이루는 부분집합이 얼마나 model의 prediction을 설명하는 데에 기여하는 가를 측정합니다. 그리고 모델의 sufficient한 concept을 찾는 방법론을 제안했습니다. 특히, 특정 concept에 대한 nearest neighbor patches 간의 근접성을 주장하면서 도출된 concept의 interpretability를 높이고자 했습니다. 이렇게 정의된 지표로 model prediction 마다 concept의 중요도를 도출하여 보여주게 되는데, 실험 결과 이미지나 텍스트 모두에서 찾은 각각의 concept들이 모델의 예측 결과를 충분히 잘 설명할 수 있는 것들이어서 흥미로웠습니다. concept에 대한 정의와 이를 측정하는 지표 수식 모두 기존의 TCAV, ACE보다 설명력을 강화하는 방향으로 잘 설계한 것 같습니다. 마지막 발표 고생 많으셨습니다! 좋은 발표 감사합니다.

이번 세미나에서는 XAI를 주제로 "ON CONCEPT BASED EXPLANATIONS IN DEEP NEURAL NETWORKS"라는 논문에 대해서 소개되었습니다. 논문에선 기존 방법론인 TCAV와 ACE에서 찾은 concept들이 모델을 설명하기에 completeness를 보장하지 못한다는 점을 지적하며 shapley value 기반 방법론인 ConceptSHAP를 제안합니다. ConceptSHAP는 concept들의 부분집합이 model의 prediction에 얼마나 기여하는가를 측정하는 지표인 Completeness score에서 각 concept이 얼마나 completeness score에 기여하는지를 나타냅니다. 두 지표를 활용해 image, text classification에서 모두 설명력 지표로서 잘 동작을 하고 있음을 논문에선 실험결과로 보여줍니다. 발표자분께서 마지막 세미나였음에도 짧은 시간동안 많은 내용을 준비해주셨는데, TCAV-ACE에서 concept의 자동생성으로 발전된 부분이나 concept, completeness 등 다소 생소할 수 있는 표현에 대한 설명도 모두 다뤄주셔서 이해하기 수월했던 것 같습니다. 좋은 발표 감사드리며 유튜브 영상과 세미나를 통해 마지막까지 보여주신 노고를 잊지 않겠습니다. 여유와 행복이 넘치는 새해가 되길 바랍니다. 감사합니다.

이번 세미나는 "On concept-based explanations in deep neural networks"라는 주제로 진행되었습니다. 먼저, Concept은 사람이 직관적으로 이해할 수 있는 특징으로, 사용자가 직접 정의한 특징입니다. CAV는 Concept Activation Vector의 줄임말로, concept이 학습된 모델이 예측한 결과에 얼마나 영향이 있는지 정량적으로 확인해 볼 수 있는 방법이며, TCAV는 이러한 CAV를 활용하여 concept이 얼만큼 영향을 끼쳤나 확인합니다. ACE는 automated TCAV로 자동적으로 concept을 생성해줍니다.
본 논문은 XAI를 위한 Completeness Score를 통해 Concept Set을 평가하고, ConceptSHAP를 통해 각 concept의 중요도를 도출합니다. Completeness Score는 특정 concept들이 이루는 부분집합이 얼마나 model의 prediction을 설명하는데 기여하는가를 측정하는 정량적 지표로 기존 TCAV와 ACE는 보장하지 못했던 completeness를 score로써 도출할 수 있습니다. ConceptSHAP는 각 Concept이 얼마나 앞에서 도출한 completeness score에 기여하는가를 의미하며, 각 concept이 모델의 prediction에 얼마나 기여했는가를 의미하기도 합니다. 최근에 XAI에 관심을 많이 갖고 다양한 영상 제작 및 마지막까지 흥미로운 세미나 진행해주셔서 감사합니다.

이번 세미나는 발표자분께서 최근 관심을 가지고 연구해오신 XAI를 주제로 진행되었습니다. 소개해주신 논문은 2020년 NIPS에 accept된 On concept-based explanations in deep neural networks입니다. 딥러닝 모델의 설명력을 향한 관심과 니즈가 증가하면서 XAI 연구가 발전하였고, 본 논문은 그 중 한 방법론인 ConceptSHAP를 제안합니다. 기존 연구인 TCAV와 ACE의 한계점으로 해당 방법론을 통해 도출한 concept들이 모델을 설명하는 complete concept임을 보장하지 못한다는 점을 지적하였고 모델에 complete한 concept을 찾는 것을 목표로 하고 있습니다. 각 concept의 중요도를 도출하기 위해 제안된 Shapley value 기반의 방법론으로 볼 수 있으며, Completeness score를 통해 특정 concept들이 이루는 부분집합이 모델의 prediction을 설명하는데 어느정도로 기여하는지 측정하고 모델의 예측을 잘 설명하는 concept들을 찾습니다. 이에 따라 각각 image classification과 text classification task의 실험을 진행하였고 각 concept의 ConceptSHAP 값을 도출하여 분류에 기여가 큰 concpet을 찾아냈습니다. XAI에 관해 개인적으로 많이 궁금했는데 본 발표를 통해 연구의 대략적 흐름에 관해 알 수 있어 좋았습니다. 그간 5번에 걸친 연구 영상 제작 및 마지막 발표 준비까지 바쁜 시간 보내셨을텐데 정말 고생 많으셨다고 말씀 드리고 싶습니다. 마지막까지 유익한 세미나 진행해주셔서 감사합니다!

XAI에 대한 필요성을 언급하며 TCAV나 SHAP에 대한 개념을 짚어주셨습니다. 그리고 본 논문에서는 XAI에서 정의하는 concept을 평가하기 위한 completeness라는 개념을 소개합니다. Data와 concept activation vector의 내적을 활용하여 표현할 수 있으며, 기존 연구들이 이 조건을 충족하지 못함을 보입니다. 제안하는 conceptSHAP은 이를 충족할 수 있으며 downstream task에서도 설명력 있는 결과를 도출함을 보였습니다. 픽셀이나 언어 등 명확하게 존재하는 '현상'이 아닌 '개념'을 모델링한다는 측면에서 xai는 명확하게 평가하기 어렵겠다는 생각이 들었습니다. 직관적인 평가를 위해 새로운 개념을 제시하며 실험을 통해 비교하는 과정이 인상깊었습니다. 발표 잘 들었습니다.

이번 세미나에서는 XAI를 주제로 다양한 XAI 방법론에 대해 짚어주시는 시간이었습니다. 소개해주신 논문은 On Concept-based Explanations in Deep Neural Networks이며, 이 때 컨셉은 앞서 허재혁 석사과정의 세미나에서 접한 바와 같이 사람이 직관적으로 이해할 수 있는 특징으로 정의할 수 있겠고, 예를 들면 'dotted', 'striped' 같은 특성이 있겠습니다. 기존 연구 중 TCAV은 그러한 컨셉이 classification과 같은 task의 결과물에 어느 정도의 영향력을 미치는 지를 측정한 연구라고 할 수 있습니다. 하지만 실제 모델을 설명한다는 점을 보장할 수 없기 때문에, 소개해주신 논문은 complete한 컨셉을 찾고자 한 방법론이라고 할 수 있습니다. 해당 논문은 completeness score와 conceptSHAP를 통해 concept의 중요도를 산출하고, 실제 해당 지표들이 분류 등의 문제에 잘 적용됨을 보이고 있습니다. 좋은 발표 감사합니다. 그동안 고생 많으셨고, 앞으로도 꽃길만 걸으시길 바랍니다.

금일 세미나에서는 "Completeness-aware Concept-Based Explanations in Deep Neural Networks "라는 주제로 다양한 연구를 소개해 주셨습니다. 본 연구에서는 특정 concept들이 이루는 부분집합이 모델의 예측에 기여하는 정량적 지표인 "completeness score" 를 제안하였고, 또한 Activation space 상에서 각 concept가 샘플에 얼마나 근접하는 지를 concept score로 정의 하여 제안하였습니다. XAI는 모델의 설명력을 제공한다는 점에서 실용적이라고는 생각하지만 너무 여러 요소들이 복합적으로 섞여 있어 이해하기는 좀 어렵다고 생각합니다. 좋은 발표 감사합니다.

XAI는 설명력이 보장되는 딥러닝 모델을 추구하는 분야로서, 단순히 성능만을 향상 시키는 것을 넘어 신뢰성 있는 모델을 만드는 것과 예측한 결과 값에 대한 설명을 얻는 것을 목표로 합니다. 기존에는 어떤 변수가 결과에 얼마나 큰 영향을 미치는 지를 판단하여 중요 변수를 판단하는 것이 일반적이지만, 결과에 큰 영향을 미친다고 해서 그것이 사람이 이해할 수 있도록 직관적인 해석을 내는 것은 아닙니다. 이에 따라 Concept이라는, 사람이 직접 정의한 요소를 통해 설명력을 얻으려 하며, TCAV 같은 경우에는 사전 정의한 요소들이 얼마나 결과에 영향을 미치는 지를 판단하여 사용자가 직관적으로 이해할 수 있는 설명력을 얻고자 합니다. 하지만 결국 사람이 정의한 요소들은 confirmation bias를 갖기 때문에 특정 concept들이 이루는 부분집합이 얼마나 model의 prediction을 설명하는데 기여하는가를 측정하는 정량적 지표인 completeness를 도입하여 이를 보완하려 하며, ConceptSHAP은 게임이론을 활용한 설명력 계의 스테디 셀러 격인 SHAP의 아이디어를 차용하여 모델의 컨셉을 잡고자 합니다. 마지막까지 세미나 준비하시느라 고생 많으셨습니다.

금일 세미나는 Completeness-aware Concept-Based Explanations in Deep Neural Networks 주제로 XAI 관련 많은 정보들을 들을 수 있었습니다. 일반적으로 많이 사용되는 SHAP 와 이의 한계점들이 시각적인자료로 충분히 좋았습니다. 각 concept 이 얼마나 completenss score 에 기여하는지에 대한 score 와 각 concept 이 model의 prediction 에 얼마나 기여하는지에대한 score 를 설정하며 정의하는것이 설명력과 연관이 있음을 직관적으로 이해할수 있었습니다. 관련해서 결과장표에서 정석적인 비교에서는 충분한 이해를 할 수 있었으나, 수치적인 baseline 비교에서는 한번에 이해하기 난해했던 부분이 있는데, 다양한 실험결과를 통해 본인들의 방법론이 더 나음을 입증한 것 같습니다. 사실 이러한 설명력에 대한 score 는 직관적이며, 이해하기 쉬워야할텐데, 받아들이고 상용화 하는데 과연 얼마나 받아들여 질 수 있을지에대한 근본적인 궁금증도 어느정도 생겼습니다. 감사합니다.

이번 세미나는 XAI를 주제로 발표해주셨습니다. 딥러닝 기반의 모델에 설명력을 부과하는 것은 산업, 의료 등에서 쓰이게 될 딥러닝 모델의 효용성을 높여줄 수 있다고 생각합니다. 단순히 문제를 탐지하는 것을 넘어서 그 문제의 해결책에 대한 실마리를 제공하는 역할까지 가능하기 때문입니다. 이번 세미나는 XAI 중에서도 concept에 기반한 XAI를 설명해주셨습니다. 개념이 흥미로운데 해당 딥러닝 모델의 판단 기준을 concept에 빗대어 설명하는 내용이었습니다. 중요했던 개념은 completeness였는데 concept activation vector와의 내적을 통해 정의한 부분이 흥미로웠습니다. 평가 관점에서는 해당 모델의 설명력이 얼만큼 높은지 평가하기 까다롭다고 생각했는데 나름의 논리로 방법론을 평가하는 부분이 배울점이 많다는 생각이 들었습니다. XAI는 앞으로도 많은 주목을 받을거 같은데 이번 세미나를 통해 관련 내용 알 수 있어서 좋았습니다. 좋은 발표 감사드립니다.

오늘 소개해주신 내용은 concept을 기반으로 딥러닝 모델의 설명력을 나타내는 연구였습니다. 이전 제가 발표했던 내용과 유사한 점이 많아서 이해하기 좋았습니다. 설명력을 나타내기 위한 조건으로 completeness라는 개념을 만족학수 있도록 completeness score와 regularizer를 추가하는 점에서 새로웠고 SHAP 방법을 기반으로 지속적인 연구가 이루어 지고 있는 것을 확인할 수 잇는 시간이었습니다. 마지막까지도 좋은 발표 감사합니다.

금일 세미나는 ON CONCEPT-BASED EXPLANATIONS IN DEEP NEURAL NETWORKS에 대해 진행되었습니다. XAI의 중요성은 이미 많이 공감하고 있지만, 그 방법론들의 진척을 잘 느끼지 못해왔었습니다. 오늘 세미나를 통해 새로운 방법론을 자세히 알게 된 것 같아 감사하다는 말씀을 드리고 싶습니다. 본 연구는 Image 데이터의 feature중, 사람이 직관적으로 이해할 수 있는 low-level에 가까운 정보를 concept이라 명명합니다. 그리고 이 concept들을 이용해 모델의 prediction의 설명력을 제시합니다. 그리고 이 Concept이란 개념을 토대로 TCAV라는 방법론을 펼쳐보고, 이를 통해 컨셉이 갖는 sensitivity등을 제시합니다. 이어 completeness score, concept SHAP 등을 살펴봅니다. 기본적으로 다양한 도메인에서 쉽게 응용이 가능한 방법들인 것 같습니다. 좋은 주제와 발표 감사드립니다. 그동안 다양한 주제에 걸쳐 많은 내용들을 소개해주셨습니다. 앞으로 좋은 곳에서 더욱 뜻깊고 행복한 시간들 가져가시길 바라겠습니다. 수고 많으셨습니다.

오늘 세미나는 XAI를 위해 제안된 Concept 기반 방법론인 ConceptSHAP에 대한 내용으로 진행되었습니다. 해당 논문에서는 먼저 concept들의 부분집합이 model prediction을 설명하는 정도를 측정하기 위한 metric으로 conpleteness score를 새롭게 정의하고, 이 score를 기반으로 shaply value를 계산함으로써 특정 concept의 중요도를 산출합니다. 이러한 방식을 ConceptSHAP라고 명명하였으며, 이미지 및 텍스트 분류에 대해 실험한 결과 정성적으로 좋은 성능을 보였습니다. 좋은 발표 감사합니다.

금일 세미나는 concept based explainable Ai를 평가하는 지표로 completeness score를 제안하며, 이 score를높일 수 있는 방법론인 ConceptSHAP에 대한 소개로 진행되었습니다. concept이란 사람이 직관적으로 이해할 수 있는 특징을 의미하며, 기존 XAI 기법들은 찾아낸 concept은 모델에 complete함을 보장하지 못한다는 한계점을 가집니다. 이에 모델에 complete하며, 각 concept의 중요도 계산에 Shapley Value를 사용하는 ConceptSHAP가 제안되었습니다. 여기서의 completeness score는 concept들의 부분집합이 예측에 기여하는 정도를 의미하며, ConceptSHAP의 경우 특정 concept에 해당하는 이웃 patch를 찾음으로써 해석력을 향상시키는 방법을 채택하였습니다. XAI의 새로운 평가지표와 TCAV, ACE를 포함하여 ConceptSHAP에 대해 배울 수 있었던 유익한 시간이었습니다. 좋은 발표 감사합니다.