그래프가 현실의 많은 상황을 잘 구조화하는 만큼 이에 대한 해석도 중요한 이슈라 생각합니다. 그런 의미에서 발표해주신 gnn explainer는 앞으로도 많은 발전이 기대되는 논문이었습니다. 기존 xai 기법들과의 비교, 현실 상황에서의 예시 등을 적절하게 들어 주셔서 보다 쉽게 이해할 수 있었던 것 같습니다. 그래프에서의 설명력이라 함은 예측에 가장 영향을 주는 subgraph를 찾는 것이며, 기존 input graph와 인위적으로 mask를 씌운 graph 간의 consistency loss를 학습하면서 masking function을 학습합니다. 그리고 이 학습된 masking function이 그래프의 예측값에 영향을 미치는 subgraph를 찾는 역할을 합니다. 본 방법론은 특히 추천시스템과 결합하였을 때 좋은 시너지를 낸다고 생각되어 관련된 연구를 진행하셔도 매우 흥미로울 것 같습니다. 발표 잘 들었습니다.

오늘 세미나는 GNN Explainer에 대한 내용으로 진행되었습니다. Explainable AI는 model을 설명해주는 역할을 하는데, 기존의 LIME, SHAP 등의 방법론들은 node 간의 관계 등 그래프의 특성을 반영하지 못하기 때문에 그래프에 특화된 explainer가 필요합니다. prediction에 큰 영향을 주는 이웃 node들을 subgraph라고 했을 때, 이들에게 설명력이 있다고 할 수 있고 subgraph는 인접행렬에 perturbation을 줘서 만들 수 있습니다. 이를 masked input graph라고도 하는데 이 그래프를 input으로 넣어 prediction output을 얻고, 기존 input에 대해서도 prediction output을 얻습니다. 이를 object function에 의해 adjacency mask generation algorithm을 update합니다. 이 과정은 mutual information이 가장 큰 subgraph를 선택하여 이 subgraph가 주어졌을 때 entropy, 즉 model의 불확실성을 줄이는 방향으로 이루어집니다.

model의 종류나 task 종류에 상관없이 model의 설명력을 얻기 위해 사용할 수 있다는 점에서 유의미한 연구 분야인 것 같습니다. 좋은 발표 감사합니다.

Deep Learning Model의 경우 Task를 수행하기 위해 Input을 적절한 Representation Space로 변환하는 과정의 연속이며, 이를 Loss 등으로 제어합니다. Deep Learning은 상당히 강력한 방법이지만, Representation Space의 변환 과정에서 차원이 변경되며, 어떠한 이유로 해당 공간으로 변환이 이루어지는지 알 수 있는 방법이 제한적이라는 한계가 존재합니다. 이는 Deep Learning 계열의 고질적인 문제이며, 이를 해결하고자 다수의 연구들이 진행되고 있습니다. 오늘 세미나에서는 Graph Neural Network에 대해 Explainable AI를 수행하는 주제에 대해 설명해 주셨습니다.
Graph XAI에서는 Node Embedding에 어떤 이웃이 활용되는지, 어떤 Node Feature가 Output에 영향을 주는지를 탐지하고자 하며, 이를 위해 Subgraph와 Masking을 활용합니다. 개인적으로 아직 Graph Neural Network가 익숙하지는 않지만 다수의 세미나를 통해 이해에 도움을 받고 있습니다. 오늘 발표해 주신 분야의 경우 향후로도 지속적인 발전이 이루어질 것이라 생각됩니다. 좋은 발표 감사합니다.

GNN Explainer 의 논문은 그래프를 해석하기 위한 방법입니다. 해당 그래프 네트워크에 대한 선행지식이 없다면, 사실 이해하기 상당히 힘든 내용인데도, 발표자께서 쉽게 설명해주어서 좋았습니다. 다양한 서브그래프를 추출해내고, mutaul information 이 큰 서브그래프를 선택하여, 전체를 대표하는 서브그래프를 나타내고, 이를통해 설명력을 가져가는 개념입니다. 사실 노드는 상당히 많은 경우의 수(sub graph)를 가지는데, 이 중 만들어지는 sub-graph 중 특정 부분에 attention 이 가해져 표현가능 함은 최근에 다른 논문들에서도, GAT가 생각보다 Local 한 범위에 attention 이 많이 걸린다는 것을 실험적으로 보여주고있고, 이 주장과 유사한 접근인 것 같습니다. 코드상으로는 propagation 시 output 에 edge_masking 을 하면되기 때문에 큰 어려움이 없는데, 저자들이 설명은 상당히 어려우나, 코드상으로는 사실 몇줄안되는 작성으로 훌륭한 논문을 쓴 것을보고 상당히 놀랐던 논문입니다. 좋은 발표 감사합니다.

이번 세미나는 "GNNExplainer: Generating Explanations for Graph Neural Networks"라는 주제로 진행되었습니다. 먼저 Explainable AI(XAI)는 model을 설명해주는 역할을 하는데, 최근에는 특정한 모델에 국한되지 않는 Model-Agnostic 기법인 LIME / SHAP이 많이 사용되지만, 이러한 기법들은 Graph와 같은 Relational Data를 설명하는 데에 부족하여 그래프에 특화된 방법론이 필요로 하게 되었습니다.

본 논문은 GNN이 입력 그래프의 가장자리를 따라 신경 메시지를 반복적으로 전달하여 노드 특성 정보를 그래프 구조와 결합함으로써 복잡한 모델이 생성되지만, 해당 예측에 대한 설명은 하기 힘들다는 점을 지적합니다. GNN Explainer는 attention을 기반으로 타겟 노드가 있는 여러 sub-graph들을 추출하고, 이들 중에 mutual information이 가장 큰 sub graph를 선택하는 과정을 통해 GNN에 설명력을 더해주었습니다. 평소 XAI하면 LIME과 SHAP면 될 줄 알고 있다가 그래프의 관점에서의 XAI를 처음으로 접해볼 수 있어 매우 유익한 세미나 시간이었습니다. 좋은 발표 감사합니다.

금일 세미나는 Graph Neural Network의 XAI 기법을 소개한 GNN Explainer에 대한 논문 리뷰로 진행되었습니다. Shap, LIME과 같이 model-agnostic하게 주요 인자를 파악하는 방법론들이 많이 활용되고 있는데, GNN에서 데이터 간의 관계성에 대한 설명력을 분석할 수 있는 방법을 제안하였습니다. Node embedding에 어떤 이웃 정보를 활용하였는지, output에 영향을 준 node feature를 찾는 것이 GNN XAI의 목표라고 할 수 있습니다. 본 논무에서는 mutual information 을 기반으로 subgraph를 찾는 방식으로 formulation하였으며, adjaeny matrix에 masking하는 방식으로 최적화를 진행합니다. Shap, LIME, GradCAM을 제외한 새로운 XAI 방법론에 대해 배울 수 있었던 유익한 시간이었습니다. 좋은 발표 감사합니다.

GNNExplainer: Generating Explanations for Graph Neural Networks라는 논문에 대한 세미나를 진행했습니다. GNNExplainer는 node간의 관계를 반영하는 GNN 기반 XAI 방법론입니다. LIME과 같은 방법을 이전에는 주로 사용했었는데 이러한 그래프 기반 XAI모델을 해당 모델은 처음 봐서 신선했습니다. 해당 방법은 sub graph를 먼저 생성한 후 기존 결과와 consistency loss를 활용해 MASK 알고리즘을 학습하여 중요한 sub graph를 계산합니다. 좋은 기법을 소개해주셔서 감사합니다. 발표 잘 들었습니다.

연구실에서 대대로 내려오는 G의 의지를 이어가는 발표로, GNN explainer 재미있게 들었습니다. 특히 첫 발표였음에도 불구하고 매우 깔끔하게 정리해주셔서 좋았습니다. 그래프의 설명력을 높이기위한 방법으로 Graph explainer가 제안되었으며, 특정 task에서 어떤 노드가 중요한지 + 어떤 feature가 중요한지 살펴보기위해 'subgraph'를 사용합니다. 이때 subgraph는 데이터로 주어진 하나의 그래프에 Perturbation을 수행한 그래프를 의미하며, 전체 그래프가 아닌 일부 정보만 담기 때문에 subgraph라는 워딩을 사용했습니다. 이렇게 생성된 subgraph를 사용해서 예측을 진행하면, 특정 연결 정보가 사라진 상태에서 model의 prediction 값을 통해 중요한 값을 찾아낼 수 있게됩니다. 또한 masked prediction을 통해 어떤 label을 선택했는지 확인하는 과정을 통해 왜 masked 된 경우에 해당 label로 예측했는지 이유를 찾을 수 있게 됩니다. 세미나를 들을 당시에 개념이 조금 어렵게 다가왔으나 이후 찬찬히 다시 발표자료를 살펴보며 정확히 이해할 수 있게 되었고, 그래프 구조를 잘 활용한 방법론이라고 생각하게되었습니다. 좋은 발표 감사합니다 !

이번 세미나는 GNN Explorer에 대한 발표였습니다. 우선 Graph 분야에서 XAI는 노드 임배딩에 어떤 이웃들이 활용되었는지, 어떤 노드 feature가 output에 큰 영향을 주었는지를 묻고 있는 task입니다. 그래프의 개념 중 'subgraph'를 도입할 수 있다는 것은 이 분야만의 강점이라고 할 수 있습니다. Subgraph를 사용하여 어떤 노드가 특정 task에서 중요한지와 어떤 feature가 큰 영향력을 갖는지 확인할 수 있습니다. 이번 발표를 통해 graph 분야에서 XAI가 어떻게 연구되는지를 알 수 있었습니다. 또한 발표 앞 부분에 여러 XAI 방법론들에 대해 자세하게 설명해주셔서 좋았습니다. 발표 감사합니다.

금일 세미나시간에는 연구실 첫 세미나를 수행하게 된 윤훈상 석사과정이 GNN Explainer: Generation Explanation for Graph Neural Network라는 주제를 다루어 보았습니다. 평소에 관심가지고 지켜보는 Graph 관련 논문이기에 더욱 관심을 가지고 참관하였으며, 세미나를 준비하는 과정에서 서로 이야기를 나누었기에 좀더 자연스럽게 세미나에 몰입할 수 있었습니다. 세미나의 서두에서 언급하듯이 해당 논문은 현재 XAI라고 약어로 더욱 친숙한 Explainable AI의 관점에서 최근 많은 관심을 받고있는 GNN을 해석해보고자 하였습니다. 일반적으로 XAI로 대표되는 방법들 을 보면 기존 NLP 혹은 Vision 분야에서 Grad기반 혹은 Attention기반으로 주어진 class label에 대한 설명력을 제시하는 연구들이 이루어졌습니다. 해당 논문에서는 학습된 GNN을 기반으로 특정 노드 혹은 노드의 집합 셋(Multi-instance)으로의 그래프의 class를 예측하는 과정에서 어떤 특정 노드들이 주요한 역할을 수행하였고, 그 노드의 어떤 feature가 주요했는지를 model-agnostic 하게 반환해줍니다. 이과정에서 결국 수행되는 GNNExaplainer 모델의 최적화는 sub-graph의 노드들로 인한 MI(Mutual Information)을 기반으로 수행되게 됩니다. 이과정은 결국 해당 서브그룹의 노드들로 인해서 class를 정의하는 y의 uncertainty가 얼마나 reduction되는 것으로 해석이 가능하며, 이를 통해 가장 큰 reduction이 가능한 sub-group의 노드들을 선택하도록 Mean-Field Variational Approximation과 learnable masking parameter를 통해 최적화가 수행한다고 보시면 되겠습니다. 해당하는 논문이 결국 XAI 목적을 두고 있기에 모델의 퍼포먼스는 사전에 정의된 ground-truth와 얼마나 매칭되는지를 위주로 실험결과를 공유하고 있는데, 최근 GNN의 다수 논문에서는 attention을 통해서 정확하게 XAI라고 명명할 수는 없지만, Visualization을 통해서 간접적으로 제공은 할 수 있고, Simple GNN 대비 성능측면에서도 많은 향상을 보여주고 있습니다. 이러한 점을 생각해보면, 해당 논문은 실질적인 모델학습과 더불어 이후 과정이 진행되는 번거로움이 있기에 baseline 실험에서의 attention모델과의 exploitability 성능 비교는 동일선상에서 바라만 볼 수는 없다고 판단됩니다. 추가적으로, 동일한 GNN환경이 아닌 GNN의 구조 혹은 파라미터의 변화에 따라서 (예를들어 Receptive Field관점에서) 설명력은 달라질 수 있을 텐데, 다양한 실험환경에서 수행되었으면 더욱 재미있는 결과를 제시할 수 있었을 것 같다는 생각이 들었습니다. 마지막으로 첫 발표임에도 불구하고 재미있는 연구를 주제로 세미나를 잘 이끌어준 발표자에게 감사의 인사전합니다.

이번 세미나에서는 GNN explainer로 설명력있는 그래프기반의 컨롤루션을 발표해주셨습니다. 기존 머신러닝의 방법로은 선형적인 lime이나 변수상호작용을 고려하는 sharp기반의 변수중요도를 산출하는 방법들이 있었습니다. GNN은 크게 세가지로 분류되었는데 (1) message: 근접중심노드에 전달하는 정보, (2) aggregate: 이웃노드들의 정보를 취합, (3) (1)의 중심노드 (2)의 취합노드 두가지에 대해서 업데이트 과정이 이루어집니다. GNN에서 변수중요도는 node feature의 중요도로 해석될 수 있습니다. 다시말해서 특정노드가 주변노드에 얼마나 많은 영향을 주었는가로 생각할 수 있을 것 같습니다. 해당 목적을 달성하기 위해 subgraph를 달성하기 위해서 mask matrix를 적용해 생성시킬 수 있었습니다. 목적함수로 mask GNN과 original GNN의 분포가 크게 차이가 나지 않도록 consistency loss를 고려하는 점이 인상 깊었습니다. 좋은 발표감사합니다.

현재 XAI는 LIME과 SHAP으로 대표된다고 생각합니다. 하지만 두 방법론의 경우 그래프에서 그대로 사용하기에는 무리가 있습니다. 그 이유는, 그래프 네트워크의 강점인 노드들간의 관계성을 반영하지 못한다는 치명적인 단점이 존재하기 때문입니다. 본 연구에서는 이를 해결하기 위하여 노드들간의 관계를 반영하는 그래프 네트워크에 맞는 XAI를 제안합니다. 우선 GNN을 학습시킨 후 attention을 활용하여 타겟 노드가 있는 여러 sub graph들을 추출하고 이 중 mutual information이 가장 큰 sub graph를 선택하게 됩니다. 그래프에 XAI를 적용하는 초기 모델이라 XAI가 탄생한 초기 방법론들처럼 매우 투박하고 추가적인 계산량도 많으나 첫 발을 내딛었음에 큰 의의가 있다고 생각합니다. 추가적으로 실험파트에서 정량적으로 제안한 방법론이 얼마나 잘 그래프를 설명하고 있는지에 대한 metric을 제안하는데, 이같은 경우에 본인들의 제안 방법이 더 높은 점수를 받게끔 metric을 만들 수 있기 때문에 후속 연구들에서는 무조건적인 수용이 아니라 잘못된 부분이 있으면 충분히 따지고 수정하는 방향으로 진행이 되어야 NLP에서 BLEU score와 같이 지속적으로 metric에 대한 의심을 가지는 경우를 방지할 수 있을 것 같습니다.

금일 세미나에는 해석 가능한 그래프 방법론인 GNN Explainer에 설명 주셨습니다. 최근들어 XAI는 딥러닝 분야에서 가장 핫한 분야로 알고 있습니다. 게다가 공모전이나 프로젝트 등에서 "딥러닝 모델의 설명력"에 대해 요구를 많이 하고 있으므로 다들 자연스레 범용적인 LIME이나 SHAPE 기법들을 자주 활용합니다. 하지만 그래프와 같이 주변 노드간의 관계를 형성하는 Relational Data는 관계에 보편적인 XAI 방법론을 적용할 경우 관계에 대한 정보를 포함할 수 없으므로 잘 작동하지 않습니다. 오늘 설명주신 GNN Explaniner는 Graph에서 최초로 XAI를 적용한 논문입니다. 핵심 아이디어는 Mask network를 생성하고 consistency loss를 활용하여 MASK 알고리즘을 학습함으로써 중요한 Sub-graph를 도출하는 방식이 인상깊었습니다. 다만 방법론을 적용하기 위해서는 그래프 내부 구조에 모듈을 추가하고 학습하는 과정등이 필요하기 때문에 가볍게 적용하기는 좀 어렵다는 생각이 들었습니다. 재미있는 발표 감사합니다.

오늘 세미나에서는 GNN explainer라는 처음 접해본 개념에 대해 소개를 해주셨습니다. 노드와 같은 그래프의 특성을 반영한 XAI를 위해, sub graph 생성 -> 기존 학습된 GNN의 예측 결과와 consistency loss를 계산해 masking update ->... -> 노드 예측 등에 큰 영향을 미치는 sub graph 도출(설명) 이라는 과정을 거치게 됩니다. 방법론 자체는 크게 다르지만, 결국 노드의 feature를 이용해 목표 task 수행에 대한 영향력을 파악한다는 점에서 grad-cam과 같은 여타 XAI와 유사하다고 느꼈습니다. 요새 특히 XAI가 많은 주목을 받고 있는 것 같은데, 실제로 딥러닝 모형의 '설득력'을 확인하는 것이 굉장히 중요하다고 생각합니다. 최근에 multi-label classification task를 수행할 때 이미지의 어떤 부분을 보고 딥러닝 모형이 해당 레이블에 높은 확률을 부여했는 지 확인할 수 있었는데, 단순히 모델러에게 모형의 신뢰성을 확인하기 위한 요소일 뿐 아니라 성능을 개선하는 데에도 많은 역할을 할 수 있겠구나 느꼈습니다. 그런 관점에서 이번에 소개해주신 GNN explainer가 굉장히 신선했고, 또 그래프 분야가 확장하는 데 있어서 굉장히 중요한 발걸음이라고 느꼈습니다. 좋은 발표 감사하고, 앞으로도 수준 높은 세미나 기대하겠습니다.

금일 발표는 "GNNExplainer: Generating Explanations for Graph Neural Networks"라는 주제로 진행되었습니다. 본 발표에서는 노드들간의 관계를 반영하는 그래프 네트워크에 맞는 XAI 방법론인 GNNExplainer가 소개되었습니다. 개인적으로 XAI에 관심이 많은데 그래프 분야에서 처음으로 XAI 방법론을 접하게 되어 흥미로웠습니다. GNNExplainer는 attention을 기반으로 타겟 노드가 있는 여러 sub-graph들을 추출하고 이 중 mutual information이 가장 큰 sub graph를 선택하는 과정을 통해 GNN에 설명력을 더하였습니다. 본 논문에서는 기존의 방법론들에 LIME 또는 SHAP를 적용하지 않고 GNN의 특성을 기반으로 새로운 설명가능한 방법론을 제안하였는데 이상치 탐지 분야에서도 이런 부분들이 반영된다면 좋겠다는 생각이 들었습니다. 좋은 발표 감사합니다.