GNN에 대해 사전 지식부터 최근의 방향까지 소개해주셨습니다. 텍스트나 이미지도 신호(연속 데이터)로 볼 수 있으며 Graph domain 에서 적용하기 위해 푸리에 변환이나 라플라스 변환을 하는 것을 볼 수 있습니다. Graph Laaplacian 의 eigenvalue 의 값으로 graph를 나누는 것을 볼 수 있는데 그 과정에서 증명한 수식들에 그림과 같이 표현하여 발표자료에 많은 공을 들인 것을 알 수 있었습니다. Graph Fourier 변환은 eigenvector를 활용하여 직교하는 영역에 정사영 한 후, element wise 곱으로 표현하는 것을 볼 수 있는데 이러한 연산으로 Convolution(합성곱) 연산과 같다라는 정의를 graph 뿐 아니라 다른 영역에도 적용할 수 있을 것 같습니다. GCN 연산에서 이웃 노드의 정보를 잘 반영할 수 있도록 k-hop을 많이 늘릴수록 성능이 낮아지는 실험 결과가 있는데, 이를 잘 보완하는 향후 연구가 중요하지 않을까 생각합니다. 특히 GCN에서 renomalization trick 으로 본인 노드에 가중치를 더하여 adjacency matrix를 구하는 부분은 일반적으로 residual connection과 아이디어가 유사한데 이러한 과거 아이디어를 잘 접목하면 그래프 분야에서 더 좋은 성능이 나오지 않을까 합니다. 해당 분야를 알기 위해 많은 사전 지식이 필요하지만, 이를 요약하여 좋은 발표를 해준 최종현 석사과정에게 감사의 말씀을 드립니다.

금일 세미나는 GNN 초기 모델과 GCN 모델을 주제로 진행되었습니다. GNN은 노드 간 연결성을 보존하며 유의미한 특성을 찾기 위해 graph laplacian에서 eigen value를 찾고 푸리에 변환을 활용하여 새로운 공간으로 투영시킨다는 것을 알 수 있었습니다. 또한, SGC에서 인접행렬의 곱으로 노드정보를 표현하여 연산량과 속도를 크게 감소시킨 점이 흥미로웠습니다. 사전지식이 요구되는 내용이었지만, 일련의 과정들을 시각적으로 잘 표현해주셔서 보다 이해하기 좋았던 것 같습니다. 복잡한 공간에서 그래프 연결정보를 유지하면서 의미 있는 특성기반으로 새로운 공간에 투영하는 graphical neural network 분야에 대해 배울 수 있는 좋은 시간을 만들어주셔서 감사합니다.

이번 세미나는 GCN에 대한 전반적인 소개와 더불어 Simplifying GCN이 어떻게 GCN에서의 연산량을 효과적으로 줄이고 성능을 향상시키는 지에 대해 알 수 있는 시간이었습니다. Graph라는 개념 자체가 생소한데, 우리가 일상 생활에서 접하는 각종 데이터(이미지, 텍스트 등)가 서로 정보를 교환(passing)하는 신호 체계라고 생각할 수 있다는 점이 굉장히 인상 깊었습니다. 또한 개념들 사이의 관계를 수식으로 설명할 수 있는 구조이기 때문에 이미지 분류, 추천 등 다양한 분야에 적용할 수 있는 model이라는 생각이 들어 개인적으로 자세히 공부해봐야겠다는 생각도 들었습니다. 실제로 text classification과 같은 downstream task에서도 우수한 성능을 낼 수 있기 때문에 한 분야에 국한되지 않고 다양한 domain에 응용될 수 있을 것 같습니다. 특히 SGC의 경우 노드 간 non-linearity를 제거하는 등 GCN을 간소화했음에도 더 나은 성능을 보여줬다는 점에서 앞으로 graph 분야의 발전 가능성을 보여준 것 같습니다. Graph에 대한 사전 지식이 부족했지만 논리적으로 잘 설명해주신 덕분에 이 분야에 많은 관심을 갖게 해주셔서 감사하다는 말씀 드리고 싶습니다.

최종현 석사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 Spectral-based CNN/GNN 관련된 4개의 논문을 요약해서 소개해주셨습니다. 먼저 Spatial-based 와 Spectral-based 의 차이를 설명해주셨는데 Spatial-based GNNs은 이웃 노드에 대한 정보만 반영하는 반면에 Spectral-based GNNs은 eigen-decomposition을 적용하여 더 많은 정보를 반영할 수 있다는 장점이 있지만 새로운 graph에 대해서는 일반화할 수 없다는 단점이 있다고 합니다. 소개해주신 4개 논문의 히스토리를 살펴보면 가장 먼저 제안된 논문인 Spectral CNN 모델은 처음으로 NN 기반 Spectral graph-based 방법론으로 Filter를 학습 가능한 파라 미터로 대체했다는 점에서 Contribution이 있었습니다. 두번째 논문에서 제안한 모델은 ChebyNet은 Chebyshev expansion을 사용해 filter를 근사 시키는 것을 통해서 Laplacian Matrix의 eigen-decomposition을 생략하여 계산복잡도를 획기적으로 줄일 수 있었다고 합니다. 이후 설명 해주신 GCN, SCN 모델은 이전 세미나 시간에 몇번 들어서 대략적으로 이해는 하고 있었는데 제대로 이해하기 위해서는 앞에 두 논문에 대한 지식이 꼭 필요 했었습니다. 개인적으로 찾아보지 않아 항상 제대로 이해를 못하고 있었는데 쉽게 설명해주셔서 GCN 관련 논문들을 이해하는데 도움이 많이 될 것 같습니다. 발표 잘 들었습니다. 감사합니다.

이번 세미나에서는 GCN의 제안 배경과 최근의 SGC까지 전체적인 GCN의 발전 흐름을 소개해주셨습니다. 최적화 관점에서 문제를 그래프로 해석하여 해결하는 것에 관심이 있었는데 딥러닝에서도 그래프 구조 자체를 학습에 사용하는 점이 흥미로웠습니다. 특히 말씀하신대로 GCN은 노드 간의 상관관계가 잘 고려된다는 점에서 추천 시스템, 신호 처리 등에 적합한 것 같습니다. 또한 그래프의 유용한 특성을 찾는데 사용되는 graph laplacian과 이를 이용한 graph fourier transform에 대한 수식을 단계적으로 설명해주셔서 이해에 도움이 되었습니다. 마지막으로 소개해주신 SGC 같은 경우에는 GCN을 더 간소화해 nonliearity를 제거하고 local averaging을 사용하여 높은 성능을 보였습니다. 이를 통해 network를 학습시키는 것의 강점은 이웃 노드와의 상관관계를 충분히 이용하는 것에 있다고 느꼈습니다. 그래프에 대해 관심이 있어 흥미롭게 들었고 자세히 설명해주셔서 많은 도움이 되었습니다. 좋은 주제에 대해 발표해주셔서 감사합니다.

GCN 관련 논문 중 가장 많이 사용하고 있는 방법론인 논문의 내용입니다. 이 논문은 상당히 친절하지 못한 부분이 많은데, 알아야 하고 복잡한 수식이 많기 때문입니다. 최근 우리가 딥러닝을 하면서 당연하게 사용하고, 실제로 구현 단계에서는 라이브러리로 구현되기 때문에 뒷배경을 간과 하는 경우가 많습니다. 수업시간에 교수님께서 그냥 쓰는거과 제대로 아는것은 차이가 있다 했고, 대학원에서 전공하는 연구원이라면 제대로 아는것이 중요하다 했습니다. 오늘 세미나는 이런 관점에서 GCN Layer 가 어떤 의미를 지니고있고, 어떤 발전을 통해 수식적으로 증명이 되는지를 잘 보여주었습니다. 저도 같은 내용의 공부를 하면서 Signal Filter 라는 관점에서 정리된 내용을 찾는게 상당히 힘들었습니다. 이런 내용을 체계적으로 정리 잘 해서 처음 공부하는 사람들에게도 유익한 시간 이였던거 같습니다.

이번 세미나에서는 Graph의 구조를 유지하면서 노드간을 표현하는 방법에 대한 방법이었습니다. 해당 task는 두가지를 방식으로 나눠지는데 1) 노드(feature vector)를 이용하여 노드 classification, 2) graph classification 으로 나눠졌습니다. 모델 구조 관점에서는 두가지로 분류하면 이웃노드의 정보를 반영하는 spatial based 방식과 회전 주파수(변화율)를 반영하는 spectral based방식으로 그래프 표현이 이뤄지는데 spectral 방식에 대해 깊게 생각해보는 계기가 되었습니다. spectral방식이라고 하면 fouier방식만 쓰는 줄 알 앗는데 laplacian transform을 쓰는 방식이었고, 쓰는 이유는 물리학과 관련있는 것 같습니다. 해당 부분을 좀 더 찾아서 공부해 바야 겠습니다.

본 세미나에서는 Graph Convolutional Network에 대한 내용을 다루었습니다. 물론 GCN 자체에 대한 설명도 좋았지만, 특히 어떤 흐름으로 단순한 GNN에서 GCN으로 발전했는지에 대한 배경을 설명해주어 유익한 시간이었습니다.
Spatial GNN 같은 경우는 hops를 통해 자신과 근접한 이웃으로만 정보를 취득하여 Node와 Graph를 표현하고 Classification을 하는 반면, Spectral GNN은 좀 더 Matrix의 본질을 살펴볼 수 있는 Eigen Decomposition을 통해 표면 정보에 그치지 않는 Latent를 파악할 수 있습니다. 거기에서 멈추지 않고, 한 알고리즘이 더 나은 발전을 위해 다른 알고리즘의 아이디어과 결합하는 방법을 통해 Graph ‘Convolutional’ Network로 발전하는 방법도 나타났습니다. 이런 모습을 보며, 다시 한번 알고리즘의 변화를 위해 타 분야의 아이디어를 효과적으로 결합하는 방법을 느꼈고, CNN뿐 아니라, RNN, Pretraining 등 다양한 방법론들이 결합하는 유형도 있을 지 궁금해졌습니다. 마지막으로, Laplacian, Chebyshev expansion 등 효율적인 연산을 위한 수학이 대거 등장하여 상당히 어려웠지만 오히려 자극을 받는 시간이었습니다. 감사합니다.

평소에 많이 고민하고 공부한 흔적이 보이는 발표였습니다. 지속적으로 진행하는 그래프 관련 세미나 덕분에 GCN에 대해서 조금씩 이해할 수 있다고 생각합니다. 그래프 네트워크를 이해하는데 필요한 수학적인 배경들을 잘 설명해줘서 이해를 하는데 많은 도움이 되었으며 알려주신 레퍼런스를 참고하면 도움이 될 것이라 생각합니다. 발표해주신 논문들 중에서는 특히 마지막에 소개해준 논문에서 linear layer만으로 GCN의 성능을 뛰어넘은 점이 매우 충격적이었습니다. 지도 교수님의 말씀처럼 항상 어렵게 생각하는 것이 능사는 아니라는 것을 다시 배울 수 있었습니다.

ㅤ이번 세미나는 GCN에 대한 내용을 다루었습니다. 평소, 데이터라고 하면 입력 데이터가 유클리드 공간상에 존재함(심지어 이미지 같은 고차원 데이터도)을 가정하고 있다고 생각했습니다. 하지만 최근 들어 사용자(유저) 간의 관계, 원자의 배열(속성) 등의 복잡한 관계의 학습을 위해 graph neural nets(GNN)이라는 개념이 나왔고 이에 대해 궁금증을 가지던 중 발표자님을 통해 이에 대한 궁금증에 대한 대략적인 이해와 공부 방향성을 잡을 수 있는 매우 유익한 시간이었습니다.
ㅤGCN 자체에 대한 설명도 자세하게 유익했지만, GCN의 이해를 위해 필요한 배경지식에 대한 소개와 시간의 흐름에 맞추어서 Spectral-based GCN을 소개하고 ICML 2019에 게재된 논문인 Simplifying Graph Convolutional Networks에서 제안한 SGC(Simple Graph Convolution)에 대하여 설명하는 탄탄한 발표 구조에 감탄하였습니다. 아직 모델과 수식에 대한 이해도가 부족하여 어려웠지만 그러한 청자까지 고려하여 발표를 준비해주신 발표자의 준비성에 감탄할 수밖에 없었습니다.

Euclidean 공간과 구분되는 점과 각 data point 간 독립 가정이 성립하지 않는 graph network에 대한 세미나였습니다. 실제 세상을 더 잘 설명하기 위해 기존의 틀을 깨려는 구조인 것 같아 흥미로웠습니다. 발표자분이 세미나를 준비하면서 지식을 전달하는 방법에 대해 고민을 많이 하는 모습을 보았는데, graph network의 종류와 발전 양상에 대해 좋은 흐름으로 진행해주셔서 잘 따라갈 수 있었습니다. 특히 아이디어가 등장하게 된 배경(또는 기존 아이디어의 문제점)을 잘 짚어주셔서 좋았습니다. 필터를 학습가능한 파라미터로 정의한 Spectral CNN, chebyshev expansion을 통해 필터를 근사하는 ChebyNet 등의 흐름에서 생소한 탓에 세부 내용까지 이해하기는 어려웠지만 이후 자주 언급되는 GCN이 등장하기까지의 대략적인 흐름을 잡기에 좋았습니다. 이후에도 그래프 관련 흐름을 공부할 일이 있을 때 세미나 자료를 잘 참고할 것 같습니다.

금일 세미나는 GCN에 대한 발전흐름과 관련된 논문 4가지를 요약하여 잘 설명해 주셨습니다. 이미지에서 주로 사용하는 CNN과 같은 Filter를 Graph 도메인에서 적용하려면 그래프의 구조를 유지하면서 그래프의 Node 정보와 그래프 내부 속성 정보(Feature)를 학습하도록 변경해야 합니다. 그래프의 구조를 유지하며 학습한다는 것은 Edge가 연결된 주변 Node끼리 어떻게 정보를 공유하고 업데이트를 할 것인가를 고민하는 것과 일치합니다. 이를 Message Passing이라고 정의하며 GCN의 발전양상은 이러한 Message Passing을 어떻게 정의하였느냐에 따라 발전하였습니다. 재미있는 점은 오늘 설명주신 발전흐름에 따르면 GCN의 절차와 구조는 점차 간소화되고 있음에도 성능은 향상된다는 것입니다. 특히 2019년 논문인 SGC에서는 Non-linearity까지 제거하였다는 점이 매우 독특하다고 생각합니다. 차분하고 꼼꼼한 발표 감사합니다.

금일 세미나에서는 현재 널리 연구가 진행중인 GCN 관련하여 그 기초가 되는 Spectral-based GCN을 주제로 다루어 보았습니다. 해당 발표자와일전에 GNN 관련 스터디를 진행하면서 많은 의견을 나누었고, 동일한 내용을 다시한번 정리하여 발표되는 자료인만큼 개인적으로 친숙하게 받아들일 수가 있었습니다. 특히 그래프 라플라시안 같은 경우, 관련해서 공개적인 자료가 많이 부족하고 불친절한 설명이 대부분인 가운데, 해당 발표자가 친절하게 잘 정리해여 소개시켜주어 매우 감사하였습니다. 그리고 마지막으로 다루어본 S-GCN의 경우, 제가 지난학기에 GCN을 세미나로 다루면서 F-GCN과 함께 다룬적이 있었는데 이부분에 대한 실험결과를 중점으로 보완하여 발표해주어 인상적이였습니다. 연구실에서 함께 그래프쪽으로 관심있는 만큼 지속적으로 교류하여 좋은 결과가 나왔으면 좋겠습니다. 감사합니다.

Graph를 이용한 신경망은 spectral-based와 spatial-based의 두 가지 방법으로 나뉩니다. 금일 세미나는 graph를 decomposition한 후 CNN을 이용하는 Spectral-based Graph CNN을 주제로 진행되었습니다. 다소 어려울 수 있는 주제를 가장 기초적인 graph laplacian, 푸리에 변환부터 시작해 최신 모델까지 일목요연하게 정리해주셔서 쉽게 파악할 수 있었습니다. 가장 최근에 나온 연구인 simple graph convolution은 graph상에서 non-linearity는 중요하지 않다는 파격적인 생각을 바탕으로 이를 과감하게 지운 구조를 제안했습니다. 이러한 구조로도 기존 모델들의 성능을 따라잡을 수 있고, 속도는 훨씬 빠르다는 것을 증명했습니다. 항상 신경망을 이루는 기본 요소중 하나로 비선형 활성 함수를 생각해왔기에 이러한 시도가 매우 신선하다는 생각이 들었습니다. 앞으로 graph관련 공부를 할 때마다 꼭 한 번씩 참고할만한 좋은 자료를 만들어주셔서 큰 감사의 말씀을 드리고 싶습니다.

금일 발표는 "Spectral-based Graph Convolutional Networks"라는 주제로 진행되었습니다. 본 발표에서는 GNN을 시작으로 다양한 Graph Network 관련 논문들이 소개되었습니다. 특히 Spectral-based GCN에 대한 내용이 흥미로웠는데, 음성 처리 관련해서만 살펴보았었던 푸리에 변환과 라플라스 변환 등과 같은 물리적인 방법들이 GCN에 적용된 점이 신기했습니다. 더불어 해당 내용과 관련하여 다양한 수식들이 등장하였는데, 처음 이 분야의 발표를 듣는 입장에서 많은 수식들이 등장하여 빠르게 이해하기 어려웠지만, 발표자가 단계적으로 수식을 전개해주어 보다 편안하게 내용을 받아들일 수 있었습니다. 최근 그래프 분야가 급속도로 성장하며 다양한 분야들에 접목되고 있는데, 새로운 분야에 대해 많은 정보를 얻을 수 있어 유익했고 제가 공부하고 있는 Anomaly Detection 분야에도 적용될 수 있을 것 같다는 생각이 들어 반가웠습니다. 그래프 분야의 흐름을 따라갈 수 있도록 도와주신 발표자께 감사드립니다.

GNN은 spatial-based와 spectral based 로 나누는데 그 중에서 이번 세미나는 spectral-based CNN에 대해서 다루고 있습니다. Spectral-based GNN은 이웃 노드에 대한 정보와 고유값 분해를 적용하여 더 많은 정보를 사용한다는 특징이 있습니다. 세미나의 앞부분에 소개된 spectral-based CNN은 필터를 학습 가능한 파라미터로 간주하고, 입력 시그널을 이미지와 같이 여러개의 채널을 갖게해서 학습하는 CNN입니다. 그 다음으로 소개된 ChebyNet은 chebyshev expansion을 통해 필터를 근사시키고 계산 복잡도를 해결하는 모델입니다. 그 후 GCN의 등장 배경에 대해 소개 들었는데, A를 정규화 시켜 A앞뒤에 차수행렬의 -1/2승을 곱하고 A대신 A+I 를 대입하여 자기 자신 노드에 대한 정보도 반영할 수 있게 하는 배경이 나와있었습니다. 마지막으로 SGC는 이웃 노드 정보를 평균화해 GCN을 좀더 단순한 구조로 만든 것입니다. GCN의 등장 배경부터 설명들어서 GCN에 대한 이해를 좀 더 자세하게 할 수 있었고 GCN의 연산이 복잡하여 문제가 있었는데 SGC와 같은 모델을 소개해주셔서 잘 들었습니다. 감사합니다.

이번 세미나에서는 Graph Neural Network의 전반적인 발전 과정과 더불어 Spectral-based GCN, Simplifying GCN에 대해 소개해 주셨습니다. 우선적으로 Spatial-based GNN과 Spectral-based GNN에 대해 말씀해 주셨는데, Spatial-based GNN은 이웃 노드에 대한 정보만을 반영하는 한계가 존재하고, Spectral-based GNN은 Eigen Decomposition을 적용하여 더 많은 정보를 반영하지만 새로운 Graph에 대해서는 일반화할 수 없다는 한계가 존재합니다. 이번 세미나에서는 Spectral-based GNN의 한계를 극복하는 방법에 대해 소개해 주셨습니다.
우선적으로 Spectral-based GCN은 Signal Processing에 쓰이는 방법들을 Graph에 적용한 Graph Signal Processing을 이용하는데 Graph Laplacian Matrix에 Eigen Decomposition을 적용한 행렬의 Eigenvector를 이용하여 Graph Fourier Transform을 정의하고, Spatial Domain의 Convolution이 Fourier Domain의 곱과 같다는 성질을 이용하여 GCN을 정의합니다. 이어 Filter를 학습 가능한 파라메터로 간주하여 학습을 진행합니다. 매우 유용한 방법이지만 계산 복잡도가 매우 높다는 한계가 존재하며, 이를 극복하기 위해 ChebyNet이 제안되었습니다. ChebyNet은 Chebyshev Polynomial을 이용한 Chebyshev Expansion을 통해 Filter를 근사합니다.
마지막으로 Simplifying GCN에서는 GCN의 세 가지 단계인 Feature Propagation, Linear Transformation, Nonlinear Transition 중 Nonlinear Transition을 제거하여 학습 속도를 향상시키는 방법을 제안하였습니다.
GCN 분야가 개인적으로는 매우 난해한데, 수식을 통해 상세히 설명해 주시어 이해에 도움이 되었습니다. 감사합니다.

이번 세미나는 Spectral-based Graph Convolutional Networks를 주제로 진행되었습니다. 여러번 Graph domain에대해 세미나가 진행되었지만 lapacian matrix나 여러가지 사전 개념들이 이해되지않았는데 본 세미나를 통해 다시 한번 익힐 수 있는 유익한 시간이었습니다. 또한 6장에서 spectral-based GNN의 흐름을 짚어주셔서 이해하는것에 도움이 되었습니다. 특히 저는 여러가지 개념중에서 graph laplacian의 개념이 와닿지않았었는데 발표 이후에 다양한 참고자료를 알려주셔서 내용을 깊게 이해할 수 있는 시간이었습니다. 그래프 구조는 결국 특정한 node가 어떤식으로 주변 node와 연결되어있는지를 정확하게 학습하는것이 중요한데, 아직까지 다양한 task에서 일반화하여 사용하기는 어렵지만 점차 다양한 분야에 적용가능한 모델이 나올것이라 기대하게되었습니다. 항상 좋은 발표 준비해주셔서 감사합니다