이번세미나는 "How to use graph convolutional networks"를 주제로 진행되었습니다. GCN, Fast GCN, SGCN의 순서로 세미나가 진행되었습니다. 먼저 그래프가 사용될 수 있는 분야들에 대해 소개해주셨고, 각 GCN에 대해 설명해주셨습니다. GCN은 각 노드의 neighbor를 표현하기위해 googlenet, resnet에서 알려진 인셉션모듈이나 skipconnection , attention을 적용하는 점이 인상깊었습니다. 하지만 모델의 크기가 커질수록 시간과 메모리 측면에서 기본 GCN 모델을 적용하기 매우 어렵습니다. 따라서 stochastic한 batch단위의 학습을 통해 문제점을 해결하고자 Fast GCN이 제안되었습니다. Fast GCN은 계산복잡도로 인해 인접노드의 수를 제한했었으나, Fast GCN의 경우 많은 수의 노드학습을 효율적으로 inference 할 수 있다는 장점이 존재했습니다. 마지막으로 SGCN은 그래프의 latent vector를 해당 노드의 neighbor로 표현하고, non linearity를 제거하여 연산을 수행합니다. 이를 제거하는것 만으로도 계산복잡도를 없애고 좋은 성능을 보이는것을 확인 할 수 있었습니다. 하지만 non linearity를 제거하여 feature를 추출한다는 것이 확실하게 이해되지않아 조금 더 공부가 필요하다는 생각을 하게되었습니다.

최근 활발히 연구되고 있는 Graph Convolutional Network (GCN)에 관한 세미나였습니다. 가장 기본이 되는 GCN에 대하여 먼저 알아보고 이를 개선한 Fast GCN과 S-GCN을 설명하는 순서로 세미나는 진행되었습니다.
노드의 sampling을 통하여 mini-batch를 만들어 내는 아이디어를 Fast GCN에서 제안 하였으나 사실 온전한 이해가 어려웠습니다. 노드마다 연결된 edge는 각기 다를텐데 node를 sampling한 subgraph가 전체 graph를 온전히 representation할 수 있는지에 대한 수학적 설명이나 실험적 증명이 없었기 때문입니다. Network의 nonlinearity를 없앤 S-GCN은 지난번 외부 세미나의 설명과 동일한 결과를 보였습니다. 일반적인 NN에서는 nonlinearity 함수를 사용하지 않는다면 아무리 layer를 쌓는다고 해도 결국 linear function이 되기 때문에 반드시 nonlinear function을 거쳐야 합니다. 하지만 graph network에서는 nonlinear function을 거치지 않더라도 충분히 좋은 성능을 보임을 확인할 수 있었으며 이는 계산 복잡도나 모델 설명력 측면에서 기존의 NN에 비하여 매우 큰 장점이 될 수 있을 것이라 생각합니다.

Graph Convolution Network와 이를 보완한 두 가지 연구를 다룬 세미나였습니다. Fast GCN은 subsampling을 통해 기존 GCN의 연산 시간을 줄였고 S-GCN은 GCN에 이용되던 nonlinearity를 없애고 목적함수를 2nd order objective function을 이용합니다.
GCN이 히트를 친 후 일반적인 딥러닝에서 많이 이용되는 방법론을 GCN에도 적용하려고 한 많은 시도들이 있었을 것 같습니다. 그 중 한가지가 SGD일 것 같습니다. 하지만 타 데이터들과 성격이 다른 그래프의 특성 상 SGD를 적용하기가 쉽지 않습니다. Fast GCN에서는 노드를 확률 분포로 보고 몬테카를로 추정값을 이용함으로써 이를 해결했습니다. 아이디어가 굉장히 좋았던 논문이었고 이러한 방법을 떠올리기 위해서는 모든 연구의 기저가 되는 확률론을 탄탄히 다져야겠다는 생각을 하게 되었습니다.
S-GCN은 심층신경망에서 필수로 여겨지는 레이어간의 비선형성을 과감히 없앴습니다. 그리고 마찬가지로 당연하게 여겨지는 1st order objective를 이용하지 않고 Hessian까지 고려하는 2nd order objective를 이용합니다. L-BFGS과 같은 Newton Method 기반 알고리즘은 일반적인 머신 러닝 알고리즘에서는 종종 사용되지만 최근 많이 사용되는 딥러닝 기반 알고리즘에서는 과도한 헤시안 연산량 등의 문제로 인해 잘 사용되지 않습니다. 그래프 기반 알고리즘에서 2nd order objective가 기존 방식만큼 성능이 잘 나온다는 사실이 굉장히 신기했습니다. 개인적으로 GCN을 연구한다면 이 논문이 다루는 주제의 연장선을 연구 주제로 잡고 공부한다면 여러 아이디어가 많이 나올 것 같다는 생각이 들었습니다.

금일 발표는 "How to Use Graph Convolutional Networks"라는 주제로 진행되었습니다. 세부적으로 본 발표는 Graph Convolutional Networks (GCN)과 이를 보완한 Fast GCN, S-GCN에 대해 이루어졌습니다. 지난 세미나에서도 발표된 GCN은 각 그래프의 adjacency matrix와 node의 feature matrix을 input으로 받아 convolution연산을 통해 node와 edge의 연결 구조를 모델링하는 구조입니다. 하지만 GCN은 그래프 규모가 커짐에 따라 학습시간이 증가하기 때문에 이를 보완한 Fast GCN이 제안되었습니다. 해당 방법론은 그래프의 노드를 random sampling 하는 방법을 통해 학습시간을 줄였습니다. 더불어 다음으로 발표된 S-GCN은 non-linearity의 생략과 logistic regression의 도입을 통해 GCN의 연산량을 줄였습니다. 이와 같이 GCN과 더불어 GCN의 문제점을 보완한 여러 모델들을 이번 세미나에서 접할 수 있어 흥미로웠습니다.

최근 관심이 많았던 GCN 에 대한 설명의 세미나 였습니다. GCN에대한 기본적인 구조 그리고, Graph network 를 적용하는 다양한 도메인을 설명하였고, Graph 자체를 classifiy 하는 task와 node classify task를 구별하여 해깔리지 않게 발표해 주었습니다.

GCN 에서 activation function 의 활용 여부에 대한 분석을한 논문을 리뷰해 주셨는데, 꼭 activation function이 있어야 layer를 쌓는 의미가 있다고 생각했던 것과 달리 graph 에서는 좀 더 다른 의미로 해석해야 하는것 같았습니다.
이는, 제 생각에는 한번에 layer level로 여러 node까지 관계를 파악 가능 하기 때문이라고 생각하는데, node간 계층적 복잡한 구조가 될 시에도 이러한 성능이 유지되는지 의문이 들었고, 앞으로도 좀 더 구체적인 이유를 찾아내는 것이 GCN을 이해하는데 큰 의의가 있을 것 같습니다.

금일 세미나 주제는 박사과정 김형석 학우의 Graph Convolutional Network(GCN)에 대한 세미나였습니다. GCN -> Fast GCN -> S-GCN 순으로 총 3개의 논문에 대하여 발표를 진행하였습니다.
GCN의 input으로는 각 그래프의 인접행렬(Adjacency matrix)과 Node Feature matrix을 가지고 그래프에서 엣지(edge)로 연결되어 있는 노드의 정보(node feature)만을 학습하면서 convolution연산을 하는 구조라고 볼 수 있습니다. 다만 기존의 GCN에서는 그래프의 규모가 큰 경우에는 convolution연산이 매우 커지게 되므로 학습시간이 오래 걸리는 문제가 있습니다. 이를 보완하기 위해 Fast GCN 논문에서는 그래프의 노드를 랜덤샘플링하는 방법으로 학습시간을 줄였습니다. graph convolution layer을 일종의 embedding function으로 정의하고, 손실함수를 추정할수 있음을 증명하였다고 하는데 잘 이해가 되지 않았습니다…(추 후 논문을 직접 읽어봐야 할듯 합니다)
마지막 논문인 S-GCN은 graph convolution layer를 여러개 쌓으면서 이웃 노드들의 feature 정보를 반영하는 것이 아니라 Non-linearity를 생략하고 logistic regression으로 해결하여 연산량을 줄였습니다.
이번 세미나를 통해서 GCN에 대한 파생연구가 활발히 이루어지고 있다는 것을 체감할 수 있었고, 해가 지날수록 중요한 연구분야라는 것을 알게되었습니다.

그래프의 large-scale에 대한 계산복잡도를 해결하는 방법을 제안한 좋은 연구 세미나 였습니다. 개인연구의 주제를 잡을 때 시간이 오래걸리는 연구는 항상 배제를 해 왔던 것 같습니다. 이런 효율성과 경량화에 대한 연구를 샘플링 기법으로 단순화 시켰다는 점과 선형적인 그래프 관계를 가정하면서 설명가능한 모델로써 접근한다는 점에서 연구방향의 확장성을 높일 수 있었습니다. 앞으로 PGM과 이런 Deep Learning 기반 네트워크를 공부를 이어가는 것도 괜찮은 연구 방향이 될 수 있을 것 같습니다.

Graph Convolution Network에 대해 graph 전체 관점에서 분류, 그래프 노드 관점에서 분류하는 것으로 대표적으로 나눌 수 있습니다. 이전에 초빙 세미나의 윤성준 연사님의 발표에서는 그래프 자체를 만드는 것에 의문을 가져 연구를 하였고, GNN관련 논문 1저자로 NIPS에 발표하였습니다. 김형석 박사과정님은 GCN에서 계산복잡도에 의문을 가져 개선하기 위한 방법으로 Fast GCN, S-GCN에 대한 논문을 소개하였습니다. Fast GCN의 경우 node들은 서로 연결되어 있기 때문에 분할하여 노드를 나눌 수가 없기 때문에, sample 데이터들이 iid 가정을 하고, sampling으로부터 Stochastic 방법으로 동일한 GCN을 적용하였습니다. 이로 인해 인접 노드의 수를 제한할 필요가 없고, 학습시간도 단축되었습니다. S-GCN의 경우 layer 간의 비선형함수를 생략하여 convex optimization problem으로 바꾸어 간단하게 만들어 학습시간은 단축되었지만 성능은 보장되었습니다. GNN 관련한 연구들이 18년부터 폭발적으로 진행되고 있는데 관련하여 지속적으로 관심을 가져야겠습니다.

Graph Convolution Networks 와 관련된 3개의 논문에 대해 김형석 박사과정의 세미나 발표를 들었습니다.

지난번 최종현 석사 과정의 발표에 이어 이번 세미나 발표까지 최근에 GCN 관련해서 자주 발표를 들을 수 있어서 좋았고, 개념적으로 친숙하게 다가왔습니다.

또한, 초반부에 GCN 구조에 대한 개략적인 설명과 함께 컴퓨터 비전, 자연어 처리 분야 등 다양한 분야에서의 활용 사례를 언급해주신 부분이 좋았습니다.

GCN 의 개념과 문제점 그리고 이런 문제점 들을 해결하기 위한 최신 연구 흐름 등을 시간 순서 대로 말씀해주셔서 많은 도움이 되었던 것 같습니다.

Graph Convolution Network와 관련하여 기초부터 파악할 수 있었던 점에서 의미가 큰 세미나였습니다. 수업이나 과제, 프로젝트들을 진행하며 GCN을 접한 적이 많았었는데, 그 때마다 관련 지식이 부족하여 해당 내용을 완전히 이해하지 못한 적이 있었습니다. 개인적으로 GCN은 인접 노드들의 representation을 바탕으로 현재 노드의 feature를 re-represent하는 과정이라는 생각이 들었습니다. 이는 역시 다양한 분야에서 많이 쓰이는 self-attention과 유사한 개념이라는 생각도 들었습니다. 추가로 GCN에도 attention이나 gating 연산과 같이 타 모델에서 많이 쓰이는 개념이 그대로 쓰이고 있다는 점도 유익하였고, graph에서 batch를 생성할 때의 가정과 생성 방식, graph에서의 non-linearity에 대한 의문에서 시작한 simplied GCN 또한 재미있었습니다.

이번 세미나를 통해 GCN이 무엇이면 지금 어떤 관점에서 연구가 진행되고 있는지 파악할 수 있었습니다. 그래프라는 구조 자체가 데이터로서 많은 정보를 함축하고 있기 때문에 이런 그래프의 내재된 정보를 반영할 수 있는 딥러닝 모델인 GCN이 등장한 것은 어쩌면 필연적인 것 같습니다. 오늘 세미나에서 소개해주신 논문은 GCN의 연산량을 줄이는 것이 목적이였습니다. Fast GCN의 경우 sampling을 통해 연산량을 줄이고자 하였고, S GCN의 경우에는 비선형함수를 삭제하여 연산량을 줄였습니다. 내용과는 별개로 이번 세미나를 듣고 가장 크게 느낀 것은 어떤 모델이 나왔을 때 그 후속 연구로 모델의 경량화 혹은 효율화에 대한 연구는 빠짐없이 이루어진다는 것 입니다. 앞으로 연구 주제를 발굴함에 있어서 항상 숙지하고 있어야 겠다는 생각이 들었습니다.