이번 세미나는 Deeper GNN에 대한 세미나였습니다. 이전의 GNN에서 많이 발생하는 over smoothing 문제를 해당 방법론은 DropEdge방법론을 사용하여 해결하였습니다. 이 방법론은 각 학습 에폭마다 일정 확률로 그래프의 노드간의 edge를 "drop"하는 방법입니다. 이를 통해 over smoothing문제 해결 뿐만이 아니라, over-fitting 방지, layer-wise drop edge를 수행할 수 있다는 점에서 효율적인 방법입니다. 개인적으로 GNN에서 등장하는 문제인 over smoothing 문제점에 대한 자세한 설명이 매우 유익했습니다. 기본적인 문제이지만 큰 틀에서 GNN에 도움이 되는 방법론의 설명이 매우 좋았습니다. 좋은 발표 감사합니다.

이번 세미나에서는 그래프 네트워크에서 deep GCN 에 대한 내용을 다루었습니다. 사실 이 방식은 누구나 Vision 의 공부를 순차적으로 해왔다면(역사?) 좀 더 직관적으로 아이디어를 얻을 수 있었을 것입니다. Graph Network 에서 모든 논문들에서 deeper 문제는 항상 over smoothing 문제를 유발했습니다. 제 개인적인 생각에는 layer 를 쌓을 때 정보를 덜 반영하는 식의 접근도 필요하다고 생각했는데, 최근 다른 논문(deeper GCN) 에서는 residual connection 을 이용하여 원래정보의 가중치를 올리는 방식으로 해결했습니다. 본 발표에서는 drop edge 를 통해서 정보를 취합할 때 문제를 해결했습니다. 최근 deeper 한 모델들이 성능이 더 좋은것은 competition 의 모델들을 비교해 볼때 확실이 성능이 더좋습니다. 그리고 그 방법들을 세세히 보면 drop edge, dropout, residual connection 등 본 발표에서 설명해준 다양한 방식을 적용합니다. 그래프 논문에서의 이슈를 다른 분들도 충분히 쉽게 이해하게 해주어서 좋은 발표였습니다.

GNN 기법 중 가장 대표적인 기법인 Graph Convolutional Network는 Graph 내의 Node들이 인접한 이웃들의 정보를 Aggregate하는 방식을 Message Passing에 근간하여 Neural Network로 나타낸 것입니다. 이 Aggregation을 진행할 때는 1-hop에 해당하는 Adjacency를 사용하고 two layer Network를 사용하여 최종적으로 2-hop의 정보를 하나의 노드에 취합합니다. GCN 기법들 중에는 여러 다양한 방법이 있지만 대부분 근거리의 노드들의 정보만을 모으는데 그 이유는 근거리 이웃 노드들의 연쇄적으로 모아지는 이웃 정보로 인해 Local 정보와 Global 정보를 함께 모을 수 있기 때문입니다. 이로써 Network 층이 2층 정도로 나타내는 것입니다.

하지만 모든 Neural Network는 층 수를 높일수록 성능이 증가하는 경향이 있는데 GNN에서는 Deep GNN을 만드려는 시도가 적었으며, 그 이유는 Over-smoothing때문이었습니다. 해당 현상은 Aggregation을 하는 과정 속에서 이웃을 그래프 전체로 잡아버린다면 모든 노드들이 Local 특성을 잃는 것이며, Overfitting과는 다른 개념입니다. Over-smoothing이 발생하면 모든 노드들이 비슷한 임베딩으로 구성되며, Over-fitting은 Train 데이터만 최적합되는 것인데 이는 GCN계열에서는 문제가 되지 않습니다.

본 세미나에서는 Deep GNN이 어려운 이유는 Over Smoothing 때문이라고 설명한 뒤, 이를 해결할 수 있는 DropEdge를 소개해주었으며, 이는 Overfitting을 방지하는 Drop Out과 같이 Random하게 Adjacency Matrix의 Edge를 Drop하여 Data Augmentation의 효과를 갖고 있습니다. 이를 통해 일정 수준 이상으로 증가하지 못할 것 같았던 GCN 성능이 향상되었으며, 실험 모델들을 보면 전부 Transductive Model인데 이는 확실히 Inductive의 대표적인 GraphSAGE에서 이미 DropEdge와 같은 Sampling 절차가 포함되어 있기 때문인 것 같습니다. 금일은 새로운 목적 또는 방법을 소개해주셨다기보다 Graph 훈련 성능 향상을 위한 기법을 설명해주셨으며, 큰 도움이 되었습니다. 유익한 발표 감사합니다!

금일 세미나 주제는 Deeper GNN입니다. GNN에서 Message Passing NN은 이웃 노드 정보를 이용하여 해당 노드의 representation을 업데이트하는데, receptive field 관점에서 layer를 많이 쌓을 수록 모델의 capacity가 높을 것을 기대하지만, 절대적으로 그렇지 않습니다. 본 논문에서는 graph의 depth와 width를 이용해서 expressive power 지표로 capacity를 정의하였는데, depth와 width는 서로 trade-off관계이지만, training시 그 곱의 값이 증가할수록 capacity가 증가함을 보였습니다. 하지만 test data에 대해서는 그렇지 않았는데, 바로 over smoothing 때문입니다. 이는 graph가 어느 순간 하나의 sub-space로 converge 해버리는 것인데, 이에 대한 해결 방안으로 epsilon-smoothing layer라는 것을 제안하였습니다. 이는 graph가 sub space로 수렴하지 못하도록 epsilon값을 조절하는 것인데, 이로 인해 converge를 억제하면서 동시에 깊은 구조의 layer를 쌓을 수 있게 되었습니다. 이에 추가적으로 drop edge를 사용하여 overfitting으로 인한 성능저하를 방지하였습니다. 이 방법으로 sub-space의 차원도 늘려 보다 세밀한 정보를 담으며 보다 deep한 layer구조를 가져갈 수 있게 됨으로써 SOTA 성능을 달성하였습니다. 그래프 모델에 대해 공부를 해 본 적이 없어서 잘 몰랐지만, 오늘 세미나를 통해서 over smoothing이라는 개념을 처음 알게 되었고, 이를 해결할 수 있는 방법에 대해 들어볼 수 있어 유익했습니다. 좋은 발표 감사합니다.

오늘 세미나는 “Deeper Graph Neural networks”라는 논문에 대한 내용이었습니다. 세미나에 앞서 Graph Neural Networks(GNN)의 흐름과 발전에 대해 소개해 주셔서 배경지식을 알고 세미나를 들으니 이해하기 수월했습니다. GNN의 capacity의 관점에서 어떻게하면 더 깊은 Layer를 얻을 수 있고 representation power를 높이는 방법에 대해 알게되었습니다. GNN은 capacity는 depth와 width 두 관점으로 보고 각각에 대해 실험한 결과에 대해 소개해 주셨습니다. 결과적으로 depth와 width 모두 일정 수준 이상으로 커져야 representation power가 증가함을 알 수 있었습니다. 하지만 layer 수가 늘어날 수록 주변 이웃들의 값을 aggregation을 반복하는 과정에서 over-smoothing 문제가 발생하기 때문에 막연하게 layer만 늘려도 성능이 향상되지 않았습니다. 이러한 문제를 해결하기 위해 작년에 소개된 두 방법으로는 adjacency matrix에서 특정 edge를 drop out해서 해결하는 DropEdge 방법과 weights에 의한 output을 normalize하여 해결하는 방법을 소개해 주셨습니다. 항상 좋은 발표 감사합니다.

이번세미나에는 Deeper Graph Neural Nerworks를 발표해주셨습니다. GNN 네트워크의 layer가 많을 수록 노드 수에 대한 테스트 성능이 높은 연구결과들을 확인할 수 있었으며, over-smoothing의 문제를 해결하고자 노력이 많이 보였습니다. Over-smoothing 문제는 GCN의 각 node의 local average를 함으로써 너무 단순화 되는 문제로 이해하였습니다. 직관적으로 레이어가 깊어질 수록(with over-smoothing) 서로 다른 클래스들이 겹쳐서 임베딩되는 그림이 인상 깊었습니다. 이러한 문제를 해결하고자 제안된 방법은 Dropout & DropEdge를 사용한 GNN을 설명해주셨는데 성능개선 상당히 뛰어난것을 확인할 수 있었습니다. 개인적인 생각으로 layer별로 정보가 손실이 되니깐 skip connection을 사용하면 해당 over-smoothing 문제를 해결할 수 있지 않을까 생각해봅니다. 좋은 발표 감사합니다.

Graph Neural Network는 Graph를 표상하는 Representation을 얻기 위해 각 Node를 이웃 Node의 정보를 이용하여 표상합니다. 이 과정에서 보다 멀리 있는 Node의 정보를 반영하기 위해서는 Layer를 쌓는 방식을 사용합니다. Layer가 많아질수록 특정 Node를 기준으로 보다 멀리 있는 이웃까지의 정보를 반영할 수 있으므로, Receptive Field의 관점에서 생각하면, Deep한 구조를 가질수록 성능이 증가하게 됩니다. 하지만 Layer를 쌓게 되면 Over Smoothing Problem이 발생하게 되어 GCN에서는 Layer를 깊게 쌓는 것이 어렵습니다. 오늘 소개해 주신 논문에서는 Edge Drop을 이용하여 Over Smoothing Problem을 방지하며, 이를 통해 Deep한 구조를 설계하여 State-of-the-art의 성능을 달성하였습니다. 아직까지는 낯선 Graph Neural Network에 대해 계속해서 세미나를 진행해 주시어 많은 도움을 받고 있습니다. 좋은 발표 감사합니다.

금일 세미나는 “Deeper Graph Neural networks”라는 논문을 소개해 주셨습니다. 일반적으로 GCN과 같은 Message-passing 기반의 모델은 많은 층을 쌓거나, 많은 Hidden node를 가질 수록 Receptive Field는 증가하는 경향을 갖고 있습니다. 따라서 많은 층을 쌓을 수록 성능이 향상되어야 하지만, Over-smoothing 문제가 발생하여 대다수의 연구들은 2~4개의 층만을 적용하여 연구를 하였습니다. Deep GCN은 이러한 문재를 개선하기 위하여 DropEdge를 적용합니다. Drop Edge는 연산할 때 특정 Edge를 drop 함으로써 Graph에 perturbation을 생성하는 방법입니다. 이를 적용한 Deep GCN은 해당 분야에서 SOTA를 달성하였습니다. 오늘 설명해 주신 DropEdge는 일반적으로 활용하는 Dropout과 매우 흡사한 구조로 보이며, 간단한 아이디어가 모델의 성능을 향상시켰다는 점이 인상깊었습니다. 좋은 발표 감사합니다.

어떤 모델 혹은 네트워크의 작동 과정을 파악하고 그에 따른 문제의 원인을 찾는 것은 매우 중요한 과제라고 생각합니다. 본 세미나는 GCN 네트워크의 Capacity를 기존의 딥러닝 모델과 같은 방식으로 늘릴 수 없는 이유와 그에 대한 해결책으로 제시된 논문을 다루었습니다. GCN 네트워크의 경우 그래프라는 특수한 구조에 적용되는 딥러닝 모델이기 때문에 모델이 딥 해질수록 그래프의 지역적인 구조를 반영할 수 없는 oversmooting 현상이 발생해 capacity를 늘리는데 제약이 존재하게 됩니다. 이번 세미나에서 그 현상에 대한 원인과 그 실험결과를 알아볼 수 있어서 좋았고 또한 대안으로 제시된 dropedge라는 방식에서 이 문제를 어떻게 해결하기 위해 어떤 방법론들이 연구되고 있는지 알아볼 수 있어 조금이나마 연구 흐름을 짚을 수 있었습니다. 좋은 발표 감사합니다.

오늘 세미나는 Deep GNN을 주제로 진행되었습니다. 기존의 딥러닝 모델과 유사하게 GNN모델도 더 깊어질수록 성능이 향상된다는것은 이미 알려져 있습니다. 본 논문을 통해 어떻게 하면 더 좋은 성능을 보이는 방향으로 모델의 Capacity를 높이며 좋은 representation을 만들어 낼 수 있는지에 대해 알 수 있었습니다. 하지만 레이어가 깊어질수록 oversmoothing문제가 발생하기 때문에 drop edge라는 방법을 사용했고, 이 아이디어는 정규화를 통해 해당 문제를 해결할수 있다는 점을 시사합니다.

이번 세미나는 깊은(deep) 그래프 신경망의 성능을 향상시키기 위한 방법론에 대해 진행되었습니다. 본 연구는 그래프 네트워크 구조에서 어떻게 더 깊은 네트워크를 쌓아, 더 좋은 학습성능을 얻어낼 수 있는 지에 대한 고민에서 시작되었다고 생각합니다. graph구조에서 layer를 더욱 많이 쌓아, deep하게 네트워크를 만들 수록, adjacency matrix의 연산 과정에서 over-smoothing문제가 발생하게 됩니다. 이는 deep graph network의 성능 저하를 유발하게 됩니다. 이를 해결하기 위한 방법으로 adjacency matrix에서 edge들을 dropout해 regularization하는 방법이 제안되었습니다. 이는 모델의 overfitting을 방지하고, unseen data에 대한 성능향상을 이끌어낼 수 있었습니다. 세미나 서두에서 그래프 네트워크에 대한 간략한 설명과 함께 배경지식을 채워주셔서, 전체적인 세미나 내용에 대한 이해를 높일 수 있었습니다. 좋은 발표 감사드립니다.

Graph를 이미지의 상위 개념으로 생각하고 convolutional operation을 적용하는 연구가 활발합니다. 이에따라 CNN의 발전 방향과 비슷하게 GNN도 발전하지 않을까 생각합니다. 본 세미나에서 소개해준 논문에서는 GNN이 layer를 쌓을때 oversmoothing 되는 문제를 풀고있습니다. CNN에서도 VGG가 나오면서 더 깊은 구조가 좋은 성능을 낼 수 있다는 것을 입증하였으나 ResNet에서는 무조건적으로 layer를 쌓는 것은 성능 향상에 좋지 못하다는 것을 알 수 있었습니다. 이를 극복하기 위해 residual block 을 사용하게 되며 이를 통해 매우 좋은 분류 성능을 얻을 수 있었습니다. 본 논문에서는 oversmoothing 문제를 구조적으로 해결한 것이 아니라 그래프의 edge를 자르는 방식으로 해결하고 있습니다. 즉 이미지 인풋에 노이즈를 가하는 정규화를 진행하는 것과 같이 그래프 인풋의 정규화로 풀고 있습니다. 개인적으로는 그래프 분야에서 발생하는 oversmoothing 또한 구조적으로 residual block 과 같은 아이디어로 해소될 수 있지 않을까 생각했습니다.

이번 세미나는 “Deeper Graph Neural networks”라는 논문에 대해 소개해주셨습니다. Message-passing을 기반으로 하는 그래프 모델은 그 구조가 깊어질수록 over-smoothing 문제가 발생할 수 있다는 한계점을 갖습니다. 이를 해결하기 위해 간단한 아이디어로써 edge-cut을 제안하는데, 이는 neural net의 drop-out과 유사한 방식으로 작동한다고 이해하였습니다. 이러한 간단한 해결책을 통해 구축하는 그래프의 각 개체들에 노이즈를 부여함으로써 좋은 성능을 달성했습니다. 그래프 분야를 잘 모르기는 하지만, 다른 분야에서 이미 성능이 입증된 방법론을 통해 많은 개선을 이룰 수 있다고 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 Deeper Graph Neural Nerworks를 주제로 진행되었습니다. 말 그대로 GNN network의 layer를 깊게 쌓아 GNN의 Capacity 증가로 성능향상으로 꾀하고자 하였습니다. 하지만 GNN에서 Layer의 수가 증가 할수록 재귀적인 Local average로 인해 학습의 진전이 안되는 over-smoothing 문제가 발생합니다. 이를 해결하고자 Drop Edge 방법과 Weights에 의한 output 을 normalize하는 방법에 대해 소개해주셨습니다. GNN에 대해서는 낯선 분야이지만 발표자분께서 발표 초반에 GNN에 대해 전반적인 설명 및 본 논문 설명시 이해가 잘 되게 설명해주셔서 발표를 듣는데 어려움이 없었습니다. 좋은 발표 감사합니다.

사실 latent vector를 그래프 형태로 표현하는 것을 잘 이해하지 못하고 있었는데 관련 세미나를 들으며 조금씩 그래프 모델의 강점에 대해 이해하는 것 같습니다. 또한 이웃하는 노드 간의 locality를 반영하면서 over-smoothing을 방지할 수 있는 다양한 방법을 소개해주셨습니다. Over-smoothing을 해결하기 위해 2~4개의 레이어만 사용할 수 있다는 것은 그래프 구조의 모델 관점에서는 큰 제약이라 생각합니다. Deeper GNN 부분의 발표에서는 그래프 모델의 capacity가 제한될수록 표현력이 감소한다고 언급해주셨는데, 그래프 분야에서만큼은 경량화보다는 모델을 키워서 고유한 구조로부터 이점을 얼마나 얻을 수 있을지 기대가 됩니다. 이에 따라 over-smoothing 문제를 해결하려는 연구의 발전이 활발할 것 같습니다. 좋은 발표 감사합니다.

Graph neural net같은 경우, 다른 neural network의 구조와 다르게, 깊게 쌓지 못한다는 한계가 있습니다. 깊게 쌓을수록 멀리 있는 node 정보까지 aggregation해버려, graph의 local 정보를 잘 잡지 못하게 되는 over-smoothing 문제가 발생하기 때문입니다. 이번 세미나에서 소개해주신 논문에서는 이러한 문제를 해결하기 위해 학습 시 일정 확률로 edge를 drop하는 DropEdge를 사용하였습니다. DropEdge 방법은 over-smoothig을 막을 수 있기 때문에 기존 모델을 deep하게 쌓아 이 방법을 적용하여 좋은 성능을 달성할 수 있었습니다. graph 구조 자체가 일반적은 neural network와 다르다 보니, 학습 시 고려해야 하는 점이 더 많은 것 같은데 항상 세미나 때 여러 방법들을 소개해주셔서 많은 도움을 받고 있습니다. 감사합니다.

금일 세미나는 deep graph neural network에서 발생하는 oversmoothing문제를 분석해보고 이에 대한 solution을 제안하는 논문 리뷰로 진행되었습니다. 그래프에서는 이웃들의 정보가 굉장히 중요한데, 고려하는 이웃 층의 개수가 늘어남에 따라 이웃정보가 smoothing 되는 현상을 oversmoothing이라 일컫습니다. 이 문제를 보완하고자 dropedge 방법을 제안하였고 구체적으로는 epsilon smoothing layer를 통해 graph가 subspace로 수렴하지 못하도록 하는 기능을 수행합니다. 이 dropedge를 활용함에 따라 Deep GNN의 layer를 더 깊게 쌓을 수 있고, 이는 성능향상으로 이어지는 것을 발표를 통해 확인할 수 있었습니다. 현재 모델의 한계점과 이를 해결하기 위한 방법론, 또 개선된 결과를 깔끔하게 구성해주셔서 발표 이해하기에 좋았습니다. 좋은 발표 진행해주셔서 감사합니다.

이번 세미나 주제는 Deeper GNNs였습니다. 먼저 GNN의 역사에 대하여 다뤄주셨는데요. 간단하게 정리하자면 최초의 GNN은 RNN구조를 통해서 directed acyclic graph로 일반화를 하였고, 이미지의 각각의 픽셀들을 그래프 관점에서 image segmentation으로 해석 및 더 나아가 GNN을 CNN의 개념으로 보아 GCN이라는 개념이 탄생하게 되었습니다.

GNN에서 Message Passing Neural Networks는 이웃 노드 정보를 이용하여 해당 노드의 representation을 업데이트하는데요. 그중 대표적인 GCN은 Graph 내의 Node들이 인접한 이웃들의 정보를 Aggregate하는 방식을 Message Passing에 근간하여 그래프 상의 해당 노드의 latent Vector를 해당 노드의 neighbor로 표현한 것입니다. 일반적으로 receptive field 관점에서 layer를 많이 쌓을 수록 모델의 capacity가 높을 것을 기대하지만, (deeper) GNN은 그렇지 않았습니다. 이는 바로 "Over-smoothing", Layer의 수가 증가 할수록 재귀적인 Local average로 인해 학습의 진전이 안된다"는 문제가 발생하기 때문인데요. GNN 의 aggregation 특징상 계층이 깊어질 수록 hidden representation은 특정 subspace로 수렴해린다고 말씀해주셨습니다.

발표자 분께서는 이를 해결할 수 있는 방법으로 DropEdge를 소개해주었습니다. 이는 Random하게 Adjacency Matrix의 Edge를 Drop하여 graph perturbation을 생성해주는 방법으로, Data Augmentation의 효과를 갖도록 하였습니다. 좋은 발표 감사합니다!

금일 세미나는 "Deep GNNs"라는 주제로 진행되었습니다. 본 발표에서는 Deep Graph Neural Network의 성능 저하의 원인을 파악하고 이를 해결하기 위한 연구들이 소개되었습니다. 특히 모델의 Capacity를 향상시키기 위한 깊은 구조의 GNN 구조를 학습하는데 발생하는 Over-smoothing 문제를 해결하기 위한 DropEdge 방법론이 발표의 주를 이루었습니다. 해당 방법론은 adjacency matrix를 대상으로 일정 확률을 기반으로 dropout을 수행하여 기존 Backbone 모델에서 layer 구조를 deep 하게 설계하여 SOTA 성능을 도출하였습니다. 최근 제가 공부하고 있는 이상치 탐지 분야에서도 그래프에 대한 이상치 탐지 수행이 시도되기 시작했는데, 해당 발표를 통해 이 분야에 대해서도 관심을 가져봐야겠다는 생각이 들었습니다. 좋은 발표 감사합니다.

이번 세미나에선s deeper graph neural networks 논문을 발표해주셨습니다. 이전부터 gnn에서 over-smoothing 문제가 많이 걸림돌이 되었습니다. 해당 연구에서는 dropout과 유사한 drop edge라는 방법을 통해 이 문제를 해결하고자 하였습니다. 이를 적용한 Deep GCN은 매우 좋은 성능을 보이는 것을 확인할 수 있었습니다. 간단한 아이디어를 통해 높은 성능을 이끌어낸 매우 좋은 논문이라는 생각이 들었습니다. 좋은 발표를 해 주셔서 감사합니다.