이정호 석박통합과정 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 Knowledge Graph Representation 주제 관련 2개의 논문을 소개해 주셨습니다. 먼저 발표 초반부에 Heterogeneous Network Embedding 관련해서 기존의 연구 흐름들을 한장으로 도식화 해서 보여주셔서 한눈에 보기 편했습니다. 첫 번째 논문은 Metapath2Vec 이라는 논문으로 Homogeneous graph network에 사용되던 기존의 Deepwalk 방법론을 Heterogeneous graph에 적용한 논문이었습니다. 두 번째 논문은 Explainable Reasoning over Knowledge Graphs for Recommendation 이라는 논문이었습니다. 개인적으로 추천 시스템의 결과가 왜 그렇게 추천이 됐는지를 설명할 수 있는 설명력이 매우 중요하다고 생각하는데 이 논문에서는 User-Item Interaction 정보와 Knowledge Graph 정보를 함께 결합하여 기존의 협업 필터링 방식보다 한 단계 더 나아가 나와 비슷한 유저가 특정 아이템을 왜 좋아했고 나랑 해당 유저는 어떤 관계가 있기 때문에 나한테 이 아이템을 추천하게 됐는지에 대해서 Reasoning 이 가능하게 끔 모델을 구축한 것이 흥미로웠습니다. 발표 잘 들었습니다. 감사합니다.

이번 세미나는 이정호 석박과정의 Knowledge Graph Representation에 대한 내용이었습니다.
graph 구조에는 다양한 특성을 가지는 노드 또는 에지들 간의 연결을 나타낸 graph인 heterogeneous graph가 있습니다. 세미나에서 발표한 논문인 metapath2vec은 이러한 heterogeneous graph 구조를 임베딩하는 방법론에 관한 논문입니다. metapath2vec은 ‘다른 특성을 가지는 노드는 다른 공간에 임베딩을 하자’라는 기저로 시작합니다. graph 구조에서 시퀀스를 구성할 때 다른 type의 노드를 각각 따로 구성해줌으로써 다른 공간에 임베딩 되도록 구성합니다.

matapath2vec의 방법론을 설명할 때 예시를 들어 각 단계별로 설명해주어 이해하기 좋았습니다. 꾸준히 추천시스템 분야를 연구하고 있는데 좋은 결과 있길 바랍니다.

Heterogeneous Graph 및 Metapath를 활용한 추천 시스템에 관한 발표였습니다. 기존 추천 시스템이 유저 또는 아이템이라는 한정된 타입의 노드를 통해 그래프를 구축하고 추천을 수행했다면, 이번 세미나에서 소개된 연구는 해당 도메인 내 다양한 타입의 노드를 고려한 그래프를 구축합니다. 예를 들어, 음악 추천 시스템에서는 작곡가, 가수, 앨범, 곡 등 다양한 유형의 노드간 상호연관성을 고려할 수 있으며, 영화 추천 시스템에서는 배우, 감독, 작품간의 관계를 고려할 수 있습니다. Metapath는 이렇게 구축된 그래프 상에서 가능한 노드 상에서의 이동을 하나의 sequence로 표현한 것입니다. 이를 통해 interaction이 일어난 노드간 관계를 중간의 여러 edge 등을 통해 반영할 수 있습니다. 오늘의 발표 논문은 기존에 Homogeneous 그래프에 적용되던 Metapath2vec 방법론을 Heterogeneous 그래프에 적용했다는 점에서 큰 의미가 있다고 생각합니다. 추가적으로 이러한 path를 통해 추천의 이유를 설명할 수 있게 된 점 또한 유저 정보 및 선호도 파악 시 유용한 정보가 될 것 같습니다. 하지만 세미나에서 언급되었던 것 처럼 사용된 relation type 자체가 많지 않기 때문에 heterogeneous한 그래프의 특성이 잘 반영이 되었는가에 대한 의문이 남기도 합니다. 이러한 의문을 해결하려면 특정 type에서 특정 type으로 가는 relation의 유형이 다양해야 하는데 이 또한 예시가 쉽게 떠오르지는 않기에, relation type을 어떻게 추천 시스템에 더 유용하게 반영할 수 있을지에 대한 고민이 필요해 보입니다. 좋은 발표 감사합니다.

이정호 석박통합과정의 세미나 주제는 Knowledge Graph Representation 입니다. 첫번째로 소개한 논문은 Homogeneous graph network에 사용되던 주요 방법론 중 하나인 Deepwalk를 Heterogeneous graph에 적용한 metapath2vec입니다. 기존 Homogeneous graph network에서는 한정된 타입의 노드만을 이용하여 경로를 구성하고 Embedding을 했다면 matapath2vec은 다양한 타입의 노드에서 여러 유형의 노드간의 경로를 통해 상호연관성등을 학습하고 Embedding 되도록 구성했다는 특징을 갖고 있습니다. 이 논문을 적용하면 추천 세스템을 개발할 때 다양한 상품과 유저 사이의 연관성등을 고려할 수 있다는 장점을 갖고 있습니다. 다만 논문에서 아쉬운 점은 데이터를 구성할 때 사전정보(어떤 타입의 path가 중요한지)를 미리 알고 있어야 하고 그 사전정보에 따라 정확도가 많이 달라진다는 점 입니다. 이는 알고있는 사 정보를 알고리즘에 녹일수 있는 장점이기도 하지만 개인적으로는 이러한 부분까지 다량의 데이터로부터 학습할 수 있어야 하지 않나 생각합니다. 좋은 발표 감사합니다.

GNN에서는 기존의 homogeneous graph 를 학습하는 방식이었다면 본 세미나에서는 다른 TYPE의 노드 정보를 학습 할 수 있는 방법론을 설명하였습니다. 다른 type의 노드 정보를 활용함으로써 추가적인 정보를 활용함으로써 노드등의 상호연관성을 탐색하고 diversity를 높이는 representation을 취하여 모델의 성능을 향상 시켰습니다. 하지만 큰 그림을 봤을때 결국 더 많은 데이터의 정보를 구하여 그래프에 반영한 모델이라고 생각됩니다. 따라서 데이터의 (메타)정보가 부족하게 되면 사용하기 어려운 모델이라고 생각됩니다.

knowledge graph representation에 대한 세미나 발표를 들었습니다. 본 세미나에서 다룬 논문은 metapath2vec과 explainable resoning over knowledge graph for recommendation입니다. 예전 NeurIPS에 발표된 논문인 Graph Transformer에서 MetaPath라는 개념을 한 번 접한 적이 있는데 해당 개념이 어떤 내용인지를 구체적으로 알 수 있었습니다. 발표에서 왜 기존의 homogenous graph를 이용한 방식에 비해 heterogeneous graph에 metapath를 적용한 방식이 나은지 직관적으로 잘 설명해주셔서 좋았습니다. 두번째 논문은 Explainable이 핵심인 논문으로써 Knowledge graph를 기존의 추천 시스템의 방식에 결합해 왜 해당 아이템을 추천했는지를 나타낼 수 있도록 했습니다. 추천에서의 설명 가능성은 처음 들었는데 실제 적용시 매우 활용도가 높겠다는 생각이 들었습니다. 좋은 논문을 소개해주셔서 감사합니다.

Heterogeneous graph와 metapath2vec에 대한 세미나였습니다. 우선 기존의 homogeneous graph를 사용하지 않는 이유와 heterogeneous graph를 사용하여 얻을 수 있는 장점을 이해하였습니다. Heterogeneous graph에서는 다른 특성을 가지는 instance들을 다른 특성을 가지는 노드로 나타낼 수 있습니다. 이를 통해서 같은 공간에 있더라도 배우, 감독, 영화와 같이 보다 풍부한 의미를 가지는 그래프를 생성할 수 있습니다. 이렇게 생성한 그래프에서 Metapath를 통하여 노드간 edge를 잇는 방식이 Metapath2vec입니다. 하지만 본 방법론은 기존에 metapath에 대한 정의를 사람이 직접 하거나, 매우 긴 시간을 들여 metapath를 찾아야하는 치명적인 단점이 있습니다. 예전에는 이러한 단점이 있으면 아 연구를 위한 연구구나 라는 생각에 그쳤는데, 최근에는 굉장히 열려있는 연구라는 생각이 듭니다. 장점이 뚜렷하지만 그만큼 고칠점도 명확하기때문에 조금만 수정해도 좋은 연구가 될 수 있기 때문입니다. GNN뿐만 아니라 이런 식의 연구도 꾸준히 진행하면 재밌을 주제라는 생각을 하였습니다.

Network embedding에서 다양한 방법론들을 하나의 장표로 나타내어 한 눈에 알 수 있었습니다. 기존 옛날 방법인 Homogeneous graph network의 Deep walk 방법론을 Heterogeneous graph에 적용한 것을 보고, 이전 방법론들도 진부하다 생각하지 말고 깊게 알아야 훗날 이용하여 더 좋은 방법론이 나오지 않나 생각합니다. 발표 논문에서 관계형 타입이 적기 때문에, 만약 이러한 것들이 많더라도 유의미한 결과가 나올지 의문이 들었습니다. 다른 관점으로는 모델 측면에서 관계형이라는 정보를 주었기 때문에 성능 향상이 있었지만 그러한 데이터를 구할 수 없다면 한계가 있을 것이라 생각합니다. 추천 관련하여 공부를 지속적으로 하고 있는데 훗날 본인의 아이디어를 적용하여 좋은 결과가 있길 바랍니다.

이번 세미나는 knowledge graph representation 이라는 주제로 진행되었습니다. 그래프 관련 세미나가 많아지는만큼 관련 분야에 대해 공부해야겠다는 생각이들었던 기회였습니다. 또한 현업에서 가장 많이 사용되는 기술인 추천시스템에 대해 꾸준히 공부해야함을 느꼈습니다. 먼저 graph기반 신경망은 비 유클리드 데이터를 학습하기위해 학습할 대상을 node로, node간의 관계를 edge로 나타내 데이터의 structure를 학습하는것을 의미합니다. 오늘 세미나는 Heterogeneous Network Embedding에 내한 내용으로 Metapath기반의 representation에 대해 세미나를 진행하였습니다. 기존의 추천시스템은 크게 User-base, item-base로 진행되며 이는 homogeneous한 graph임을 알 수 있습니다. Heterogeneous graph를 생성하면 기존에 고려하지 못했던 다양한 종류의 node들의 관계를 파악할 수 있으며, 이때 하나의 meta path를 subgraph로 보고 subgraph의 구조적 정보를 반영하여 embedding을 진행하였습니다. 아직은 citation network같이 metapath가 확실하고, 다양한 종류의 relation이 고려되지 않은 상황에서 연구가 진행되고있지만 여러 data에서 general하게 사용될 수 있는 방법론이 필요하다는 생각을 했습니다.

이번 세미나에서는 Heterogeneous Information Network를 형성하는 방법 중 하나인 Metapath2Vec과 설명 가능한 추천 시스템에 관한 내용을 다루었습니다. 우선적으로 비유클리드 데이터를 활용하기 위해 구조적인 보존을 하며 데이터를 표상하도록 학습하는 방식을 Geometry Learning이라고 합니다. Graph의 형태로 Geometry Learning을 수행하는 방식이 최근 많이 발전하고 있으며, 그 중 이질적인 도메인의 정보를 Graph로 표상한 것을 Heterogeneous Information Network라고 합니다. 이를 임베딩 하기 위한 Metapath2Vec 방법에서는 Heterogeneous Graph에 Random Walk를 적용하여 Path를 생성합니다. 이어 생성된 Path에 Neighborhood Window를 지정하고 Skip-gram 방식으로 임베딩을 진행합니다. 이 과정에서 타입별로 Maximum Probability를 구별하여 노드의 타입을 고려한 임베딩이 진행되도록 합니다.
이어지는 논문에서는 추천 시스템의 추천 이유를 추론하기 위해 Knowledge Graph를 사용합니다.특정 Item들의 다양한 관계를 보존하는 Knowledge Graph에 임베딩을 적용한 후 LSTM을 이용하여 Path의 순차적 의미와 다음 Entity에 관한 관계를 학습하는 방식으로 추천 시스템의 설명 가능성을 보여주는 논문이었습니다.
개인적으로 Graph를 기반으로 하는 추천 시스템에 대해 흥미를 느낄 수 있었습니다. 감사합니다.

본 세미나 시간에는 Graph 기반의 Knowledge Graphs를 추천시스템에 활용하고자하는 2가지 논문 "metapath2vec: Scalable Representation Learning for Heterogeneous Networks", "Explainable Reasoning over Knowledge Graphs for Recommendation" 을 다루어 보았습니다. metapath2vec연구에서는 서로다른 type의 정보를 homogeneous graph로 학습하지 않고 heterogeneous graph로 학습을 하는 이유와 그 결과를 잘 확인할 수 있었으며, 후자의 연구는 유저와 아이템간의 interaction 정보와 함께 knowledge graph 를 추가적으로 활용하여 추천시스템에서의 설명력을 추가적으로 확보할 수 있었습니다. 최근 저 역시도 그래프 관점에서 다양한 논문을 접하는 입장에서 매우 재미있었으며, 앞으로도 그래프관점에서 다양한 논문들에 대해서 서로 의견공유하면 좋을 것 같습니다. 감사합니다.

이정호 학우의 세미나는 어려운 내용을 쉽게 전달하기 위해 많은 노력을 해주시는 것 같아 항상 유익한 것 같습니다. 이번 세미나에서는 크게 2가지 논문에 대해서 발표해주셨습니다. Homogeneous graph와 Heterogeneous graph의 개념조차도 까먹고 있었는데 이에 대해 다시 한 번 상기할 수 있었고, 본 연구에 있어서 그 둘의 차이점이 무엇이고 왜 heterogeneous graph를 사용해야 하는지에 대한 그 이유도 알 수 있었습니다.
이전부터 세미나를 들어보니 이쪽 분야의 연구는 어떻게 머신이 더 많은 정보를 반영할 수 있도록 그 구조를 제안할 것 인지에 대한 논리적 흐름이 굉장히 중요한 것 같습니다. 상당히 어려우면서도 실용성이 높아 매력적인 분야라고 생각이 되는데 앞으로의 연구 활동 및 세미나가 매우 기대가 되는 것 같습니다.