해당 글은 ChatGPT 4o With canvas로 만들었습니다.  문서를 파싱하는 것까지는 많은 오픈 소스랑 논문들이 있지만, 이 순서를 잘 정리해 주는 방법에 대한 것들은 많이 찾아보기가 어려웠다. 그래서 곰곰이 생각했을 때 각각의 파싱 된 결과를 노드로 생각하고 그것을 읽는 순서를 엣지로 정의하면 좀 더 쉽게 풀리지 않을까 싶은 생각에 시도했다가 생각보다 잘 되지 않았다.그래서 Reading Order에 대한 논문을 찾던 도중 구글에 다니는 분들이 쓴 논문이 있어서 살펴봤다. 내용중에서 그래프랑 이미지를 같이 쓰는 것과 초기 edge를 어떻게 정의하는지가 눈에 띄었다.문서 읽기 순서 예측의 중요성문서 내의 텍스트가 어떤 순서로 읽혀야 하는지 예측하는 것은 매우 중요한 과제입니다. 특히, 다중 열 ..

해당 글은 ChatGPT 4o With canvas 로 만들었습니다.  해당 내용은 GSL에 관심이 생겨서 알아보게 되었고, 논문이 많아서 일단 GPT한테 부탁해서 정리를 시켜본 글이다.일단 내가 알고 싶은 것은 아래 그림처럼 기존의 그래프가 있을 경우, 이 그래프가 노드의 정보를 잘 담아서 다시 학습할 수 있는 방법에 대해서 궁금하게 되어서 찾아보게 되었습니다. 그래프 구조 학습(Graph Structure Learning, GSL)은 복잡한 데이터 간의 관계를 이해하고, 이를 통해 데이터를 더 잘 활용하는 기술입니다. GSL은 소셜 네트워크 분석, 추천 시스템, 지식 그래프 등에서 널리 사용되고 있으며, 그래프 신경망(Graph Neural Networks, GNN)과 결합해 뛰어난 성능을 발휘합니다..

목차 Objective 이 글의 목적은 Fraud Detection과 GNN을 결합하는 방식을 배우기 위해서 글을 작성해봅니다. Introduction to Fraud Detection 사기 탐지(Fraud Detection)는 기업이 승인되지 않은 금융 활동을 식별하고 방지할 수 있도록 하는 일련의 프로세스 및 분석입니다. 여기에는 사기성 신용 카드 거래, 도난 식별, 사이버 해킹, 보험 사기 등이 포함될 수 있습니다. 사기는 누군가가 속임수나 범죄 활동을 통해 귀하의 돈이나 기타 자산을 빼앗을 때 발생합니다. 결과적으로 효과적인 사기 탐지 시스템을 갖추면 기관에서 의심스러운 행동이나 계정을 식별하고 사기가 진행 중인 경우 손실을 최소화하는 데 도움이 될 수 있습니다. ML 알고리즘을 기반으로 하는 사..

GCN는 Convolutional Aggregator를 사용하는 방식으로 위치는 다음과 같다. 해당 그래프가 있다면, 해당 그래프에서 GCN에서 필요한 정보는 다음과 같이 크게 3개가 될 수 있다. Adjancy matrix(A) , Degree Matrix (D) ,Feature Vector(X) AX를 구할 때 다음과 같이 구할 수가 있게 되고, 여기서 발생되는 문제점들은 아래에서 소개해드리겠습니다. 아래와 같은 그래프가 있다고 하였을 때, GCN을 적용해보고자 한다. 해당 테스크는 노드 분류를 하는 것이지만, 여기서는 GCN LAYER을 구현하는 것까지만 진행하고자 한다. import numpy as np from networkx.algorithms.community.modularity_max im..

간단하게 확인해보기 MultiAgent RL에서 에이전트 수가 많고 복잡한 게임 관계로 인해 POLICY LEARNING에 많은 어려움을 겪는다고 한다. 그래서 학습 과정을 단순화하는 것도 MARL에서는 중요한 연구 대상이다. 대부분 MARL에서 지역적으로 에이전트 간의 상호작용이 발생하는 경우가 많아서, 다른 모든 에이전트에 대한 것들을 다 조정할 필요는 없습니다. 기존 방법에서는 미리 정의된 규칙을 사용하여 에이전트 간의 상호 작용 관계를 확보하려고 합니다. 그러나 에이전트 간의 복잡한 상호작용을 규칙으로 변환하기가 어렵기 때문에 대규모 환경에서는 방법을 직접 사용할 수 없습니다. 그래서 본 논문에서는 COMPLETE GRAPH로 에이전트 간의 관계를 모델링하고, 두 에이전트 간의 상호 작용 여부와 ..

GNN 자료를 천천히 정리해보고 공부하려고 함. 주기적으로 업데이트 하려고 함. 내용 링크 업데이트 시기 자료 시기 CS224W http://web.stanford.edu/class/cs224w/ 21/07/03 CS224W-YOUTUBE https://www.youtube.com/watch?v=JAB_plj2rbA&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=1&ab_channel=stanfordonline 21/07/03 Intro to graph neural networks (ML Tech Talks)(Tensorflow Youtube)(직관적) https://www.youtube.com/watch?v=8owQBFAHw7E&t=898s&ab_channel=Ten..

deepmind에서 Physics까지 학습하는 논문을 2020년에 냈다 ㄷㄷㄷ 아직 읽어보지는 안았지만, 사실 읽어도 잘 이해 못 할 것 같다. 시간을 두고 확인을 해봐야 할 것 같다. 특히 강화학습에서 이 논문은 참 유용할 것 같다. 왜냐하면 강화 학습을 하기 위해서는 결국 환경이라는 것을 만들어야 하고, 실제 환경과 유사하기 ai가 작동되게 하려면, 에이전트가 실제 환경에서 도는 것처럼 유사한 시뮬레이터를 만들어야 한다. 여기서 가장 장애물로 생각하는 것은 실제 physics를 어떻게 학습해서 ai 모델에게 제공할지가 고민이다. 실제로 physics를 바로 파이썬으로 제공하는 경우는 상관이 없지만, 아마 대부분은 제공하지 않을 텐데, 이것까지 ai로 학습할 수 있다고 하니, 읽어볼 리스트에 넣어 놓고..

기존 데이터를 활용하여, gnn 데이터로 바꾸는 것 해보기 간단하게 만드는 것을 확인해봄. 아직 완전히 각각의 구성요소에 대한 설명은 확인해봐야 함. import torch from torch_geometric.data import InMemoryDataset, download_url from torch_geometric.data import Data class TestDataset(InMemoryDataset): def __init__(self, data_list): super(TestDataset, self).__init__('/tmp/TestDataset') self.data, self.slices = self.collate(data_list) x = torch.Tensor([[1], [1], [1..

CUDA -> cpu, cu101, cu102, cu11로 교체 pip install torch==1.8.1+cpu torchvision==0.9.1+cpu torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html pip install torch-scatter -f https://pytorch-geometric.com/whl/torch-1.8.0+cpu.html pip install torch-sparse -f https://pytorch-geometric.com/whl/torch-1.8.0+cpu.html pip install torch-cluster -f https://pytorch-geometric.com/whl/torch-1...

gnn 관련 자료들 수집중... applicatin과 예제 코드 jonathan-hui.medium.com/applications-of-graph-neural-networks-gnn-d487fd5ed17d Applications of Graph Neural Networks (GNN) In two previous articles, we present an overview of the GCN and GNN networks. In our final article, we will cover their possible… jonathan-hui.medium.com neptune.ai/blog/graph-neural-network-and-some-of-gnn-applications Graph Neural Networ..

언젠가는 읽어야지... https://arxiv.org/abs/2012.08752

2021.03.13 - [관심있는 주제] - GNN- 1탄 Graph 기본 개념 알아보기 2021.03.13 - [관심있는 주제] - GNN - 2탄 GNN 기본 개념 알아보기 앞 글에서는 GNN을 하는데 있어 Graph가 먼지 어디에 적용하고, 현재 왜 적용하고 싶어 하는지에 대해서 알아봤다. 이번 글에서는 GNN에 대한 기본적인 설명을 적어보려고 한다 GNN은 이름에서도 알 수 있듯이 그래프에 직접 적용할 수 있는 신경망이다. 점 레벨에서, 선 레벨에서, 그래프 레벨에서의 예측 작업에 쓰인다. 여기서 나온 글에서는 3개의 큰 개념 알고리즘이 있다. Recurrent Graph Neural Network Spatial Convolutional Network Spectral Convolutional Ne..