올라프의 AI 공부

💡 정리 Problem - Transformer : 시퀀셜 데이터에 long-range interaction 학습 (+) expressive (context-rich) (-) computationally infeasible for long sequences (e.g., 고해상도 이미지) - CNN : local interaction을 더 우선시하는 inductive bias 가짐 (+) efficient ($\because$ 이미지 내 강한 지역적인 상호작용에 대한 prior 가지기 때문) ⇒ Transformer + CNN 장점 결합, 단점 보완한 effective (from CNN) and expressive (from Transformer) model Idea - 목적 : 트랜스포머의 학습 능력을 ..

논문 코드 1) ProbSparse self-attention parser.add_argument('--attn', type=str, default='prob', help='attention used in encoder, options:[prob, full]') 2) Self-attention distilling conv1d, maxpooling 사용하여 more focused feature map 형성 parser.add_argument('--distil', action='store_false', help='whether to use distilling in encoder, using this argument means not using distilling', default=True) 3) Genera..

GCN = GNN + CNN GNN과 CNN을 합친 형태인데 각각에서 어떤 것을 취했는지 알아보겠다. 먼저, GNN(Graph Neural Network)에 대해 알아보겠다. GNN은 연결관계와 이웃들의 상태를 이용하여 각 노드의 상태를 업데이트하고 학습한다. 그리고 학습된 마지막 상태가 최종 노드 임베딩이 된다. GNN은 크게 (1)Recurrent GNN, (2)Spatial Convolutional Network, (3)Spectral Convolutional Network 이 세 가지 유형으로 나눌 수 있다. 이 중에서 (3)Spectral Convolutional Network가 수학적 기반이 있기 때문에 더 잘 쓰이고 GCN 또한 이 기반이다. Spectral Convolutional Netw..

Abstract 지식그래프 완성은 entity 간의 link prediction을 하는 것을 목표로 한다. TransE, TransH와 같은 모델은 relation을 translation으로 간주하고 Entity embedding과 Relation embedding을 만든다. 하지만, 본 논문은 entity도 다양한 측면을 가지고 있고 다양한 relation도 이러한 다양한 측면의 entity에 집중하고 있기 때문에 같은 공간에 두 임베딩을 만들 경우, 차원이 불충분하다고 주장한다. 이에 Entity embedding과 Relation embedding을 각각 다른 차원에 구축하는 TransR을 제안한다. TransR은 아래 두 단계로 진행된다. Step1. Project entities from ent..

Multi-relational data modeling 방법 예시는 아래와 같이 세 가지로 나뉠 수 있다. (1)Social Network Analaysis, (2)Recommender System, (3)Knowledge Bases(KBs) Entities Edges(Relationships) Social Network Analysis members friendship/social relationship links Recommender System users, products buying, rating, reviewing, sesarching for a product Knowledge Bases abstract concept or concrete entity of the world predicates ..

Introduction 지식그래프 임베딩(Knowledge Graph Embedding, KGE) Model을 사용하기 위해서는 지식그래프(Knowledge Graph, KG)가 존재해야 한다. 이를 위해 이번 포스트에서는 지식그래프(KG)를 어떻게 구축하는지에 대해 공부하고 정리해보았다. KG는 지식베이스(Knowledge Base, KB)를 그래프화시킨 데이터라고 생각하면 되는데, 이 때 KB는 (head entity, relation, tail entity) 형태로 존재한다. 이 (h, r, t) 구조를 triplet(또는 triple), fact라고 부른다. 예를 들어 아래 네 가지 triplet이 존재할 때 오른쪽처럼 그래프로 나타낼 수 있으며 이를 Knowledge Graph(KG)라고 부른다..