올라프의 AI 공부

💡 정리 Problem - Transformer : 시퀀셜 데이터에 long-range interaction 학습 (+) expressive (context-rich) (-) computationally infeasible for long sequences (e.g., 고해상도 이미지) - CNN : local interaction을 더 우선시하는 inductive bias 가짐 (+) efficient ($\because$ 이미지 내 강한 지역적인 상호작용에 대한 prior 가지기 때문) ⇒ Transformer + CNN 장점 결합, 단점 보완한 effective (from CNN) and expressive (from Transformer) model Idea - 목적 : 트랜스포머의 학습 능력을 ..

논문 코드 1) ProbSparse self-attention parser.add_argument('--attn', type=str, default='prob', help='attention used in encoder, options:[prob, full]') 2) Self-attention distilling conv1d, maxpooling 사용하여 more focused feature map 형성 parser.add_argument('--distil', action='store_false', help='whether to use distilling in encoder, using this argument means not using distilling', default=True) 3) Genera..

GCN = GNN + CNN GNN과 CNN을 합친 형태인데 각각에서 어떤 것을 취했는지 알아보겠다. 먼저, GNN(Graph Neural Network)에 대해 알아보겠다. GNN은 연결관계와 이웃들의 상태를 이용하여 각 노드의 상태를 업데이트하고 학습한다. 그리고 학습된 마지막 상태가 최종 노드 임베딩이 된다. GNN은 크게 (1)Recurrent GNN, (2)Spatial Convolutional Network, (3)Spectral Convolutional Network 이 세 가지 유형으로 나눌 수 있다. 이 중에서 (3)Spectral Convolutional Network가 수학적 기반이 있기 때문에 더 잘 쓰이고 GCN 또한 이 기반이다. Spectral Convolutional Netw..