올라프의 AI 공부

💡 정리 Problem - Transformer : 시퀀셜 데이터에 long-range interaction 학습 (+) expressive (context-rich) (-) computationally infeasible for long sequences (e.g., 고해상도 이미지) - CNN : local interaction을 더 우선시하는 inductive bias 가짐 (+) efficient ($\because$ 이미지 내 강한 지역적인 상호작용에 대한 prior 가지기 때문) ⇒ Transformer + CNN 장점 결합, 단점 보완한 effective (from CNN) and expressive (from Transformer) model Idea - 목적 : 트랜스포머의 학습 능력을 ..