Detailed Blog Deck

30 Papers 상세 해설

현대 AI를 만든 27개 논문과 학습 자료를 하나씩 읽는 지도.

각 항목을 문제의식, 핵심 아이디어, 이후 AI와의 연결로 정리했다.

이 deck의 기준

항목	기준
출처	GeekNews, 30papers.com 공개 metadata, arXiv API 초록, 원 링크 접근 확인
범위	30papers.com에 정리된 27개 항목
주의	“Ilya가 John Carmack에게 준 목록”이라는 표현은 소문 기반 맥락으로만 취급
목적	블로그 독자가 각 논문의 핵심 내용을 이해하고 읽기 순서를 잡도록 돕기

전체 흐름

1 | Vision | 이미지 구조를 읽는 CNN과 깊은 네트워크의 안정화
2 | Sequence | RNN/LSTM이 시간, 순서, 장기 의존성을 다루는 방식
3 | Attention | 고정 요약 벡터를 넘어 필요한 정보를 직접 참조하는 전환
4 | Memory/Relation | 외부 메모리, 객체 관계, 그래프 구조를 모델링하는 시도
5 | Scale/Theory | 큰 모델을 학습하는 시스템과 일반화를 설명하는 압축 관점

추천 의도: 모델 하나가 아니라 조건 전체

이 목록은 “요즘 중요한 논문”보다 강한 지능형 시스템이 성립하는 조건을 보여준다.

좋은 AI는 데이터 구조에 맞는 inductive bias를 가져야 한다.
긴 시간과 넓은 문맥 속에서 정보를 잃지 않아야 한다.
필요한 정보를 고정 벡터에 욱여넣지 말고 직접 참조해야 한다.
관계, 메모리, 그래프, scale, 압축을 함께 이해해야 한다.

이 목록이 보는 AI의 미래

구조

이미지, sequence, graph처럼 데이터 구조가 다르면 모델의 읽는 방식도 달라져야 한다.

기억

지능은 순간 반응이 아니라, 필요한 정보를 보존하고 다시 꺼내는 능력에 가깝다.

참조

attention은 모든 것을 내부 상태에 압축하지 않고 필요한 위치를 찾아보는 방향을 연다.

규모

성능은 좋은 아이디어뿐 아니라 계산 자원, 병렬화, 학습 시스템과 함께 커진다.

압축

일반화는 데이터를 외우는 것이 아니라 압축 가능한 구조를 찾는 문제로 볼 수 있다.

논문 묶음별 추천 이유

묶음	추천자가 보려 한 질문
CNN/ResNet	모델은 공간 구조를 어떻게 읽고, 깊어져도 어떻게 안정적으로 학습되는가
RNN/LSTM	모델은 시간, 순서, 장기 의존성을 어떻게 잃지 않는가
Attention/Transformer	모델은 필요한 정보를 언제, 어디서, 어떻게 다시 참조하는가
Memory/Relation/GNN	모델은 객체와 관계, 외부 기억, 그래프 구조를 어떻게 다루는가
Scaling/System/Theory	모델은 왜 커질수록 좋아지고, 왜 일반화하며, 어떻게 실제로 학습되는가

블로그 첫 문장으로 잡을 프레임

이 목록은 “필독 논문 27편”이 아니라, AI가 강해지는 데 필요한 조건을 역순으로 복원한 지도다.

AlexNet과 ResNet은 scale과 깊이의 가능성을 보여준다.
Attention과 Transformer는 정보 참조 방식의 전환을 보여준다.
GNN과 relation 계열은 단순 인식을 넘어 구조 추론을 묻는다.
Scaling law와 MDL 계열은 미래 AI를 engineering과 이론 양쪽에서 보게 만든다.

먼저 그룹핑하고 읽기

렌즈	포함 논문	추천 의도
구조 편향	CS231n, AlexNet, ResNet, Dilated Conv, Identity Mapping	데이터의 모양을 아는 구조가 성능을 만든다.
시간과 순서	RNN, LSTM, RNN Regularization, Order Matters, Deep Speech 2	지능은 시간 속 정보를 보존하고 배열의 영향을 이해해야 한다.
선택적 참조	Bahdanau Attention, Pointer Networks, Transformer, Annotated Transformer	미래 모델은 필요한 정보를 직접 찾아보고 조합한다.
메모리와 관계	NTM, Relation Network, Relational RNN, Message Passing GNN	단순 인식보다 객체, 관계, 그래프, 외부 기억이 중요해진다.
규모와 시스템	Scaling Laws, GPipe	큰 모델의 성능은 학습 시스템과 compute 전략 없이는 나오지 않는다.
압축과 지능	MDL, Kolmogorov, Complexodynamics, VLAE, Machine Super Intelligence	일반화와 지능은 압축 가능한 구조를 찾는 문제로 읽을 수 있다.

읽는 동안 붙잡을 질문

각 논문을 따로 외우지 말고, 이 논문이 미래 AI의 어떤 조건을 설명하는지 계속 되물으면 된다.

이 논문은 모델의 구조를 바꾸는가, 학습 방식을 바꾸는가?
정보가 흐르는 경로를 더 안정적으로 만드는가?
모델이 더 넓은 문맥이나 외부 정보를 참조하게 하는가?
더 큰 모델을 가능하게 하거나, 왜 일반화되는지 설명하는가?

그룹 A: 표현 학습의 두 출발점

첫 번째 렌즈는 공간과 시간의 표현이다.

초반부는 CNN과 RNN/LSTM이 함께 등장한다. 의도는 단순하다. 미래 AI를 보려면 먼저 모델이 공간 구조를 읽는 법과 시간 속 정보를 기억하는 법을 모두 이해해야 한다.

1. CS231n

Convolutional Neural Networks for Visual Recognition

문제: 이미지 인식에서 픽셀을 어떻게 의미 있는 feature 계층으로 바꿀 것인가.
아이디어: convolution, pooling, backpropagation, regularization을 컴퓨터 비전 문제 안에서 연결한다.
중요성: CNN을 “이미지용 신경망”이 아니라 spatial inductive bias를 가진 표현 학습 구조로 이해하게 해준다.
연결: AlexNet, ResNet, vision Transformer를 읽기 전 필요한 기본 문법이다.

2. RNN의 이상한 효율성

The Unreasonable Effectiveness of Recurrent Neural Networks

문제: 문자 단위 sequence model이 데이터의 구조를 얼마나 배울 수 있는가.
아이디어: RNN이 이전 hidden state를 통해 과거 문맥을 누적하고 다음 문자를 예측한다.
중요성: 명시적 문법 규칙 없이도 괄호, 코드 스타일, 문체 같은 패턴을 일부 포착할 수 있음을 보여준다.
연결: 다음 token 예측으로 복잡한 구조가 나온다는 LLM 직관의 초기 데모처럼 읽힌다.

3. LSTM 이해하기

Understanding LSTM Networks

문제: 일반 RNN은 긴 시퀀스에서 오래된 정보를 잃기 쉽다.
아이디어: cell state와 forget/input/output gate로 정보를 선택적으로 보존하고 갱신한다.
중요성: 장기 의존성 문제를 “정보 흐름을 제어하는 구조”로 해결하려는 대표 사례다.
연결: attention 이전 시대의 기억 장치이며, 이후 gate, memory, residual flow 개념과 이어진다.

4. AlexNet

ImageNet Classification with Deep Convolutional Neural Networks

문제: 대규모 이미지 분류에서 hand-crafted feature를 넘어설 수 있는가.
아이디어: 깊은 CNN, ReLU, dropout, data augmentation, GPU 학습을 결합한다.
중요성: ImageNet에서 큰 성능 격차를 만들며 현대 딥러닝 붐의 상징이 됐다.
연결: 구조, 데이터, 연산량이 함께 커질 때 성능이 도약한다는 scale 공식의 초기 사례다.

5. ResNet

Deep Residual Learning for Image Recognition

문제: 신경망을 깊게 만들수록 최적화가 어려워지고 성능이 나빠질 수 있다.
아이디어: 전체 변환 H(x) 대신 입력에 더할 residual F(x)를 학습한다.
중요성: skip connection으로 100층 이상 깊은 네트워크 학습을 실용화했다.
연결: Transformer의 residual stream도 같은 철학을 쓴다. 깊은 모델은 깨끗한 우회 경로가 필요하다.

6. Dilated Convolution

Multi-Scale Context Aggregation by Dilated Convolutions

문제: segmentation은 넓은 문맥과 픽셀 단위 해상도를 동시에 필요로 한다.
아이디어: convolution filter 사이에 간격을 두어 해상도 손실 없이 receptive field를 넓힌다.
중요성: dense prediction에서 multi-scale context를 다루는 구조적 해법을 제시했다.
연결: 모델은 task 출력 형태에 맞는 inductive bias를 가져야 한다는 점을 보여준다.

7. Identity Mapping

Identity Mappings in Deep Residual Networks

문제: ResNet의 skip connection은 왜 그렇게 잘 작동하는가.
아이디어: identity shortcut과 pre-activation residual block이 forward/backward signal을 더 깨끗하게 전달한다.
중요성: 깊은 모델에서는 작은 architecture detail이 최적화 안정성을 크게 바꾼다.
연결: Transformer의 pre-norm/post-norm 논의처럼, normalization과 residual 위치는 매우 중요하다.

리마인드: 표현은 구조와 기억에서 시작한다

여기까지의 핵심은 “모델은 데이터의 모양과 시간 흐름을 아는 쪽으로 설계될 때 강해진다”는 것이다.

CNN은 공간 구조를 읽는 편향이다.
RNN/LSTM은 시간 속 정보를 유지하려는 구조다.
ResNet은 깊이를 늘려도 정보가 흐르게 하는 편향이다.
Dilated convolution은 넓은 문맥과 세밀한 해상도를 함께 보려는 편향이다.
이 관점은 Transformer의 residual stream과 attention 구조를 읽을 때도 다시 등장한다.

그룹 B: 시간과 순서를 잃지 않기

두 번째 렌즈는 시간, 순서, 장기 의존성이다.

지능형 시스템은 현재 입력만 보고 반응하는 장치가 아니다. 과거 정보를 보존하고, 입력이 어떤 순서로 주어졌는지 이해하며, 필요 없는 정보는 버릴 수 있어야 한다.

8. RNN Regularization

Recurrent Neural Network Regularization

문제: dropout을 RNN/LSTM에 그대로 적용하면 시간 정보가 깨질 수 있다.
아이디어: recurrent connection이 아니라 non-recurrent connection에 dropout을 적용한다.
중요성: regularization도 모델의 정보 흐름을 이해하고 넣어야 한다는 교훈을 준다.
연결: 대규모 모델에서도 dropout, masking, normalization은 구조별로 다르게 설계해야 한다.

9. Deep Speech 2

End-to-End Speech Recognition in English and Mandarin

문제: 음성 인식 pipeline을 hand-engineered 단계 없이 신경망으로 통합할 수 있는가.
아이디어: end-to-end 학습과 HPC 최적화로 영어/중국어 음성 인식을 확장한다.
중요성: 모델 성능뿐 아니라 학습 속도, 배포 latency, serving 비용까지 함께 다룬다.
연결: LLM 제품도 모델 논문만으로는 안 된다. 시스템과 serving이 성능의 일부다.

10. Order Matters

Sequence to Sequence for Sets

문제: 순서가 없는 집합을 seq2seq로 처리할 때 순서가 성능을 왜곡한다.
아이디어: 입력/출력 순서의 영향을 분석하고, set 구조를 더 원칙적으로 다루는 방향을 제안한다.
중요성: 데이터의 대칭성과 모델 구조가 맞아야 한다는 점을 선명하게 보여준다.
연결: graph network, set transformer, prompt ordering, context packing 문제와도 이어진다.

리마인드: 순서는 그냥 형식이 아니다

여기서 추천 의도는 “sequence model을 배워라”보다 더 넓다.

RNN/LSTM은 시간이 흐를 때 정보를 어떻게 유지하는지 묻는다.
Regularization은 정보 흐름을 망치지 않도록 학습을 제어하는 문제다.
Order Matters는 모델 형식과 데이터 대칭성이 맞아야 함을 보여준다.
나중의 prompt ordering, context packing, long-context 설계도 같은 질문을 반복한다.

그룹 C: 필요한 정보를 다시 찾아보기

세 번째 렌즈는 선택적 참조다.

추천자가 이 묶음을 중요하게 본 이유는 분명하다. 미래의 모델은 모든 정보를 내부 상태 하나에 압축하지 않고, 필요한 순간에 필요한 위치를 다시 찾아보는 구조가 된다.

11. Bahdanau Attention

Neural Machine Translation by Jointly Learning to Align and Translate

문제: encoder-decoder가 문장 전체를 고정 길이 벡터 하나에 압축하면 긴 문장에서 병목이 생긴다.
아이디어: decoder가 매 출력 시점마다 source sentence의 관련 위치를 soft하게 참조한다.
중요성: attention을 neural translation의 핵심 장치로 만든 논문이다.
연결: Transformer는 이 아이디어를 보조 장치가 아니라 전체 architecture의 중심으로 끌어올렸다.

12. Pointer Networks

Pointer Networks

문제: 출력 class 수가 입력 길이에 따라 달라지는 문제는 고정 vocabulary seq2seq와 맞지 않는다.
아이디어: attention을 context vector 생성이 아니라 입력 위치를 가리키는 pointer로 사용한다.
중요성: sorting, convex hull, TSP 같은 구조적 선택 문제에 neural model을 적용했다.
연결: copy mechanism, extractive QA, retrieval 기반 생성처럼 “생성보다 선택”이 중요한 문제와 닿아 있다.

13. Transformer

Attention Is All You Need

문제: RNN/CNN 기반 sequence model은 병렬화와 장거리 의존성 처리에 한계가 있다.
아이디어: recurrence와 convolution을 제거하고 self-attention, residual, FFN, positional encoding으로 sequence를 처리한다.
중요성: 현대 LLM의 기본 architecture를 제시했다.
연결: GPT류 모델은 Transformer decoder를 scale, data, compute와 결합해 확장한 결과다.

14. Annotated Transformer

The Annotated Transformer

문제: Transformer 논문은 구조가 많아 처음 읽을 때 구현 감각을 잡기 어렵다.
아이디어: 논문의 주요 구성요소를 실행 가능한 코드와 함께 줄 단위로 설명한다.
중요성: 수식, tensor shape, masking, training loop 사이의 간극을 줄인다.
연결: LLM 구조를 진짜로 이해하려면 논문 설명과 구현 설명을 함께 봐야 한다.

리마인드: Attention의 진짜 의미

Attention은 “중요한 곳을 본다”는 예쁜 말보다 훨씬 급진적인 전환이다.

고정 길이 벡터에 모든 정보를 압축하는 방식을 깨뜨린다.
출력 시점마다 필요한 입력 위치를 동적으로 참조한다.
Pointer Network는 참조가 곧 선택이 될 수 있음을 보여준다.
Transformer는 이 참조 방식을 전체 모델의 중심 구조로 만든다.

그룹 D: 기억과 관계를 계산하기

네 번째 렌즈는 메모리와 관계다.

강한 AI는 패턴을 인식하는 데서 멈추지 않는다. 무엇이 무엇과 연결되어 있는지, 어떤 기억을 다시 읽고 써야 하는지, 구조화된 세계를 어떻게 계산할지 묻는다.

15. Neural Turing Machines

Neural Turing Machines

문제: RNN hidden state만으로는 복잡한 알고리즘과 장기 메모리를 다루기 어렵다.
아이디어: differentiable attention으로 읽고 쓸 수 있는 외부 memory matrix를 신경망에 붙인다.
중요성: 신경망을 differentiable computer처럼 보려는 대표적 시도다.
연결: retrieval, external memory, tool-using agent 논의와 같은 질문을 던진다.

16. Relation Network

A Simple Neural Network Module for Relational Reasoning

문제: 객체 개별 feature만으로는 관계 질문을 잘 풀기 어렵다.
아이디어: 객체 쌍을 조합해 관계 함수를 적용하고 결과를 집계한다.
중요성: relational reasoning을 plug-and-play module로 분리해 보여줬다.
연결: AI가 “무엇이 있는가”뿐 아니라 “서로 어떻게 연결되는가”를 계산해야 한다는 흐름이다.

17. Relational RNN

Relational Recurrent Neural Networks

문제: memory model은 정보를 오래 기억해도, 기억들 사이의 관계 추론에는 약할 수 있다.
아이디어: multi-head attention을 쓰는 Relational Memory Core로 memory slot들이 상호작용하게 한다.
중요성: 시간적 기억과 관계 추론을 결합한 구조다.
연결: self-attention이 token 관계를 계산하듯, RMC는 memory 내부 관계를 계산한다.

18. Message Passing GNN

Neural Message Passing for Quantum Chemistry

문제: 분자처럼 graph 구조를 가진 데이터는 sequence나 grid로 보면 정보가 어색해진다.
아이디어: node들이 edge를 따라 message를 주고받고, graph 전체 표현을 aggregate한다.
중요성: 여러 GNN을 Message Passing Neural Network 프레임워크로 정리했다.
연결: molecule, knowledge graph, program structure처럼 관계 구조가 핵심인 영역의 기본 문법이다.

리마인드: 단순 인식 이후의 AI

이 묶음은 “AI가 더 똑똑해지려면 무엇이 더 필요한가”를 묻는다.

외부 메모리는 모델 파라미터 밖의 지식과 절차를 다루는 문제로 이어진다.
Relation Network는 객체 쌍의 관계를 명시적으로 계산한다.
Relational RNN은 기억된 정보들끼리 상호작용하게 만든다.
GNN은 세계가 graph일 때 sequence보다 자연스러운 표현을 제공한다.

그룹 E: 커지게 만들기

다섯 번째 렌즈는 scale과 시스템이다.

좋은 아이디어는 실험실에서 끝나지 않아야 한다. 추천 의도는 모델이 왜 커질수록 좋아지는지, 그리고 큰 모델을 실제로 어떻게 학습시키는지까지 함께 보라는 것이다.

19. Scaling Laws

Scaling Laws for Neural Language Models

문제: 언어모델 성능은 모델 크기, 데이터, compute와 어떤 관계를 갖는가.
아이디어: cross-entropy loss가 scale 변수에 대해 power-law 형태로 감소함을 측정한다.
중요성: 대형 언어모델 개발을 감각이 아니라 경험 법칙과 예산 배분 문제로 바꿨다.
연결: LLM 시대의 “더 크게 만들기” 전략을 이해하는 핵심 배경이다.

20. GPipe

Efficient Training of Giant Neural Networks using Pipeline Parallelism

문제: 모델이 단일 accelerator 메모리를 넘어서면 어떻게 학습할 것인가.
아이디어: layer sequence를 여러 장치에 나누고 micro-batch를 pipeline으로 흘린다.
중요성: model parallelism을 task-independent하게 적용하려는 실용적 시스템 논문이다.
연결: 현대 LLM 학습의 pipeline/tensor/data parallelism 조합을 이해하는 출발점이다.

리마인드: 규모는 논문 밖의 문제다

Scaling Laws와 GPipe를 같이 읽는 이유는 분명하다.

성능 향상은 scale 변수와 강하게 연결된다.
하지만 scale은 단순히 모델 크기를 키운다고 해결되지 않는다.
compute budget, data, parallelism, memory, communication이 모두 설계 대상이다.
LLM의 미래는 알고리즘과 시스템이 만나는 곳에서 만들어진다.

그룹 F: 왜 일반화되는가

마지막 렌즈는 압축, 복잡성, 지능의 정의다.

이 목록의 가장 묘한 부분이 여기다. 단순히 딥러닝 성능 논문만 넣지 않고 MDL, Kolmogorov complexity, complexodynamics, super intelligence를 함께 둔다. 추천자는 “왜 학습이 작동하는가”를 끝까지 묻고 있다.

21. Description Length of Weights

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights

문제: 신경망이 데이터를 외우지 않고 일반화한다는 것을 어떻게 설명할 수 있는가.
아이디어: 좋은 네트워크는 데이터를 잘 맞추면서도 가중치를 짧게 설명할 수 있어야 한다.
중요성: regularization과 generalization을 정보이론적 압축 관점으로 연결한다.
연결: LLM이 단순 암기인지 구조 압축인지 묻는 논의의 오래된 뿌리다.

22. MDL Tutorial

A Tutorial Introduction to the Minimum Description Length Principle

문제: 모델 선택에서 fit과 complexity의 균형을 어떻게 잡을 것인가.
아이디어: 데이터를 가장 짧게 설명하는 모델을 좋은 모델로 본다.
중요성: overfitting을 단순히 error 문제가 아니라 설명 길이 문제로 바라본다.
연결: representation learning과 generalization을 “압축 가능한 구조 찾기”로 이해하게 해준다.

23. Complexodynamics

The First Law of Complexodynamics

문제: entropy는 증가하지만, 우리가 느끼는 복잡성은 왜 중간에 높아지는가.
아이디어: 완전한 질서와 완전한 무작위성 사이에 interesting complexity가 있다고 본다.
중요성: complexity를 단순한 무질서와 구분하는 문제의식을 제공한다.
연결: 학습은 무작위 noise가 아니라 중간의 압축 가능한 구조를 찾는 일이라는 관점과 맞닿아 있다.

24. Coffee Automaton

Quantifying the Rise and Fall of Complexity in Closed Systems

문제: 닫힌 시스템의 apparent complexity가 시간에 따라 오르고 내리는 현상을 정량화할 수 있는가.
아이디어: 커피와 크림 혼합을 cellular automaton으로 모델링하고 coarse-grained Kolmogorov complexity를 본다.
중요성: 복잡성의 상승과 하강을 수치적으로 다루려는 시도다.
연결: 데이터 안의 의미 있는 구조는 질서와 무작위성 사이 어딘가에 있다는 직관을 강화한다.

25. Kolmogorov Complexity

Elements of Information Theory, Chapter 14

문제: 어떤 문자열의 복잡도를 어떻게 정의할 것인가.
아이디어: 그 문자열을 생성하는 가장 짧은 프로그램의 길이로 복잡도를 본다.
중요성: compression, algorithmic randomness, MDL의 이론적 기준점이다.
연결: 모델이 데이터를 일반화한다는 것은 짧은 설명 가능한 구조를 찾는다는 해석과 연결된다.

26. Variational Lossy Autoencoder

Variational Lossy Autoencoder

문제: representation은 모든 정보를 복원해야 하는가, 중요한 구조만 담아야 하는가.
아이디어: VAE와 autoregressive decoder를 결합해 latent code가 global structure를 담도록 유도한다.
중요성: 좋은 표현은 필요한 정보를 선택적으로 보존하고 불필요한 세부 정보는 버릴 수 있어야 한다.
연결: 생성 모델과 representation learning에서 “무엇을 압축하고 무엇을 버릴 것인가”라는 질문을 던진다.

27. Machine Super Intelligence

Shane Legg PhD Dissertation

문제: 기계 지능을 특정 benchmark가 아니라 보편적 능력으로 정의할 수 있는가.
아이디어: 다양한 환경에서 목표를 달성하는 능력을 intelligence measure로 formalize하려 한다.
중요성: AGI 논의를 감상적 예측이 아니라 agent와 measure의 문제로 옮긴다.
연결: LLM benchmark가 넘치는 지금도 “무엇을 지능이라고 부를 것인가”라는 질문은 남아 있다.

리마인드: 압축은 이론이 아니라 관점이다

이 마지막 묶음은 추천자의 성향을 가장 잘 드러낸다.

강한 모델은 데이터를 외우는 것이 아니라 압축 가능한 구조를 찾는다.
복잡성은 완전한 질서와 완전한 무작위성 사이에서 생긴다.
좋은 representation은 모든 것을 보존하지 않고 중요한 정보를 선택한다.
지능은 benchmark 점수보다 넓은 환경에서 목표를 달성하는 능력으로 물어야 한다.

블로그 본문 구성 제안

1 | 도입 | 이 목록은 추천자보다 AI 아이디어의 흐름이 중요하다고 밝힌다.
2 | 1부 | CNN, RNN, LSTM으로 spatial/temporal representation을 설명한다.
3 | 2부 | attention, Transformer, memory, relation, graph를 구조 전환으로 묶는다.
4 | 3부 | scaling, systems, compression, complexity를 “왜 커지고 왜 일반화되는가”로 묶는다.
5 | 결론 | 27개를 필독 숙제가 아니라 현대 AI를 읽는 지도라고 정리한다.

원문 링크 1: 표현과 순서

30papers.com 공개 metadata 기준 원문 링크

No	자료	원문
1	CS231n: Convolutional Neural Networks for Visual Recognition	Link
2	The Unreasonable Effectiveness of Recurrent Neural Networks	Link
3	Understanding LSTM Networks	Link
4	ImageNet Classification with Deep Convolutional Neural Networks	Link
5	Deep Residual Learning for Image Recognition	Link
6	Multi-Scale Context Aggregation by Dilated Convolutions	Link
7	Identity Mappings in Deep Residual Networks	Link
8	Recurrent Neural Network Regularization	Link
9	Deep Speech 2: End-to-End Speech Recognition in English and Mandarin	Link

원문 링크 2: Attention과 관계

Attention, Transformer, memory, relation, graph 계열 원문 링크

No	자료	원문
10	Order Matters: Sequence to Sequence for Sets	Link
11	Neural Machine Translation by Jointly Learning to Align and Translate	Link
12	Pointer Networks	Link
13	Attention Is All You Need	Link
14	The Annotated Transformer	Link
15	Neural Turing Machines	Link
16	A Simple Neural Network Module for Relational Reasoning	Link
17	Relational Recurrent Neural Networks	Link
18	Neural Message Passing for Quantum Chemistry	Link

원문 링크 3: Scale, 압축, 지능

Scale, systems, compression, complexity, intelligence 계열 원문 링크

No	자료	원문
19	Scaling Laws for Neural Language Models	Link
20	GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism	Link
21	Keeping Neural Networks Simple by Minimizing the Description Length of the Weights	Link
22	A Tutorial Introduction to the Minimum Description Length Principle	Link
23	The First Law of Complexodynamics	Link
24	Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton	Link
25	Kolmogorov Complexity	Link
26	Variational Lossy Autoencoder	Link
27	Machine Super Intelligence	Link

참고 출처

구분	링크	사용 위치
GeekNews 큐레이션	news.hada.io/topic?id=31224	한국어 요약과 커뮤니티 맥락
30papers.com	30papers.com	27개 항목 metadata와 원문 링크
추출 CSV	`assets/tables/paper_list.csv`	제목, 저자, 연도, 링크 검증

주의: “Ilya Sutskever가 John Carmack에게 추천했다”는 provenance는 독립 검증된 사실로 단정하지 않고, 목록이 드러내는 관점 분석에만 사용했다.

최종 메시지

이 27개 항목은 논문 리스트라기보다, 현대 AI가 어떤 질문들을 통과해 왔는지 보여주는 지도다.

이미지에서 공간 구조를 읽는 법
sequence에서 시간과 기억을 다루는 법
필요한 정보를 찾아보는 attention의 발명
깊고 큰 모델을 안정적으로 학습하는 시스템
일반화를 압축과 복잡성으로 설명하려는 이론

블로그에서는 각 논문을 “정답”으로 소개하기보다, 추천자가 미래 AI의 조건을 어떻게 보고 있었는지 보여주는 발판으로 소개하는 편이 가장 설득력 있다.