왜 대규모 모델은 전부 Transformer를 선택했나 — CNN·RNN과의 비교
← 전체 목차 · 다음: QKV를 1분 만에 이해하기
답은 Transformer가 어느 한 항목에서 가장 강해서가 아니라, 세 가지 핵심 문제를 동시에 해결했기 때문이다.
- 장거리 의존성
- 병렬 계산
- 규모화 학습
역사적으로 이 중 하나둘을 해결한 아키텍처는 많았지만, 셋을 동시에 만족시켜야 대규모 모델 시대에 걸맞다.
RNN의 두 가지 치명적 약점
RNN은 문장을 직렬로 읽는다. "나는 어제 베이징에서 만난 그 친구가 오늘 메시지를 보냈다"라는 문장을 나는 → 어제 → 베이징 → … → 메시지 순으로 하나씩 처리하며, 앞 단어의 처리가 끝나야 다음 단어를 시작할 수 있다.
| # | 약점 | 내용 |
|---|
| 1 | 직렬 계산 | 앞 단어가 끝나지 않으면 뒤 단어를 시작할 수 없다 → GPU의 병렬 연산력을 충분히 살리기 어렵다 |
| 2 | 장거리 정보 감쇠 | 기억에 의존한 이어달리기와 같아서, 거리가 멀수록 도중에 잃어버리는 정보가 많아진다 |
CNN의 강점과 한계
CNN은 국소 특징 추출에 매우 강하다. 이미지에서 고양이를 인식할 때 가장자리 → 질감 → 귀·눈 → 고양이 한 마리로 층층이 올라간다.
그러나 언어에 쓰면 문제가 생긴다. "이 책은 두껍지만 읽기는 수월하다"에서 "~지만"과 "수월하다" 사이에는 여러 단어가 끼어 있을 수 있고, 언어의 관계는 인접한 단어들 사이에만 국한되지 않는다.
- CNN이 원거리 관계를 포착하려면 층을 더 많이 쌓아야 한다.
- 층수가 늘어나면 계산 비용과 학습 난이도가 함께 올라간다.
결론: CNN은 국소 규칙을 발견하는 데 매우 적합하지만 복잡한 전역 의존을 위해 설계된 구조는 아니다.
Transformer의 핵심: Self-Attention
RNN처럼 단어들이 줄을 서서 처리되기를 요구하지 않고, 문장 속 각 단어가 다른 모든 단어를 직접 주목하게 한다.
중의성 해소 예시:
| 입력 | "애플이 새 휴대폰을 출시했다" |
|---|
| 참조한 문맥 | "출시했다", "새 휴대폰" |
| 판단 결과 | 여기서 "애플"은 과일이 아니라 회사일 가능성이 높다 |
세 가지 우위
① 장거리 의존성을 더 직접적으로 처리한다 — 두 단어가 아무리 멀리 떨어져 있어도 주의력 점수만 충분히 높으면 연결이 성립한다.
② 병렬 능력이 강하다
| RNN | Transformer |
|---|
| 계산 방식 | 순서대로 계산해야 함 | 문장 전체를 한 번에 입력 |
| 비유 | 모두가 줄을 서서 보안 검색을 통과 | 서로 다른 위치가 동시에 계산에 참여 |
| 하드웨어 적합성 | GPU 연산력을 살리기 어려움 | GPU에 매우 적합 |
대규모 모델 시대의 관건은 이론적으로 모델링이 가능한가만이 아니라 방대한 데이터와 연산력을 효과적으로 활용할 수 있는가이다. Transformer는 대규모 병렬 학습에 적합했기에 소형 모델에서 수백억~수천억 파라미터 규모까지 확장될 수 있었다.
③ 확장성이 강하고 멀티모달의 범용 프레임워크가 된다
| 모달 | Token 형태 |
|---|
| 텍스트 | 워드 토큰 (Word Token) |
| 이미지 | 이미지 패치 (Image Patch) |
| 오디오 | 음향 조각 (Acoustic Segment) |
구조가 비교적 통일되어 있으므로 오늘날 많은 멀티모달 모델도 Transformer 체계를 채택한다. NLP만이 아니라 더 넓은 AI 작업을 다루는 범용 계산 프레임워크에 가깝다.
세 아키텍처 대조표
장거리 의존 병렬 계산 규모화 학습 대표적 강점
┌──────────┐
│ RNN │ 약 ✗ ✗ 시퀀스 모델링 직관이 단순
└──────────┘ 정보 층층이 감쇠 앞뒤 강결합 GPU를 못 채움
┌──────────┐
│ CNN │ 층 쌓기 필요 ✓ 중 국소 특징 추출
└──────────┘ 층수↑ 비용↑ (이미지 작업에 매우 강함)
┌──────────┐
│Transformer│ 강 ✓ ✓ 범용 계산 프레임워크
└──────────┘ 임의의 두 단어 직결 문장 동시 계산 대규모에 적합 텍스트/이미지/음성/영상
핵심 통찰
- Transformer가 이긴 결정적 이유는 단일 항목 최강이 아니라 "동시에" 세 제약을 만족시킨 것이다 — 장거리 의존성, 병렬 계산, 규모화 학습. 이 중 한둘만 해결한 아키텍처는 역사상 적지 않았다.
- 딥러닝 시대의 아키텍처 선택은 "하드웨어 적합성 문제"다 — RNN이 뒤처진 직접적 원인은 직렬 계산이 GPU를 배불리 먹이지 못한 것이다. 알고리즘의 이론적 표현력이 아무리 좋아도 하드웨어를 채우지 못하면 scaling의 기회 자체가 없다. 이 문서에서 가장 이식성 높은 판단이다.
- "모델링할 수 있는가"와 "규모화 학습이 가능한가"는 서로 다른 두 개의 문턱이다 — "중요한 것은 이론적으로 모델링을 완수할 수 있는가만이 아니라 방대한 데이터와 연산력을 효과적으로 활용할 수 있는가"라는 문장 자체가 Scaling Law 시대의 아키텍처 평가 기준이다.
- 귀납 편향(inductive bias)은 양날의 검이다 — CNN의 국소성 가정은 이미지에서 극도로 효율적이지만, 언어에서는 같은 가정이 족쇄가 되어 층을 쌓아 보완해야 하고 그 대가로 계산 비용과 학습 난이도가 함께 오른다.
- 주의력은 "거리"를 아키텍처 문제에서 수치 문제로 바꿨다 — RNN에서 거리는 물리적 경로 길이(반드시 감쇠)지만, Transformer에서 거리는 주의력 점수에만 영향을 준다(점수만 충분하면 연결된다). 롱컨텍스트 능력을 이해하는 기초다.
- 구조의 통일성이 멀티모달의 전제다 — 모든 모달이 Token 시퀀스로 표현될 수 있게 되면 같은 주의력 메커니즘을 재사용할 수 있다. 멀티모달의 난점이 "새 아키텍처 설계"에서 "좋은 Token화 방식 설계"로 옮겨 간 이유다.
- Token화 방식 자체가 각 모달의 핵심 설계다 — 워드 토큰 / 이미지 패치 / 음향 조각, 세 가지의 입도 선택이 시퀀스 길이와 계산 비용을 직접 결정하며 엔지니어링에서 실제로 조정하는 지점이다.
엔지니어링 실전 Tips
- 새 아키텍처를 따라갈 가치가 있는지 판단하려면 세 가지를 먼저 물을 것: 장거리 의존을 만들 수 있는가? 병렬화가 되는가? 규모화가 되는가? 이 문서가 제공하는 기성 평가 프레임이다.
- CNN은 도태되지 않았다: 이미지 작업에서 매우 강하고 국소 규칙 발견에 적합하다. 국소 특징 추출 시나리오에서는 여전히 CNN을 우선 고려해야지, 유행을 따라 전부 Transformer로 바꾸지 말 것.
- 멀티모달 프로젝트의 주요 작업량은 Token화에 있다: 모델 백본은 재사용할 수 있지만 이미지 패치 입도, 오디오 프레임 길이가 시퀀스 길이와 메모리 점유를 직접 결정한다.
- 시퀀스 길이가 Transformer의 비용 급소다: 임의의 두 단어를 직결시키는 대가로 계산량이 길이에 따라 증가하므로, 실제 엔지니어링에서는 "컨텍스트 길이"와 "비용" 사이에서 취사선택해야 한다.
- 답변 순서: 세 핵심 문제의 결론 → RNN의 두 치명적 약점(직렬 + 감쇠) → CNN의 귀납 편향 한계 → Self-Attention의 세 우위. 구조가 디테일보다 중요하다.
- 예시는 구체적으로: "애플이 새 휴대폰을 출시했다"(중의성 해소), "이 책은 두껍지만 읽기는 수월하다"(원거리 의존). 짧고 설득력이 강해 그대로 재사용할 수 있다.