ai-infra-book

AI Infra 심층 이해: 정량 분석과 시스템 설계

简体中文 · English · 繁體中文 · Русский — community edition

Tip

다운로드 및 읽기 · 형식 및 버전 안내

简体中文(원판, 저자 @bojieli): PDF · EPUB · 온라인 읽기
English(커뮤니티 번역, @tg1482): PDF · EPUB · Read online
繁體中文(커뮤니티 번역, @edward821220): PDF · EPUB · 線上閱讀
Русский — community edition, @ilkruglov: PDF · EPUB · Онлайн-чтение · О переводе

《AI Infra 심층 이해》는 GitHub에서 50k+ Star를 받은 《AI Agent 심층 이해: 설계 원리와 엔지니어링 실천》의 자매편입니다.

《AI Agent 심층 이해》를写完한 후, 독자들과 교류하는 과정에서 점점 더 느낀 것은: 모델 기반 애플리케이션을 잘 개발하려면 그것이 실행되는 기반 인프라도 이해해야 한다는 점입니다. 대부분의 소프트웨어 엔지니어는 운영체제, 컴파일러, 칩을 직접 개발할 필요는 없지만 운영체제, 컴파일 원리, 컴퓨터 아키텍처는 배워야 합니다. 메모리를 신청하고, 파일을 읽고, 함수를 호출하는 이면에는 모두 자원과 시간 비용이 있기 때문입니다. 모델 기반 애플리케이션 개발도 마찬가지입니다. 지연이 몇 배 차이 나면 제품 경험이 완전히 달라질 수 있고, 비용이 한 자릿수 차이 나면 지탱할 수 있는 비즈니스 모델도 달라집니다.

더 근본적인 변화는 프로그래밍 추상화의 상향 이동입니다: 운영체제에서 모델 컨텍스트로. 전통적인 운영체제, 컴파일러, 하드웨어는 사전에 알 수 없는 다양한 프로그램에 범용 능력을 제공해야 하므로 시스템 최적화는 항상 프로그래밍 가능성과 성능 사이에서 절충해야 합니다. 이제 LLM이 가장 중요한 애플리케이션이 되었고, 연산자 실행부터 분산 스케줄링까지 특정 모델과 가속기 아키텍처에 맞춰 최적화할 수 있습니다. 모델 설계도 역으로 하드웨어에 적응하기 시작했으며, DeepSeek V4/V4.1이 긴 컨텍스트의 표현 방식을 재설계한 것이 그 예입니다. 어떤 의미에서 모델은 LLM 시대의 운영체제가 되었고, AI Infra는 LLM 시대의 컴퓨터 아키텍처가 되었습니다. 《컴퓨터 아키텍처: 정량적 접근법》은 제가 아키텍처 분야에 입문한 책이었는데, AI Infra 분야에는 아직 하드웨어 제약과 모델 아키텍처에서 출발해 시스템 설계를 정량적으로 도출하는 책이 없습니다. 이것이 제가 이 책을 쓰게 된 동기입니다.

전체 책을 관통하는 방법은 제약에서 설계를 도출하는 것입니다: 먼저 작업과 품질 요구를 명확히 하고, 계산, 저장, 통신, 의존 관계를 나열한 뒤, 하드웨어의 용량, 대역폭, 연산력과 대조하여 자릿수 추정을 합니다. 이런 추정은 사람도 틀리기 쉽고 AI도 마찬가지입니다: 가중치 읽기만 계산하고 KV 캐시를 잊거나, 피크 연산력으로 속도를 추정하면서 대역폭이 공급할 수 있는지 확인하지 않거나, 작업을 여러 카드에 균등 분배하면서 카드 간 통신을 빠뜨리면, 어느 하나만 놓쳐도 결론이 몇 배에서 몇 자릿수까지 벗어날 수 있습니다. 추정에는 또 다른 의미가 있습니다: 박사 과정 때 지도교수 장린타오 박사님이 반복해서 당부하신 것으로, 최적화는 반드시 물리적으로 허용되는 극한까지 해야 한다는 것입니다. 이 책은 이 습관을 관철하여, 먼저 제1원리로 하드웨어가 허용하는 상한을 계산하고, 그다음 실측이 상한에서 얼마나 떨어져 있는지 봅니다. 차이는 모델이 항목을 빠뜨렸거나 시스템에 제거할 수 있는 오버헤드가 있다는 것입니다. FPGA로 Bing 검색 랭킹을 가속하고, 昇腾 AKG 연산자 생성을 하고, UB 만 카드 상호연결을 하면서 제가 반복해서 만난 것은 같은 단서였습니다: 데이터 이동. 이 책은 따라서 다섯 가지 질문을 반복해서 던집니다: 무엇을 옮기는가, 얼마나 옮기는가, 몇 번 옮기는가, 어디를 거치는가, 누가 반드시 그것을 기다려야 하는가. 더 많은 집필 배경은 서문을 참조하세요.

현재 원고는 여전히 초고이며 지속적으로 수정 중입니다.

내용 목차

장
주제
주요 질문

1
AI Infra 첫걸음
한 번 생성에 얼마나 많은 VRAM, 계산, 데이터 읽기/쓰기가 필요한가?

2
모델 아키텍처
어텐션, 히스토리 상태, 전문가 구조가 시스템 요구를 어떻게 바꾸는가?

3
추론과 훈련 부하
작업 단계, 도달 패턴, 상태 수명이 자원 요구에 어떻게 영향을 미치는가?

4
가속기 아키텍처
계산, 저장, 대역폭, 전력, 비용 사이에서 어떻게 절충하는가?

5
연산자와 런타임
융합, 재사용, 동시성, 스케줄링이 실행 오버헤드를 어떻게 줄이는가?

6
슈퍼노드
다중 디바이스 협업이 용량, 처리량, 동기화 비용을 어떻게 균형 잡는가?

7
데이터센터 네트워크
네트워크 대역폭, 통신 방식, 혼잡이 계산 효율에 어떻게 영향을 미치는가?

8
추론 최적화
배치 처리, KV 관리, 오프로딩, 추측 디코딩은 언제 효과적인가?

9
분산 추론
계산과 상태를 어떻게 배치하고, 확장/축소와 복구를 어떻게 처리하는가?

10
훈련 시스템
VRAM, 통신, 재계산을 어떻게 배치하여 훈련을 더 효율적으로 만드는가?

11
자원 스케줄링과 실행 환경
모델 서비스와 도구 환경이 자원을 어떻게 공유하고 대기를 줄이는가?

12
엣지-클라우드 협업
작업을 로컬, 엣지, 클라우드 중 어디에 두고, 효과, 지연, 비용을 어떻게 함께 고려하는가?

누구를 위한 책인가
이미 모델 API를 호출해 보았거나 자신의 기기에서 모델을 실행해 보았고, 모델이 왜 느린지, 비용을 어떻게 줄이는지 더 알고 싶다면 이 책이 출발점이 될 수 있습니다. 시스템, 네트워크, 칩 분야의 엔지니어, 그리고 관련 방향의 연구자와 학생도 각 계층의 설계와 실제 모델 작업의 연관성을 볼 수 있습니다.

읽을 때 Python, 선형대수, 컴퓨터 시스템 기초가 약간 필요하며, 구체적인 요구 사항은 서문을 참조하세요. 먼저 1—3장을 읽어 모델과 부하를 이해한 뒤, 자신의 관심에 따라 중점을 선택하는 것을 권장합니다:

모델 애플리케이션과 추론 서비스를 한다면 8, 9장을 중점적으로 읽고, 11, 12장의 작업 환경과 배포를 본 뒤, 용량, 연산자, 통신 문제가 생기면 4—7장으로 돌아가 원인을 추적하세요.
시스템이나 네트워크를 한다면 5—7장을 중점적으로 읽고, 9, 10장을 본 뒤, 이러한 메커니즘이 분산 추론과 훈련에 어떻게 영향을 미치는지 확인하세요.
칩과 아키텍처를 한다면 4—7장을 중점적으로 읽고, 이후 장의 작업 산례와 결합하여 하드웨어 지표가 실제 서비스 능력으로 어떻게 전환되는지 확인하세요.
체계적으로 학습하고 싶다면 목차 순서대로 읽고, 계산 도구와 실험을 함께 사용하여 자신의 이해를 점진적으로 확인하세요.

책의 산례를 만나면 먼저 스스로 추정해 보고, 그다음 도출과 실험 결과를 보세요. 사용 중인 모델과 하드웨어로 바꿔서 결론이 바뀌는지 확인해 볼 수도 있습니다.

부속 계산과 실험
부속 계산 도구는 책의 숫자를 재계산하거나, 다른 모델과 입력으로 자원 요구를 추정하는 데 사용할 수 있습니다. 도구에는 모델 설정과 결과 인덱스가 첨부되어 있으며, 정적 계산은 Python 3.10+ 표준 라이브러리만 필요하고 GPU나 모델 가중치가 필요 없습니다.

git clone https://github.com/bojieli/ai-infra-book.git
cd ai-infra-book

# 모델 지원 상황 확인
python3 calculations/calc.py models

# Qwen3-8B의 8192-token prefill에서 연산자별 자원 요구 추정
python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md
저장소는 Git LFS로 논문과 큰 입력 및 측정 기록을 보관하며, 합계 약 20 GB입니다. 클론 시 전부 다운로드하는 것을 피하기 위해 .lfsconfig는 기본적으로 모든 LFS 파일을 건너뛰고, 작업 영역에는 포인터만 남깁니다. 본문, 그림, 정적 계산에는 필요하지 않습니다. 특정 실험을 재현할 때는 해당 디렉터리만 다운로드하세요:

git lfs install
git lfs pull --include= " experiments/ch05/05-01/** " --exclude= " "
부속 실험은 장별로 experiments/chXX/XX-YY/에 저장되어 있으며, 각 실험에는 실행 방법, 입력 조건, 결과 설명이 첨부되어 있습니다. GPU가 필요한 실험은 하드웨어와 의존성 요구 사항을 명시하며, 해당 기기가 없어도 기존 기록을 먼저 읽을 수 있습니다. 결과를 재현하거나 인용할 때는 사용한 원고 버전, 모델, 하드웨어, 입력 매개변수를 유의하세요.

로컬 빌드
읽기 웹사이트(Python 3.10+):

python3 -m venv .venv-site
source .venv-site/bin/activate
python -m pip install -r website/requirements.txt
python scripts/build_site.py
python scripts/check_site.py
python scripts/build_site.py --serve
미리보기 주소는 http://127.0.0.1:8000이며, 简体中文는 루트 디렉터리에, 영어, 繁體中文, 러시아어는 각각 en/, zh-tw/, ru/에 있습니다. 생성 파일은 build/에 있으며, 자세한 설명은 웹사이트 빌드와 배포를 참조하세요.

전체 책 PDF와 EPUB(추가로 Pandoc, XeLaTeX, 폰트 필요):

bash book/build_pdf.sh # 简体中文 → book/AI-Infra-Book.pdf
bash book-en/build_pdf.sh # English → book-en/AI-Infra-Book-EN.pdf
bash book-zh-tw/build_pdf.sh # 繁體中文 → book-zh-tw/AI-Infra-Book-ZH-TW.pdf
python3 book/build_epub.py --edition zh # EPUB는 Pandoc과 Poppler만 필요; --edition은 zh, en, zh-tw, ru 선택 가능
번역본 그림은 Git LFS에 저장되어 있으므로 빌드 전에 다운로드하세요: git lfs pull --include="book-en/images/**,book-zh-tw/images/**" --exclude="". 의존성, 폰트, 단일 장 컴파일 방법은 PDF 컴파일 설명을 참조하세요. GitHub Actions는 Pull Request의 웹사이트와 각 언어의 PDF, EPUB 빌드를 검사하며, main에 푸시하면 자동으로 Release(네 가지 언어 각각 PDF와 EPUB 포함)를 게시하고 네 가지 언어의 온라인 읽기 웹사이트를 배포합니다.

저장소 구조

디렉터리
내용

manuscripts/
서문, 12장 본문, 그림, 그리기 스크립트

experiments/
장별로 구성된 실험과 실행 기록

calculations/
자원 계산 도구, 고정 입력, 재계산 결과

case-studies/
모델, 하드웨어, 시스템 사례 분석, 장별 인덱스

references/
인용 자료, 출처 목록, 버전 스냅샷

research/
본문을 뒷받침하는 주제 조사, 각 장 수정 기록

book/
PDF 템플릿, 빌드 및 검증 도구

book-en/
영어판(커뮤니티 번역): 서문과 12장 본문, 영어 그림, 번역 도구, PDF 빌드 스크립트

book-zh-tw/
繁體中文판(커뮤니티 기여): 서문과 12장 본문, 繁體 그림, 번역 도구, PDF 빌드 스크립트

website/, scripts/
웹사이트 자원, 빌드 및 검사 스크립트

archive/
역사적 개요, 리뷰, 집필 조정 기록

기여 참여
원고는 여전히 초고이며 독자의 개선 참여를 환영합니다. 다음 방향 모두 가치가 있으며, 환영합니다:

오류 지적 및 수정: 숫자 계산 오류, 단위나 자릿수 오류, 인용과 원문 불일치, 공식이나 도표 오류. 한 곳을 발견하면 한 곳을 제기할 가치가 있으며, 정오표 Issue나 직접 PR 모두 가능합니다.
불명확한 부분 재작성: 도출 단계 생략, 개념이 처음 등장할 때 설명되지 않음, 예시가 이해하기 어려움. 읽기不顺한 곳은 대부분 글이 잘못 쓰인 것이니, 제기해 주시거나 더 나은 표현을 직접 제시해 주세요.
누락된 중요한 내용 보충: 마땅히 다뤄야 할 메커니즘, 아키텍처, 절충이 빠진 경우.
부속 코드 버그 수정: experiments/의 실험 코드와 calculations/의 계산 CLI에 대해 오류 수정, 테스트 보충, 사용성 개선을 환영합니다.
웹 버전 개선: 온라인 읽기 버전의 조판, 내비게이션, 검색, 모바일 경험 모두 개선의 여지가 있습니다.
번역: 영어판과 繁體中文판은 이미 커뮤니티에서 기여했으며, 더 많은 언어로의 번역을 환영합니다. book-en/과 book-zh-tw/의 구성 방식을 참조하세요. 영어판을 따라잡아 중국어 원판과 동기화하는 것도 환영합니다. 번역 전에 먼저 Issue를 열어 계획을 설명하면 진행 상황을 조정하고 중복 작업을 피하기 쉽습니다.

본문의 유일한 출처는 manuscripts/ 아래의 Markdown이며, 웹 버전과 PDF 모두 여기서 빌드되어 생성됩니다. 본문을 수정하려면 여기를 직접 수정하세요.

저자와 감사의 말
저자: 리보지에(@bojieli).

지난 몇 년간 함께 연구와 엔지니어링을 한 협력자들에게 감사드리며, 관련 논문, 오픈소스 프로젝트, 기술 문서의 저자들, 그리고 정오표와 실험 재현에 참여한 독자들에게도 감사드립니다. 자세한 감사의 말은 서문을, 인용 출처는 본문 각주와 참고 자료 라이브러리를 참조하세요. 이 책의 PDF는 《AI Agent 심층 이해》의 ElegantBook / XeLaTeX 템플릿을 따릅니다.

영어판은 @tg1482가 번역하고 기여했습니다(#4).

繁體中文판은 @edward821220이 번역하고 기여했습니다(#10).

러시아어 community edition은 @ilkruglov가 조직하고 번역과 검수를 완료했습니다(#20).

기여자
이 책에 내용, 코드, 번역, 수정을 기여한 모든 기여자에게 감사드립니다! 아바타를 클릭하면 그들의 GitHub 홈페이지로 이동하며, 여러분의 참여도 환영합니다.

GitHub에서 전체 기여 기록 보기 →

라이선스
이 책의 독창적 본문, 그림, 부속 코드는 Apache License 2.0 라이선스를 따릅니다. Copyright © 2026 Bojie Li(리보지에).

저장소의 제3자 코드, 폰트, 템플릿, 참고 자료는 각자의 저작권과 라이선스 선언을 유지하며, 이 저장소에 수록되었다고 해서 Apache-2.0으로 변경되지 않습니다. 구체적인 출처와 사용 조건은 해당 디렉터리를 참조하세요.

버전 및 형식 안내

PDF: XeLaTeX로 조판되며, 공식, 표, 각주, 상호 참조가 완전하여 통독 시 사용을 권장합니다. GitHub에서 Markdown을 직접 표시할 때 LaTeX 공식과 일부 조판이 종종 불완전하게 렌더링되거나 어긋나므로, 위 목차는 각 장 Markdown 소스 파일로 연결되어 원문을 찾고 정오표를 제출하기 쉽게 합니다.
EPUB: 글자 크기 조절 가능, 화면에 따라 자동 재배치되어 휴대폰과 전자책 리더에 적합합니다.
온라인 읽기: 읽기 웹사이트는 장 내비게이션, 전문 검색, 다크 모드를 제공하며, 오른쪽 상단에서 언어를 전환할 수 있습니다.
자동 게시: main이 업데이트될 때마다 모든 형식을 자동으로 빌드하여 Releases에 게시하며, 위 링크는 항상 최신 버전을 가리킵니다.
번역 버전과 번역자: 简体中文는 원판이며, 저자는 Bojie Li(리보지에)이고 본문은 manuscripts/에 있습니다. 영어판은 커뮤니티 번역자 @tg1482가 번역했으며 book-en/에 있고, 서문과 12장 본문, 영어로 재작성된 그림, 독립적인 빌드 스크립트를 포함합니다. 繁體中文판은 커뮤니티 기여자 @edward821220이 번역하고 정리했으며 book-zh-tw/에 있고, 서문과 12장 본문, 繁體 그림, 독립적인 빌드 스크립트를 포함합니다. 두 가지 알려진 그림 예외는 繁體版 설명을 참조하세요. 러시아어 community edition은 @ilkruglov가 조직하고 번역과 검수를 완료했으며 book-ru/에 있고, 고정 버전의 중국어 원고를 기반으로 제작되었으며 원저자는 여전히 Bojie Li입니다. 각 번역본의 번역자, 출처 버전, 라이선스는 해당 디렉터리 설명을 참조하세요. 번역본의 숫자, 공식, 인용은 원판을 기준으로 합니다.