책소개
AI 시스템 기획부터 설계 그리고 운영까지, 이론과 현실의 간극을 메우는 AI 엔지니어링의 정수를 현실적이고 효율적으로 담은 새로운 표준
아이디어를 프로토타입으로 구현하는 일은 한층 쉬워졌지만, 그것을 신뢰할 수 있는 AI 제품으로 만드는 일은 전혀 다른 이야기입니다. 웹과 생성형 AI에 흩어진 단편적인 지식만으로는 복잡한 프로덕션 환경에서 맞닥뜨리는 문제들을 풀어내기 어렵습니다. 『AI 엔지니어링』은 바로 이 지점에서 출발해, 파운데이션 모델을 활용한 AI 애플리케이션의 기획부터 설계, 운영까지 전 과정을 아우르는 최신 실무 가이드로, 추상적인 이론이 아니라 현업의 간극을 메워줄 체계적인 프레임워크를 제시합니다.
이 책은 프롬프트 엔지니어링, RAG, 파인튜닝, 추론 최적화, 아키텍처 설계에 이르기까지 실무자가 반드시 알아야 할 지식을 유기적으로 연결해 설명합니다. 단순히 기술을 나열하는 데 그치지 않고, 실제 팀이 겪는 고민과 의사결정의 맥락까지 함께 다루어, 기술과 현장의 현실을 균형 있게 조망할 수 있도록 이끕니다. 이는 현업에서 당장 적용 가능한 통찰과 함께, 장기적인 성장에 필요한 원칙을 동시에 제공하는 구성이기도 합니다.
무엇보다 이 책이 돋보이는 점은 평가(Evaluation)를 부록이 아닌 핵심 주제로 삼았다는 것입니다. AI 시스템의 품질과 신뢰성은 평가 없이는 담보할 수 없기에, 두 개의 장을 할애해 성능과 신뢰성을 확보하는 평가 방법론을 집중 조명합니다. 이를 통해 ‘감’이 아닌 데이터에 기반한 의사결정 원칙을 세울 수 있게 해 주며, 전작 『머신러닝 시스템 설계』가 그랬듯 빠르게 변하는 AI 생태계 속에서도 흔들림 없는 기본기를 다져주는 든든한 교과서이자 레퍼런스로 자리매김할 것입니다.
명확한 개념과 로드맵 제시: AI 엔지니어링이 기존 ML 엔지니어링과 어떻게 다른지 정의하고, 성공적인 AI 애플리케이션 개발을 위한 전체적인 시야와 전략을 제공합니다.
성능과 효율을 극대화하는 핵심 전략: 프롬프트 엔지니어링, RAG, 파인튜닝 등 최신 기법을 단순히 나열하는 것을 넘어, 언제 무엇을 사용해야 하는지에 대한 명확한 기준과 트레이드오프를 제시합니다.
데이터 기반 의사결정 능력 강화: 수많은 모델과 기술 속에서 프로젝트의 성공을 이끌 최적의 조합을 선택할 수 있도록, 체계적인 평가 파이프라인 설계 방법과 실용적인 지표 선택 가이드를 제공합니다.
실전 운영 노하우: 지연 시간, 비용 등 현실적인 제약 속에서 AI 시스템을 배포하고 운영하기 위한 실용적인 최적화 방안을 학습합니다.
지속 가능한 시스템 구축: 사용자 피드백을 체계적으로 수집하고 반영하여, 한 번의 구축으로 끝나는 것이 아니라 지속적으로 개선되는 AI 시스템을 만드는 방법을 익힙니다.
주요 내용
AI 엔지니어링의 개념과 ML 엔지니어링과의 차이점 분석
애플리케이션 개발 과정에서 마주치는 과제와 해결 전략
프롬프트 엔지니어링, RAG, 파인튜닝, 에이전트, 데이터셋 설계 등의 주요 기법
지연 시간과 비용을 고려한 모델 배포 및 운영 최적화 방안
목적에 적합한 모델, 데이터셋, 평가 기준 및 지표 선택 방법
사용자 피드백 기반의 반복 가능한 개선 루프 구축
누구를 위한 책인가요?
LLM과 파운데이션 모델을 실무에 도입하거나 확장하려는 AI/ML 엔지니어
모델 평가, 데이터셋 설계, 파인튜닝 기법을 실제 프로젝트에 적용하고 싶은 데이터 과학자 및 연구원
AI 애플리케이션 개발 과정을 이해하고 팀과 협업해야 하는 프로덕트 매니저 및 기획자
전통적 ML에서 LLM 기반 개발로 전환하며 새 과제를 마주한 ML 개발자
저자소개
머신러닝 시스템의 전문 작가이자 컴퓨터 과학자. 엔비디아와 스노클 AI에서 재직했으며, AI 인프라 스타트업을 창업 후 매각하였다. 스탠퍼드에서 머신러닝 시스템을 강의하기도 했다.
2022년에 출간된 저서 『Designing Machine Learning Systems』는 아마존 인공지능 분야 베스트셀러로, 10개 이상의 언어로 번역되었다(한국어판: 『머신러닝 시스템 설계』(한빛미디어, 2023)). 베트남에서는 『Xach ba lo len va Di 』(배낭을 메고 떠나라) 시리즈를 비롯해 다양한 도서를 집필했다.
목차
1장 파운데이션 모델을 활용한 AI 애플리케이션 입문
_1.1 AI 엔지니어링의 부상
__1.1.1 언어 모델에서 대규모 언어 모델로
__1.1.2 대규모 언어 모델에서 파운데이션 모델로
__1.1.3 파운데이션 모델에서 AI 엔지니어링으로
_1.2 파운데이션 모델 활용 사례
__1.2.1 코딩
__1.2.2 이미지 및 동영상 제작
__1.2.3 글쓰기
__1.2.4 교육
__1.2.5 대화형 봇
__1.2.6 정보 집계
__1.2.7 데이터 체계화
__1.2.8 워크플로 자동화
_1.3 AI 애플리케이션 기획
__1.3.1 활용 사례 평가
__1.3.2 기대치 설정
__1.3.3 마일스톤 계획
__1.3.4 유지보수
_1.4 AI 엔지니어링 스택
__1.4.1 AI의 세 가지 계층
__1.4.2 AI 엔지니어링 대 ML 엔지니어링
__1.4.3 AI 엔지니어링 대 풀스택 엔지니어링
_1.5 마치며
2장 파운데이션 모델 이해하기
_2.1 학습 데이터
__2.1.1 다국어 모델
__2.1.2 도메인 특화 모델
_2.2 모델링
__2.2.1 모델 아키텍처
__2.2.2 모델 크기
_2.3 사후 학습
__2.3.1 지도 파인튜닝
__2.3.2 선호도 파인튜닝
_2.4 샘플링
__2.4.1 샘플링의 기초
__2.4.2 샘플링 전략
__2.4.3 테스트 시점 연산
__2.4.4 구조화된 출력
__2.4.5 AI의 확률적 특성
_2.5 마치며
3장 평가 방법론
_3.1 파운데이션 모델 평가의 어려움
_3.2 언어 모델링 지표 이해하기
__3.2.1 엔트로피
__3.2.2 교차 엔트로피
__3.2.3 문자당 비트와 바이트당 비트
__3.2.4 퍼플렉시티
__3.2.5 퍼플렉시티 해석과 활용 사례
_3.3 정확한 평가
__3.3.1 기능적 정확성
__3.3.2 참조 데이터 유사도 측정
__3.3.3 임베딩 소개
_3.4 AI 평가자
__3.4.1 AI 평가자를 쓰는 이유
__3.4.2 AI 평가자 사용법
__3.4.3 AI 평가자의 한계
__3.4.4 평가자로 활용 가능한 모델
_3.5 비교 평가를 통해 모델 순위 정하기
__3.5.1 비교 평가의 과제들
__3.5.2 비교 평가의 미래
_3.6 마치며
4장 AI 시스템 평가하기
_4.1 평가 기준
__4.1.1 도메인 특화 능력
__4.1.2 생성 능력
__4.1.3 지시 수행 능력
__4.1.4 비용과 지연 시간
_4.2 모델 선택
__4.2.1 모델 선택 과정
__4.2.2 모델 자체 개발 대 상용 모델 구매
__4.2.3 공개 벤치마크 탐색하기
_4.3 평가 파이프라인 설계하기
__4.3.1 1단계: 시스템의 모든 구성 요소 평가하기
__4.3.2 2단계: 평가 가이드라인 만들기
__4.3.3 3단계: 평가 방법과 데이터 정의하기
_4.4 마치며
5장 프롬프트 엔지니어링
_5.1 프롬프트 소개
__5.1.1 인컨텍스트 학습: 제로샷과 퓨샷
__5.1.2 시스템 프롬프트와 사용자 프롬프트
__5.1.3 컨텍스트 길이와 컨텍스트 효율성
_5.2 프롬프트 엔지니어링 모범 사례
__5.2.1 명확하고 명시적인 지시 작성하기
__5.2.2 충분한 컨텍스트 제공하기
__5.2.3 복잡한 작업을 단순한 하위 작업으로 나누기
__5.2.4 모델에게 생각할 시간 주기
__5.2.5 프롬프트 반복하며 개선하기
__5.2.6 프롬프트 엔지니어링 도구 평가하기
__5.2.7 프롬프트 정리 및 버전 관리하기
_5.3 방어적 프롬프트 엔지니어링
__5.3.1 독점 프롬프트와 역 프롬프트 엔지니어링
__5.3.2 탈옥과 프롬프트 주입
__5.3.3 정보 추출
__5.3.4 프롬프트 공격에 대한 방어
_5.4 마치며
6장 RAG와 에이전트
_6.1 RAG
__6.1.1 RAG 아키텍처
__6.1.2 검색 알고리즘
__6.1.3 검색 최적화
__6.1.4 텍스트를 넘어선 RAG
_6.2 에이전트
__6.2.1 에이전트 개요
__6.2.2 도구
__6.2.3 계획 수립
__6.2.4 에이전트 실패 유형과 평가
_6.3 메모리
_6.4 마치며
7장 파인튜닝
_7.1 파인튜닝 개요
_7.2 파인튜닝이 필요한 경우
__7.2.1 파인튜닝을 해야 하는 이유
__7.2.2 파인튜닝을 하지 말아야 하는 이유
__7.2.3 파인튜닝과 RAG
_7.3 메모리 병목 현상
__7.3.1 역전파와 학습 가능한 파라미터
__7.3.2 메모리 계산
__7.3.3 수치 표현 방식
__7.3.4 양자화
_7.4 파인튜닝 기법
__7.4.1 파라미터 효율적 파인튜닝
__7.4.2 모델 병합과 다중 작업 파인튜닝
__7.4.3 파인튜닝 전술
_7.5 마치며
8장 데이터셋 엔지니어링
_8.1 데이터 큐레이션
__8.1.1 데이터 품질
__8.1.2 데이터 커버리지
__8.1.3 데이터 양
__8.1.4 데이터 수집과 주석
_8.2 데이터 증강 및 합성
__8.2.1 데이터 합성을 하는 이유
__8.2.2 전통적인 데이터 생성 기법
__8.2.3 AI 기반 데이터 합성
__8.2.4 모델 증류
_8.3 데이터 처리
__8.3.1 데이터 검사
__8.3.2 데이터 중복 제거
__8.3.3 데이터 정리 및 필터링
__8.3.4 데이터 형식 맞추기
_8.4 마치며
9장 추론 최적화
_9.1 추론 최적화 이해하기
__9.1.1 추론 개요
__9.1.2 추론 성능 지표
__9.1.3 AI 가속기
_9.2 추론 최적화
__9.2.1 모델 최적화
__9.2.2 추론 서비스 최적화
_9.3 마치며
10장 AI 엔지니어링 아키텍처와 사용자 피드백
_10.1 AI 엔지니어링 아키텍처
__10.1.1 1단계: 컨텍스트 보강
__10.1.2 2단계: 가드레일 도입하기
__10.1.3 3단계: 모델 라우터와 게이트웨이 추가
__10.1.4 4단계: 캐시로 지연 시간 줄이기
__10.1.5 5단계: 에이전트 패턴 추가
__10.1.6 모니터링과 관찰 가능성
__10.1.7 AI 파이프라인 오케스트레이션
_10.2 사용자 피드백
__10.2.1 대화형 피드백 추출
__10.2.2 피드백 설계
__10.2.3 피드백의 한계
_10.3 마치며
