> “Your career is your most important product. Treat it like one.” — Reid Hoffman
지난 글 [AI Engineering 프로덕션 실전]에서 **어떻게 만드는가**를 다뤘다. 이제는 **내가 어떻게 성장하는가**의 차례다.
AI Engineer는 2023년 Chip Huyen이 정의한 이후 2024~2025년 급속히 형성된 직군이다. 전통 ML Engineer 경로는 박사·논문 중심이었지만, AI Engineer는 **SWE 배경으로도 진입 가능한 새 트랙**이다. 단, 커리어 지도는 아직 표준화되지 않았다. 이 글은 그 지도를 직접 그린다.
대상 독자:
- 주니어 AI Engineer로 방금 진입했거나 전환 중인 사람.
- 시니어 백엔드·풀스택에서 AI Engineer로 피벗 고민 중인 사람.
- Staff/Principal 트랙 진입을 준비하는 시니어.
목차
1. AI Engineer 레벨 프레임워크 — L3~L8
2. 주니어(L3~L4) — 0→3년: 기초 다지기
3. 시니어(L5) — 3→6년: 시스템 설계
4. 스태프(L6) — 6~10년: 조직적 영향
5. 프린시플(L7~L8) — 기술 전략
6. ML Engineer 트랙 vs AI Engineer 트랙
7. 면접 구조 분석 — 2025년 기준
8. 포트폴리오 전략 — 5가지 패턴
9. 연봉과 보상 — 국내·미국·원격 비교
10. 원격·해외 취업 전략
11. AI Engineer의 10년 뒤 — 5가지 시나리오
12. 체크리스트와 안티패턴
1. AI Engineer 레벨 프레임워크
1.1 회사별 레벨 비교
| 단계 | Google | Meta | OpenAI | 일반 스타트업 | 한국 대기업 |
|---|---|---|---|---|---|
| 주니어 | L3 | E3 | MTS I | Junior | 사원 |
| 초급 시니어 | L4 | E4 | MTS II | Mid | 대리 |
| 시니어 | L5 | E5 | Senior MTS | Senior | 과장 |
| 스태프 | L6 | E6 | Staff | Staff | 차장·부장 |
| 시니어 스태프 | L7 | E7 | Principal | Principal | 상무 |
| 프린시플 | L8 | E8 | Distinguished | Distinguished | 전무+ |
1.2 AI Engineer 역량 축 5가지
1. **Technical depth** — LLM·RAG·Agent 시스템 내부 이해.
2. **System design** — 대규모 프로덕션 아키텍처.
3. **Product sense** — 사용자·비즈니스 연결.
4. **Communication** — 기술 글·발표·교차팀.
5. **Leadership** — 멘토링·의사결정·조직 영향.
레벨이 올라갈수록 **Technical depth만 키우는 것이 아니라**, 나머지 4가지가 지수적으로 중요해진다.
2. 주니어(L3~L4) — 0→3년: 기초 다지기
2.1 기대 역량
- 주어진 명확한 태스크를 혼자 구현.
- 코드 리뷰를 적극 받고, 반영.
- Prompt·RAG·간단한 agent 구현 능력.
- Python·Git·Docker·클라우드 기초.
2.2 꼭 해야 할 것
1. **LLM API 10가지 기능 직접 구현**: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
2. **오픈소스 학습**: LangChain, LlamaIndex, vLLM 내부 코드 읽기.
3. **논문 읽기 습관**: 주 1편. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
4. **Eval 문화 체득**: 첫 프로덕션 경험에서 eval을 꼭 구축해볼 것.
2.3 하지 말아야 할 것
- "LLM 랩퍼만 쓰기" — 내부 동작 모르고 사용.
- **GPU·수학 완전 회피** — 최소한 선형대수·확률은 이해.
- **한 프레임워크에 의존** — LangChain만, OpenAI만.
- **solo 학습만 고집** — PR 리뷰·페어 프로그래밍 기회 놓치기.
2.4 3년 차에 증명할 것
- 최소 1개 프로덕션 LLM 기능을 0→1로 배포.
- 기술 블로그 포스트 3~5편.
- 오픈소스 PR 3개 이상 (작더라도).
3. 시니어(L5) — 3→6년: 시스템 설계
3.1 기대 역량
- **0→1 설계**: 요구사항 → 아키텍처 → 구현 → 운영 전체.
- **교차팀 조율**: PM·Design·Data·Infra.
- **주니어 멘토링**: 코드 리뷰·onboarding·페어.
- **트레이드오프 결정**: RAG vs fine-tuning, 벤더 선택, 비용·품질 균형.
3.2 시니어 면접에서 묻는 것
1. **Design review** — "월 1000만 쿼리를 받는 문서 Q&A 시스템을 설계하라."
2. **Incident** — "prod에서 LLM이 환각 답변을 했을 때 어떻게 대응?"
3. **Cost** — "월 $100K 청구서를 $20K로 줄이는 방법."
4. **Eval strategy** — "새 모델을 prod에 넣기 전 eval을 어떻게 구성?"
3.3 시니어가 놓치는 흔한 실수
- **너무 기술에만 몰입** — 비즈니스 임팩트 연결 약함.
- **문서화 부족** — 머릿속에만 있는 설계.
- **승진 정치 무관심** — 성과 가시화 실패.
- **학습 정체** — 첫 프로덕트 성공에 안주.
3.4 스태프로 가는 준비
- **Design Doc·RFC** 3~5편 작성.
- **회사 차원 문제 1개 주도**: 예) 전사 LLM gateway 플랫폼.
- **외부 가시성**: 컨퍼런스 발표, 기술 블로그.
4. 스태프(L6) — 6~10년: 조직적 영향
4.1 기대 역량 — Tanya Reilly의 4가지
Tanya Reilly 『The Staff Engineer's Path』에서:
1. **Big-picture thinking** — 조직·산업 지형 이해.
2. **Execution** — 애매한 문제를 성과로.
3. **Leveling up** — 주변을 성장시킴.
4. **Influence without authority** — 직접 지휘 없이도 변화.
4.2 스태프 AI Engineer의 일
- **전사 AI 전략** 수립에 관여.
- **플랫폼 설계**: Eval·Prompt·MCP 등 공통 인프라.
- **복잡한 incident lead**: 여러 팀 영향.
- **채용·hiring committee**: 레벨 평가.
- **후배 역량 배가**: 5명을 2x로 만들면 10x 효과.
4.3 스태프 archetype (Will Larson 『Staff Engineer』)
1. **Tech Lead** — 팀 단위 기술 리더.
2. **Architect** — 아키텍처 중심.
3. **Solver** — 회사가 풀지 못한 문제를 전담.
4. **Right Hand** — 임원의 기술 파트너.
AI Engineer에서 가장 흔한 건 **Tech Lead + Solver** 하이브리드.
4.4 스태프가 중요하게 다뤄야 할 것
- **기술 부채 vs 새 기능 균형**.
- **Build vs Buy**: Weaviate vs 자체 벡터 검색.
- **벤더 lock-in 관리**: OpenAI 일변도 리스크.
- **조직 문화**: eval-driven, review culture.
5. 프린시플(L7~L8) — 기술 전략
5.1 기대 역량
- **회사 방향 수립** — CEO/CTO와 함께 기술 전략.
- **산업 리더십** — 표준화·오픈소스·공개 발표.
- **인재 자석** — 리쿠르팅의 이유가 됨.
- **장기 투자 결정** — 3~5년 R&D.
5.2 프린시플의 하루
- 절반: 미팅·리뷰·의사결정.
- 1/4: 전략 문서 작성.
- 1/4: 깊은 기술 몰입 (새 패러다임 실험, 프로토타입).
5.3 프린시플은 만들어지는가
- **공식 승진 루트** 희소 — 대부분 경력 누적 결과.
- **2개 이상 스태프 경험** 일반적.
- **외부 평판** 필수 — 업계가 이름을 알아야.
- **창업·CTO 전환** 흔한 경로.
6. ML Engineer 트랙 vs AI Engineer 트랙
6.1 ML Engineer 경로
- PhD 또는 MS + 논문·연구.
- Feature engineering·classical ML + DL.
- Foundation model 훈련·연구.
- 대기업: Google Brain, FAIR, DeepMind, Apple MLR.
- Scale AI·Anthropic·OpenAI Research.
6.2 AI Engineer 경로
- SWE 배경 + LLM 조립.
- Chip Huyen이 2023년 정의.
- 대부분 회사 AI 팀의 다수.
- 입문 쉬움, 경쟁 치열.
6.3 하이브리드 전략
2026년 이후 **MLE와 AIE 경계가 흐려질 것**.
- AIE도 fine-tuning·embedding·evals 깊이 들어감.
- MLE도 agent·productionization 해야 함.
- **"Full-stack AI Engineer"**가 이상적 표현.
6.4 Research vs Applied
- **Research** — 논문·새 알고리즘. 박사 필요도 높음.
- **Applied** — 실용 제품. 박사 불필요.
- **Research Engineer** — 중간. 실험 스케일, 인프라.
AI Engineer는 Applied 쪽. Research 하고 싶다면 Research Scientist·Research Engineer 쪽이 적합.
7. 면접 구조 분석 — 2025년 기준
7.1 전형적 AI Engineer 면접 5~7 라운드
1. **Recruiter screen** — 이력·동기.
2. **Hiring manager** — 경험·fit.
3. **Coding** — LeetCode 중 + Python 구현력.
4. **ML/LLM fundamentals** — transformer, attention, RAG 동작.
5. **System design** — LLM 시스템 설계.
6. **Behavioral** — STAR 기반.
7. **Bar raiser / exec** — 문화·cross-functional.
7.2 ML Fundamentals에서 꼭 묻는 것
- **Attention mechanism** — Q·K·V 계산, 왜 sqrt(d_k)로 나누는지.
- **Transformer architecture** — encoder·decoder·decoder-only 차이.
- **Tokenization** — BPE, SentencePiece, 왜 한국어 토큰이 많은지.
- **Sampling** — temperature, top-k, top-p, beam search.
- **Fine-tuning** — full vs LoRA vs RLHF vs DPO.
- **RAG internals** — embedding similarity, reranking, chunking.
- **Evaluation** — BLEU/ROUGE 한계, LLM-as-Judge 편향.
7.3 System Design 대표 문제
- "Slack 메시지에 답하는 AI assistant 설계" (multi-tenant, PII, retention).
- "코드 리뷰 자동 코멘트 시스템" (repo 단위 context, PR diff).
- "실시간 영상 회의 요약" (ASR + LLM + streaming).
- "다국어 고객 지원 봇" (언어 감지, fallback, escalation).
7.4 Behavioral (STAR)
- **Conflict** — 동료와 기술적 이견을 어떻게 해결했는가.
- **Failure** — prod 사고를 어떻게 대응·회고했는가.
- **Influence** — 권한 없이 변화를 이끈 예.
- **Ambiguity** — 요구사항이 명확하지 않을 때.
7.5 온라인 어세스먼트 트렌드
- **CoderPad + OpenAI API** — 60~90분 내 mini-project.
- **HackerRank ML** — 수치·행렬·전처리.
- **Take-home** — 2~5일, 실제 LLM 앱 구축.
take-home은 시간 많이 뺏기나 역량 증명에 유리.
7.6 면접 준비 리소스
- **"Deep Learning Interviews"** (Kalevi Kilkki) — LLM 질문.
- **"Designing Machine Learning Systems"** (Chip Huyen) — 시스템 설계.
- **"Machine Learning Interviews"** (Chip Huyen) — 면접 가이드.
- **Leetcode + NeetCode** — 주요 150 문제.
- **Mock interviews** — interviewing.io, Pramp.
8. 포트폴리오 전략 — 5가지 패턴
8.1 왜 포트폴리오가 결정적인가
AI Engineer 시장은 경력 1~3년차 지원자가 넘친다. 이력서 한 장으론 구분 불가. **작품**이 차별화.
8.2 5가지 포트폴리오 패턴
1. **End-to-end 앱** — RAG 챗봇, 코드 리뷰 봇, 이메일 에이전트. Vercel·Fly.io에 배포.
2. **오픈소스 기여** — LangChain·LlamaIndex·vLLM PR 3개 이상.
3. **논문 재구현** — nanoGPT 스타일. Attention, RLHF, RAG, DPO.
4. **기술 블로그** — 월 1~2편. 깊이 있는 분석·실험.
5. **Kaggle·Competitions** — LLM RAG 대회, AI Mathematical Olympiad.
8.3 좋은 GitHub README
- **문제 정의** — 왜 만들었는가.
- **아키텍처 다이어그램**.
- **실행 방법** — 1-click demo link.
- **한계·학습** — 무엇이 잘 안됐는가.
- **Evals** — 숫자로.
8.4 피해야 할 포트폴리오
- **튜토리얼 복사** — "To-Do 앱 LangChain으로" 같은 것.
- **실행 불가** — README만 있고 코드 안 돎.
- **너무 작거나(한 파일) 너무 거대한(1000 커밋 리팩터 없음)**.
8.5 기술 블로그 전략
- **Substack, Medium, 자체 블로그(Next.js+MDX)**.
- **LinkedIn 교차 게시**.
- **핵심 소재**: 실패 경험, 벤치마크 비교, 프로덕션 사례.
- **Hamel Husain, Chip Huyen, Jason Liu** 벤치마크.
9. 연봉과 보상 — 국내·미국·원격 비교
9.1 한국 (2025년 기준)
| 레벨 | 네이버·카카오 TC | 대기업 | 유니콘 스타트업 | 초기 스타트업 |
|---|---|---|---|---|
| 주니어 | 6,000~8,000만 | 5,500~7,000만 | 6,500~9,000만 | 5,500~7,500만 |
| 시니어 | 1억~1.3억 | 8,500만~1.1억 | 1.1억~1.5억 | 1억~1.4억+stock |
| 스태프 | 1.5억~2억 | 1.2억~1.5억 | 1.7억~2.3억 | 1.5억~2억+stock |
| 프린시플 | 2억~3억+ | 1.7억~2.2억 | 2.5억~4억+ | 2억+significant stock |
9.2 미국 (2025년 기준, Levels.fyi)
| 레벨 | Big Tech TC | OpenAI/Anthropic | 유니콘 | 초기 |
|---|---|---|---|---|
| L3 | $200K~$270K | $350K+ | $220K~$280K | $180K~$250K+stock |
| L4 | $280K~$380K | $450K+ | $300K~$400K | $220K~$320K+stock |
| L5 | $380K~$550K | $600K~$900K | $400K~$600K | $300K~$450K+stock |
| L6 | $600K~$900K | $900K~$1.5M | $700K~$1.2M | $450K~$700K+stock |
| L7 | $900K~$1.5M | $1.5M~$3M+ | $1M~$2M | $700K~$1.2M+significant |
**OpenAI·Anthropic은 현재 극단적 경쟁**으로 L5 이상 $1M+ TC 흔함.
9.3 원격 글로벌 (한국 거주)
- **Vercel, Supabase, Linear, Replicate, Modal** — 원격 우선.
- 한국 TC: $150K~$350K (스톡 포함).
- **세금 구조** — 스톡은 입국/체류 주의.
9.4 보상 구성 이해
- **Base salary** — 매월 확정.
- **Bonus** — 연 10~25%.
- **RSU (Restricted Stock)** — 4년 vesting, cliff 1년.
- **Options** — 스타트업. 83(b) 선택.
- **Sign-on** — 이직 인센티브.
- **Refresh grant** — 매년 추가 RSU.
9.5 협상 팁
- **Competing offer**가 가장 강력.
- **Levels.fyi + Blind** 데이터 근거.
- **"Base vs Stock vs Sign-on" 비율** 조정 가능.
- **리쿠르터와의 전투력** — 질문하고 침묵하는 기술.
10. 원격·해외 취업 전략
10.1 원격 먼저 시도하는 이유
- **이사 리스크 없음**.
- **비자 없이 시작** 가능.
- **영어·커뮤니케이션 훈련**.
- 이후 해외 이전도 쉬움.
10.2 원격 친화 회사
**완전 원격 우선**:
- Vercel, Supabase, Linear, Replicate, Modal.
- GitLab, Zapier, HashiCorp, Automattic.
- Ghost, Deel, Remote.com.
**하이브리드이지만 국제 고용**:
- Anthropic (일부), Scale AI, Weights & Biases.
10.3 비자와 이전
- **미국 H-1B** — 추첨 복권. O-1(특기자)이 더 현실적.
- **영국 Skilled Worker** — 점수제.
- **독일 Blue Card** — 최소 연봉 기준.
- **캐나다 Express Entry / Global Talent Stream**.
- **일본 HSP** — 점수제. 한국인 유리.
- **싱가포르 Tech.Pass / EP**.
10.4 언어·문화 준비
- **영어 writing** — RFC·Slack·PR. 말하기보다 쓰기 먼저.
- **Async communication** — 시차 고려, 비동기 문서화.
- **Timezone 정치** — 유럽 회사는 한국 새벽 미팅 드물다. 미국 회사는 한국 야간 필수.
10.5 한국-기반 글로벌 경력 설계
1. **한국 스타트업 + 글로벌 제품** — Sendbird, Channel Talk, Upstage.
2. **한국 대기업 해외 지사** — 네이버 미국, 카카오 일본.
3. **글로벌 원격 풀타임**.
4. **Contractor / Consulting** — Deel·Remote.com 에이전시.
5. **해외 이전**.
11. AI Engineer의 10년 뒤 — 5가지 시나리오
11.1 시나리오 1: "AI Full-stack Engineer" 정착
역할 분화가 안정되고, AI Engineer는 **풀스택 SWE + LLM 전문성**의 표준 직군이 됨. 2030년대 중반 SWE의 70%가 이 정체성.
11.2 시나리오 2: "Vertical AI Specialist" 분화
법률·의료·금융 등 **도메인 특화 AI Engineer**가 주류. 일반 AI Engineer 시장은 commoditized. 도메인 전문성이 보상 차이 결정.
11.3 시나리오 3: "AI Ops Engineer"와 "AI Product Engineer" 분화
- **AI Ops** — 인프라·cost·eval·guardrail 전문.
- **AI Product** — UX·prompt·agent design 전문.
- 두 트랙이 명확히 분리.
11.4 시나리오 4: AI가 AI Engineer 대체
Agent가 점점 똑똑해져 AI Engineer 업무의 70%를 자동화. 남는 건 **시스템 설계·윤리 판단·도메인 전문가와 통역**. 인간 AI Engineer 수요 감소, 단가 급등.
11.5 시나리오 5: AGI 도달 후 재편
2030~2035년 AGI 근접 시, 전통 엔지니어 커리어 자체 재정의. **로봇·에너지·생명공학** 같은 물리 세계 통합이 마지막 인간 엔지니어 영역.
11.6 어떻게 대비할 것인가
- **저수준 시스템 + AI 조합**: 로봇·임베디드·보안.
- **도메인 수직 깊이**: 법률·의료·바이오·에너지.
- **리더십**: 기술·사업·윤리 삼각.
- **창업가 마인드셋**.
12. 번아웃과 장기 페이스
12.1 AI Engineer는 특히 번아웃 위험
- **폭발적 정보량** — 매주 새 모델·기술.
- **hype-driven** — 주말 tweet 기반 PR 압박.
- **과잉투자**: 회사가 성과 압박.
12.2 방어 전략
- **주 1~2회 RSS/Twitter 정리 시간만** — 나머지는 deep work.
- **연 2~4주 휴가**.
- **Side project는 본업과 다른 결**.
- **건강 기반**: 수면 7h·주 3회 운동.
12.3 5년·10년 후 지속
- **학습 엔진** (앞 글) 정착.
- **사이드 프로젝트** → 부업 → 창업 옵션.
- **관계 자산**: 전 동료·멘토·멘티.
- **재무 기초**: 생활비 6개월 비상금, 저위험 투자.
체크리스트
1. ☐ 내 현재 레벨(L3/L4/L5/…)을 회사 공식 기준으로 안다.
2. ☐ 다음 레벨의 기대치를 명시적으로 매니저와 합의했다.
3. ☐ Levels.fyi·Blind로 시장 연봉을 안다.
4. ☐ GitHub 프로파일에 방문자가 이해할 수 있는 프로젝트 3개가 있다.
5. ☐ 기술 블로그 또는 LinkedIn 포스트를 분기당 최소 1편 쓴다.
6. ☐ 면접 대비 system design·coding·ML fundamentals를 분기별로 점검한다.
7. ☐ 원격·해외 옵션을 최소 1개 이상 파이프라인에 갖고 있다.
8. ☐ 멘토 1명, 멘티 1명이 있다.
9. ☐ 연 2주 이상의 쉬는 기간이 있다.
10. ☐ 비상금 6개월치가 있다.
11. ☐ 10년 뒤 시나리오 3가지를 구체적으로 그려봤다.
12. ☐ 내 도메인 수직 깊이(법률·의료·금융 등)를 선택했다.
자주 보는 안티패턴 10가지
1. **승진 대화를 매니저와 먼저 안 한다** — "일 잘하면 자동"은 없다.
2. **이직만 반복해 보상 올리기** — 3~5년 시점 성과 쌓기 어려움.
3. **새 기술·프레임워크만 쫓기** — 시스템 사고·소프트스킬 정체.
4. **포트폴리오 없이 이직 시도** — 이력서만으로 한계.
5. **영어 안 늘린 채 글로벌 시장 기대**.
6. **자기 가치 평가 실패** — Levels.fyi·Blind 확인 없음.
7. **건강 희생**으로 단기 성과 추구 — 2~3년 뒤 번아웃.
8. **멘토 없음** — 시행착오 비용 엄청남.
9. **커뮤니티 무시** — 재취업 시 네트워크가 결정적.
10. **"AI가 모든 것을 대체할 거다" 비관** — 지금도 사람이 차이를 만든다.
다음 글 예고 — “시니어·스태프 엔지니어를 위한 영향력 설계: 기술 글쓰기 2.0, 발표, 컨퍼런스, 오픈소스, 테크 리더십 브랜딩”
기술력이 충분한 시니어·스태프가 더 크게 성장하지 못하는 이유는 **영향력 설계**의 부재다.
- 기술 글쓰기 2.0 — RFC에서 외부 블로그·eng blog로
- 컨퍼런스 발표 — QCon·KubeCon·DockerCon 준비
- 오픈소스 유지보수자의 삶
- 개인 브랜드 vs 회사 브랜드
- 멘토·조언자 네트워크
- 내부 Staff → 외부 Staff로의 전환
커리어는 아는 만큼 설계할 수 있다. 다음 글에서 이어진다.
현재 단락 (1/261)
지난 글 [AI Engineering 프로덕션 실전]에서 **어떻게 만드는가**를 다뤘다. 이제는 **내가 어떻게 성장하는가**의 차례다.