Split View: AI Engineer 커리어 완전 가이드 — 주니어에서 프린시플까지: 레벨·면접·포트폴리오·연봉·원격·10년 뒤 진화까지 2025-2026년 총정리
AI Engineer 커리어 완전 가이드 — 주니어에서 프린시플까지: 레벨·면접·포트폴리오·연봉·원격·10년 뒤 진화까지 2025-2026년 총정리
“Your career is your most important product. Treat it like one.” — Reid Hoffman
지난 글 [AI Engineering 프로덕션 실전]에서 어떻게 만드는가를 다뤘다. 이제는 내가 어떻게 성장하는가의 차례다.
AI Engineer는 2023년 Chip Huyen이 정의한 이후 2024~2025년 급속히 형성된 직군이다. 전통 ML Engineer 경로는 박사·논문 중심이었지만, AI Engineer는 SWE 배경으로도 진입 가능한 새 트랙이다. 단, 커리어 지도는 아직 표준화되지 않았다. 이 글은 그 지도를 직접 그린다.
대상 독자:
- 주니어 AI Engineer로 방금 진입했거나 전환 중인 사람.
- 시니어 백엔드·풀스택에서 AI Engineer로 피벗 고민 중인 사람.
- Staff/Principal 트랙 진입을 준비하는 시니어.
목차
- AI Engineer 레벨 프레임워크 — L3~L8
- 주니어(L3~L4) — 0→3년: 기초 다지기
- 시니어(L5) — 3→6년: 시스템 설계
- 스태프(L6) — 6~10년: 조직적 영향
- 프린시플(L7~L8) — 기술 전략
- ML Engineer 트랙 vs AI Engineer 트랙
- 면접 구조 분석 — 2025년 기준
- 포트폴리오 전략 — 5가지 패턴
- 연봉과 보상 — 국내·미국·원격 비교
- 원격·해외 취업 전략
- AI Engineer의 10년 뒤 — 5가지 시나리오
- 체크리스트와 안티패턴
1. AI Engineer 레벨 프레임워크
1.1 회사별 레벨 비교
| 단계 | Meta | OpenAI | 일반 스타트업 | 한국 대기업 | |
|---|---|---|---|---|---|
| 주니어 | L3 | E3 | MTS I | Junior | 사원 |
| 초급 시니어 | L4 | E4 | MTS II | Mid | 대리 |
| 시니어 | L5 | E5 | Senior MTS | Senior | 과장 |
| 스태프 | L6 | E6 | Staff | Staff | 차장·부장 |
| 시니어 스태프 | L7 | E7 | Principal | Principal | 상무 |
| 프린시플 | L8 | E8 | Distinguished | Distinguished | 전무+ |
1.2 AI Engineer 역량 축 5가지
- Technical depth — LLM·RAG·Agent 시스템 내부 이해.
- System design — 대규모 프로덕션 아키텍처.
- Product sense — 사용자·비즈니스 연결.
- Communication — 기술 글·발표·교차팀.
- Leadership — 멘토링·의사결정·조직 영향.
레벨이 올라갈수록 Technical depth만 키우는 것이 아니라, 나머지 4가지가 지수적으로 중요해진다.
2. 주니어(L3~L4) — 0→3년: 기초 다지기
2.1 기대 역량
- 주어진 명확한 태스크를 혼자 구현.
- 코드 리뷰를 적극 받고, 반영.
- Prompt·RAG·간단한 agent 구현 능력.
- Python·Git·Docker·클라우드 기초.
2.2 꼭 해야 할 것
- LLM API 10가지 기능 직접 구현: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
- 오픈소스 학습: LangChain, LlamaIndex, vLLM 내부 코드 읽기.
- 논문 읽기 습관: 주 1편. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
- Eval 문화 체득: 첫 프로덕션 경험에서 eval을 꼭 구축해볼 것.
2.3 하지 말아야 할 것
- "LLM 랩퍼만 쓰기" — 내부 동작 모르고 사용.
- GPU·수학 완전 회피 — 최소한 선형대수·확률은 이해.
- 한 프레임워크에 의존 — LangChain만, OpenAI만.
- solo 학습만 고집 — PR 리뷰·페어 프로그래밍 기회 놓치기.
2.4 3년 차에 증명할 것
- 최소 1개 프로덕션 LLM 기능을 0→1로 배포.
- 기술 블로그 포스트 3~5편.
- 오픈소스 PR 3개 이상 (작더라도).
3. 시니어(L5) — 3→6년: 시스템 설계
3.1 기대 역량
- 0→1 설계: 요구사항 → 아키텍처 → 구현 → 운영 전체.
- 교차팀 조율: PM·Design·Data·Infra.
- 주니어 멘토링: 코드 리뷰·onboarding·페어.
- 트레이드오프 결정: RAG vs fine-tuning, 벤더 선택, 비용·품질 균형.
3.2 시니어 면접에서 묻는 것
- Design review — "월 1000만 쿼리를 받는 문서 Q&A 시스템을 설계하라."
- Incident — "prod에서 LLM이 환각 답변을 했을 때 어떻게 대응?"
- Cost — "월 20K로 줄이는 방법."
- Eval strategy — "새 모델을 prod에 넣기 전 eval을 어떻게 구성?"
3.3 시니어가 놓치는 흔한 실수
- 너무 기술에만 몰입 — 비즈니스 임팩트 연결 약함.
- 문서화 부족 — 머릿속에만 있는 설계.
- 승진 정치 무관심 — 성과 가시화 실패.
- 학습 정체 — 첫 프로덕트 성공에 안주.
3.4 스태프로 가는 준비
- Design Doc·RFC 3~5편 작성.
- 회사 차원 문제 1개 주도: 예) 전사 LLM gateway 플랫폼.
- 외부 가시성: 컨퍼런스 발표, 기술 블로그.
4. 스태프(L6) — 6~10년: 조직적 영향
4.1 기대 역량 — Tanya Reilly의 4가지
Tanya Reilly 『The Staff Engineer's Path』에서:
- Big-picture thinking — 조직·산업 지형 이해.
- Execution — 애매한 문제를 성과로.
- Leveling up — 주변을 성장시킴.
- Influence without authority — 직접 지휘 없이도 변화.
4.2 스태프 AI Engineer의 일
- 전사 AI 전략 수립에 관여.
- 플랫폼 설계: Eval·Prompt·MCP 등 공통 인프라.
- 복잡한 incident lead: 여러 팀 영향.
- 채용·hiring committee: 레벨 평가.
- 후배 역량 배가: 5명을 2x로 만들면 10x 효과.
4.3 스태프 archetype (Will Larson 『Staff Engineer』)
- Tech Lead — 팀 단위 기술 리더.
- Architect — 아키텍처 중심.
- Solver — 회사가 풀지 못한 문제를 전담.
- Right Hand — 임원의 기술 파트너.
AI Engineer에서 가장 흔한 건 Tech Lead + Solver 하이브리드.
4.4 스태프가 중요하게 다뤄야 할 것
- 기술 부채 vs 새 기능 균형.
- Build vs Buy: Weaviate vs 자체 벡터 검색.
- 벤더 lock-in 관리: OpenAI 일변도 리스크.
- 조직 문화: eval-driven, review culture.
5. 프린시플(L7~L8) — 기술 전략
5.1 기대 역량
- 회사 방향 수립 — CEO/CTO와 함께 기술 전략.
- 산업 리더십 — 표준화·오픈소스·공개 발표.
- 인재 자석 — 리쿠르팅의 이유가 됨.
- 장기 투자 결정 — 3~5년 R&D.
5.2 프린시플의 하루
- 절반: 미팅·리뷰·의사결정.
- 1/4: 전략 문서 작성.
- 1/4: 깊은 기술 몰입 (새 패러다임 실험, 프로토타입).
5.3 프린시플은 만들어지는가
- 공식 승진 루트 희소 — 대부분 경력 누적 결과.
- 2개 이상 스태프 경험 일반적.
- 외부 평판 필수 — 업계가 이름을 알아야.
- 창업·CTO 전환 흔한 경로.
6. ML Engineer 트랙 vs AI Engineer 트랙
6.1 ML Engineer 경로
- PhD 또는 MS + 논문·연구.
- Feature engineering·classical ML + DL.
- Foundation model 훈련·연구.
- 대기업: Google Brain, FAIR, DeepMind, Apple MLR.
- Scale AI·Anthropic·OpenAI Research.
6.2 AI Engineer 경로
- SWE 배경 + LLM 조립.
- Chip Huyen이 2023년 정의.
- 대부분 회사 AI 팀의 다수.
- 입문 쉬움, 경쟁 치열.
6.3 하이브리드 전략
2026년 이후 MLE와 AIE 경계가 흐려질 것.
- AIE도 fine-tuning·embedding·evals 깊이 들어감.
- MLE도 agent·productionization 해야 함.
- **"Full-stack AI Engineer"**가 이상적 표현.
6.4 Research vs Applied
- Research — 논문·새 알고리즘. 박사 필요도 높음.
- Applied — 실용 제품. 박사 불필요.
- Research Engineer — 중간. 실험 스케일, 인프라.
AI Engineer는 Applied 쪽. Research 하고 싶다면 Research Scientist·Research Engineer 쪽이 적합.
7. 면접 구조 분석 — 2025년 기준
7.1 전형적 AI Engineer 면접 5~7 라운드
- Recruiter screen — 이력·동기.
- Hiring manager — 경험·fit.
- Coding — LeetCode 중 + Python 구현력.
- ML/LLM fundamentals — transformer, attention, RAG 동작.
- System design — LLM 시스템 설계.
- Behavioral — STAR 기반.
- Bar raiser / exec — 문화·cross-functional.
7.2 ML Fundamentals에서 꼭 묻는 것
- Attention mechanism — Q·K·V 계산, 왜 sqrt(d_k)로 나누는지.
- Transformer architecture — encoder·decoder·decoder-only 차이.
- Tokenization — BPE, SentencePiece, 왜 한국어 토큰이 많은지.
- Sampling — temperature, top-k, top-p, beam search.
- Fine-tuning — full vs LoRA vs RLHF vs DPO.
- RAG internals — embedding similarity, reranking, chunking.
- Evaluation — BLEU/ROUGE 한계, LLM-as-Judge 편향.
7.3 System Design 대표 문제
- "Slack 메시지에 답하는 AI assistant 설계" (multi-tenant, PII, retention).
- "코드 리뷰 자동 코멘트 시스템" (repo 단위 context, PR diff).
- "실시간 영상 회의 요약" (ASR + LLM + streaming).
- "다국어 고객 지원 봇" (언어 감지, fallback, escalation).
7.4 Behavioral (STAR)
- Conflict — 동료와 기술적 이견을 어떻게 해결했는가.
- Failure — prod 사고를 어떻게 대응·회고했는가.
- Influence — 권한 없이 변화를 이끈 예.
- Ambiguity — 요구사항이 명확하지 않을 때.
7.5 온라인 어세스먼트 트렌드
- CoderPad + OpenAI API — 60~90분 내 mini-project.
- HackerRank ML — 수치·행렬·전처리.
- Take-home — 2~5일, 실제 LLM 앱 구축.
take-home은 시간 많이 뺏기나 역량 증명에 유리.
7.6 면접 준비 리소스
- "Deep Learning Interviews" (Kalevi Kilkki) — LLM 질문.
- "Designing Machine Learning Systems" (Chip Huyen) — 시스템 설계.
- "Machine Learning Interviews" (Chip Huyen) — 면접 가이드.
- Leetcode + NeetCode — 주요 150 문제.
- Mock interviews — interviewing.io, Pramp.
8. 포트폴리오 전략 — 5가지 패턴
8.1 왜 포트폴리오가 결정적인가
AI Engineer 시장은 경력 1~3년차 지원자가 넘친다. 이력서 한 장으론 구분 불가. 작품이 차별화.
8.2 5가지 포트폴리오 패턴
- End-to-end 앱 — RAG 챗봇, 코드 리뷰 봇, 이메일 에이전트. Vercel·Fly.io에 배포.
- 오픈소스 기여 — LangChain·LlamaIndex·vLLM PR 3개 이상.
- 논문 재구현 — nanoGPT 스타일. Attention, RLHF, RAG, DPO.
- 기술 블로그 — 월 1~2편. 깊이 있는 분석·실험.
- Kaggle·Competitions — LLM RAG 대회, AI Mathematical Olympiad.
8.3 좋은 GitHub README
- 문제 정의 — 왜 만들었는가.
- 아키텍처 다이어그램.
- 실행 방법 — 1-click demo link.
- 한계·학습 — 무엇이 잘 안됐는가.
- Evals — 숫자로.
8.4 피해야 할 포트폴리오
- 튜토리얼 복사 — "To-Do 앱 LangChain으로" 같은 것.
- 실행 불가 — README만 있고 코드 안 돎.
- 너무 작거나(한 파일) 너무 거대한(1000 커밋 리팩터 없음).
8.5 기술 블로그 전략
- Substack, Medium, 자체 블로그(Next.js+MDX).
- LinkedIn 교차 게시.
- 핵심 소재: 실패 경험, 벤치마크 비교, 프로덕션 사례.
- Hamel Husain, Chip Huyen, Jason Liu 벤치마크.
9. 연봉과 보상 — 국내·미국·원격 비교
9.1 한국 (2025년 기준)
| 레벨 | 네이버·카카오 TC | 대기업 | 유니콘 스타트업 | 초기 스타트업 |
|---|---|---|---|---|
| 주니어 | 6,000~8,000만 | 5,500~7,000만 | 6,500~9,000만 | 5,500~7,500만 |
| 시니어 | 1억~1.3억 | 8,500만~1.1억 | 1.1억~1.5억 | 1억~1.4억+stock |
| 스태프 | 1.5억~2억 | 1.2억~1.5억 | 1.7억~2.3억 | 1.5억~2억+stock |
| 프린시플 | 2억~3억+ | 1.7억~2.2억 | 2.5억~4억+ | 2억+significant stock |
9.2 미국 (2025년 기준, Levels.fyi)
| 레벨 | Big Tech TC | OpenAI/Anthropic | 유니콘 | 초기 |
|---|---|---|---|---|
| L3 | 270K | $350K+ | 280K | 250K+stock |
| L4 | 380K | $450K+ | 400K | 320K+stock |
| L5 | 550K | 900K | 600K | 450K+stock |
| L6 | 900K | 1.5M | 1.2M | 700K+stock |
| L7 | 1.5M | 3M+ | 2M | 1.2M+significant |
OpenAI·Anthropic은 현재 극단적 경쟁으로 L5 이상 $1M+ TC 흔함.
9.3 원격 글로벌 (한국 거주)
- Vercel, Supabase, Linear, Replicate, Modal — 원격 우선.
- 한국 TC: 350K (스톡 포함).
- 세금 구조 — 스톡은 입국/체류 주의.
9.4 보상 구성 이해
- Base salary — 매월 확정.
- Bonus — 연 10~25%.
- RSU (Restricted Stock) — 4년 vesting, cliff 1년.
- Options — 스타트업. 83(b) 선택.
- Sign-on — 이직 인센티브.
- Refresh grant — 매년 추가 RSU.
9.5 협상 팁
- Competing offer가 가장 강력.
- Levels.fyi + Blind 데이터 근거.
- "Base vs Stock vs Sign-on" 비율 조정 가능.
- 리쿠르터와의 전투력 — 질문하고 침묵하는 기술.
10. 원격·해외 취업 전략
10.1 원격 먼저 시도하는 이유
- 이사 리스크 없음.
- 비자 없이 시작 가능.
- 영어·커뮤니케이션 훈련.
- 이후 해외 이전도 쉬움.
10.2 원격 친화 회사
완전 원격 우선:
- Vercel, Supabase, Linear, Replicate, Modal.
- GitLab, Zapier, HashiCorp, Automattic.
- Ghost, Deel, Remote.com.
하이브리드이지만 국제 고용:
- Anthropic (일부), Scale AI, Weights & Biases.
10.3 비자와 이전
- 미국 H-1B — 추첨 복권. O-1(특기자)이 더 현실적.
- 영국 Skilled Worker — 점수제.
- 독일 Blue Card — 최소 연봉 기준.
- 캐나다 Express Entry / Global Talent Stream.
- 일본 HSP — 점수제. 한국인 유리.
- 싱가포르 Tech.Pass / EP.
10.4 언어·문화 준비
- 영어 writing — RFC·Slack·PR. 말하기보다 쓰기 먼저.
- Async communication — 시차 고려, 비동기 문서화.
- Timezone 정치 — 유럽 회사는 한국 새벽 미팅 드물다. 미국 회사는 한국 야간 필수.
10.5 한국-기반 글로벌 경력 설계
- 한국 스타트업 + 글로벌 제품 — Sendbird, Channel Talk, Upstage.
- 한국 대기업 해외 지사 — 네이버 미국, 카카오 일본.
- 글로벌 원격 풀타임.
- Contractor / Consulting — Deel·Remote.com 에이전시.
- 해외 이전.
11. AI Engineer의 10년 뒤 — 5가지 시나리오
11.1 시나리오 1: "AI Full-stack Engineer" 정착
역할 분화가 안정되고, AI Engineer는 풀스택 SWE + LLM 전문성의 표준 직군이 됨. 2030년대 중반 SWE의 70%가 이 정체성.
11.2 시나리오 2: "Vertical AI Specialist" 분화
법률·의료·금융 등 도메인 특화 AI Engineer가 주류. 일반 AI Engineer 시장은 commoditized. 도메인 전문성이 보상 차이 결정.
11.3 시나리오 3: "AI Ops Engineer"와 "AI Product Engineer" 분화
- AI Ops — 인프라·cost·eval·guardrail 전문.
- AI Product — UX·prompt·agent design 전문.
- 두 트랙이 명확히 분리.
11.4 시나리오 4: AI가 AI Engineer 대체
Agent가 점점 똑똑해져 AI Engineer 업무의 70%를 자동화. 남는 건 시스템 설계·윤리 판단·도메인 전문가와 통역. 인간 AI Engineer 수요 감소, 단가 급등.
11.5 시나리오 5: AGI 도달 후 재편
2030~2035년 AGI 근접 시, 전통 엔지니어 커리어 자체 재정의. 로봇·에너지·생명공학 같은 물리 세계 통합이 마지막 인간 엔지니어 영역.
11.6 어떻게 대비할 것인가
- 저수준 시스템 + AI 조합: 로봇·임베디드·보안.
- 도메인 수직 깊이: 법률·의료·바이오·에너지.
- 리더십: 기술·사업·윤리 삼각.
- 창업가 마인드셋.
12. 번아웃과 장기 페이스
12.1 AI Engineer는 특히 번아웃 위험
- 폭발적 정보량 — 매주 새 모델·기술.
- hype-driven — 주말 tweet 기반 PR 압박.
- 과잉투자: 회사가 성과 압박.
12.2 방어 전략
- 주 1~2회 RSS/Twitter 정리 시간만 — 나머지는 deep work.
- 연 2~4주 휴가.
- Side project는 본업과 다른 결.
- 건강 기반: 수면 7h·주 3회 운동.
12.3 5년·10년 후 지속
- 학습 엔진 (앞 글) 정착.
- 사이드 프로젝트 → 부업 → 창업 옵션.
- 관계 자산: 전 동료·멘토·멘티.
- 재무 기초: 생활비 6개월 비상금, 저위험 투자.
체크리스트
내 커리어가 제대로 설계돼 있는가?
- ☐ 내 현재 레벨(L3/L4/L5/…)을 회사 공식 기준으로 안다.
- ☐ 다음 레벨의 기대치를 명시적으로 매니저와 합의했다.
- ☐ Levels.fyi·Blind로 시장 연봉을 안다.
- ☐ GitHub 프로파일에 방문자가 이해할 수 있는 프로젝트 3개가 있다.
- ☐ 기술 블로그 또는 LinkedIn 포스트를 분기당 최소 1편 쓴다.
- ☐ 면접 대비 system design·coding·ML fundamentals를 분기별로 점검한다.
- ☐ 원격·해외 옵션을 최소 1개 이상 파이프라인에 갖고 있다.
- ☐ 멘토 1명, 멘티 1명이 있다.
- ☐ 연 2주 이상의 쉬는 기간이 있다.
- ☐ 비상금 6개월치가 있다.
- ☐ 10년 뒤 시나리오 3가지를 구체적으로 그려봤다.
- ☐ 내 도메인 수직 깊이(법률·의료·금융 등)를 선택했다.
자주 보는 안티패턴 10가지
- 승진 대화를 매니저와 먼저 안 한다 — "일 잘하면 자동"은 없다.
- 이직만 반복해 보상 올리기 — 3~5년 시점 성과 쌓기 어려움.
- 새 기술·프레임워크만 쫓기 — 시스템 사고·소프트스킬 정체.
- 포트폴리오 없이 이직 시도 — 이력서만으로 한계.
- 영어 안 늘린 채 글로벌 시장 기대.
- 자기 가치 평가 실패 — Levels.fyi·Blind 확인 없음.
- 건강 희생으로 단기 성과 추구 — 2~3년 뒤 번아웃.
- 멘토 없음 — 시행착오 비용 엄청남.
- 커뮤니티 무시 — 재취업 시 네트워크가 결정적.
- "AI가 모든 것을 대체할 거다" 비관 — 지금도 사람이 차이를 만든다.
다음 글 예고 — “시니어·스태프 엔지니어를 위한 영향력 설계: 기술 글쓰기 2.0, 발표, 컨퍼런스, 오픈소스, 테크 리더십 브랜딩”
기술력이 충분한 시니어·스태프가 더 크게 성장하지 못하는 이유는 영향력 설계의 부재다.
- 기술 글쓰기 2.0 — RFC에서 외부 블로그·eng blog로
- 컨퍼런스 발표 — QCon·KubeCon·DockerCon 준비
- 오픈소스 유지보수자의 삶
- 개인 브랜드 vs 회사 브랜드
- 멘토·조언자 네트워크
- 내부 Staff → 외부 Staff로의 전환
커리어는 아는 만큼 설계할 수 있다. 다음 글에서 이어진다.
The Complete AI Engineer Career Guide — From Junior to Principal: Leveling, Interviews, Portfolio, Compensation, Remote, and the Next Decade (2025-2026)
"Your career is your most important product. Treat it like one." — Reid Hoffman
In the previous post [AI Engineering in Production] I covered how to build. Now it's time for how you grow.
AI Engineer has taken shape rapidly over 2024-2025, after Chip Huyen's 2023 definition. The traditional ML Engineer path was PhD- and paper-centric, but AI Engineer is a new track you can enter from an SWE background. The career map, however, isn't standardized yet. This post draws that map directly.
Intended readers:
- Junior AI Engineers who just entered the field or are pivoting in.
- Senior backend/full-stack engineers considering a pivot to AI Engineer.
- Seniors preparing to step into the Staff/Principal track.
Table of Contents
- AI Engineer leveling framework — L3 to L8
- Junior (L3-L4) — Years 0-3: Foundations
- Senior (L5) — Years 3-6: System design
- Staff (L6) — Years 6-10: Organizational impact
- Principal (L7-L8) — Technical strategy
- ML Engineer track vs AI Engineer track
- Interview structure analysis — as of 2025
- Portfolio strategy — 5 patterns
- Compensation — Korea, US, and remote
- Remote and global job strategy
- AI Engineer in 10 years — 5 scenarios
- Checklist and anti-patterns
1. AI Engineer Leveling Framework
1.1 Cross-company level comparison
| Stage | Meta | OpenAI | Typical startup | Korean conglomerate | |
|---|---|---|---|---|---|
| Junior | L3 | E3 | MTS I | Junior | Staff |
| Early senior | L4 | E4 | MTS II | Mid | Assistant manager |
| Senior | L5 | E5 | Senior MTS | Senior | Manager |
| Staff | L6 | E6 | Staff | Staff | Deputy GM / GM |
| Senior staff | L7 | E7 | Principal | Principal | Executive director |
| Principal | L8 | E8 | Distinguished | Distinguished | SVP+ |
1.2 Five axes of AI Engineer competency
- Technical depth — internals of LLM, RAG, and agent systems.
- System design — production architecture at scale.
- Product sense — connecting to users and the business.
- Communication — technical writing, talks, cross-team.
- Leadership — mentoring, decision-making, organizational impact.
As you climb, it's not just technical depth that matters — the other four become exponentially more important.
2. Junior (L3-L4) — Years 0-3: Foundations
2.1 Expected competencies
- Implement well-scoped tasks solo.
- Take code review actively and incorporate feedback.
- Build prompts, RAG, and simple agents.
- Fundamentals in Python, Git, Docker, and cloud.
2.2 Must-dos
- Implement 10 LLM API features from scratch: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
- Learn by reading open source: the internals of LangChain, LlamaIndex, vLLM.
- Habitual paper reading: one a week. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
- Absorb eval culture: on your first production deployment, build an eval harness without fail.
2.3 Don'ts
- "Just using LLM wrappers" — using without understanding internals.
- Total avoidance of GPUs and math — at minimum, understand linear algebra and probability.
- Locking into one framework — only LangChain, only OpenAI.
- Insisting on solo learning — missing PR review and pair programming opportunities.
2.4 What to prove by year 3
- Ship at least one production LLM feature from zero to one.
- 3-5 technical blog posts.
- 3+ open-source PRs (even small ones).
3. Senior (L5) — Years 3-6: System Design
3.1 Expected competencies
- 0 to 1 design: requirements → architecture → implementation → operations, end to end.
- Cross-team coordination: PM, Design, Data, Infra.
- Mentoring juniors: code review, onboarding, pairing.
- Trade-off decisions: RAG vs fine-tuning, vendor selection, cost vs quality.
3.2 What senior interviews probe
- Design review — "Design a document Q&A system handling 10M queries per month."
- Incident — "An LLM hallucinated an answer in prod. How do you respond?"
- Cost — "Cut a
$100K/month bill down to$20K/month." - Eval strategy — "How do you structure evals before shipping a new model to prod?"
3.3 Common mistakes at senior
- Too deep in tech — weak link to business impact.
- Under-documented — design exists only in your head.
- Disinterest in promotion politics — failure to make impact visible.
- Learning plateau — coasting on the first product win.
3.4 Preparing for staff
- Write 3-5 Design Docs or RFCs.
- Lead one company-wide problem: e.g., a company-wide LLM gateway platform.
- External visibility: conference talks, technical blog.
4. Staff (L6) — Years 6-10: Organizational Impact
4.1 Expected competencies — Tanya Reilly's four
From Tanya Reilly's The Staff Engineer's Path:
- Big-picture thinking — understanding org and industry terrain.
- Execution — turning ambiguous problems into outcomes.
- Leveling up — growing people around you.
- Influence without authority — driving change without direct command.
4.2 What a staff AI engineer actually does
- Helps shape company-wide AI strategy.
- Platform design: shared infra like Eval, Prompt, MCP.
- Leading complex incidents that span multiple teams.
- Hiring and hiring committee: leveling decisions.
- Multiplying teammates: 5 people made 2x effective is 10x in aggregate.
4.3 Staff archetypes (Will Larson, Staff Engineer)
- Tech Lead — team-level technical leader.
- Architect — architecture-focused.
- Solver — takes on problems the company can't solve elsewhere.
- Right Hand — the exec's technical partner.
In AI Engineering, the most common hybrid is Tech Lead + Solver.
4.4 What staff must focus on
- Tech debt vs new features balance.
- Build vs Buy: Weaviate vs home-grown vector search.
- Managing vendor lock-in: the risk of going all-in on OpenAI.
- Org culture: eval-driven, review culture.
5. Principal (L7-L8) — Technical Strategy
5.1 Expected competencies
- Setting company direction — technical strategy alongside CEO/CTO.
- Industry leadership — standards, open source, public talks.
- Talent magnet — people join because you're there.
- Long-horizon bets — 3-5 year R&D.
5.2 A principal's day
- Half: meetings, reviews, decisions.
- A quarter: strategy documents.
- A quarter: deep technical immersion (experiments in new paradigms, prototypes).
5.3 Are principals made?
- Formal promotion paths are rare — mostly the result of accumulated tenure.
- Two or more staff stints is common.
- External reputation is non-negotiable — the industry has to know your name.
- Founder or CTO pivots are a common route.
6. ML Engineer Track vs AI Engineer Track
6.1 ML Engineer path
- PhD or MS with papers and research.
- Feature engineering, classical ML plus DL.
- Foundation model training and research.
- Big labs: Google Brain, FAIR, DeepMind, Apple MLR.
- Scale AI, Anthropic, OpenAI Research.
6.2 AI Engineer path
- SWE background plus LLM composition.
- Defined by Chip Huyen in 2023.
- The majority of most company AI teams today.
- Low entry bar, fierce competition.
6.3 Hybrid strategy
After 2026, the MLE/AIE boundary will blur.
- AIEs will go deeper into fine-tuning, embeddings, and evals.
- MLEs will have to ship agents and productionize.
- "Full-stack AI Engineer" is the aspirational label.
6.4 Research vs Applied
- Research — papers, novel algorithms. PhD usually expected.
- Applied — shipping products. PhD not required.
- Research Engineer — in between. Experiment scale, infra.
AI Engineer sits on the Applied side. If you want to do research, Research Scientist or Research Engineer fits better.
7. Interview Structure Analysis — 2025
7.1 A typical AI Engineer loop: 5-7 rounds
- Recruiter screen — background, motivation.
- Hiring manager — experience, fit.
- Coding — medium LeetCode plus Python fluency.
- ML/LLM fundamentals — transformer, attention, RAG internals.
- System design — LLM system design.
- Behavioral — STAR-based.
- Bar raiser / exec — culture, cross-functional.
7.2 ML fundamentals they always ask
- Attention mechanism — Q, K, V math and why we divide by sqrt(d_k).
- Transformer architecture — encoder, decoder, decoder-only differences.
- Tokenization — BPE, SentencePiece, why Korean produces more tokens.
- Sampling — temperature, top-k, top-p, beam search.
- Fine-tuning — full vs LoRA vs RLHF vs DPO.
- RAG internals — embedding similarity, reranking, chunking.
- Evaluation — limits of BLEU/ROUGE, LLM-as-Judge bias.
7.3 System design staples
- "Design an AI assistant that replies in Slack" (multi-tenant, PII, retention).
- "Automated code review commenter" (repo-level context, PR diff).
- "Real-time video meeting summaries" (ASR + LLM + streaming).
- "Multilingual customer support bot" (language detection, fallback, escalation).
7.4 Behavioral (STAR)
- Conflict — how you resolved a technical disagreement with a peer.
- Failure — how you responded to and retrospected on a prod incident.
- Influence — times you led change without authority.
- Ambiguity — when requirements weren't clear.
7.5 Online assessment trends
- CoderPad + OpenAI API — a mini-project in 60-90 minutes.
- HackerRank ML — numerics, matrices, preprocessing.
- Take-home — 2-5 days, build a real LLM app.
Take-homes eat time but are the best way to prove capability.
7.6 Interview prep resources
- Deep Learning Interviews (Kalevi Kilkki) — LLM questions.
- Designing Machine Learning Systems (Chip Huyen) — system design.
- Machine Learning Interviews (Chip Huyen) — interview guide.
- LeetCode + NeetCode — the canonical 150.
- Mock interviews — interviewing.io, Pramp.
8. Portfolio Strategy — 5 Patterns
8.1 Why portfolio is decisive
The AI Engineer market is flooded with 1-3 year applicants. A one-page resume can't separate you. Your work does.
8.2 Five portfolio patterns
- End-to-end apps — RAG chatbot, code review bot, email agent. Deploy on Vercel or Fly.io.
- Open-source contributions — 3+ PRs to LangChain, LlamaIndex, or vLLM.
- Paper reimplementations — nanoGPT-style: attention, RLHF, RAG, DPO.
- Technical blog — 1-2 posts a month. Deep analysis or experiments.
- Kaggle and competitions — LLM RAG contests, AI Mathematical Olympiad.
8.3 A good GitHub README
- Problem statement — why you built it.
- Architecture diagram.
- How to run — one-click demo link.
- Limitations and learnings — what didn't work.
- Evals — with numbers.
8.4 Portfolios to avoid
- Tutorial copies — "To-Do app with LangChain" level.
- Not runnable — README only, no working code.
- Too small (single file) or too bloated (1000 commits, no refactor).
8.5 Technical blogging strategy
- Substack, Medium, or your own blog (Next.js + MDX).
- Cross-post to LinkedIn.
- Core subjects: failure stories, benchmark comparisons, production case studies.
- Benchmark against Hamel Husain, Chip Huyen, Jason Liu.
9. Compensation — Korea, US, and Remote
9.1 Korea (as of 2025)
| Level | Naver/Kakao TC | Conglomerate | Unicorn startup | Early-stage startup |
|---|---|---|---|---|
| Junior | 60-80M KRW | 55-70M | 65-90M | 55-75M |
| Senior | 100-130M | 85-110M | 110-150M | 100-140M+stock |
| Staff | 150-200M | 120-150M | 170-230M | 150-200M+stock |
| Principal | 200-300M+ | 170-220M | 250-400M+ | 200M+significant stock |
9.2 US (2025, per Levels.fyi)
| Level | Big Tech TC | OpenAI/Anthropic | Unicorn | Early |
|---|---|---|---|---|
| L3 | $200K-$270K | $350K+ | $220K-$280K | $180K-$250K+stock |
| L4 | $280K-$380K | $450K+ | $300K-$400K | $220K-$320K+stock |
| L5 | $380K-$550K | $600K-$900K | $400K-$600K | $300K-$450K+stock |
| L6 | $600K-$900K | $900K-$1.5M | $700K-$1.2M | $450K-$700K+stock |
| L7 | $900K-$1.5M | $1.5M-$3M+ | $1M-$2M | $700K-$1.2M+significant |
OpenAI and Anthropic are in an extreme competitive cycle right now, with $1M+ TC common at L5 and above.
9.3 Global remote (based in Korea)
- Vercel, Supabase, Linear, Replicate, Modal — remote-first.
- Korea-based TC:
$150K-$350K(stock included). - Tax structure — be careful about entry/residency around stock.
9.4 Understanding comp structure
- Base salary — fixed, monthly.
- Bonus — 10-25% per year.
- RSU (Restricted Stock) — 4-year vest, 1-year cliff.
- Options — startup land. 83(b) election.
- Sign-on — a switching incentive.
- Refresh grant — additional RSU each year.
9.5 Negotiation tips
- Competing offer is the strongest lever.
- Ground yourself in Levels.fyi + Blind data.
- Base vs Stock vs Sign-on ratio is negotiable.
- Combat-readiness with recruiters — the craft of asking and staying silent.
10. Remote and Global Job Strategy
10.1 Why try remote first
- No relocation risk.
- Start without a visa.
- English and communication training.
- Easier to relocate later on top of that.
10.2 Remote-friendly companies
Fully remote-first:
- Vercel, Supabase, Linear, Replicate, Modal.
- GitLab, Zapier, HashiCorp, Automattic.
- Ghost, Deel, Remote.com.
Hybrid but internationally hiring:
- Anthropic (selective), Scale AI, Weights & Biases.
10.3 Visas and relocation
- US H-1B — lottery. O-1 (extraordinary ability) is more realistic.
- UK Skilled Worker — points-based.
- Germany Blue Card — minimum salary threshold.
- Canada Express Entry / Global Talent Stream.
- Japan HSP — points-based, favorable to Koreans.
- Singapore Tech.Pass / EP.
10.4 Language and culture prep
- English writing — RFCs, Slack, PRs. Writing before speaking.
- Async communication — timezone-aware, documented asynchronously.
- Timezone politics — European companies rarely need Korea-dawn meetings. US companies will demand Korea-night time.
10.5 Designing a Korea-based global career
- Korean startup with a global product — Sendbird, Channel Talk, Upstage.
- Overseas branches of Korean giants — Naver US, Kakao Japan.
- Global remote full-time.
- Contractor / consulting — agencies like Deel or Remote.com.
- Relocation.
11. AI Engineer in 10 Years — 5 Scenarios
11.1 Scenario 1: "AI Full-stack Engineer" as the default
Role specialization stabilizes, and AI Engineer becomes the standard title for full-stack SWE plus LLM expertise. By the mid-2030s, 70% of SWEs hold this identity.
11.2 Scenario 2: "Vertical AI Specialist" split
Domain-specialized AI Engineers in law, medicine, and finance take the lead. The generalist AI Engineer market gets commoditized. Domain depth becomes the main driver of comp.
11.3 Scenario 3: "AI Ops Engineer" and "AI Product Engineer" split
- AI Ops — specialized in infra, cost, eval, guardrails.
- AI Product — specialized in UX, prompts, agent design.
- The two tracks clearly separate.
11.4 Scenario 4: AI replaces AI Engineers
Agents grow smart enough to automate 70% of AI Engineer work. What remains: system design, ethical judgment, translating with domain experts. Demand for human AI Engineers falls, but price per head skyrockets.
11.5 Scenario 5: Post-AGI restructuring
If AGI arrives by 2030-2035, traditional engineering careers get redefined. Physical-world integrations — robotics, energy, bioengineering — become the last frontier for human engineers.
11.6 How to prepare
- Low-level systems + AI combos: robotics, embedded, security.
- Domain vertical depth: law, medicine, bio, energy.
- Leadership: the triangle of tech, business, ethics.
- Founder mindset.
12. Burnout and Long-term Pacing
12.1 AI Engineers are especially burnout-prone
- Explosive information volume — new models and techniques every week.
- Hype-driven — PR pressure driven by weekend tweets.
- Over-investment: companies push for outcomes.
12.2 Defensive strategies
- Cap RSS/Twitter scanning to 1-2 sessions a week — the rest is deep work.
- 2-4 weeks of vacation a year.
- Keep side projects in a different register from day job.
- Health foundation: 7h sleep, 3x/week exercise.
12.3 Sustaining across 5 and 10 years
- A settled learning engine (see prior post).
- Side projects → side income → founder optionality.
- Relationship capital: former teammates, mentors, mentees.
- Financial basics: 6-month emergency fund, low-risk investing.
Checklist
Is my career actually well-designed?
- ☐ I know my current level (L3/L4/L5/...) against my company's official criteria.
- ☐ I've explicitly agreed on next-level expectations with my manager.
- ☐ I know my market comp from Levels.fyi and Blind.
- ☐ My GitHub profile has 3 projects a visitor can actually understand.
- ☐ I publish at least one technical blog or LinkedIn post per quarter.
- ☐ I review system design, coding, and ML fundamentals quarterly for interview readiness.
- ☐ I have at least one remote/overseas option in the pipeline.
- ☐ I have one mentor and one mentee.
- ☐ I take at least 2 weeks of rest per year.
- ☐ I have 6 months of emergency cash.
- ☐ I've drawn three concrete 10-year scenarios for myself.
- ☐ I've chosen my domain vertical depth (law, medicine, finance, etc.).
10 Common Anti-patterns
- Not having the promotion conversation with your manager first — there's no "just do good work and it'll come."
- Job-hopping only to raise comp — hard to accumulate 3-5 year impact.
- Chasing only the latest tools and frameworks — system thinking and soft skills stagnate.
- Trying to switch without a portfolio — the resume alone caps you.
- Expecting the global market without improving English.
- Failing to self-assess — no Levels.fyi or Blind check.
- Sacrificing health for short-term results — burnout 2-3 years later.
- No mentor — the cost of trial and error is enormous.
- Ignoring community — your network decides your next move.
- Pessimism that "AI will replace everything" — people still make the difference today.
Next post — "Designing Influence for Senior and Staff Engineers: Technical Writing 2.0, Talks, Conferences, Open Source, and Tech Leadership Branding"
The reason technically strong seniors and staff don't grow further is the absence of influence design.
- Technical Writing 2.0 — from RFC to external and eng blog
- Conference talks — QCon, KubeCon, DockerCon prep
- Life as an open-source maintainer
- Personal brand vs company brand
- Mentor and advisor network
- Transitioning from internal Staff to external Staff
Your career can only be designed as far as your awareness goes. Continued in the next post.