Skip to content

Split View: AI Engineer 커리어 완전 가이드 — 주니어에서 프린시플까지: 레벨·면접·포트폴리오·연봉·원격·10년 뒤 진화까지 2025-2026년 총정리

|

AI Engineer 커리어 완전 가이드 — 주니어에서 프린시플까지: 레벨·면접·포트폴리오·연봉·원격·10년 뒤 진화까지 2025-2026년 총정리

“Your career is your most important product. Treat it like one.” — Reid Hoffman

지난 글 [AI Engineering 프로덕션 실전]에서 어떻게 만드는가를 다뤘다. 이제는 내가 어떻게 성장하는가의 차례다.

AI Engineer는 2023년 Chip Huyen이 정의한 이후 2024~2025년 급속히 형성된 직군이다. 전통 ML Engineer 경로는 박사·논문 중심이었지만, AI Engineer는 SWE 배경으로도 진입 가능한 새 트랙이다. 단, 커리어 지도는 아직 표준화되지 않았다. 이 글은 그 지도를 직접 그린다.

대상 독자:

  • 주니어 AI Engineer로 방금 진입했거나 전환 중인 사람.
  • 시니어 백엔드·풀스택에서 AI Engineer로 피벗 고민 중인 사람.
  • Staff/Principal 트랙 진입을 준비하는 시니어.

목차

  1. AI Engineer 레벨 프레임워크 — L3~L8
  2. 주니어(L3~L4) — 0→3년: 기초 다지기
  3. 시니어(L5) — 3→6년: 시스템 설계
  4. 스태프(L6) — 6~10년: 조직적 영향
  5. 프린시플(L7~L8) — 기술 전략
  6. ML Engineer 트랙 vs AI Engineer 트랙
  7. 면접 구조 분석 — 2025년 기준
  8. 포트폴리오 전략 — 5가지 패턴
  9. 연봉과 보상 — 국내·미국·원격 비교
  10. 원격·해외 취업 전략
  11. AI Engineer의 10년 뒤 — 5가지 시나리오
  12. 체크리스트와 안티패턴

1. AI Engineer 레벨 프레임워크

1.1 회사별 레벨 비교

단계GoogleMetaOpenAI일반 스타트업한국 대기업
주니어L3E3MTS IJunior사원
초급 시니어L4E4MTS IIMid대리
시니어L5E5Senior MTSSenior과장
스태프L6E6StaffStaff차장·부장
시니어 스태프L7E7PrincipalPrincipal상무
프린시플L8E8DistinguishedDistinguished전무+

1.2 AI Engineer 역량 축 5가지

  1. Technical depth — LLM·RAG·Agent 시스템 내부 이해.
  2. System design — 대규모 프로덕션 아키텍처.
  3. Product sense — 사용자·비즈니스 연결.
  4. Communication — 기술 글·발표·교차팀.
  5. Leadership — 멘토링·의사결정·조직 영향.

레벨이 올라갈수록 Technical depth만 키우는 것이 아니라, 나머지 4가지가 지수적으로 중요해진다.


2. 주니어(L3~L4) — 0→3년: 기초 다지기

2.1 기대 역량

  • 주어진 명확한 태스크를 혼자 구현.
  • 코드 리뷰를 적극 받고, 반영.
  • Prompt·RAG·간단한 agent 구현 능력.
  • Python·Git·Docker·클라우드 기초.

2.2 꼭 해야 할 것

  1. LLM API 10가지 기능 직접 구현: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
  2. 오픈소스 학습: LangChain, LlamaIndex, vLLM 내부 코드 읽기.
  3. 논문 읽기 습관: 주 1편. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
  4. Eval 문화 체득: 첫 프로덕션 경험에서 eval을 꼭 구축해볼 것.

2.3 하지 말아야 할 것

  • "LLM 랩퍼만 쓰기" — 내부 동작 모르고 사용.
  • GPU·수학 완전 회피 — 최소한 선형대수·확률은 이해.
  • 한 프레임워크에 의존 — LangChain만, OpenAI만.
  • solo 학습만 고집 — PR 리뷰·페어 프로그래밍 기회 놓치기.

2.4 3년 차에 증명할 것

  • 최소 1개 프로덕션 LLM 기능을 0→1로 배포.
  • 기술 블로그 포스트 3~5편.
  • 오픈소스 PR 3개 이상 (작더라도).

3. 시니어(L5) — 3→6년: 시스템 설계

3.1 기대 역량

  • 0→1 설계: 요구사항 → 아키텍처 → 구현 → 운영 전체.
  • 교차팀 조율: PM·Design·Data·Infra.
  • 주니어 멘토링: 코드 리뷰·onboarding·페어.
  • 트레이드오프 결정: RAG vs fine-tuning, 벤더 선택, 비용·품질 균형.

3.2 시니어 면접에서 묻는 것

  1. Design review — "월 1000만 쿼리를 받는 문서 Q&A 시스템을 설계하라."
  2. Incident — "prod에서 LLM이 환각 답변을 했을 때 어떻게 대응?"
  3. Cost — "월 100K청구서를100K 청구서를 20K로 줄이는 방법."
  4. Eval strategy — "새 모델을 prod에 넣기 전 eval을 어떻게 구성?"

3.3 시니어가 놓치는 흔한 실수

  • 너무 기술에만 몰입 — 비즈니스 임팩트 연결 약함.
  • 문서화 부족 — 머릿속에만 있는 설계.
  • 승진 정치 무관심 — 성과 가시화 실패.
  • 학습 정체 — 첫 프로덕트 성공에 안주.

3.4 스태프로 가는 준비

  • Design Doc·RFC 3~5편 작성.
  • 회사 차원 문제 1개 주도: 예) 전사 LLM gateway 플랫폼.
  • 외부 가시성: 컨퍼런스 발표, 기술 블로그.

4. 스태프(L6) — 6~10년: 조직적 영향

4.1 기대 역량 — Tanya Reilly의 4가지

Tanya Reilly 『The Staff Engineer's Path』에서:

  1. Big-picture thinking — 조직·산업 지형 이해.
  2. Execution — 애매한 문제를 성과로.
  3. Leveling up — 주변을 성장시킴.
  4. Influence without authority — 직접 지휘 없이도 변화.

4.2 스태프 AI Engineer의 일

  • 전사 AI 전략 수립에 관여.
  • 플랫폼 설계: Eval·Prompt·MCP 등 공통 인프라.
  • 복잡한 incident lead: 여러 팀 영향.
  • 채용·hiring committee: 레벨 평가.
  • 후배 역량 배가: 5명을 2x로 만들면 10x 효과.

4.3 스태프 archetype (Will Larson 『Staff Engineer』)

  1. Tech Lead — 팀 단위 기술 리더.
  2. Architect — 아키텍처 중심.
  3. Solver — 회사가 풀지 못한 문제를 전담.
  4. Right Hand — 임원의 기술 파트너.

AI Engineer에서 가장 흔한 건 Tech Lead + Solver 하이브리드.

4.4 스태프가 중요하게 다뤄야 할 것

  • 기술 부채 vs 새 기능 균형.
  • Build vs Buy: Weaviate vs 자체 벡터 검색.
  • 벤더 lock-in 관리: OpenAI 일변도 리스크.
  • 조직 문화: eval-driven, review culture.

5. 프린시플(L7~L8) — 기술 전략

5.1 기대 역량

  • 회사 방향 수립 — CEO/CTO와 함께 기술 전략.
  • 산업 리더십 — 표준화·오픈소스·공개 발표.
  • 인재 자석 — 리쿠르팅의 이유가 됨.
  • 장기 투자 결정 — 3~5년 R&D.

5.2 프린시플의 하루

  • 절반: 미팅·리뷰·의사결정.
  • 1/4: 전략 문서 작성.
  • 1/4: 깊은 기술 몰입 (새 패러다임 실험, 프로토타입).

5.3 프린시플은 만들어지는가

  • 공식 승진 루트 희소 — 대부분 경력 누적 결과.
  • 2개 이상 스태프 경험 일반적.
  • 외부 평판 필수 — 업계가 이름을 알아야.
  • 창업·CTO 전환 흔한 경로.

6. ML Engineer 트랙 vs AI Engineer 트랙

6.1 ML Engineer 경로

  • PhD 또는 MS + 논문·연구.
  • Feature engineering·classical ML + DL.
  • Foundation model 훈련·연구.
  • 대기업: Google Brain, FAIR, DeepMind, Apple MLR.
  • Scale AI·Anthropic·OpenAI Research.

6.2 AI Engineer 경로

  • SWE 배경 + LLM 조립.
  • Chip Huyen이 2023년 정의.
  • 대부분 회사 AI 팀의 다수.
  • 입문 쉬움, 경쟁 치열.

6.3 하이브리드 전략

2026년 이후 MLE와 AIE 경계가 흐려질 것.

  • AIE도 fine-tuning·embedding·evals 깊이 들어감.
  • MLE도 agent·productionization 해야 함.
  • **"Full-stack AI Engineer"**가 이상적 표현.

6.4 Research vs Applied

  • Research — 논문·새 알고리즘. 박사 필요도 높음.
  • Applied — 실용 제품. 박사 불필요.
  • Research Engineer — 중간. 실험 스케일, 인프라.

AI Engineer는 Applied 쪽. Research 하고 싶다면 Research Scientist·Research Engineer 쪽이 적합.


7. 면접 구조 분석 — 2025년 기준

7.1 전형적 AI Engineer 면접 5~7 라운드

  1. Recruiter screen — 이력·동기.
  2. Hiring manager — 경험·fit.
  3. Coding — LeetCode 중 + Python 구현력.
  4. ML/LLM fundamentals — transformer, attention, RAG 동작.
  5. System design — LLM 시스템 설계.
  6. Behavioral — STAR 기반.
  7. Bar raiser / exec — 문화·cross-functional.

7.2 ML Fundamentals에서 꼭 묻는 것

  • Attention mechanism — Q·K·V 계산, 왜 sqrt(d_k)로 나누는지.
  • Transformer architecture — encoder·decoder·decoder-only 차이.
  • Tokenization — BPE, SentencePiece, 왜 한국어 토큰이 많은지.
  • Sampling — temperature, top-k, top-p, beam search.
  • Fine-tuning — full vs LoRA vs RLHF vs DPO.
  • RAG internals — embedding similarity, reranking, chunking.
  • Evaluation — BLEU/ROUGE 한계, LLM-as-Judge 편향.

7.3 System Design 대표 문제

  • "Slack 메시지에 답하는 AI assistant 설계" (multi-tenant, PII, retention).
  • "코드 리뷰 자동 코멘트 시스템" (repo 단위 context, PR diff).
  • "실시간 영상 회의 요약" (ASR + LLM + streaming).
  • "다국어 고객 지원 봇" (언어 감지, fallback, escalation).

7.4 Behavioral (STAR)

  • Conflict — 동료와 기술적 이견을 어떻게 해결했는가.
  • Failure — prod 사고를 어떻게 대응·회고했는가.
  • Influence — 권한 없이 변화를 이끈 예.
  • Ambiguity — 요구사항이 명확하지 않을 때.

7.5 온라인 어세스먼트 트렌드

  • CoderPad + OpenAI API — 60~90분 내 mini-project.
  • HackerRank ML — 수치·행렬·전처리.
  • Take-home — 2~5일, 실제 LLM 앱 구축.

take-home은 시간 많이 뺏기나 역량 증명에 유리.

7.6 면접 준비 리소스

  • "Deep Learning Interviews" (Kalevi Kilkki) — LLM 질문.
  • "Designing Machine Learning Systems" (Chip Huyen) — 시스템 설계.
  • "Machine Learning Interviews" (Chip Huyen) — 면접 가이드.
  • Leetcode + NeetCode — 주요 150 문제.
  • Mock interviews — interviewing.io, Pramp.

8. 포트폴리오 전략 — 5가지 패턴

8.1 왜 포트폴리오가 결정적인가

AI Engineer 시장은 경력 1~3년차 지원자가 넘친다. 이력서 한 장으론 구분 불가. 작품이 차별화.

8.2 5가지 포트폴리오 패턴

  1. End-to-end 앱 — RAG 챗봇, 코드 리뷰 봇, 이메일 에이전트. Vercel·Fly.io에 배포.
  2. 오픈소스 기여 — LangChain·LlamaIndex·vLLM PR 3개 이상.
  3. 논문 재구현 — nanoGPT 스타일. Attention, RLHF, RAG, DPO.
  4. 기술 블로그 — 월 1~2편. 깊이 있는 분석·실험.
  5. Kaggle·Competitions — LLM RAG 대회, AI Mathematical Olympiad.

8.3 좋은 GitHub README

  • 문제 정의 — 왜 만들었는가.
  • 아키텍처 다이어그램.
  • 실행 방법 — 1-click demo link.
  • 한계·학습 — 무엇이 잘 안됐는가.
  • Evals — 숫자로.

8.4 피해야 할 포트폴리오

  • 튜토리얼 복사 — "To-Do 앱 LangChain으로" 같은 것.
  • 실행 불가 — README만 있고 코드 안 돎.
  • 너무 작거나(한 파일) 너무 거대한(1000 커밋 리팩터 없음).

8.5 기술 블로그 전략

  • Substack, Medium, 자체 블로그(Next.js+MDX).
  • LinkedIn 교차 게시.
  • 핵심 소재: 실패 경험, 벤치마크 비교, 프로덕션 사례.
  • Hamel Husain, Chip Huyen, Jason Liu 벤치마크.

9. 연봉과 보상 — 국내·미국·원격 비교

9.1 한국 (2025년 기준)

레벨네이버·카카오 TC대기업유니콘 스타트업초기 스타트업
주니어6,000~8,000만5,500~7,000만6,500~9,000만5,500~7,500만
시니어1억~1.3억8,500만~1.1억1.1억~1.5억1억~1.4억+stock
스태프1.5억~2억1.2억~1.5억1.7억~2.3억1.5억~2억+stock
프린시플2억~3억+1.7억~2.2억2.5억~4억+2억+significant stock

9.2 미국 (2025년 기준, Levels.fyi)

레벨Big Tech TCOpenAI/Anthropic유니콘초기
L3200K 200K~270K$350K+220K 220K~280K180K 180K~250K+stock
L4280K 280K~380K$450K+300K 300K~400K220K 220K~320K+stock
L5380K 380K~550K600K 600K~900K400K 400K~600K300K 300K~450K+stock
L6600K 600K~900K900K 900K~1.5M700K 700K~1.2M450K 450K~700K+stock
L7900K 900K~1.5M1.5M 1.5M~3M+1M 1M~2M700K 700K~1.2M+significant

OpenAI·Anthropic은 현재 극단적 경쟁으로 L5 이상 $1M+ TC 흔함.

9.3 원격 글로벌 (한국 거주)

  • Vercel, Supabase, Linear, Replicate, Modal — 원격 우선.
  • 한국 TC: 150K 150K~350K (스톡 포함).
  • 세금 구조 — 스톡은 입국/체류 주의.

9.4 보상 구성 이해

  • Base salary — 매월 확정.
  • Bonus — 연 10~25%.
  • RSU (Restricted Stock) — 4년 vesting, cliff 1년.
  • Options — 스타트업. 83(b) 선택.
  • Sign-on — 이직 인센티브.
  • Refresh grant — 매년 추가 RSU.

9.5 협상 팁

  • Competing offer가 가장 강력.
  • Levels.fyi + Blind 데이터 근거.
  • "Base vs Stock vs Sign-on" 비율 조정 가능.
  • 리쿠르터와의 전투력 — 질문하고 침묵하는 기술.

10. 원격·해외 취업 전략

10.1 원격 먼저 시도하는 이유

  • 이사 리스크 없음.
  • 비자 없이 시작 가능.
  • 영어·커뮤니케이션 훈련.
  • 이후 해외 이전도 쉬움.

10.2 원격 친화 회사

완전 원격 우선:

  • Vercel, Supabase, Linear, Replicate, Modal.
  • GitLab, Zapier, HashiCorp, Automattic.
  • Ghost, Deel, Remote.com.

하이브리드이지만 국제 고용:

  • Anthropic (일부), Scale AI, Weights & Biases.

10.3 비자와 이전

  • 미국 H-1B — 추첨 복권. O-1(특기자)이 더 현실적.
  • 영국 Skilled Worker — 점수제.
  • 독일 Blue Card — 최소 연봉 기준.
  • 캐나다 Express Entry / Global Talent Stream.
  • 일본 HSP — 점수제. 한국인 유리.
  • 싱가포르 Tech.Pass / EP.

10.4 언어·문화 준비

  • 영어 writing — RFC·Slack·PR. 말하기보다 쓰기 먼저.
  • Async communication — 시차 고려, 비동기 문서화.
  • Timezone 정치 — 유럽 회사는 한국 새벽 미팅 드물다. 미국 회사는 한국 야간 필수.

10.5 한국-기반 글로벌 경력 설계

  1. 한국 스타트업 + 글로벌 제품 — Sendbird, Channel Talk, Upstage.
  2. 한국 대기업 해외 지사 — 네이버 미국, 카카오 일본.
  3. 글로벌 원격 풀타임.
  4. Contractor / Consulting — Deel·Remote.com 에이전시.
  5. 해외 이전.

11. AI Engineer의 10년 뒤 — 5가지 시나리오

11.1 시나리오 1: "AI Full-stack Engineer" 정착

역할 분화가 안정되고, AI Engineer는 풀스택 SWE + LLM 전문성의 표준 직군이 됨. 2030년대 중반 SWE의 70%가 이 정체성.

11.2 시나리오 2: "Vertical AI Specialist" 분화

법률·의료·금융 등 도메인 특화 AI Engineer가 주류. 일반 AI Engineer 시장은 commoditized. 도메인 전문성이 보상 차이 결정.

11.3 시나리오 3: "AI Ops Engineer"와 "AI Product Engineer" 분화

  • AI Ops — 인프라·cost·eval·guardrail 전문.
  • AI Product — UX·prompt·agent design 전문.
  • 두 트랙이 명확히 분리.

11.4 시나리오 4: AI가 AI Engineer 대체

Agent가 점점 똑똑해져 AI Engineer 업무의 70%를 자동화. 남는 건 시스템 설계·윤리 판단·도메인 전문가와 통역. 인간 AI Engineer 수요 감소, 단가 급등.

11.5 시나리오 5: AGI 도달 후 재편

2030~2035년 AGI 근접 시, 전통 엔지니어 커리어 자체 재정의. 로봇·에너지·생명공학 같은 물리 세계 통합이 마지막 인간 엔지니어 영역.

11.6 어떻게 대비할 것인가

  • 저수준 시스템 + AI 조합: 로봇·임베디드·보안.
  • 도메인 수직 깊이: 법률·의료·바이오·에너지.
  • 리더십: 기술·사업·윤리 삼각.
  • 창업가 마인드셋.

12. 번아웃과 장기 페이스

12.1 AI Engineer는 특히 번아웃 위험

  • 폭발적 정보량 — 매주 새 모델·기술.
  • hype-driven — 주말 tweet 기반 PR 압박.
  • 과잉투자: 회사가 성과 압박.

12.2 방어 전략

  • 주 1~2회 RSS/Twitter 정리 시간만 — 나머지는 deep work.
  • 연 2~4주 휴가.
  • Side project는 본업과 다른 결.
  • 건강 기반: 수면 7h·주 3회 운동.

12.3 5년·10년 후 지속

  • 학습 엔진 (앞 글) 정착.
  • 사이드 프로젝트 → 부업 → 창업 옵션.
  • 관계 자산: 전 동료·멘토·멘티.
  • 재무 기초: 생활비 6개월 비상금, 저위험 투자.

체크리스트

내 커리어가 제대로 설계돼 있는가?
  1. ☐ 내 현재 레벨(L3/L4/L5/…)을 회사 공식 기준으로 안다.
  2. ☐ 다음 레벨의 기대치를 명시적으로 매니저와 합의했다.
  3. ☐ Levels.fyi·Blind로 시장 연봉을 안다.
  4. ☐ GitHub 프로파일에 방문자가 이해할 수 있는 프로젝트 3개가 있다.
  5. ☐ 기술 블로그 또는 LinkedIn 포스트를 분기당 최소 1편 쓴다.
  6. ☐ 면접 대비 system design·coding·ML fundamentals를 분기별로 점검한다.
  7. ☐ 원격·해외 옵션을 최소 1개 이상 파이프라인에 갖고 있다.
  8. ☐ 멘토 1명, 멘티 1명이 있다.
  9. ☐ 연 2주 이상의 쉬는 기간이 있다.
  10. ☐ 비상금 6개월치가 있다.
  11. ☐ 10년 뒤 시나리오 3가지를 구체적으로 그려봤다.
  12. ☐ 내 도메인 수직 깊이(법률·의료·금융 등)를 선택했다.

자주 보는 안티패턴 10가지

  1. 승진 대화를 매니저와 먼저 안 한다 — "일 잘하면 자동"은 없다.
  2. 이직만 반복해 보상 올리기 — 3~5년 시점 성과 쌓기 어려움.
  3. 새 기술·프레임워크만 쫓기 — 시스템 사고·소프트스킬 정체.
  4. 포트폴리오 없이 이직 시도 — 이력서만으로 한계.
  5. 영어 안 늘린 채 글로벌 시장 기대.
  6. 자기 가치 평가 실패 — Levels.fyi·Blind 확인 없음.
  7. 건강 희생으로 단기 성과 추구 — 2~3년 뒤 번아웃.
  8. 멘토 없음 — 시행착오 비용 엄청남.
  9. 커뮤니티 무시 — 재취업 시 네트워크가 결정적.
  10. "AI가 모든 것을 대체할 거다" 비관 — 지금도 사람이 차이를 만든다.

다음 글 예고 — “시니어·스태프 엔지니어를 위한 영향력 설계: 기술 글쓰기 2.0, 발표, 컨퍼런스, 오픈소스, 테크 리더십 브랜딩”

기술력이 충분한 시니어·스태프가 더 크게 성장하지 못하는 이유는 영향력 설계의 부재다.

  • 기술 글쓰기 2.0 — RFC에서 외부 블로그·eng blog로
  • 컨퍼런스 발표 — QCon·KubeCon·DockerCon 준비
  • 오픈소스 유지보수자의 삶
  • 개인 브랜드 vs 회사 브랜드
  • 멘토·조언자 네트워크
  • 내부 Staff → 외부 Staff로의 전환

커리어는 아는 만큼 설계할 수 있다. 다음 글에서 이어진다.

The Complete AI Engineer Career Guide — From Junior to Principal: Leveling, Interviews, Portfolio, Compensation, Remote, and the Next Decade (2025-2026)

"Your career is your most important product. Treat it like one." — Reid Hoffman

In the previous post [AI Engineering in Production] I covered how to build. Now it's time for how you grow.

AI Engineer has taken shape rapidly over 2024-2025, after Chip Huyen's 2023 definition. The traditional ML Engineer path was PhD- and paper-centric, but AI Engineer is a new track you can enter from an SWE background. The career map, however, isn't standardized yet. This post draws that map directly.

Intended readers:

  • Junior AI Engineers who just entered the field or are pivoting in.
  • Senior backend/full-stack engineers considering a pivot to AI Engineer.
  • Seniors preparing to step into the Staff/Principal track.

Table of Contents

  1. AI Engineer leveling framework — L3 to L8
  2. Junior (L3-L4) — Years 0-3: Foundations
  3. Senior (L5) — Years 3-6: System design
  4. Staff (L6) — Years 6-10: Organizational impact
  5. Principal (L7-L8) — Technical strategy
  6. ML Engineer track vs AI Engineer track
  7. Interview structure analysis — as of 2025
  8. Portfolio strategy — 5 patterns
  9. Compensation — Korea, US, and remote
  10. Remote and global job strategy
  11. AI Engineer in 10 years — 5 scenarios
  12. Checklist and anti-patterns

1. AI Engineer Leveling Framework

1.1 Cross-company level comparison

StageGoogleMetaOpenAITypical startupKorean conglomerate
JuniorL3E3MTS IJuniorStaff
Early seniorL4E4MTS IIMidAssistant manager
SeniorL5E5Senior MTSSeniorManager
StaffL6E6StaffStaffDeputy GM / GM
Senior staffL7E7PrincipalPrincipalExecutive director
PrincipalL8E8DistinguishedDistinguishedSVP+

1.2 Five axes of AI Engineer competency

  1. Technical depth — internals of LLM, RAG, and agent systems.
  2. System design — production architecture at scale.
  3. Product sense — connecting to users and the business.
  4. Communication — technical writing, talks, cross-team.
  5. Leadership — mentoring, decision-making, organizational impact.

As you climb, it's not just technical depth that matters — the other four become exponentially more important.


2. Junior (L3-L4) — Years 0-3: Foundations

2.1 Expected competencies

  • Implement well-scoped tasks solo.
  • Take code review actively and incorporate feedback.
  • Build prompts, RAG, and simple agents.
  • Fundamentals in Python, Git, Docker, and cloud.

2.2 Must-dos

  1. Implement 10 LLM API features from scratch: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
  2. Learn by reading open source: the internals of LangChain, LlamaIndex, vLLM.
  3. Habitual paper reading: one a week. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
  4. Absorb eval culture: on your first production deployment, build an eval harness without fail.

2.3 Don'ts

  • "Just using LLM wrappers" — using without understanding internals.
  • Total avoidance of GPUs and math — at minimum, understand linear algebra and probability.
  • Locking into one framework — only LangChain, only OpenAI.
  • Insisting on solo learning — missing PR review and pair programming opportunities.

2.4 What to prove by year 3

  • Ship at least one production LLM feature from zero to one.
  • 3-5 technical blog posts.
  • 3+ open-source PRs (even small ones).

3. Senior (L5) — Years 3-6: System Design

3.1 Expected competencies

  • 0 to 1 design: requirements → architecture → implementation → operations, end to end.
  • Cross-team coordination: PM, Design, Data, Infra.
  • Mentoring juniors: code review, onboarding, pairing.
  • Trade-off decisions: RAG vs fine-tuning, vendor selection, cost vs quality.

3.2 What senior interviews probe

  1. Design review — "Design a document Q&A system handling 10M queries per month."
  2. Incident — "An LLM hallucinated an answer in prod. How do you respond?"
  3. Cost — "Cut a $100K/month bill down to $20K/month."
  4. Eval strategy — "How do you structure evals before shipping a new model to prod?"

3.3 Common mistakes at senior

  • Too deep in tech — weak link to business impact.
  • Under-documented — design exists only in your head.
  • Disinterest in promotion politics — failure to make impact visible.
  • Learning plateau — coasting on the first product win.

3.4 Preparing for staff

  • Write 3-5 Design Docs or RFCs.
  • Lead one company-wide problem: e.g., a company-wide LLM gateway platform.
  • External visibility: conference talks, technical blog.

4. Staff (L6) — Years 6-10: Organizational Impact

4.1 Expected competencies — Tanya Reilly's four

From Tanya Reilly's The Staff Engineer's Path:

  1. Big-picture thinking — understanding org and industry terrain.
  2. Execution — turning ambiguous problems into outcomes.
  3. Leveling up — growing people around you.
  4. Influence without authority — driving change without direct command.

4.2 What a staff AI engineer actually does

  • Helps shape company-wide AI strategy.
  • Platform design: shared infra like Eval, Prompt, MCP.
  • Leading complex incidents that span multiple teams.
  • Hiring and hiring committee: leveling decisions.
  • Multiplying teammates: 5 people made 2x effective is 10x in aggregate.

4.3 Staff archetypes (Will Larson, Staff Engineer)

  1. Tech Lead — team-level technical leader.
  2. Architect — architecture-focused.
  3. Solver — takes on problems the company can't solve elsewhere.
  4. Right Hand — the exec's technical partner.

In AI Engineering, the most common hybrid is Tech Lead + Solver.

4.4 What staff must focus on

  • Tech debt vs new features balance.
  • Build vs Buy: Weaviate vs home-grown vector search.
  • Managing vendor lock-in: the risk of going all-in on OpenAI.
  • Org culture: eval-driven, review culture.

5. Principal (L7-L8) — Technical Strategy

5.1 Expected competencies

  • Setting company direction — technical strategy alongside CEO/CTO.
  • Industry leadership — standards, open source, public talks.
  • Talent magnet — people join because you're there.
  • Long-horizon bets — 3-5 year R&D.

5.2 A principal's day

  • Half: meetings, reviews, decisions.
  • A quarter: strategy documents.
  • A quarter: deep technical immersion (experiments in new paradigms, prototypes).

5.3 Are principals made?

  • Formal promotion paths are rare — mostly the result of accumulated tenure.
  • Two or more staff stints is common.
  • External reputation is non-negotiable — the industry has to know your name.
  • Founder or CTO pivots are a common route.

6. ML Engineer Track vs AI Engineer Track

6.1 ML Engineer path

  • PhD or MS with papers and research.
  • Feature engineering, classical ML plus DL.
  • Foundation model training and research.
  • Big labs: Google Brain, FAIR, DeepMind, Apple MLR.
  • Scale AI, Anthropic, OpenAI Research.

6.2 AI Engineer path

  • SWE background plus LLM composition.
  • Defined by Chip Huyen in 2023.
  • The majority of most company AI teams today.
  • Low entry bar, fierce competition.

6.3 Hybrid strategy

After 2026, the MLE/AIE boundary will blur.

  • AIEs will go deeper into fine-tuning, embeddings, and evals.
  • MLEs will have to ship agents and productionize.
  • "Full-stack AI Engineer" is the aspirational label.

6.4 Research vs Applied

  • Research — papers, novel algorithms. PhD usually expected.
  • Applied — shipping products. PhD not required.
  • Research Engineer — in between. Experiment scale, infra.

AI Engineer sits on the Applied side. If you want to do research, Research Scientist or Research Engineer fits better.


7. Interview Structure Analysis — 2025

7.1 A typical AI Engineer loop: 5-7 rounds

  1. Recruiter screen — background, motivation.
  2. Hiring manager — experience, fit.
  3. Coding — medium LeetCode plus Python fluency.
  4. ML/LLM fundamentals — transformer, attention, RAG internals.
  5. System design — LLM system design.
  6. Behavioral — STAR-based.
  7. Bar raiser / exec — culture, cross-functional.

7.2 ML fundamentals they always ask

  • Attention mechanism — Q, K, V math and why we divide by sqrt(d_k).
  • Transformer architecture — encoder, decoder, decoder-only differences.
  • Tokenization — BPE, SentencePiece, why Korean produces more tokens.
  • Sampling — temperature, top-k, top-p, beam search.
  • Fine-tuning — full vs LoRA vs RLHF vs DPO.
  • RAG internals — embedding similarity, reranking, chunking.
  • Evaluation — limits of BLEU/ROUGE, LLM-as-Judge bias.

7.3 System design staples

  • "Design an AI assistant that replies in Slack" (multi-tenant, PII, retention).
  • "Automated code review commenter" (repo-level context, PR diff).
  • "Real-time video meeting summaries" (ASR + LLM + streaming).
  • "Multilingual customer support bot" (language detection, fallback, escalation).

7.4 Behavioral (STAR)

  • Conflict — how you resolved a technical disagreement with a peer.
  • Failure — how you responded to and retrospected on a prod incident.
  • Influence — times you led change without authority.
  • Ambiguity — when requirements weren't clear.
  • CoderPad + OpenAI API — a mini-project in 60-90 minutes.
  • HackerRank ML — numerics, matrices, preprocessing.
  • Take-home — 2-5 days, build a real LLM app.

Take-homes eat time but are the best way to prove capability.

7.6 Interview prep resources

  • Deep Learning Interviews (Kalevi Kilkki) — LLM questions.
  • Designing Machine Learning Systems (Chip Huyen) — system design.
  • Machine Learning Interviews (Chip Huyen) — interview guide.
  • LeetCode + NeetCode — the canonical 150.
  • Mock interviews — interviewing.io, Pramp.

8. Portfolio Strategy — 5 Patterns

8.1 Why portfolio is decisive

The AI Engineer market is flooded with 1-3 year applicants. A one-page resume can't separate you. Your work does.

8.2 Five portfolio patterns

  1. End-to-end apps — RAG chatbot, code review bot, email agent. Deploy on Vercel or Fly.io.
  2. Open-source contributions — 3+ PRs to LangChain, LlamaIndex, or vLLM.
  3. Paper reimplementations — nanoGPT-style: attention, RLHF, RAG, DPO.
  4. Technical blog — 1-2 posts a month. Deep analysis or experiments.
  5. Kaggle and competitions — LLM RAG contests, AI Mathematical Olympiad.

8.3 A good GitHub README

  • Problem statement — why you built it.
  • Architecture diagram.
  • How to run — one-click demo link.
  • Limitations and learnings — what didn't work.
  • Evals — with numbers.

8.4 Portfolios to avoid

  • Tutorial copies — "To-Do app with LangChain" level.
  • Not runnable — README only, no working code.
  • Too small (single file) or too bloated (1000 commits, no refactor).

8.5 Technical blogging strategy

  • Substack, Medium, or your own blog (Next.js + MDX).
  • Cross-post to LinkedIn.
  • Core subjects: failure stories, benchmark comparisons, production case studies.
  • Benchmark against Hamel Husain, Chip Huyen, Jason Liu.

9. Compensation — Korea, US, and Remote

9.1 Korea (as of 2025)

LevelNaver/Kakao TCConglomerateUnicorn startupEarly-stage startup
Junior60-80M KRW55-70M65-90M55-75M
Senior100-130M85-110M110-150M100-140M+stock
Staff150-200M120-150M170-230M150-200M+stock
Principal200-300M+170-220M250-400M+200M+significant stock

9.2 US (2025, per Levels.fyi)

LevelBig Tech TCOpenAI/AnthropicUnicornEarly
L3$200K-$270K$350K+$220K-$280K$180K-$250K+stock
L4$280K-$380K$450K+$300K-$400K$220K-$320K+stock
L5$380K-$550K$600K-$900K$400K-$600K$300K-$450K+stock
L6$600K-$900K$900K-$1.5M$700K-$1.2M$450K-$700K+stock
L7$900K-$1.5M$1.5M-$3M+$1M-$2M$700K-$1.2M+significant

OpenAI and Anthropic are in an extreme competitive cycle right now, with $1M+ TC common at L5 and above.

9.3 Global remote (based in Korea)

  • Vercel, Supabase, Linear, Replicate, Modal — remote-first.
  • Korea-based TC: $150K-$350K (stock included).
  • Tax structure — be careful about entry/residency around stock.

9.4 Understanding comp structure

  • Base salary — fixed, monthly.
  • Bonus — 10-25% per year.
  • RSU (Restricted Stock) — 4-year vest, 1-year cliff.
  • Options — startup land. 83(b) election.
  • Sign-on — a switching incentive.
  • Refresh grant — additional RSU each year.

9.5 Negotiation tips

  • Competing offer is the strongest lever.
  • Ground yourself in Levels.fyi + Blind data.
  • Base vs Stock vs Sign-on ratio is negotiable.
  • Combat-readiness with recruiters — the craft of asking and staying silent.

10. Remote and Global Job Strategy

10.1 Why try remote first

  • No relocation risk.
  • Start without a visa.
  • English and communication training.
  • Easier to relocate later on top of that.

10.2 Remote-friendly companies

Fully remote-first:

  • Vercel, Supabase, Linear, Replicate, Modal.
  • GitLab, Zapier, HashiCorp, Automattic.
  • Ghost, Deel, Remote.com.

Hybrid but internationally hiring:

  • Anthropic (selective), Scale AI, Weights & Biases.

10.3 Visas and relocation

  • US H-1B — lottery. O-1 (extraordinary ability) is more realistic.
  • UK Skilled Worker — points-based.
  • Germany Blue Card — minimum salary threshold.
  • Canada Express Entry / Global Talent Stream.
  • Japan HSP — points-based, favorable to Koreans.
  • Singapore Tech.Pass / EP.

10.4 Language and culture prep

  • English writing — RFCs, Slack, PRs. Writing before speaking.
  • Async communication — timezone-aware, documented asynchronously.
  • Timezone politics — European companies rarely need Korea-dawn meetings. US companies will demand Korea-night time.

10.5 Designing a Korea-based global career

  1. Korean startup with a global product — Sendbird, Channel Talk, Upstage.
  2. Overseas branches of Korean giants — Naver US, Kakao Japan.
  3. Global remote full-time.
  4. Contractor / consulting — agencies like Deel or Remote.com.
  5. Relocation.

11. AI Engineer in 10 Years — 5 Scenarios

11.1 Scenario 1: "AI Full-stack Engineer" as the default

Role specialization stabilizes, and AI Engineer becomes the standard title for full-stack SWE plus LLM expertise. By the mid-2030s, 70% of SWEs hold this identity.

11.2 Scenario 2: "Vertical AI Specialist" split

Domain-specialized AI Engineers in law, medicine, and finance take the lead. The generalist AI Engineer market gets commoditized. Domain depth becomes the main driver of comp.

11.3 Scenario 3: "AI Ops Engineer" and "AI Product Engineer" split

  • AI Ops — specialized in infra, cost, eval, guardrails.
  • AI Product — specialized in UX, prompts, agent design.
  • The two tracks clearly separate.

11.4 Scenario 4: AI replaces AI Engineers

Agents grow smart enough to automate 70% of AI Engineer work. What remains: system design, ethical judgment, translating with domain experts. Demand for human AI Engineers falls, but price per head skyrockets.

11.5 Scenario 5: Post-AGI restructuring

If AGI arrives by 2030-2035, traditional engineering careers get redefined. Physical-world integrations — robotics, energy, bioengineering — become the last frontier for human engineers.

11.6 How to prepare

  • Low-level systems + AI combos: robotics, embedded, security.
  • Domain vertical depth: law, medicine, bio, energy.
  • Leadership: the triangle of tech, business, ethics.
  • Founder mindset.

12. Burnout and Long-term Pacing

12.1 AI Engineers are especially burnout-prone

  • Explosive information volume — new models and techniques every week.
  • Hype-driven — PR pressure driven by weekend tweets.
  • Over-investment: companies push for outcomes.

12.2 Defensive strategies

  • Cap RSS/Twitter scanning to 1-2 sessions a week — the rest is deep work.
  • 2-4 weeks of vacation a year.
  • Keep side projects in a different register from day job.
  • Health foundation: 7h sleep, 3x/week exercise.

12.3 Sustaining across 5 and 10 years

  • A settled learning engine (see prior post).
  • Side projects → side income → founder optionality.
  • Relationship capital: former teammates, mentors, mentees.
  • Financial basics: 6-month emergency fund, low-risk investing.

Checklist

Is my career actually well-designed?
  1. ☐ I know my current level (L3/L4/L5/...) against my company's official criteria.
  2. ☐ I've explicitly agreed on next-level expectations with my manager.
  3. ☐ I know my market comp from Levels.fyi and Blind.
  4. ☐ My GitHub profile has 3 projects a visitor can actually understand.
  5. ☐ I publish at least one technical blog or LinkedIn post per quarter.
  6. ☐ I review system design, coding, and ML fundamentals quarterly for interview readiness.
  7. ☐ I have at least one remote/overseas option in the pipeline.
  8. ☐ I have one mentor and one mentee.
  9. ☐ I take at least 2 weeks of rest per year.
  10. ☐ I have 6 months of emergency cash.
  11. ☐ I've drawn three concrete 10-year scenarios for myself.
  12. ☐ I've chosen my domain vertical depth (law, medicine, finance, etc.).

10 Common Anti-patterns

  1. Not having the promotion conversation with your manager first — there's no "just do good work and it'll come."
  2. Job-hopping only to raise comp — hard to accumulate 3-5 year impact.
  3. Chasing only the latest tools and frameworks — system thinking and soft skills stagnate.
  4. Trying to switch without a portfolio — the resume alone caps you.
  5. Expecting the global market without improving English.
  6. Failing to self-assess — no Levels.fyi or Blind check.
  7. Sacrificing health for short-term results — burnout 2-3 years later.
  8. No mentor — the cost of trial and error is enormous.
  9. Ignoring community — your network decides your next move.
  10. Pessimism that "AI will replace everything" — people still make the difference today.

Next post — "Designing Influence for Senior and Staff Engineers: Technical Writing 2.0, Talks, Conferences, Open Source, and Tech Leadership Branding"

The reason technically strong seniors and staff don't grow further is the absence of influence design.

  • Technical Writing 2.0 — from RFC to external and eng blog
  • Conference talks — QCon, KubeCon, DockerCon prep
  • Life as an open-source maintainer
  • Personal brand vs company brand
  • Mentor and advisor network
  • Transitioning from internal Staff to external Staff

Your career can only be designed as far as your awareness goes. Continued in the next post.