AI 时代生存指南 第 5 篇：数据科学家的未来 — 危机，还是机会？

2019 年，一篇题为「数据科学家是 21 世纪最性感的职业」的《哈佛商业评论》文章，搅动了全世界 IT 从业者的心。许多人因此重新学习统计学、学习 Python，在 Kaggle 上熬夜刷题。而如今是 2026 年，ChatGPT、Claude 这样的 LLM 能瞬间写出数据分析报告，AutoML 工具也在自动完成模型选择与超参数调优。

让我直白地问一句：「那么，数据科学家现在到底该怎么办？」

这篇文章写给那些始终摆脱不了这个问题的人。先说结论：这既是危机，也是巨大的机会。但究竟会变成哪一种，完全取决于你自己的选择。

1. AutoML 与 LLM 正在取代的 DS 工作现实

首先必须正视一个令人不快的事实。让我们坦率地看一看，AI 已经在取代哪些数据科学家的工作。

探索性数据分析(EDA)的自动化

直到 2023 年，EDA 都还是数据科学家的核心工作 — 加载数据、检查缺失值、可视化分布、分析相关性。现在呢？

# 过去：需要手写数十行代码才能完成的 EDA
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

df = pd.read_csv('data.csv')
print(df.describe())
print(df.isnull().sum())
df.hist(figsize=(20, 15))
plt.show()
# ... 还有几十行

如今只要对 Claude 或 GPT-4 说一句「帮我分析一下这个数据集」，就能同时拿到完整的 EDA 代码和洞察。像 ydata-profiling(前身是 pandas-profiling)这样的工具，一行代码就能生成几百页的 EDA 报告。

基础模型构建的平民化

AutoML 的进步更加令人震撼。Google 的 Vertex AI AutoML、Amazon SageMaker Autopilot，以及开源工具 Auto-sklearn、FLAML，如今已经能让非专业人士也构建出相当不错的预测模型。

# 用 AutoML 训练模型 - 只需要喂入数据
from flaml import AutoML

automl = AutoML()
automl.fit(
    X_train,
    y_train,
    task="classification",
    time_budget=3600  # 在 1 小时内搜索最优模型
)
print(automl.best_estimator)
print(automl.best_config)

放在过去，这是初级 DS 需要投入几周时间才能完成的工作。现在只需按一个按钮。

定型报告撰写的自动化

每个月都按同样格式撰写的绩效报告，现在由 LLM 接收数据后自动生成。许多企业已经搭建了自动化报告流水线，在这个过程中，那些机械式撰写报告的 DS 岗位正在减少。

特征工程的变化

深度学习的发展，让表格型数据也能实现自动特征学习。像 TabNet、FT-Transformer 这样的模型，无需手动特征工程也能取得出色的性能。基于 LLM 的特征工程工具，则能把用自然语言描述的特征自动转换为代码。

结论： 相当一部分例行、重复性的 DS 工作正在被自动化。这就是现实。

2. 依然不可或缺的 DS 核心能力

但这里有一个重要的转折点。有些领域是自动化无法替代的，而这些领域的价值反而在不断提升。

领域理解与业务问题定义

AutoML 能够学习数据。但「应该解决什么问题」的定义，依然是人类的领域。

以医疗保健领域为例。当业务目标是「降低患者再入院率」时，要把它转化为一个预测模型问题，需要做出大量决策。

• 再入院的判定标准定为 30 天，还是 90 天
• 是否只以可预防的再入院为目标
• 根据可行的干预手段，应将预测时点设在何时
• 模型的误报(False Positive)与漏报(False Negative)，哪一种代价更高

这些决策，没有对医疗领域的深刻理解是无法做出的。而正是这些决策，决定了模型真正的业务价值。

实验设计与因果推断

「销售额上升了。是因为 A/B 测试，还是季节性因素？」回答这个问题，就是因果推断。

区分相关关系与因果关系的能力，是 AI 目前还难以取代的领域。用一场设计有误的实验所产生的数据，无论建出多好的模型，得到的结论都毫无意义。

# 因果推断：处置效应估计(工具变量法的概念示例)
# 用于在没有混杂变量的情况下估计 X -> Y 因果关系的方法

# 简单的 OLS 可能因混杂变量而产生偏差
# 利用自然实验或工具变量进行因果估计非常重要

from sklearn.linear_model import LinearRegression
import numpy as np

# 而不是对处置组和对照组做简单比较
# 需要对选择偏差进行校正后的估计
# 做出这一判断，是领域专家与 DS 的协作

双重差分法(Difference-in-Differences)、合成对照法(Synthetic Control)、断点回归设计(Regression Discontinuity Design)这类因果推断方法论，在商业实践中的价值正与日俱增。

数据质量甄别能力

「这份数据可信吗？」这个问题，AI 很难自己回答。把握数据收集的语境、测量误差的模式、以及选择偏差的可能性，是经验丰富的 DS 的职责。

实际上，许多 ML 项目失败的原因，往往不是算法问题，而是数据质量问题。无论 AutoML 多么强大，「垃圾进，垃圾出(Garbage In, Garbage Out)」这条原则都不会改变。

不确定性的量化与沟通

业务决策者想知道的是「这个模型到底有多可靠？」。理解置信区间、预测区间、模型不确定性，并向非技术型利益相关者清晰传达的能力，依然弥足珍贵。

3. 从 DS 进化为 ML 工程师 / AI 产品构建者

许多 DS 正在两个方向中做出选择。

方向 1：转型为 ML 工程师 / MLOps

关注点正从「构建模型」转向「在生产环境中运营模型」。

# 使用 MLflow 进行模型追踪与部署的示例
# mlproject 文件结构

name: churn_prediction

conda_env: conda.yaml

entry_points:
  train:
    parameters:
      learning_rate: { type: float, default: 0.01 }
      n_estimators: { type: int, default: 100 }
    command: 'python train.py --lr {learning_rate} --n_est {n_estimators}'
  evaluate:
    command: 'python evaluate.py'

MLOps 工程师负责以下工作。

• 模型训练流水线自动化
• 特征存储(Feature Store)的构建与管理
• 模型服务基础设施(延迟、吞吐量)
• 模型漂移监控与再训练触发
• A/B 测试基础设施

在韩国，MLOps 工程师的需求自 2024 年以来急剧增长。不仅是 Naver、Kakao、Coupang 等大型科技公司，金融、医疗健康领域的创业公司也在积极招聘这一岗位。

方向 2：进化为 AI 产品构建者

这是 LLM 时代新兴的角色，将 DS 的分析能力与工程能力结合起来，打造真正能运行的 AI 产品。

# 基于 RAG 的 AI 产品核心流水线示例
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

# 文档嵌入与向量存储构建
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(documents, embeddings)

# 构建基于检索的 QA 链
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
qa_chain = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(model="gpt-4o"),
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True
)

# 执行查询
result = qa_chain({"query": "我们产品的退款政策是什么？"})

这个角色超越了单纯的 ML 模型开发，要设计并实现整个 AI 系统。

4. 数据科学家应当掌握的 AI 技能

LLM 微调的理解与实践

对 LLM 进行微调，如今已经成为 DS 的一项重要能力。完整微调(Full Fine-tuning)成本高昂，但借助 LoRA(Low-Rank Adaptation)，用消费级 GPU 也能完成。

# 使用 LoRA 进行 LLM 微调的示例(Hugging Face PEFT)
from peft import get_peft_model, LoraConfig, TaskType
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "meta-llama/Llama-3.2-3B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# LoRA 配置
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,           # LoRA rank
    lora_alpha=32,  # 缩放参数
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
)

# 应用 LoRA 适配器
peft_model = get_peft_model(model, lora_config)
peft_model.print_trainable_parameters()
# trainable params: 2,097,152 || all params: 3,213,000,000 || trainable%: 0.065

判断什么时候该做微调、什么时候提示词工程或 RAG 就足够，这项能力同样重要。

RAG 系统设计与实现

Retrieval-Augmented Generation 是目前应用最广泛的 AI 产品模式。DS 在 RAG 系统中可以负责以下工作。

• 分块策略实验(固定大小 vs 句子级 vs 语义级)
• 嵌入模型的选择与评估
• 混合检索的实现(向量检索 + BM25)
• 重排序(Reranking)模型的运用

# 混合检索的实现概念
from langchain.retrievers import EnsembleRetriever
from langchain.retrievers import BM25Retriever
from langchain.vectorstores import FAISS

# 向量检索器
vector_retriever = faiss_store.as_retriever(search_kwargs={"k": 10})

# BM25 关键词检索器
bm25_retriever = BM25Retriever.from_documents(documents)
bm25_retriever.k = 10

# 集成检索(0.6：向量，0.4：BM25)
ensemble_retriever = EnsembleRetriever(
    retrievers=[vector_retriever, bm25_retriever],
    weights=[0.6, 0.4]
)

AI 系统评估

这大概是 DS 最重要的一项新能力。基于 LLM 的系统，评估方式必须不同于传统 ML 模型 — 固定测试集的准确率已经不够用了。

# LLM 系统评估框架示例(RAGAS)
from ragas import evaluate
from ragas.metrics import (
    faithfulness,       # 生成的答案是否忠实于检索到的上下文
    answer_relevancy,  # 答案是否与问题相关
    context_precision, # 检索到的上下文是否准确
    context_recall,    # 是否找全了所有相关的上下文
)

result = evaluate(
    dataset=test_dataset,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result.to_pandas())

构建评估数据集、把人工评估(Human Evaluation)与自动评估结合起来、搭建用于防止回归(Regression Prevention)的评估流水线 — 这些都是 DS 的职责。

提示词工程与 LLM 编排

光会写提示词还不够，还需要设计复杂 AI 工作流的能力。

# 使用 LangGraph 实现的智能体工作流
from langgraph.graph import StateGraph, END
from typing import TypedDict, Annotated
import operator

class AgentState(TypedDict):
    messages: Annotated[list, operator.add]
    next: str

# 分析型智能体工作流示例
workflow = StateGraph(AgentState)
workflow.add_node("data_loader", load_data_node)
workflow.add_node("analyzer", analyze_node)
workflow.add_node("visualizer", visualize_node)
workflow.add_node("reporter", report_node)

workflow.set_entry_point("data_loader")
workflow.add_edge("data_loader", "analyzer")
workflow.add_conditional_edges(
    "analyzer",
    route_next_step,
    {"needs_viz": "visualizer", "done": "reporter"}
)
workflow.add_edge("visualizer", "reporter")
workflow.add_edge("reporter", END)

5. 12 个月转型路线图

现在，让我们制定一份具体的行动计划。

第 1-3 个月：基础盘点与 LLM 入门

第 1 个月：诊断当前状态

• 把自己目前的 DS 工作，划分为「面临自动化风险」与「不面临自动化风险」两类
• LLM API 基础实践(OpenAI API、Anthropic API)
• 通读 Prompt Engineering Guide(https://www.promptingguide.ai)

第 2 个月：理解 LLM 应用

• 完成 LangChain 或 LlamaIndex 教程
• 亲手搭建一个简单的 RAG 系统(把自己的领域知识「喂」给 AI 的实践)
• 免费学习 Hugging Face 课程「LLM Course」

第 3 个月：确定专精方向

• 在 MLOps 方向与 AI 产品构建者方向之间做出选择
• 开始集中学习所选方向的核心工具
• 加入社区：韩国 MLOps 社区、LangChain 韩国用户组

第 4-6 个月：掌握核心技术

若选择 MLOps 方向：

# 学习顺序
# 1. Docker & Kubernetes 基础
docker build -t my-model:v1 .
kubectl apply -f deployment.yaml

# 2. 精通 MLflow
mlflow server --backend-store-uri sqlite:///mlflow.db

# 3. Kubeflow 或 Vertex AI Pipelines
# 4. 监控：Prometheus + Grafana + Evidently AI

若选择 AI 产品构建者方向：

• LangChain/LlamaIndex 深入学习
• 理解向量数据库(Pinecone、Weaviate、Chroma)
• LLM 评估框架(RAGAS、DeepEval)
• 生产环境部署经验(Streamlit、FastAPI + Vercel)

第 7-9 个月：实战项目

这个阶段，必须做出一个真正能运行的东西。

推荐的项目创意：

• 针对自己所在领域(医疗健康、金融、电商等)定制的 RAG 聊天机器人
• 数据分析自动化智能体(上传 CSV 即自动生成洞察)
• MLOps 流水线搭建项目(GitHub Actions + MLflow + FastAPI)

第 10-12 个月：定位与求职活动

• 把项目整理到 GitHub 上，认真撰写 README
• 在技术博客上记录学习过程与项目复盘
• 更新 LinkedIn 个人资料
• 列出目标公司清单，开始投递申请

6. 就业市场现实：韩国与海外

韩国市场

让我们坦率地看看 2026 年当下韩国 DS/AI 招聘的趋势。

需求旺盛的角色：

• MLOps/ML 工程师：Naver、Kakao、Coupang、Toss、Karrot Market 等都在招聘
• LLM 应用工程师：需求以创业公司为中心呈爆发式增长
• AI 研究员(负责发论文的角色)：要求顶尖研究生院毕业，且必须有顶级会议论文

现实的进入门槛：

• 大企业依然倾向于偏好 SKY/KAIST/POSTECH 这类学历背景
• 但创业公司越来越倾向于以实力为核心的招聘
• 作品集与 GitHub 贡献度正变得越来越重要

薪资现实(以 2026 年为基准的估算)：

• 初级 DS/ML 工程师(1-3 年)：4,500 万-6,500 万韩元
• 中级(3-7 年)：7,000 万-1 亿韩元
• 资深(7 年以上)：1 亿韩元以上
• 若拥有海外经验或顶级会议论文，薪资可大幅上浮

海外市场(含远程办公)

如果英语够用，海外市场要广阔得多。

• 在 Upwork、Toptal 这类平台上，作为 LLM 顾问，时薪可达 80-200 美元
• 在远程办公的创业公司里担任 ML 工程师，年薪可达 10 万-20 万美元
• Kaggle Master/Grandmaster 头衔，在海外依然是一个强有力的信号

7. 作品集策略：从 Kaggle 走向真实产品

很多 DS 把 Kaggle 奖牌当作作品集的全部。但 2026 年的招聘市场已经变了。

Kaggle 的价值与局限

Kaggle 依然有价值。名列前茅的经历能证明你的 ML 技术实力。但 Kaggle 上的题目和现实不一样。

• 数据是干净整洁地给到你手上的(现实中的数据很脏乱)
• 问题被清晰地定义好了(现实中问题本身就要从头定义)
• 不需要考虑部署与运维(现实中这占了工作量的一半以上)

打造真实产品作品集

Level 1：证明工具熟练度

用自己领域的数据构建并部署一套 RAG 系统。例如：

• 「韩国药品信息检索 AI」— 使用食品医药品安全处的公开数据
• 「法律文书摘要 AI」— 使用判例公开数据
• 「金融报告分析 AI」— 使用信息披露数据

# 完成部署的 RAG 系统架构
# 1. 数据采集与预处理流水线
# 2. 文档分块与嵌入
# 3. 向量存储的构建
# 4. 检索 + 生成链
# 5. FastAPI 后端
# 6. Streamlit 或 React 前端
# 7. Docker 容器化与云端部署(AWS/GCP/Azure)

Level 2：拥有真实用户的产品

哪怕只有 100 个用户，只要是真正在被使用的产品，都会强大得多。

• 会产生真实的使用数据与反馈
• 会积累解决运营中实际问题的经验
• 能证明「这个人真的能把产品做出来」

Level 3：可衡量的业务影响

最有说服力的作品集，是「我做的 AI 帮公司削减了 X% 的成本」或者「自动化了 Y 项工作」这样具体的影响力。可以在目前的工作单位里，尝试一个小型的 AI 自动化项目。如果很难获得批准，去帮身边的小商户或非营利组织做志愿性质的 AI 落地，也同样是一份出色的作品集。

结语

「数据科学家」这个职称也许会消失。但对「理解数据、定义问题、并用 AI 解决问题的人」的需求，反而会呈爆炸式增长。

如果 AutoML 负责构建模型，我们负责定义应该构建怎样的模型。如果 LLM 负责撰写分析报告，我们负责决定该提出怎样的问题。如果 AI 负责找出模式，我们负责判断那些模式是否真正有意义。

现在没有一份完美的计划也没关系。就从今天打开 OpenAI API 文档开始吧。动手做一个小小的 RAG 项目。这一小步，会在一年后彻底改变你的职业生涯。

本系列的下一篇，将聚焦 AI 时代产品策划/PM 的生存策略。