自动化机器学习
理解 AutoML 能自动化哪些步骤、它的优势和局限，以及怎样负责任地使用。
- 识别可自动化步骤
- 判断何时适合 AutoML
- 正确比较候选方案
简介
AutoML 自动完成部分特征处理、算法选择、超参数搜索和候选模型评估，让团队更快建立可靠基准。
AutoML 自动执行模型候选选择、超参数搜索和部分特征处理。它可以更快给出可用基线，却不能替你定义业务目标、清洗错误标签或决定怎样拆分训练集与测试集。
理解搜索范围很重要：如果搜索过程反复看到测试集，测试分数会变得乐观。验证集用于选择方案，封存测试集只在最后评估一次。
你需要理解
- 它减少重复实验，不会自动定义正确业务目标。
- 输入数据和评价指标仍需要领域判断。
预测用户流失时，AutoML 可以比较树模型与线性模型，但“离开产品后才能知道的退款标记”仍属于数据泄漏，工具不会自动理解业务时间线。
优势和限制
优势是速度、可重复和较低门槛；限制是搜索成本、可解释性、定制能力和潜在数据泄漏。
优势是减少重复试验、容易记录候选配置，并让非专家较快建立基线。限制包括搜索费用、解释复杂、对特殊约束支持不足，以及可能放大数据里的偏差。
数据量、标签质量、类别平衡和评估方式决定结果上限。如果所有候选模型都失败，先回头核对问题定义和数据，而不是无限扩大搜索预算。
你需要理解
- 把 AutoML 当作实验系统而不是黑盒答案。
- 限制计算预算并记录所有试验。
- 在时间外推或分组数据中使用正确拆分策略。
医疗文本标签大量误标时，搜索 100 种模型可能只是更精确地拟合错误标签。
把“自动找到最高分”视为候选推荐，不等于它已适合上线。
开始使用
先定义目标、数据拆分和基准，再限定搜索空间，最后在封存测试集上评估胜出方案。
先定义预测时点和可用字段，按时间或实体合理拆分数据，再建立简单基线。随后限制 AutoML 的时间、费用和模型种类；用验证集选候选，在保留测试集上做最终确认。
上线前检查公平性、延迟、资源、可解释性和稳定性。需要持续监控，并保存数据、搜索配置和模型版本，以便复现和回滚。
你需要理解
- 从简单模型基准开始。
- 优化业务相关指标。
- 检查最优模型在关键切片上的表现。
- 导出完整预处理和模型流水线。
商品销量预测应按时间切分。若随机打散，把未来月份的数据放入训练集，会给出不可信的高分。
AutoML 搜索为什么不能看测试集
用 1～8 月的行为数据预测用户下个月是否流失。目标是选出稳定、能部署的模型。
按时间与用户拆分
用 1～6 月训练、7 月验证、8 月封存测试。同一用户的未来记录不能进入过去样本；标签只应在预测时点之后生成。
先立简单基线
建立“上月未登录就预警”规则，记录流失类精确率、召回率及业务成本。AutoML 的收益应相对基线衡量。
只用验证集搜索
给 AutoML 固定 2 小时预算，在相同训练/验证切分上比较候选模型和超参数。若每个候选都能看 8 月测试集，再挑最高分，测试集就被间接用于训练决策。
最后只评估一次测试集
假设候选甲 7 月 AUC 为 0.81，乙为 0.83；先按验证集和延迟要求选乙，再在 8 月评估。若 8 月 AUC 仅 0.69，需调查漂移和过拟合，不能不断换候选直到测试分数好看。
检查上线约束
确认特征能否及时获取、推理延迟、群体表现和费用；保存数据快照、搜索配置、随机种子与模型版本。
把它串起来：AutoML 自动化候选搜索，不会替你定义问题、清洗数据、设计切分或承担上线责任。
本页依据 Google Machine Learning Crash Course 的课程结构与概念重新编写，文字和图示经过中文化重构。查看 Google 官方对应模块。Google 页面文字通常采用 CC BY 4.0，代码示例采用 Apache 2.0；第三方图片未直接复制。