公平性

总体指标可能掩盖某些群体的严重错误。公平性工作从明确影响对象、风险和可接受差异开始。

公平性不是一个单独数字，而是“哪类错误会伤害谁”的业务和社会问题。模型总体准确率很高，也可能对某个群体持续误判。先界定受影响群体、决策场景和错误后果。

群体公平指标之间可能无法同时满足，因此要记录选择理由、约束和人工复核途径。指标用于发现和讨论问题，不能替代法律与领域专家判断。

图示可左右滑动查看

历史偏差、采样偏差、测量偏差、标签偏差和反馈循环都可能进入模型。

历史偏差来自过去本就不公平的分配；报告偏差来自人们记录行为的方式；选择和覆盖偏差表示某些群体没有进入数据；测量和标签偏差表示同一概念在不同群体中被不同方式观察。自动化偏差则是人过度相信模型输出。

群体归因偏差把个体行为归结为所属群体；群内偏差更愿意相信与自己相似的人；群外同质性偏差把外群体看成“都一样”。这些人类判断会影响标签收集和产品设计。

在训练前检查群体覆盖、缺失率、标签质量和特征分布；训练后按群体计算混淆矩阵和校准。

训练前比较各群体的样本量、缺失率、标签来源和特征分布。训练后按群体分别计算混淆矩阵、召回率、误报率与校准情况；还要检查交叉切片，如年龄与地区同时划分。

缺失值和异常值不一定随机。某群体的关键字段更常缺失，会让模型在该群体上系统性变差。需要调查采集流程，而不是统一删掉这些样本。

缓解可发生在数据、训练和输出阶段，选择取决于偏差来源和产品约束。

缓解措施可放在数据阶段（补充覆盖不足样本、改善标签）、训练阶段（调整目标或权重）、输出阶段（校准、复核或合理阈值）。先弄清根因，再决定采取哪一种。

增加样本不一定消除历史偏差；强行让某个群体指标相同，也可能牺牲另一个重要指标。改动后要在独立数据上检查准确性、各群体错误和长期影响。

先确定哪种错误最伤害用户，再选择对应指标。不同公平目标可能互相冲突。

评估时先明确更不希望哪种错误：误拒合格者，还是误批不合格者。再选对应指标；例如机会均等关心合格者被正确识别的比例，人口统计均等关心正向结果的比例。

报告应展示每组样本量和不确定性。某组只有十个样本时，百分比大幅波动很常见，不宜因为一次分数差距就做出强结论。

人口统计均等要求不同群体获得正向结果的比例接近。它不考虑每组真实标签比例是否不同。

人口统计均等比较不同群体获得正向结果的比例。例如 A、B 两组各有 100 人，分别有 40 人和 20 人被批准，正向率是 40% 与 20%。

它不考虑各组真实合格比例。若合格率本身不同，强制正向率一样可能带来其他错误。因此它适合某些资源分配目标，但不能单独证明整个系统公平。

机会均等要求真正符合条件的人在不同群体中被识别出来的概率接近，也就是召回率接近。

机会均等要求真正符合条件的人，在不同群体中被选中的概率接近。它比较的是各组真阳性率 TPR = TP / (TP + FN)，也就是召回率。

它聚焦漏掉合格者的风险，却不直接约束误报率和正向总比例。应用时应和其他指标一起报告，并说明阈值如何选择。

如果只改变个体的敏感属性而保持其他相关条件不变，预测应尽量不变。

反事实公平性提出一个个体层面问题：假设只改变其敏感属性，而相关能力和条件保持合理一致，模型决策会不会改变？关键难点是现实中属性与其他变量常有关联，不能简单替换数据库一列就宣称得到了真实反事实。

需要明确因果假设，区分应该保持不变的能力与可能受历史偏差影响的代理变量。它适合审查具体决策逻辑，但难以仅靠观察数据直接验证。