大型语言模型简介

大型语言模型仍然是机器学习模型：它从海量序列中学习参数，再根据上下文预测后续词元。

大型语言模型通过大量文本和其他序列学习参数。常见训练目标是给定前文，预测下一个词元。连续预测会形成较长文本，看起来像在一次性写作，实际是一步接一步。

词元不等同于汉字或英文单词，可能是字、子词或标点片段。模型的输出依赖训练数据和当前上下文，不保证每个事实都正确。

语言模型估计一个词元序列出现的概率。词元可以是字、子词、单词或其他离散单位。

N 元语法只看前面有限个词，容易统计，却难以利用很久以前的上下文。循环神经网络把历史压进状态，但长距离信息仍难保留。Transformer 的自注意力让一个位置能参考序列中其他相关位置。

上下文窗口是模型一次能处理的词元数量。窗口越长，通常计算和费用越高；超过窗口的内容不会因为“模型记性好”而自动保留，所以要做检索或摘要。

Transformer 利用自注意力同时比较序列中的位置，建立远距离依赖，并通过多层网络形成上下文表示。

自注意力可理解为每个词元给其他词元分配“此刻我该关注谁”的权重。多头机制让不同组权重关注不同关系，多层叠加形成更丰富的上下文表示。真实实现还包含位置编码、前馈层与归一化。

生成时模型得到每个候选后续词元的概率，再按选择策略采样或选最大值。较高随机性让回答更多样，也可能更不稳定。庞大参数量带来表达能力，同时需要更多算力和数据。

图示可左右滑动查看

提示在不改参数的情况下提供任务说明；微调用示例更新模型参数；蒸馏把大模型能力迁移到更小模型。

提示工程不改变模型权重，适合说明任务、给少量例子和约束格式；微调用示例数据更新参数，适合稳定、可重复的行为调整。蒸馏让小模型学习大模型的输出，常用来降低推理费用。三者解决的问题不同。

离线推理预先批量生成结果，适合报告和批处理；在线推理实时响应，适合对话。把隐私、版权、偏见和错误处理纳入产品设计，并通过评估集检验模型适配是否真的改善目标任务。