- 同构模型可以通过无关数据学习偏见
- 隐空间推理可能不会真正思考
- 小模型特质化 $\to$ 大模型泛化 $\to$ 小模型增强
- Multi-Objective 问题其实就是对于多目标联合优化的问题，最终解是多个目标的平衡点。例如 Fed 中的 non-IID 上的模型。
- 标签偏移（Label Shift / Prior Shift）：客户端间类别先验概率 $P(y)$ 不同，但特征条件分布 $P(x|y)$ 一致（如不同地区医院中某疾病的发病率差异极大，但病理影像特征相同）。
- 概念漂移（Concept Drift / Conditional Shift）：输入到输出的映射关系 $P(y|x)$ 随时间或跨客户端发生改变（如用户打字习惯随热点事件突变，或垃圾邮件判定标准随黑产策略升级）。