阅读顺序（这几周）：

1. Survey Federated Learning.pdf
2. ML-ECS.pdf
3. A Survey of Collaborative Inference and Learning between Edge SLMs and Cloud LLMs Algorithms, Execution, and Open Challenges.pdf
4. A Comprehensive Survey of Continual Learning.pdf
5. 凸优化 bv_cvxslides.pdf
6. Decentralized federated learning of deep neural networks on non-iid data.pdf (Fed)
7. Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices.pdf (量化等 EC 方法)
8. DNN Partitioning for Cooperative Inference in Edge Intelligence.pdf
9. Floe Federated Specialization for Real-Time LLM–SLM Inference.pdf

• FedProx
• SCAFFOLD
• FedNova
• pFedMe
• MOON
• FedBN
• APFL
• Floe
• FedCache FedCL FedML
• Math:
  • The Minimax Complexity of Distributed Optimization.pdf
  • The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication.pdf
  • Lower Bounds for Non-Convex Stochastic Optimization.pdf

基于 New Things

			┌─ 聚合策略 ──→ FedAtt
			│
┌─ FedAvg ──→ FedProx ─┼─ Client Drift ──→ SCAFFOLD
│           │          │
│           │          └─ 目标不一致 ──→ FedNova
│           │
│           └─ 个性化 ──→ pFedMe ──→ MOON ──→ FedBN ──→ APFL
│
├─ 模型异构 ──→ FedMD ──→ FedMKT ──→ Co-PLMs
│
├─ 去中心化 ──→ D-PSGD ──→ Hat-DFed
│
├─ 通信压缩 ──→ FedPETuning/Quantization/Prune
│
└─ 隐私安全 ──→ SMC ──→ Turbo-Aggregate

LM架构 ──→ RNN ──→ LSTM/GRU ──→ Transformer
              │                   │
              │                   ├─ Flash/Sparse/SWA/GQA
              │                   │
              │                   ├─ Mamba/SSM ──→ Hybrid
              │                   │
              │                   └─ RDT ──→ Ring/Infini
              │
              └─→ LoRA（微调） ──→ FL+LoRA

持续学习 ──→ FCL

边缘智能 ──→ DNN Partitioning ──→ Floe ──→ LLM边缘部署
	    |
	    └─→ Jupiter（资源高效协同推理系统）

数学基础 ──→ 凸优化 ──→ ┌─ Minimax Complexity
					  │  （分布式优化下界）
					  │
					  ├─ Intermittent Communication
					  │  （间歇通信复杂度）
					  │
					  └─ Non-Convex Lower Bounds
						  （非凸优化下界）

知识蒸馏 ──→ DFKD ──→ FL+KD融合

SKA-Bench

🔴 Tier 1：奠基性与理论基石（必读）

🟠 Tier 2：核心算法与关键扩展（精读）

🟡 Tier 3：前沿方向与系统优化（选读）

边缘智能与大语言模型协同：从数学基础到前沿实践的并行学习蓝图

本报告旨在为有志于探索边缘智能与大语言模型（LM）协同领域的研究者，构建一个系统化、分层次的学习框架。该框架以“基础→进阶→前沿”为纵向主线，并围绕“边缘智能”、“大语言模型”及“数学基础”三大核心支柱展开横向并行的知识学习。通过整合经典奠基性工作与近年来高价值的顶级会议成果，本路线图将引导学习者逐步深入，不仅掌握各项技术本身，更能理解其内在的逻辑关$\circ$ 联与知识拓扑，为未来的学术研究或工程实践奠定坚实的基础。

第一阶段：理论基石与宏观认知

此阶段的目标是建立坚实的理论基础和对研究领域的宏观认知。学习者需首先掌握支撑整个知识体系的数学工具，然后理解边缘智能与大语言模型的基本概念、核心架构与面临的根本性挑战。这一阶段的学习是后续所有进阶和前沿探索的根基。

数学基础路径：

•   凸优化 (Convex Optimization):

    *   学习目标: 掌握凸集、凸函数、凸优化问题的标准形式及其基本性质，了解梯度下降法、内点法等核心求解算法的思想。

    *   核心文献: Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press [13, 14, 15, 19, 36, 37, 38, 39, 41, 50, 51, 52, 96, 97].

    *   功能角色: 概念引入与方法论基础。这本书是凸优化领域的权威教材，几乎所有涉及分布式优化、资源分配和机器学习算法收敛性分析的文献都会引用它作为理论基础 [13, 14, 15]。掌握其核心内容，意味着拥有了分析和解决许多边缘智能中优化问题的通用语言和工具。

•   概率论与统计学 (Probability Theory & Statistics):

    *   学习目标: 建立从概率空间、随机变量到统计推断的完整知识体系，理解参数估计、假设检验、置信区间等核心概念。

    *   核心文献: Casella, G., & Berger, R. L. (2002). Statistical Inference. Duxbury Press [16, 17, 18].

    *   功能角色: 理论体系构建。该书是统计学的经典教材，为理解和应用贝叶斯方法、评估模型泛化能力提供了严格的理论框架 [16, 17]。它是连接数学基础与机器学习应用的桥梁。

边缘智能路径：

•   入门概念与架构：

    *   学习目标: 理解边缘智能的定义、云-边-端三层架构、以及其在应对延迟、带宽、隐私等挑战时的核心价值。

    *   核心文献: A survey on Edge Intelligence [4], An Overview of Edge AI [5].

    *   功能角色: 宏观认知建立。这两篇综述文章为初学者提供了Edge Intelligence领域的全景视图，明确了其定义、架构、关键特征（如安全、可靠、透明、可持续）以及面临的主要挑战 [4, 5]。它们帮助学习者建立起对该领域的整体认识，理解为何需要Edge AI以及其主要的技术方向。

大语言模型路径：

•   入门概念与协同范式：

    *   学习目标: 了解大语言模型的基本能力，以及为什么直接在资源受限的边缘设备上部署存在巨大挑战，并初步认识大小语言模型协同工作的基本模式。

    *   核心文献: A Survey of Collaborative Inference between Edge SLMs and Cloud-based LLMs [26].

    *   功能角色: 问题定义与范式引入。这篇综述精炼地阐述了在边缘环境中部署LLM所面临的算力鸿沟问题 [3]，并系统性地介绍了SLM-LLM协同推理的多种范式，为后续深入学习具体的解决方案奠定了基础 [26]。

第二阶段：核心技术栈与系统实现

进入第二阶段后，学习重点转向具体的核心技术。学习者需要深入理解如何通过模型压缩、协同推理与学习等手段，在资源受限的环境下实现高效的AI应用。同时，开始接触将这些技术付诸实践的系统级优化方法。

数学基础路径：

•   概率与统计的进阶应用：

    *   学习目标: 掌握PAC-Bayes理论的基本思想及其在分析学习算法泛化性能方面的独特优势；理解贝叶斯推断框架，特别是变分推断的应用场景。

    *   核心文献:

        *   PAC-Bayes theory introduction: A primer on PAC-Bayesian learning [32].

        *   PAC-Bayes in model compression: Model Phase Transitions [2].

        *   Bayesian methods: Pattern Recognition and Machine Learning by Bishop [25].

        *   Variational Inference: Variational Inference for Uncertainty Quantification [48].

    *   功能角色: 高级理论工具。PAC-Bayes理论为分析压缩后模型的鲁棒性提供了有力的数学武器 [2, 32]。而贝叶斯框架则为量化模型不确定性（Uncertainty Quantification）提供了核心理论支持，这对于提升边缘AI系统的可靠性至关重要 [43, 44]。

边缘智能路径：

•   模型适应技术 (Model Adaptation Techniques):

    *   学习目标: 全面掌握模型压缩的各种技术，包括量化、剪枝、知识蒸馏和低秩分解，并理解其原理、优缺点及典型代表工作。

    *   核心文献: Efficient Inference for Edge Large Language Models: A Survey [72], System-Aware Optimization for Machine Learning at Scale [3].

    *   功能角色: 核心技术栈构建。这两篇文献构成了模型压缩技术的完整知识体系 [3, 72]。[3] 提供了一个关于LLM在边缘高效推理的全面生命周期框架，涵盖了从离线压缩到在线调度的所有 Offline pre-deployment techniques。[72] 则是一篇专门针对Edge LLM的综述，提供了更聚焦的视角。

•   协同推理与学习 (Collaborative Inference & Learning):

    *   学习目标: 深入理解联邦学习（FL）的工作机制及其在保护数据隐私和处理非独立同分布数据方面的核心作用；学习持续学习（Continual Learning）的基本思想，以应对边缘设备需要不断演进的需求。

    *   核心文献:

        *   Federated Learning overview: Federated Learning: Challenges, Methods, and Future Directions [6], Agentic Federated Learning [62].

        *   Continual Learning overview: A Review of Continual Learning in Edge AI [27].

    *   功能角色: 协作机制深化。[6] 和 [62] 详细介绍了联邦学习作为一种去中心化的隐私保护学习范式，如何成为Edge AI的关键使能技术 [6, 62]。[27] 则指出了传统批量训练范式的局限性，并强调了持续学习在边缘部署中的必要性，为后续学习联邦持续学习（FCL）打下基础 [27]。

•   系统感知优化 (System-Aware Optimization):

    *   学习目标: 学习如何将硬件特性、网络状态等系统因素纳入考量，设计出真正高效的边缘智能系统。

    *   核心文献:

        *   DNN Partitioning: DNN Partitioning for Cooperative Inference [30].

        *   Inference Scheduling: Adaptive GNN Co-Inference with System-Aware Scheduling [59].

    *   功能角色: 实践与工程导向。[30] 提出了基于粒度的DNN分区分类法，为设计加速策略提供了洞察 [30]。[59] 中提出的自适应调度方法，则展示了如何通过系统级抽象和预测来实现复杂多设备环境下的性能感知 [59]。这些工作代表了从纯算法向软硬协同优化的迈进。

大语言模型路径：

•   LLM边缘部署技术与架构：

    *   学习目标: 聚焦于LLM特有的优化技术，深入理解大小模型协同的具体系统设计与实现细节。

    *   核心文献:

        *   Edge LLM optimization: A survey of edge efficient LLMs and techniques [72], Empirical Guidelines for Deploying LLMs onto Resource-Constrained Devices [70].

        *   Collaborative systems: Floe: Federated Specialization for Real-Time LLM-SLM Inference [110], Jupiter: Fast and Resource-Efficient Collaborative Inference [84].

    *   功能角色: 智能引擎适配。[72] 和 [70] 为LLM在边缘的落地提供了宏观指导和实证经验 [70, 72]。[110] 和 [84] 则通过具体的系统设计案例（Floe和Jupiter），展示了如何将协同推理范式具体化为可运行的系统，实现了低延迟和资源效率的平衡 [84, 110]。

第三阶段：前沿融合与未来挑战

第三阶段面向最前沿的研究方向，旨在引导学习者探索各技术分支间的交叉融合，并识别当前领域尚未解决的重大挑战。此阶段的学习要求具备扎实的前两阶段知识储备，能够批判性地思考并提出创新性问题。

数学基础路径：

•   高级理论与前沿应用：

    *   学习目标: 了解Rademacher复杂度等更精细的泛化界分析工具，并探索其在特定领域（如图神经网络）的应用潜力。

    *   核心文献: Learning Latent Graph Geometry via Fixed-Point Schrödinger... [10].

    *   功能角色: 前沿理论拓展。该文献展示了如何将复杂的统计学习理论工具应用于新兴的图学习领域，体现了理论研究的深度和广度，可以启发学习者思考更普适的泛化分析框架 [10]。

边缘智能路径：

•   模型相变与鲁棒压缩：

    *   学习目标: 理解模型压缩并非简单的降维过程，而是一个存在临界点的非线性过程，并学习如何设计更具鲁棒性的压缩策略。

    *   核心文献: Model Phase Transitions [2].

    *   功能角色: 颠覆性洞见。这篇论文提出了“模型相变”的新范式，揭示了当压缩超过临界阈值（PTP）时，模型性能会发生灾难性崩溃的现象 [2]。这彻底改变了人们对模型压缩的认知，强调了“临界感知压缩”的重要性，为设计下一代压缩算法提供了全新的视角 [2]。

•   LoRA在联邦学习中的应用：

    *   学习目标: 掌握低秩适配（Low-Rank Adaptation）作为一种高效的LLM微调技术，并理解其如何与联邦学习框架结合，以解决边缘端个性化LLM的问题。

    *   核心文献:

        *   FDLoRA: Personalized Federated Learning of Large Language... [40].

        *   Dec-LoRA: Decentralized Low-Rank Fine-Tuning of Large Language Models [107].

        *   ESFL: Efficient Split Federated Learning over Resource-Constrained... [98].

    *   功能角色: 前沿技术融合。这些论文代表了LLM高效微调技术与分布式学习框架的完美结合 [40, 107]。它们展示了如何利用LoRA等技术显著降低联邦学习中模型上传/下载的通信开销和计算负担，从而使得在资源受限的边缘设备上进行LLM的个性化成为可能 [40, 98]。

•   系统级创新与实践：

    *   学习目标: 学习如何将先进的理论研究成果转化为高效的、可在真实世界部署的系统。

    *   核心文献: FlexNN: Efficient and Adaptive DNN Inference on Memory-Constrained Edge Devices [28], Re-thinking computation offload for efficient inference on IoT devices [90].

    *   功能角色: 从理论到实践的转化。[28] 中的FlexNN系统展示了如何通过动态自适应的推理方式，在内存受限的设备上实现高效的DNN推理 [28]。[90] 则重新思考了计算卸载的策略，提出了双步剪枝等方法来提升设备-边缘协同推理的效率 [90]。这些工作是理论与工程实践紧密结合的典范。

大语言模型路径：

•   LLM不确定性量化 (Uncertainty Quantification):

    *   学习目标: 了解如何为LLM的输出提供可信的概率度量，这对于安全攸关的边缘应用场景至关重要。

    *   核心文献:

        *   ABC-based approach: Uncertainty Quantification of Large Language Models using... [43], Uncertainty Quantification of Large Language Models... [49].

        *   Textual Bayes framework: Textual Bayes: Quantifying Uncertainty in LLM-Based Systems [44], Quantifying Prompt Uncertainty in LLM-Based Systems [45].

    *   功能角色: 前沿研究方向。这些前沿研究致力于解决LLM“黑箱”特性带来的信任问题 [43, 44]。它们尝试将贝叶斯方法论扩展到LLM的文本参数和输出上，为其决策提供不确定性度量，极大地增强了LLM在边缘智能等高风险场景中的可用性和安全性 [44, 47]。

•   边缘上的持续学习 (Continual Learning on the Edge):

    *   学习目标: 探索如何让部署在边缘的LLM能够持续学习新知识，同时避免遗忘旧知识，以适应动态变化的环境。

    *   核心文献: Federated Continual Learning for Edge-AI: A Comprehensive Survey [82], Decentralized Dynamic Cooperation of Personalized Models... [63].

    *   功能角色: 综合应用与挑战应对。[82] 是一篇关于FCL for Edge-AI的全面综述，系统性地梳理了该领域的最新进展和挑战 [82]。[63] 则专注于解决联邦持续学习中时空两个维度上的灾难性遗忘问题 [63]。这些研究将前述的持续学习、联邦学习和LLM能力结合起来，指向了构建真正意义上能够自我演进的边缘智能系统。

知识网络整合与总结

本报告构建的学习路线图，将边缘智能、大语言模型和数学基础三条路径有机地串联起来，形成一个相互支撑、层层递进的知识网络。其核心逻辑在于，数学基础为上层技术和应用提供了坚实的理论保障，而边缘智能与大语言模型则共同定义了在资源受限环境中实现先进人工智能能力的系统性挑战与解决方案。

底层理论支撑： 凸优化为分布式学习算法（如联邦学习）的收敛性分析和资源分配问题提供了严谨的数学工具 [13, 15]。概率论与统计学，特别是PAC-Bayes理论和贝叶斯推断，则为评估模型泛化能力、量化不确定性提供了不可或缺的框架 [32, 43, 44]。例如，模型相变现象的研究就深刻运用了统计物理的思想来解释LLM压缩的非线性行为 [2]。

中间层技术核心： 这一层是解决问题的关键枢纽。模型压缩技术（量化、剪枝等）直接应对“算力鸿沟”，缩小了大型模型的尺寸，使其得以在边缘部署 [3, 72]。协同推理与学习范式（如联邦学习、持续学习）则解决了单个设备无法完成任务、数据分布在不同节点且持续演化等问题 [6, 27]。系统感知优化方法进一步将硬件、网络等现实约束融入设计，确保了技术方案的可行性和高效性 [28, 59]。

顶层智能赋能： 大语言模型作为当前最先进的AI能力代表，是边缘智能系统实现复杂语义理解、自然语言交互和自主决策的核心引擎。然而，将其能力有效迁移至边缘环境，催生了一系列独特的挑战与解决方案，如大小模型协同架构（Floe, Jupiter）、面向LLM的高效微调技术（LoRA在FL中的应用）以及LLM不确定性量化等前沿研究 [26, 40, 43]。

综上所述，这条学习路径不仅是知识的罗列，更是一个精心设计的认知旅程。它遵循着“基础理论 → 核心技术 → 前沿创新”的逻辑顺序，引导学习者从掌握基本原理出发，逐步深入到解决实际问题的核心技术栈，最终抵达探索未知领域的前沿阵地。通过系统性地学习和实践这条路径，学习者将能够全面把握“边缘智能与大语言模型协同”这一充满机遇与挑战的交叉学科领域。