Privacy-Aware Joint DNN Deployment and Partitioning.pdf
对于一般的 SL，如果考虑隐私问题，那么一个可行的攻击方法是：利用中间输出和模型反演出原始的图像。论文中通过 SSIM 量化了这一个风险，并纳入了评估体系。所以有一个 trade-off，想要安全，那么本地就要跑更多层；想要轻量，那么本地就要少跑几层。
整个框架还是三层架构：云服务器，边缘服务器，和边缘设备（serv，edge，dev）
- MD：Mobile device
- EI：Edge Inference
Zipf 分布：
${\rm Zipf}(\alpha, n)$ 满足 $\displaystyle P(X = x) = \frac 1 {x^{\alpha} \sum_{i = 1}^n (1 / i)^\alpha}$
建模依旧三部分起手：
- $F_m$ 衡量计算能力（FLOPs）
- $B_m$ 衡量带宽
- $C_m$ 衡量存储能力
对于存储，设 $x_{m, l}(t)$ 表示当前设备存储某个模型的情况：
$$\sum_{l \in {\mathcal L}} x_{m, l}(t) D_l \le C_m $$
对于每一个时间帧，
对于 edge 和 dev，同一时间，一个 dev 只与一个 edge 通信，用 $y_{m, n}(t) \in \{0, 1\}$ 表示是否连接 。
对于 DNN 划分，通过 $z_{m,n,l}(t)$ 设置划分的层数。$W_l= W_l^{edge} + W_l^{dev}$ 表示计算负载，$D_l = D_l^{edge} + D_l^{dev}$ 表示模型大小（存储负载），$I_l$ 表示中间层输出大小。
$\displaystyle SSIM(i, j)=\frac {(2 \mu_i \mu_j + C_1)(2 \sigma_{ij} + C_2)}{(\mu_i^2 + \mu_j^2+ C_1)(\sigma_i^2 + \sigma_j^2 + C_2)}$
其中 $\mu$ 表示平均，$\sigma$ 表示方差，$\sigma_{ij}$ 表示协方差，$C_1, C_2$ 用来保持数值稳定。
^9aefd0
对于隐私安全的衡量，将 $SSIM$ 的值域 $[-1, 1]$ 通过 $\frac {x+1} 2$ 映射到 $[0, 1]$ 上，得到 $\phi$，然后定义：
$$\Upsilon_n(t) = y_{m, n}(t) d_{n, l}(t) \phi(z_{m, n, l}(t)) $$
对此的限制条件：
$$\lim_{T \to \infty} \frac 1 T \sum_{t = 0}^{T - 1} {\mathbb E}[\Upsilon_n(t)] \le \bar \Upsilon_n $$
然后作者给出了一个近似 $\phi$ 的公式：
$$\phi(z_{m,n,l}(t)) = \frac {\omega_1}{1 + \exp( -\omega_2(z_{m,n,l}(t) - \omega_3))} + \omega_4 $$
where ω1, ω2, ω3, and ω4 are fitting constants. For example, we obtain ω1 = 0.9031, ω2 = −1.6683, ω3 = 4.9119, ω4 = 0.0983 for LeNet models, and ω1 = 0.6957, ω2 = −0.6047, ω3 = 6.7718, ω4 = 0.3371 for VGG models. While these parameter values may vary across different datasets, the general trend remains consistent.
一个问题是 ResNet 没法这样近似：This is because ResNet adopts a block-based architecture, and partitioning is performed at the block level, causing the SSIM values to drop sharply at certain points and then stabiliz
下一个损失就是延迟损失，分为三个部分：
- serv --> edge 的模型传输，edge --> dev 的模型传输
- dev 计算延迟和 edge 计算延迟
- 中间特征上传，结果回传
可以定义计算延迟：$\tau_n(t)$
于是就是在上面的种种限制下，凸优化：
$$\begin{aligned} \tau(t) &= \sum_{n = 1}^N \tau_n(t) \\ \min & \lim_{T \to \infty} \frac 1 T \sum_{t = 1}^T {\mathbb E}[\tau(t)] \end{aligned} $$
- 利用 李雅普诺夫优化方法 在线学习优化