1. 概览

1.1 ThiNet框架

1.2 收集训练样本

通常而言，带偏置项$b$的卷积计算如下所示：

\begin{equation}
    y = \sum_{c=1}^C\sum_{k_1=1}^K\sum_{k_2=1}^K\widehat{\mathcal{W}}_{c,k_1,k_2}\times x_{c,k_1,k_2}+b
    \end{equation}

现在，如果我们定义：

\begin{equation*}
    \hat{x}_c=\sum_{k_1=1}^K\sum_{k_2=1}^K\widehat{\mathcal{W}}_{c,k_1,k_2}\times x_{c,k_1,k_2}
    \end{equation*}

公式(1)便能简化为：\(\hat{y} = \sum_{c=1}^C\hat{x}_c\)，这里 \(\hat{y} = y - b\)。 若我们能够找到一个通道子集\(S \subset \{1,2,\ldots, C\}\)，使得下式

\begin{equation}
    \hat{y} = \sum_{c \in S}\hat{x}_c
    \end{equation}

当然，公式(2)不可能对于所有的\(\hat{x}\)与\(\hat{y}\)总保持成立。但我们可以手动提取一部分训练样本，来计算一个使得公式 (2) 近似正确的子集$S$。

1.3 一种用于通道选择的贪心算法

给定\(m\)（$m$由图片数量与位置数量决定）个训练样本\(\{(\mathbf{\hat{x}}_i, \hat{y}_i)\}\)，原通道选择问题可以转化为如下的优化问题：

\begin{equation}
      \begin{aligned}
      \mathop{\arg\min}\limits_{S}  & \sum_{i=1}^{m}\left(\hat{y}_i-\sum_{j\in S}\mathbf{\hat{x}}_{i,j}\right)^2\\
      \text{s.t.}\quad & |S|=C\times r, \quad S \subset \{1,2,\ldots, C\}.
      \end{aligned}
      \end{equation}

这里，\(|S|\)为子集$S$的元素数量，\(r\)为预定义的压缩率（即保留多少个通道）。令\(T\)为被移除的通道集合（\(S\cup T=\{1,2,\ldots,C\}\) 同时 \(S\cap T=\emptyset\)），我们便能最小化另一等价优化目标：

\begin{equation}
      \begin{aligned}
      \mathop{\arg\min}\limits_{T} & \sum_{i=1}^{m}\left(\sum_{j\in T}\mathbf{\hat{x}}_{i,j}\right)^2\\
      \text{s.t.}\quad & |T|=C\times (1-r), \quad T \subset \{1,2,\ldots, C\}.
      \end{aligned}
      \end{equation}

公式(4)与公式(3)完全等价，但速度更快也更简单，因为$|T|$通常比$|S|$要小很多。求解公式(3)仍然是一个NP难的问题，因此我们提出了一种快速的贪心算法进行求解（算法1）。

1.4 最小化重构误差

在决定保留哪几个滤波器之后，我们可以通过对每一个通道赋予权重来进一步地减小重构误差：

\begin{equation}
      \mathbf{\hat{w}}=\mathop{\arg\min}\limits_{\mathbf{w}}\sum_{i=1}^{m}(\hat{y}_i- \mathbf{w}^\mathrm{T}\mathbf{\hat{x}}^*_i)^2.
      \end{equation}

2. 实验结果

2.1 不同的滤波器选择策略

2.2 VGG16在ImageNet上的表现

表 1. 使用ThiNet来对VGG-16在ImageNet上进行剪枝。这里，M/B表示百万/十亿($10^6$/$10^9$)；f./b.是前向/反向的缩写，速度由batch size=32在一张M40 GPU上测试所得。

¹为公平比较，原VGG-16模型是使用单张中心裁剪（先缩放至256$\times$256）的图片测试所得，该测试方法被广泛使用于[10, 14]。因此，由这种方法测试所得的准确度低于某些报告中的结果。

²组织ImageNet数据集时，通常有两种方法来对图像进行缩放：

1. 固定大小： 每张图首先缩放至256$\times$256，再中心裁剪得到224$\times$224大小的区域；
2. 保持长宽比： 每张图首先将短边缩放至256，再中心裁剪；

为公平比较，我们依照前人工作，使用“固定大小”的方法来组织图像。但在实际应用中“保持长宽比”的算法更加实用。因此，我们使用该策略来训练ThiNet-Tiny模型。