近日，香港中文大学（深圳）数据科学学院师生共18篇论文被机器学习和计算神经科学领域的顶级国际会议神经信息处理系统大会 2022（Conference on Neural Information Processing Systems，简称NeurIPS或NIPS）接收。论文来自数据科学学院12位教授（樊继聪、李海洲、李肖、罗智泉、Andre Milzarek、孙若愚、王本友、吴保元、谢李岩、严明、查宏远、张瑞茂）、1位博士后（郭丹丹）和1位博士生（张雨舜）。NeurIPS 2022共收到10411篇论文投稿，录取率为25.6%。本文将为您简要介绍我校被接收的18篇论文。

NeurlPS简介

神经信息处理系统大会（简称NeurIPS或NIPS）是机器学习和计算神经科学领域的顶尖国际会议。在中国计算机学会的国际学术会议排名中，NeurIPS是人工智能领域的A类学术会议。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。该会议固定在每年的12月举行, 由NIPS基金会主办，今年是该会议举办的第36届，将于11月28日至12月9日举行，为期两周。本届会议采用混合模式，第一周将在美国新奥尔良会议中心举行线下会议，第二周为线上会议。

来源：NeurIPS官网、百度百科

18篇论文的详细介绍如下   ：

（文章按学院教授和学生姓名首字母排序）

1. A Simple Approach to Automated Spectral Clustering

作者：

Jicong Fan, Zhao Zhang, Yiheng Tu, Mingbo Zhao, Haijun Zhang

简介：

传统的自动机器学习方法都是为有监督学习任务提出的，本论文研究自动无监督机器学习，提出了一种自动谱聚类方法, 能够自动选择构造邻接矩阵的模型、调节超参数，并能扩展于大规模聚类问题。本论文证明了所提指标relative-eigen-gap的有效性以及（核）最小二乘回归在构造邻接矩阵时的有效性。

链接：

https://arxiv.org/abs/2107.12183v4

 

2. Perturbation Learning Based Anomaly Detection

作者：

Jinyu Cai, Jicong Fan

简介：

论文提出了一种基于扰动学习异常检测方法。该方法利用训练数据（正常）学习一个扰动器给正常数据添加扰动以生成异常数据，同时学习一个判别器能够区别正常数据和生成的异常数据。该方法不需要对正常数据的分布进行任何假设，在多个基准数据集上取得了最好的效果。

链接：

https://arxiv.org/abs/2206.02704

 

3. Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification

作者：

Dandan Guo, Zhuo Li, Meixi Zheng, He Zhao, Mingyuan Zhou, Hongyuan Zha

简介：

深度学习模型在很多分类任务上取得了极大的成功，这种成功与高质量、平衡的训练数据集是密不可分的。然而现实应用中经常存在不平衡的训练数据集，对深度学习模型的训练造成极大挑战。

本文针对不平衡分类任务，提出了一种基于最优传输（OT）的自动重加权方法。该方法将不平衡训练集表示为关于训练样本的可学习分布，每个训练样本都有对应的采样概率。类似地，我们将另一个平衡的元集视为平衡分布。通过最小化两个分布之间的OT距离，将权重向量的学习表示为一个分布近似问题。我们提出的重加权方法绕过了现有方法采用的分类损失，使用OT作为损失函数来学习权重，在每次迭代中消除了权重学习对相关分类器的依赖。这种方法不同于大多数现有的重加权方法，可能为未来的工作提供新的思路。在各种图像、文本和点云的不平衡数据集上的实验结果验证了该方法的有效性和灵活性。

链接：

https://arxiv.org/abs/2208.02951v1

 

4. Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport

作者：

Dandan Guo, Long Tian, He Zhao, Mingyuan Zhou, Hongyuan Zha

简介：

机器学习中小样本分类的目的是学习一个分类器，使其在测试阶段识别训练阶段未见过的类，此时测试阶段的有标签样本数量较少，模型很容易发生过拟合。解决该问题的一个最新方案是转移基类的统计信息来校准这些新的小样本类的分布，其中如何决定从基类到新类的转移权值是关键。目前，该问题尚未得到深入研究。为此，我们提出了一种新的层次最优传输（H-OT）算法，来学习新样本和基类之间的自适应权重矩阵。通过最小化新样本与基类之间的High-level OT距离，我们可以将学习到的传输概率视为自适应传输矩阵。

此外，我们又引入了Low-level OT，此时考虑了基类中所有数据样本的权重,并用Low-level OT中学到的距离来定义High-level OT的传输代价。在标准数据集上的实验结果表明，我们提出的即插即用模型优于竞争方法，并具有良好的跨域泛化能力，表明了学习到的自适应权值的有效性。

链接：

https://arxiv.org/abs/2107.12183v4

 

5. Training Spiking Neural Networks with Local Tandem Learning

作者：

Qu Yang, Jibin Wu, Malu Zhang, Yansong Chua, Xinchao Wang, Haizhou Li

简介：

本文研究一个新的脉冲神经网络学习算法。此算法基于迁移学习的理论，将传统神经网络的学习结果迁移到脉冲神经网络中，充分地利用了传统神经网络的强大学习能力和脉冲神经网络的高效计算，完成多种模式识别任务。本研究为类脑计算的低功耗实现提出了新的解决方案。

 

6. A Unified Convergence Theorem for Stochastic Optimization Methods

作者：

Xiao Li, Andre Milzarek

简介：

本论文针对一般的随机优化方法提出了一个统一的收敛性定理的证明框架，其中收敛性主要指迭代最终步的梯度范数依期望收敛或者几乎必然收敛到0。本项工作的意义主要在于两点：

（1） 不同于已有的复杂度类型的结果，我们讨论的方法与实际应用更为贴合，例如迭代步长的选取不依赖于迭代总步数，探讨的收敛性针对最后一迭代的梯度而非所有迭代在某种平均下的梯度或者所有迭代的梯度的最小值，这一点尤其重要，因为随机算法在迭代过程中并不会计算全梯度，并且算法通常会返回最后一次迭代，所以，只有估计最后一次迭代的梯度范数的表现才是最有意义的。

（2） 当下已有的一些类似的收敛性结果通常只针对某类特殊的算法，我们对于一般的随机优化算法提出了通用的证明框架，使用者只需要验证算法是否满足若干典型条件即可。我们运用这一收敛框架在更弱的假设下重现了stochastic gradient method (SGD) 和random reshuffling (RR) 的收敛性证明，并且对更复杂的stochastic proximal gradient method (prox-SGD) 和stochastic model-based methods (SMM) 两种算法也得到了依期望收敛和几乎必然收敛的结果。

该文章中所提出的统一收敛框架有望被广泛应用于其他随机算法，例如Momentum SGD和STORM等。

链接：

https://arxiv.org/abs/2206.03907

 

7. DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data

作者：

Tiantian Fang, Ruoyu Sun, Alex Schwing

简介：

生成对抗网络（GAN）在学习从给定数据集指定的分布中进行采样方面取得了显著成功，特别是在数据比较多的情况下。然而，当数据有限时，传统的GAN表现不佳，而输出正则化、数据增强、使用预训练模型和修剪等策略已被证明可以带来改进。值得注意的是，这些策略的适用性通常受限于特定设置，例如需要预训练GAN、训练时间足够多或使用剪枝。我们提出了一个判别器梯度间隙正则化 GAN（DigGAN）公式，它可以添加到任何现有的GAN中。DigGAN通过鼓励缩小鉴别器预测的梯度范数之间的差距来增强现有的GAN。我们观察到这个公式是为了避免GAN损失领域中的不良吸引子，并且我们发现DigGAN在可用数据有限时显著改善了GAN训练的结果。

 

8. Does Momentum Change the Implicit Regularization on Separable Data?

作者：

Bohan Wang, Qi Meng, Huishuai Zhang, Ruoyu Sun, Wei Chen, Zhi-Ming Ma, Tie-Yan Liu

简介：

动量加速技术在许多优化算法中被广泛采用。然而，关于动量如何影响优化算法的泛化性能，目前还没有理论答案。本文通过分析基于动量优化的隐式正则化来研究这个问题。我们证明，在具有可分离数据和指数尾损失的线性分类问题上，动量梯度下降 (GDM) 收敛到 $L^2$ 最大边距的解，这与普通梯度下降相同。这意味着具有动量加速的梯度下降仍然会收敛到一个低复杂度的模型，这保证了它们的泛化性。然后，我们分析 GDM 的随机和自适应变体（即SGDM和确定性Adam），并表明它们也收敛到 $L^2$ 最大边距的解。从技术上讲，为了克服动量分析中误差累积的困难，我们构造了新的势函数来分析模型参数和最大边距解之间的差距。数值实验支持了我们的理论结果。

链接：

https://arxiv.org/abs/2110.03891

 

9. Stability Analysis and Generalization Bounds of Adversarial Training

作者：

Jiancong Xiao, Yanbo Fan, Ruoyu Sun, Jue Wang, Zhi-Quan Luo

简介：

在对抗机器学习场景下，神经网络可以很好地拟合训练集上的对抗样本，但是无法很好地泛化到测试集上的对抗样本，这个现象叫做鲁棒过拟合（robust overfitting）。这篇文章从一致稳定性（uniform stability）的角度分析这一个现象。然而，由于对抗训练的损失函数不光滑，现有的基于光滑损失函数的一致稳定性分析无法应用到对抗训练场景。针对这个问题，我们首先定义近似光滑性并证明对抗损失函数满足近似光滑性。然后我们构建了针对近似光滑性的一致稳定性框架，在我们的框架下，我们给出了对抗训练的一致稳定性分析和泛化误差上下界。

我们从理论上证明了，如果使用攻击强度为eps的对抗样本进行对抗训练当训练轮数T过大，鲁棒测试误差会以一个O（eps T）与O（eps sqrt(T)）之间的速度的上升。我们的理论指出鲁棒过拟合可能是由对抗损失函数的近似光滑性导致的。我们在常规数据集（如CIFAR-10，ImageNet）上验证了我们的理论。另外，基于我们的分析框架下，我们计算了一些常用的的对抗训练技术（如循环学习率，随机权重平均等）的泛化误差上界，并证明了它们能从一定程度上缓解鲁棒过拟合。

链接：

https://arxiv.org/abs/2210.00960

 

10. MorphTE: Injecting Morphology in Tensorized Embeddings 

作者：

Guobing Gan, Peng Zhang, Sunzhu Li, Xiuqing Lu, Benyou Wang

简介：

在深度学习时代，词嵌入在处理文本任务时是必不可少的。但是，存储这些嵌入需要大量空间，这对资源有限的设备上的部署不友好。结合张量积强大的压缩能力，我们提出了一种带有形态增强的词嵌入压缩方法，词素（Morphology）增强张量嵌入（MorphTE）。一个词由一个或多个词素组成，词素是具有意义或具有语法功能的最小单位。MorphTE 通过张量积将词嵌入表示为其语素向量的张量积形式，将先验的构词知识注入到词嵌入的学习中。此外，词素向量的维数和词素的数量相比词向量维度和词的个数小得多，这大大减少了词嵌入的参数。我们对机器翻译和问答等任务进行实验。在四个不同语言的翻译数据集上的实验结果表明，MorphTE 可以将词嵌入参数压缩约 20 倍而没有性能损失，并且明显优于存在的嵌入压缩方法。

链接：

https://wabyking.github.io/papers/MorphTE-NeurIPS2022.pdf

 

11. Boosting the Transferability of Adversarial Attacks with Reverse Adversarial Perturbation

 

作者：

Zeyu Qin, Yanbo Fan, Yi Liu, Li Shen, Yong Zhang, Jue Wang, Baoyuan Wu

简介：

我们已经了解到深度神经网络 (DNN) 非常容易受到对抗样本的干扰，对抗样本通过在原样本上加入人眼难以察觉的扰动来使模型产生错误的预测。同时，对抗样本的迁移性使得其对模型架构或参数未知的实际模型应用构成严重的威胁。因此，在这项工作中，我们着重研究对抗样本的迁移性。许多现有的工作表明，对抗样本可能会过度拟合产生其的替代模型，从而限制了针对不同目标模型的迁移攻击性能。为了减轻对抗样本对于替代模型的过度拟合，我们提出了一种新的攻击方法，称为反向对抗扰动（RAP）。

具体来说，我们提出通过为样本优化过程的每一步注入最坏情况的扰动（反向对抗扰动）来寻找位于具有局部统一较低损失值区域的对抗样本，而不是简单追求单个对抗样本点具有较低损失。因此，结合RA 产生对抗攻击的过程可以被表述为一个最小-最大双层优化问题。通过将RAP加入到产生攻击样本的迭代过程中，我们的方法可以找到更稳定的对抗样本，这些对抗样本对模型决策边界的变化不太敏感，从而减轻了对于替代模型的过度拟合。综合实验比较表明，RAP可以显着提高对抗迁移性。

此外，RAP可以很自然地与许多现有的黑盒迁移攻击方法相结合，以进一步提高方法的迁移性。在攻击现实世界的图像识别系统Google Cloud Vision API的实际实验中，与其他基线方法相比，我们获得了22%的有目标攻击性能的提升。

 

12. Effective Backdoor Defense by Exploiting Sensitivity of Poisoned Samples

作者：

Weixin Chen, Baoyuan Wu, Haoqian Wang

简介：

基于投毒的后门攻击对于在来源不可信的数据上训练深度模型构成了巨大的威胁。在后门模型中，我们观察到带有触发器的毒性样本的特征表示比干净样本的特征表示对图像变换更敏感。它启发我们设计了一个简单的敏感性指标，称为特征关于图像变换的一致性 (FCT)，用以区分不可信训练集中的毒性样本和干净样本。此外，我们提出了两种有效的后门防御方法。基于一个利用FCT指标来区分样本的模块，第一种方法使用一个两阶段的安全训练模块从头训练出一个干净模型。第二种方法使用后门移除模块从后门模型中移除后门，该模块交替地遗忘被区分的毒性样本以及重新学习被区分的干净样本。在三个基准数据集上的大量实验结果证明与当前的SOTA后门防御方法相比，我们的方法在8种类型的后门攻击上都体现了优越的防御性能。

 

13. BackdoorBench: A Comprehensive Benchmark of Backdoor Learning

*Accepted by NeurIPS 2022 Datasets and Benchmarks Track

作者：

Baoyuan Wu, Hongrui Chen, Mingda Zhang, Zihao Zhu, Shaokui Wei, Danni Yuan, Chao Shen

简介：

后门学习是研究深度神经网络（DNNs）脆弱性的一个新兴的重要课题。许多开创性的后门攻击和防御方法被陆续或同时提出，处于快速发展和竞赛的状态。然而我们发现，现有对新方法的评估往往是不彻底的，无法验证其主张和实际性能，而这一点主要是由于快速发展、不同的环境以及实施和可重复性的困难。如果没有彻底的评估和比较，就很难跟踪当前的进展情况和规划未来的发展方向。

为了缓解这一困境，我们建立了一个全面的后门学习基准，并称之为BackdoorBench。它由一个可扩展的、模块化的代码库（目前包括8个最先进的（SOTA）后门攻击和9个SOTA后门防御算法的实现），以及一个完整的后门学习的标准化协议组成。我们还提供了基于5个模型、4个数据集、8种攻击、9种防御、5种中毒率的综合评估，共计8000对的评估结果。我们还从不同角度对这8,000个实验结果进行分析，研究攻击对防御算法、中毒率、模型和数据集在后门学习中的影响。

ackdoorBench的所有代码和评估请移步https://backdoorbench.github.io。

 

14. Distributionally robust weighted k-nearest neighbors

作者：

Shixiang Zhu, Liyan Xie, Minghe Zhang, Rui Gao, Yao Xie

简介：

本工作针对如何从有限样本中学习一个鲁棒的分类器，提出了一种基于k近邻 (k-NN)的鲁棒算法Dr. k-NN (Distributionally robust k-NN)。

在本工作中，我们研究了加权 k-NN 的极小化极大鲁棒最优解，旨在找到对抗数据分布不确定性的最优加权 k-NN 分类器。本工作求解出了基于Wasserstein距离的数据驱动式鲁棒最优加权 k-NN，它可以根据训练样本通过线性规划的方式被高效计算，并在执行分类任务时为样本分配最优权重。与传统加权 k-NN的显著区别是，Dr. k-NN为样本赋予的权重会与类别相关，且由最不利场景下样本特征的相似性决定。同时本工作证明了所提出的Dr. k-NN框架在理论上等效于 Lipschitz 范数正则化问题，从而进一步给出了泛化能力的理论刻画。

本工作还将Dr. k-NN与基于神经网络的特征嵌入相结合，提供了一种端到端的训练方法。最后，本工作在各类真实数据实验上证明了Dr. k-NN的良好性能。

链接：

https://arxiv.org/abs/2006.04004

 

15. FedRolex: Model-Heterogeneous Federated Learning with Rolling Submodel Extraction

作者：

Samiul Alam, Luyang Liu, Ming Yan, Mi Zhang

简介：

联邦学习 (FL) 是一种从分散的个人数据中训练全局机器学习模型的协作模式。大多数 FL 研究侧重于同质模型，它要求所有参与的客户端和服务器上更新的模型是相同的。然而，在现实世界中，该约束限制了FL在客户端存在异质模型情况下的应用，不公平地排除了具有低端设备的用户的参与，使其不能从中受益。在这项工作中，我们提出了一种名叫FedRolex的简单而有效的模型异构 FL 方法来解决这个约束。与模型同质场景不同的是，FL 中模型异质的根本挑战是全局模型的不同参数在异构数据上训练的不平衡。FedRolex 通过在每次迭代中滚动子模型来解决这一挑战，以便全局模型的参数在所有设备的全部数据分布上得到均匀的训练，使其更类似于模型同质训练。实验表明，FedRolex 优于其他模型异构 FL 方法，尤其是在数据异构显著情况下。子模型滚动可以有效的减少模型异质和模型同质之间的差距。最后，我们考虑一种类似于现实世界收入分配的非均匀客户端能力分布。实验结果表明，低端设备的准确性得到了显著的提高，增强了 FL 的包容性。

链接：

https://openreview.net/forum?id=OtxyysUdBE

*需注册查看

 

16. Communication-Efficient Topologies for Decentralized Learning with O(1) Consensus Rate

作者：

Zhuoqing Song, Weijian Li, Kexin Jin, Lei Shi, Ming Yan, Wotao Yin, Kun Yuan

简介：

无中心优化是一种新兴分布式学习方法，它通过节点之间的点点通信替代中央服务器来训练机器学习模型。由于通信往往比计算慢，当每个节点一次迭代只与几个相邻节点通信时，它们可以比使用更多节点或中央服务器更快地完成迭代。然而，无中心优化的总迭代次数受节点之间信息共识率的影响。我们发现现行的通信拓扑要么具有大度数（如星形图和完整图，这些拓扑的信息共识效率高，通信效率低），要么信息共识低效（如环和网格通行效率高）。为了解决这个问题，我们提出了一个新的拓扑类EquiTopo，它具有（几乎）恒定的度数和与网络大小无关的共识率。

链接：

https://openreview.net/forum?id=AyiiHcRzTd

*需注册查看

 

17. AMOS: A Large-Scale Abdominal Multi-Organ Benchmark for Versatile Medical Image Segmentation

作者：

Yuanfeng Ji, Haotian Bai, Jie Yang, Chongjian GE, Ye Zhu, Ruimao Zhang, Zhen Li, Lingyan Zhang, Wanling Ma, Xiang Wan, Ping Luo

论文简介：

近年来，随着深度学习技术的发展，基于医学影像的腹部多器官语义分割取得了相当大的进展。但由于缺乏来自临床应用的大规模测试基准，研究人员很难对各类模型进行公平全面的性能评估。同时，由于医学内容分析所需要的专业知识较多，因此对应CT/MRI影像的标注成本也及其昂贵。精标注数据的匮乏，也进一步限制了面向医学影像分析的深度模型的发展。为了解决上述问题，项目组联合香港大学和深圳市大数据研究院共同提出了AMOS，一个大规模的、多样化的、用于腹部器官语义分割的临床数据集。

AMOS提供了500组CT和100组MRI扫描影像，收集自多中心、多厂商、多模式、多阶段、多疾病的患者，每组扫描都包含有15个腹部器官的体素级精标注。该数据集的构建为研究不同目标和场景下的稳健分割算法提供了挑战性的示例，以及统一公平的测试平台。项目组现已公开了该数据集、以及不同的经典深度神经网络模型在该数据集上的评测结果。希望该数据集的发布能够对未来的模型研究工作带来积极地推动作用。

链接：

https://arxiv.org/abs/2206.08023v1

 

18. Adam Can Converge Without Any Modification on Update Rules

作者：

Yushun Zhang, Congliang Chen, Naichen Shi, Ruoyu Sun, Zhi-Quan Luo

简介：

Adam是深度学习中最广泛使用的算法之一，但它的收敛性一直是个有争议的话题。Reddi et al曾指出Adam会在简单的凸问题上发散，给广大工程师敲响了警钟。自从那以后，很多工作尝试通过修改Adam算法的机制来重新获得收敛性保障。但于此同时，现实的深度学习任务中，未经任何修改的Adam仍然广泛被工程师使用，且经常取得得非常好的表现。为什么理论上的发散在实践中没有被观察到？我们指出Reddi et al. 的发散理论和实际场景存在差距：Reddi et al. 先固定Adam的超参数，后挑选优化问题；而实际任务往往是先给定优化问题，再调整Adam的超参数。 由于Adam通常在后一种情况下表现得很好，我们推测它仍然可以收敛。

在本文中，我们在固定优化问题的场景下证实了这个猜想。我们证明，当二阶动量参数 $\beta_2$ 很大且一阶动量参数 $\beta_1 < \sqrt{\beta_2}<1$ 时，Adam 可以收敛。据我们所知，我们是第一个证明具有任意大 $\beta_1$ 的 Adam 可以在没有任何形式的有界梯度假设的情况下收敛。这个结果表明，没有任何修改的Adam在理论上仍然可以收敛。当$\beta_2$ 较小时，我们进一步指出Adam 可以发散到无穷。我们的发散结果考虑了与收敛结果相同的设定（提前固定优化问题），这表明当增加 $\beta_2$ 时存在从发散到收敛的相变。这些结果可能会为更好地调整 Adam 的超参数提供指导。

链接：

https://arxiv.org/abs/2208.09632v2

 

博士后郭丹丹、博士生张雨舜资料

郭丹丹

郭丹丹为我校数据科学学院博士后，师从查宏远教授。郭丹丹2020年博士毕业于西安电子科技大学，此后在香港中文大学（深圳）机器人与智能制造研究院（IRIM）、数据科学学院进行博士后研究，她的主要研究方向是模式识别机器学习，包括概率模型构建与统计推断，元学习，算法公平性研究以及最优传输理论。所涉及的应用有图像生成及分类、文本分析、自然语言生成等。目前，她专注于现实应用中小样本分类、小样本生成、训练数据分布有偏等问题，着重从分布校正、分布拟合、分布匹配等角度展开研究。她的科研成果发表在机器学习国际顶级会议、期刊上，如NeurIPS、ICML、ICLR、IJCV、TNNLS等。她也是多个国际会议的程序委员会委员和期刊审稿人，如ICML、NeurIPS、ICLR、JMLR、 TSP等。

 

张雨舜

张雨舜是我校数据科学学院四年级博士生，导师为罗智泉教授。张同学本科毕业于南方科技大学数学系，曾获得南方科技大学优秀毕业生和数学系杰出十佳学生奖学金，研究方向是深度学习和优化理论。