数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
原文：Data Quality-Aware Mixed-Precision Quantization via Hybrid Reinforcement Learning
作者：Yingchun Wang, Song Gu等
作者单位：Xi’an Jiaotong University, The Hong Kong University of Science and Technology等
期刊/会议：IEEE Transactions on Neural Networks and Learning Systems, 2024
引用格式：Wang, Yingchun, et al. “Data quality-aware mixed-precision quantization via hybrid reinforcement learning.” IEEE Transactions on Neural Networks and Learning Systems (2024).
综述：YBF
排版：YBF
一、摘要
由于无差分位宽采样，混合精度量化在实际训练前大多预先确定模型位宽设置，获得次优性能。此外，传统的静态质量一致的训练设置，即假设所有数据在训练和推理过程中具有相同的质量，忽略了实际应用中数据质量的变化，这可能导致量化模型的鲁棒性较差。在本文，提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，以动态调整量化位宽以适应不同的数据质量。自适应是一种可以与量化训练联合学习的比特宽度决策策略。具体地，DQMQ被建模为基于模型的策略优化和有监督量化训练相结合的混合强化学习( RL )任务。通过将离散位宽采样松弛为连续的概率分布，并使用少量可学习的参数进行编码，DQMQ是可微的，可以直接进行端到端的优化，并同时考虑任务性能和量化收益的混合优化目标。在混合质量图像数据集上进行训练，DQMQ在面对不均匀的输入质量时，可以隐式地为每层选择最合适的位宽。在各种基准数据集和网络上的大量实验证明了相较于现有的混合精度量化方法，DQMQ具有优越性。
二、主要贡献
（1）首次揭示了数据质量偏移对最优量化精度设置的显著影响。在此基础上，提出了一种新的数据质量感知的混合精度量化框架DQMQ，以动态分配基于输入特征的最优量化位宽。
（2）提出了一个轻量级的强化学习( RL )模块，命名为PDA，以做出最优的量化精度决策。PDA接收上一层的特征图，与模型骨架联合训练，输出每层的最优位宽。
（3）在每次训练迭代过程中，使用QAC来辅助虚假的量化尝试。QAC是一种三明治结构，包括”量化-卷积-去量化”，旨在减少层间量化误差的积累，以及训练迭代。
（4）在ImageNet、CIFAR – 10和SVHN 上的大量实验表明，DQMQ可以获得比SOTA混合量化方法更优越的性能。
三、主要内容
DQMQ是一个一次性量化系统，包括两个环节：位宽决策和模型参数更新和两个插件：PDA和QAC。
A、DQMQ概述
首先仔细编码PDA以模拟位宽的离散概率分布。在策略优化框架中进行最优位宽决策。PDA经过训练后，根据当前输入特征和层量化敏感度为每层生成最可能的位宽。QAC中的量化器从PDA中接收最理想的位宽，输出具有理想位宽的量化模型权重和激活函数，作为实际的卷积算子，为下一层生成特征图。
图2展示了如何将所提出的插件与现有的训练流程进行集成。
B、PDA: 位宽决策
为了同时训练离散的位宽策略和连续的监督学习，本文采用了一种混合学习算法，该算法集成了经验风险最小化和累积奖励最大化。整个训练阶段可以分为两个离散的阶段。首先，通过softmax函数将PDA的输出松弛为不同位宽下的连续概率，从而利用标准交叉熵损失对层和PDA进行联合优化。然后，将概率输出作为一个初始策略，并将其还原为关于位宽的离散整数值。
C、One-Shot 训练
单次训练是解决解耦和数据不可知量化阶段问题的一种有前途的解决方案。
QAC由两个关键部分组成：量化器( Q )和DQ。这里，Q根据PDA的比特宽度决策来量化当前层的权重和输入。在量化卷积操作之后，DQ将输出恢复到全精度，然后再传输到下一层。此外，当前层的权重也进行去量化，为后续轮量化训练做准备。
D、实践部署
根据边缘移动设备的资源情况，DQMQ的部署可以分为三种情况：完全部署、部分部署和骨架部署。全面部署涉及在资源充裕的边缘设备上实现整个DQMQ框架，一个功能完善的DQMQ应用程序包含了一些功能进行量化位宽、参数量化和参数优化的决策；部分部署包括从框架中选择性地部署特定的模块；骨架部署是指在边缘移动设备资源极度匮乏的情况下，仅部署质量感知模块和量化模型骨架。
四、实验
A、实验设置
数据集：ImageNet、CIFAR – 10和SVHN
模型：ResNet18, ResNet50, MobileNetV2
B、对比实验
使用ResNet18 / 50和MobileNetV2架构在ImageNet上进行了全面的实验。DQMQ方法在平均权重和激活位宽上分别实现了2 – bit和4 – bit的显著降低。此外，在SVHN ( Mixed )上，权重位有显著的2 – bit减少，表明有更好的自适应性。
C、数据质量与量化敏感度
将本文提出的DQMQ与最典型的两阶段工作之一HAWQ – on ResNet18和CIFAR – 10进行比较。DQMQ结合了数据感知的位宽，从而获得了更高的预测精度。在锐化场景中也保持了精度的提升。与HAWQ相比，所提出的DQMQ具有显著的减少，最大位宽为2比特，激活位宽为4比特。
D、消融实验
演示了DQMQ的计算量在不同部署中如何减少，并突出各种量化辅助模块。还说明了如何调整超参数α可以帮助DQMQ满足不同的精度和成本要求。
五、总结
本文提出了一种新的数据质量感知的模型量化方法，命名为DQMQ，以实现边缘环境下的鲁棒模型量化。DQMQ动态地调整不同数据质量的量化精度。它将位宽决策和量化训练整合为高效且连贯的一次性训练方案。通过将离散的位宽采样松弛为具有少量可学习参数编码的连续概率分布，DQMQ是可微的，可以通过混合优化目标直接进行端到端的优化。大量实验验证了所提方法的有效性。在未来的研究中，将在额外的数据迁移场景中进一步研究数据感知的混合精度量化。
声明：本文来自AILab笔记，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于AILab笔记；编辑/翻译：数字化转型网默然。
