数字化转型网人工智能专题
与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！
当前，新一代人工智能（AI）技术蓬勃兴起，同时与大数据、区块链、云计算等技术融合，应用于社会各个领域，给人类生产、生活带来了深刻变化，为经济社会尤其是数字经济发展注入新动能。AI在带来巨大机遇的同时，也同样蕴含着风险和挑战。习近平总书记在 2018 年 10 月31日主持中共中央政治局第九次集体学习时强调，“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全。增强AI使用信心，形成良性的可信生态，构建行业可信标准体系已经成为重要关切。本文围绕可信人工智能的概念、支撑技术及在银行业的应用展开探讨。
一、可信人工智能介绍
1. 概念
AI算法的输出是概率，不确定的本质让AI的决策天生隐含争议。AI的风险隐患主要有：算法安全导致的应用风险、黑箱模型导致算法不透明、数据歧视导致智能决策偏见、数据滥用导致隐私泄露风险等。例如：2015年，Google更新了照片应用，让其通过算法识别照片内容进行自动分类并打上标签，从而方便照片的管理和搜索，却将黑人识别成大猩猩；某人脸识别系统通过用户协议条款违规收集人脸数据，加重了人们对隐私数据滥用引发安全风险的担忧；某公司筛选简历的算法模型，因算法歧视导致不公平，当算法识别出“女性”相关词汇时，便会给简历较低分数。诸如此类，面对AI引发的全球信任焦虑，发展可信AI已经成为全球共识。 数字化转型网www.szhzxw.cn
中国科学家何积丰院士于2017年首次提出了可信人工智能的概念，即人工智能技术本身具备可信的品质。可信人工智能的核心内涵就是以人为本、坚持技术向善。
2. 可信支撑技术
可信AI经历了从学术界提出到各界积极研究，再到产业界开始落地实践，其内涵也在逐步丰富和演进。中国信息通信研究院发表的《可信人工智能白皮书》中提出，可信AI的支撑技术主要涵盖稳定性、可解释性、隐私保护、公平性等。
（1）AI稳定性技术
AI系统面临着各种各样的威胁和攻击，包括中毒攻击、对抗攻击等。稳定性技术就是如何抵御攻击的技术，包含有异常数据检测、对抗训练等方法。但目前，各种干扰手段层出不穷，AI稳定性仍面临诸多挑战。 数字化转型网www.szhzxw.cn
（2）AI可解释性技术
以深度学习算法为核心的AI算法就像一个黑箱，相关可解释性研究仍处在初期。学术界的研究包括建立适当的可视化机制尝试解释模型的中间状态、采用知识图谱等技术手段增加推荐系统的可解释性等。AI模型落地过程中，应坚持以人为本的初心，做到对人类更透明、更易理解。增强AI系统的可解释性已是刻不容缓。
（3）AI隐私保护技术
算法数据流转及模型本身都有可能泄露隐私数据。针对该问题，目前最常见的隐私保护技术为基于差分隐私和基于联邦学习的隐私保护方法。 数字化转型网www.szhzxw.cn
（4）AI公平性技术
AI模型训练过程在涉及到性别、种族等与人相关的敏感属性时，常常会由于各种原因引入不公平的歧视性行为。导致模型不公平的原因主要包括数据集不均衡及算法本身，可采取的措施有提高训练数据集质量、降低算法对敏感属性的依赖等。
二、可信AI在银行业的实践探索
目前可信AI还处在发展初期，行业层面的实践主要是可信AI的标准体系构建，旨在推动形成一个良性的可信生态。 数字化转型网www.szhzxw.cn
互联网企业层面，支付宝部署智能对抗技术，利用可信AI加速赋能金融风控。智能对抗技术通过结合AI和博弈对抗，让机器自动且实时、动态地对自身系统进行安全性攻击，从而提升模型能力，使模型更加鲁棒，处理结果更加准确。
银行同业方面，某国有行搭建了全行级的联邦学习多方安全建模平台，尝试以“可用不可见”的方式打通银行内外部的数据孤岛；许多中小型银行为增强系统稳定性和可靠性，通过使用对抗攻击、定向水坑、NDay攻击等方式，组织常态化实战攻防演练，强化系统积极防御能力，利用有效的处置措施，构建全面的安全监测能力。 数字化转型网www.szhzxw.cn
三、可信AI在农业银行的实践探索
目前，农业银行正同步积极开展可信AI的技术调研和场景探索工作，对外紧密跟随行业动态，积极参与业界标准建设，对内结合农业银行业务需求，推动场景落地。
智能反欺诈平台部署PSI风控模型稳定性监测，将群体稳定性指标(PSI)算法应用于风控模型稳定性、有效性的评价机制中，如图1所示。基于监控结果，优化平台规则运行效率、节省资源开销。
智能反欺诈平台指标计算引擎采用基于时间序列的资源容量评估方法对内存容量进行预测评估，如图2所示。基于预测结果，判断未来内存使用量的增长趋势，减少内存使用率过高情况的发生，及时对集群扩容等。逐步建立完善的模型运行监控机制，增加系统的可视性和透明性。
信贷智能模型工厂中的小额消费贷款产品响应模型，面向网捷贷白名单客户预测，目标是找到借款需求较高但仍未申请的客户。采用XGBoost模型，大幅提高营销成功率，降低营销成本。此外，针对该模型采用可解释性技术对XGBoost完成模型的可解释性探索。一方面，更好的可解释性可以为一线营销人员提供更多依据，使营销人员有的放矢，直击客户痛点。另一方面，唯有具备可解释性才能让模型拥有更多应用场景。某营销模型的特征影响力全局图示意图如图3所示，全局图为每个样本绘制其每个特征的SHAP值。观察图3可发现，不同特征对其营销成功概率的正面及负面影响。通过可解释性探索，可帮助业务人员更直观更深刻地理解模型的运行机制和业务依据。增强AI模型的透明可解释性，是增强人工智能使用信心的重要方面，也是其推广应用、健康发展的助力。
我们在广泛调研同业和农行应用情况后，也发现了农行实践推广上的一些难题：
1）可信AI还处在发展初期，在行业层面可信AI的标准体系仍在构建中，缺乏统一规范的标准体系指导，风险治理原则不明确； 数字化转型网www.szhzxw.cn
2）将可信AI融入企业文化，结合模型研发应用全流程是可信AI落地的重要环节。然而完善可信AI管理制度，需要从上至下联合推动。可信AI部分场景尚未成熟，需要不断摸索前行。
四、可信AI在农业银行的应用前景
可信AI在反欺诈平台稳定性、机器学习模型可解释性等领域进行了开创式的探索和尝试，迈出了可信AI行内落地应用的第一步，居同业前列，真正实现“可信AI一小步，智慧农业银行一大步”。下一步，农业银行将积极参与业界标准建设，推动完善可信AI管理制度，将可信AI与模型研发应用全流程结合。具体来说，应根据《个人信息保护法》《数据安全法》《网络数据安全管理条例》等相关要求，从以下几方面进行实践探索： 数字化转型网www.szhzxw.cn
模型公平性方面，与推荐系统结合，消除数据歧视，增加模型的无偏性和公平性。排序是匹配用户和内容（文章、视频、音乐等）的主要手段，在推荐场景中，目前的排序算法存在对用户和内容双方不公平的问题。针对此问题，可采用兼顾公平性、稳定性的算法，通过构建公平性的无偏统计量，控制曝光公平性及排序质量。 数字化转型网www.szhzxw.cn
模型可解释性方面，与人工智能服务平台结合，可在AI模型的整个生命周期进行透明化管理，记录每项预测、每个模型版本、所有使用的训练数据及训练过程中的各种指标。可向模型开发者提供模型调试、改进的基础历史信息；向模型管理者提供模型概要、训练细节及历史版本信息；向模型消费者展示模型本身是准确的、合规的、无偏见的、稳定的，从而提供决策支持及AI模型自身安全性的可视性。
模型隐私保护方面，与数据安全、联邦学习相结合，增强数据隐私保护，实现“数据不动价值动”。隐私计算可以解决数据孤岛、反欺诈、反洗钱等问题，进一步拓宽数据边界，增强业务竞争力。
五、总结
可信AI的内涵在逐步丰富和演进，可信AI一体化研究将是未来重要趋势。但可信AI作为新兴技术仍在发展中，在银行的应用也在探索阶段，未来会不断地完善壮大。我们在技术管理层面需全面做好体系化前瞻性布局，实践层面应注重可信AI敏捷迭代，共同推进可信AI在产业界落地。
数字化转型网人工智能专题
与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！ 数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于我们的开心；编辑/翻译：数字化转型网宁檬树。
