《中国智能运维实践年度报告（2021-2022）》之实践案例分享Part2-中国农业银行
数字化转型网人工智能专题
Hi，朋友，上期分享了中国建设银行的实践案例，下面让我们来看一看本期内容之“数据赋能，场景驱动——中国农业银行AIOps智能运维实践案例”。
一、引言
农业银行于2019年底开始一体化生产运维平台建设，并将AIOps能力建设作为其“补足短板，聚力提升”，实现智能运维转型的关键一环。在整体建设过程中，坚持“数据赋能、场景驱动”的建设思路，深挖运维数据价值，积极开展创新实践，推动AIOps智能运维技术在农行的应用及推广。
在运维数据方面，通过建设运维数据集市推动6大类异构运维数据的集中入库与存储，实现海量运维数据的集中管理、统一建模与高效共享，为智能运维的落地夯实数据基础；
在分析工具方面，结合农行数据中台技术，建设适用于运维数据的BI可视化分析引擎及AI算法分析引擎，降低运维数据分析门槛，提高运维数据分析效率，推动主动运维理念践行，释放一二线运维人员运维分析潜能，形成百花齐放的运维数据应用生态；
在场景应用方面，结合生产运维过程中的痛点、难点问题，以解决实际问题为目标，探索建设了多维日志分析、批量智能预警、应急故障诊断、ChatOps运维一点通等智能运维场景建设，并在农行分布式核心系统、手机银行等重要系统中落地应用，切实推动了农行运维工作的提质增效。
二、场景实践案例
1. 多维日志分析
（1）建设背景
业务规模日益增长及架构分布式转型对商业银行核心业务系统的运维保障工作带来了更高的要求，除了要关注系统整体交易量、响应时间、成功率等生死指标的波动情况外，还需要能够及时掌握省市、渠道、交易码、服务器等更细粒度的指标，才能实现业务异常的精准定位并采取对应措施。
而受限于维度交叉带来的数据量增长，并且多个维度的指标变化可能会互相影响，因此多维钻取分析往往充满挑战。
历史解决方案往往基于监控维度的配置，对于部分重点交易码、重点省市等维度进行分别监控，但这种方式难以穷举所有的维度组合，必须探索更加自动化、智能化的多维钻取分析方案，能够在系统异常时自动钻取到维度级的异常指标。
（2）解决方案
交易日志一般会包含渠道、省市、交易码等多维交易信息，从中可以更全面、更精细的感知系统异常对业务的影响。本案例通过实时消费核心业务系统的交易日志，构建异常检测与多维分析算法模型，实现了系统业务异常的智能发现与多维定位，其主要步骤包括：
- 日志聚合：实时对接交易日志数据，并对交易量、响应时间、成功率等关键指标以省市、交易码、服务器等关键维度进行流式聚合分析；
- 异常检测：基于时序异常检测算法对关键交易指标、重要错误码等信息进行自动检测；
- 多维下钻：在检测到系统异常时，应用多维分析算法进行根因定位，通过裁剪维度分支、相同维度聚类等方式缩小根因搜索空间，精准定位异常维度组合，如某渠道交易异常，某省市+某交易码异常等；
- 数据可视：基于计算和分析结果，通过大屏实时感知交易数据变化；提供用户交互视图，实时查询错误码对应的交易分布，辅助用户分辨业务异常和系统异常。
