可解释 AI（Explainable AI，XAI）是企业部署 AI 时，能向用户、监管、客户解释”AI 为什么这么决策”的技术。
它不是让 AI 自己会说话，而是让我们能向 AI 的决策”提问”，AI 能回答”为什么”。举例：不可解释 AI 只告诉你”这张 X 光诊断是肺癌”；可解释 AI 告诉你”右肺下叶有 3.2cm 实性结节（占 45%）+ 边缘呈毛刺状（占 30%）+ 与已确诊 5000 例肺癌病例相似度 89%（占 25%）”。后者的可信度完全不同。
为什么 2024 年必须做？
四重压力同时发力：① 欧盟 AI 法案2024 年 8 月生效，明确要求高风险 AI 系统必须可解释；② 中国《生成式 AI 管理办法》2023 年 8 月施行，要求 AI 决策有”理由”；③ 金融 / 医疗强监管——不解释不能上线；④ 客户信任——波士顿咨询 2024 年调研，67% 客户会因为 AI 决策不透明而流失。
3 大主流技术：
SHAP（SHapley Additive exPlanations）：2017 年提出，目前最流行，答”哪些输入对结果影响最大”。
LIME（Local Interpretable Model-agnostic Explanations）：2016 年提出，答”在某个具体决策上，模型是怎么想的”。
注意力可视化：专门用于深度学习，把模型”看哪里”可视化，大模型时代用于”思维链追踪”。
企业落地场景：
银行贷款决策：必须能解释”为什么不批”。
医疗 AI 诊断：必须能解释”为什么诊断这个病”。
保险理赔：必须能解释”为什么赔付 / 不赔付”。
招聘 AI：必须能解释”为什么筛掉某候选人”。
司法 AI：必须能解释”为什么判这个刑期”。
落地的 3 大坑：把可解释当附加功能（应该从 AI 设计阶段就内置）；用 SHAP 解释全局（SHAP 主要是局部解释）；以为准确率和可解释性矛盾（其实可以兼得）。
一句话总结：可解释 AI = 让 AI 不仅”会做”还要”会说理由”——2024 年起是高风险行业 AI 上线的”准入门票”。
