随着人工智能 (AI) 在我们的日常生活中变得越来越普遍； 在做出有关我们的医疗保健、贷款偿还、就业、假释、安全、娱乐等方面的重要决定时，了解人工智能如何做出决定对我们来说很重要。
在一些严重的不当行为曝光后，对人工智能透明度的需求正在上升。 自动驾驶车祸、不公平地拒绝假释、招聘中的性别偏见、图像识别中的种族歧视，或认为污染严重的空气可以安全呼吸，都引起了对该技术的批评。 相反，领先的受生物启发的 AI（称为深度学习）以其难以为人类解释的不透明“黑匣子”性质而闻名。
发生这种情况主要是因为智能是通过数百万不易跟踪的计算单元之间的复杂交互而出现的。 对透明 AI 的需求与黑盒 AI 的供应之间的差距催生了一门新的 AI 学科，称为可解释 AI (XAI)。
XAI 是 AI 的一个分支，它承诺在不影响性能的情况下做出可解释的预测。 本文阐明了 XAI 的重要性，并解释了 XAI 的主要类型和解释。 （另请阅读：为什么 DARPA 研究“可解释的人工智能”？）
在讨论 XAI 的优势之前，了解正在使用的 XAI 的种类及其提供的解释类型会有所帮助。
本质上可解释的 AI 与 Post-Hoc XAI
XAI主要分为以下两类：
本质上可解释
这种类型的 XAI 模型本质上是不言自明的。 这些 AI 模型的示例是决策树和贝叶斯分类器。
这种类型的人工智能的典型缺点是其性能不足，并且无法解决大规模的现实世界人工智能问题，例如图像分类、自然语言处理和语音识别。 （另请阅读“人工智能有一些解释要做”）
事后 XAI
这种类型的 XAI，也称为与模型无关的 XAI，由用于解释底层黑盒 AI 的模型组成。 示例包括局部可解释模型不可知解释 (LIME) 和其他基于扰动的 XAI 模型。
这种类型的 XAI 的典型缺点是解释可能不忠实于底层 AI，因为它是由不同的模型产生的。 优点是无需为了可解释性而牺牲 AI 的性能。
可解释的人工智能解释的类型
本地解释：“本地解释”是对 AI 模型特定决策的解释。 例如，AI 拒绝特定贷款申请背后的逻辑。 通常，它描述了输入特征在进行预测中的重要性。
全局解释：全局解释是对 AI 决策过程的通用解释，通常以 AI 使用哪些属性以及它们如何共同做出决策的形式出现。
对比解释：对比解释是对实例之间差异的解释，例如，两个图像如何彼此不同。
XAI的优势
防止偏见
人工智能从数据中学习以做出预测。 现实世界数据的偏差和数据收集的不足会以多种不同方式影响人工智能。 典型偏见的例子包括抽样偏见，例如仅使用日光视频来训练自动驾驶汽车，以及关联偏见，例如女性与护理专业的性别歧视联系或海鸥与海滩的过度概括联系。 由于 XAI 旨在解释属性和决策过程，因此有助于识别 AI 的偏差。 （另请阅读：机器学习中的公平性：消除数据偏差）
让 AI 值得信赖
许多人认为，AI 的保密性是其广泛接受的主要障碍（尤其是在自动驾驶汽车和医疗诊断等安全关键任务中），原因很简单，因为最终用户并不完全信任它的决定。 例如，在医疗领域，临床医生不愿意相信黑盒 AI，即使它具有更好的准确性，因为他们不了解 AI 的工作方式。 XAI 努力通过使其透明化并解释其结果来使 AI 值得信赖。
遵守解释权立法
在算法的监管中，人工智能有法律义务向用户解释其决定，尤其是当它在法律或经济上对他们产生重大影响时。 例如，如果 AI 拒绝了一个人的贷款申请，他可能会要求解释，这可能是“拒绝的主要因素是你去年破产，这让你更有可能违约。”
解释权法规的一些示例包括欧盟的《通用数据保护条例》、美国的《联邦法规》和法国的《数字共和国法》。 因此，XAI 使 AI 能够遵守提供解释的法律要求。
改进系统设计
XAI 可以让工程师探究 AI 以特定方式行事的原因并进行改进。 例如，AI 可能会因为错误的原因做出正确的决定（类似于心理学中称为聪明汉斯效应的现象），必须加以纠正。 这对于分析 AI 何时以及如何发生故障的安全关键任务尤为重要，即使错误很小。 为此提供的解释可以根据用户的要求采用不同的形式，例如，它可能包括对训练数据和人工智能算法的解释。
使人工智能对对抗性攻击具有鲁棒性
黑盒 AI 容易受到对抗性攻击是许多人关注的问题。 “对抗性攻击”是指用精心设计的样本，称为对抗性样本，来欺骗AI做出错误的决定。 使 AI 能够应对这些攻击非常重要，因为它可能对基于 AI 的安全、医疗和军事系统造成破坏。
XAI 可以抵御对抗性攻击，因为对抗性输入会导致模型对其决策产生异常解释，从而揭示攻击。
有洞察力的数据分析
人工智能广泛用于各种组织和业务部门的数据分析。 以 XAI 为中心的数据分析可以提供对产生的见解的深刻理解。 这有助于分析潜在的关系，并确定问题的原因和影响，从而节省大量时间并做出明智的决策。
例如，虽然黑盒 AI 可能会准确预测下个月的库存销售减少，但 XAI 可以指出它为什么会减少。 同样，虽然典型的 AI 可以建议潜在客户获得免费赠品以进一步提高商业利益，但 XAI 可以说服您的业务合作伙伴为什么这是一个有效的策略。 （另请阅读：可解释的人工智能如何改变商业保险的游戏规则。）
进行科学发现
人工智能已经被用于分子设计、蛋白质结构预测、化学合成规划和大分子目标识别等各个领域的科学发现。 弥合人工智能与其他科学界之间的差距是做出此类发现的先决条件。
XAI 可以帮助跨领域的科学家更好地理解人工智能，并使他们能够磨练他们对人工智能过程的知识和信念。
