企业越来越依赖人工智能 (AI) 系统来制定可能严重影响个人权利、人类安全和关键业务运营的决策。 但这些模型是如何得出结论的呢？ 他们使用什么数据？ 我们可以相信结果吗？
解决这些问题是“可解释性”的本质，而正确解决问题变得至关重要。 虽然许多公司已经开始采用基本工具来了解人工智能模型如何以及为何提供见解，但要释放人工智能的全部价值需要制定全面的战略。 我们的研究发现，那些从人工智能中获得最大底线回报的公司——那些将至少 20% 的息税前利润归因于人工智能使用的公司——比其他公司更有可能遵循可解释性的最佳实践。 此外，通过让人工智能变得可解释等实践在消费者中建立数字信任的组织更有可能看到其年收入和息税前利润以 10% 或更高的速度增长。
尽管可解释性变得越来越重要，但它也变得越来越困难。 如今为许多人工智能应用提供支持的建模技术（例如深度学习和神经网络）本质上对人类来说更难以理解。 对于人工智能可以提供的所有预测见解，先进的机器学习引擎通常仍然是一个黑匣子。 解决方案不仅仅是寻找更好的方法来传达系统的工作原理； 相反，它是关于创建工具和流程，甚至可以帮助资深专家理解结果，然后向其他人解释。
为了阐明这些系统并满足客户、员工和监管机构的需求，组织需要掌握可解释性的基础知识。 掌握这种能力需要建立治理框架，实施正确的实践，并投资于正确的工具集。
是什么让可解释性变得困难
可解释性是表达人工智能系统为何做出特定决策、建议或预测的能力。 开发这种功能需要了解人工智能模型的运行方式以及用于训练模型的数据类型。 这听起来很简单，但人工智能系统变得越复杂，就越难准确地确定它是如何得出特定见解的。 随着时间的推移，人工智能引擎通过不断摄取数据、衡量不同算法组合的预测能力并更新生成的模型，变得“更加智能”。 他们以极快的速度完成这一切，有时甚至在不到一秒的时间内就可以输出结果。
理清一阶洞察并解释人工智能如何从 A 到 B 可能相对容易。 但随着人工智能引擎对数据进行插值和重新插值，洞察审计跟踪变得更难以追踪。
让事情变得更复杂的是，人工智能系统数据的不同消费者有不同的可解释性需求。 使用人工智能引擎支持信贷决策的银行需要向被拒绝贷款的消费者提供导致该结果的原因。 贷款官员和人工智能从业者可能需要更精细的信息来帮助他们了解做出决策时使用的风险因素和权重，以确保模型得到最佳调整。 风险职能或多元化办公室可能需要确认人工智能引擎中使用的数据不会对某些申请人产生偏见。 监管机构和其他利益相关者也有特定的需求和利益。
提高生产力。 实现可解释性的技术可以更快地揭示错误或需要改进的地方，使负责监督人工智能系统的机器学习操作（MLOps）团队更容易有效地监控和维护人工智能系统。 例如，了解导致模型输出的具体特征有助于技术团队确认模型识别的模式是否广泛适用并与未来的预测相关，或者是否反映了一次性或异常的历史数据。
建立信任和采用。 可解释性对于建立信任也至关重要。 客户、监管机构和广大公众都需要相信人工智能模型以准确和公平的方式做出相应的决策。 同样，如果目标用户不理解所提供建议的基础，即使是最先进的人工智能系统也会落灰。 例如，销售团队更倾向于相信自己的直觉，而不是人工智能应用程序，因为人工智能应用程序建议的下一个最佳行动似乎来自黑匣子。 了解人工智能应用程序提出建议的原因可以提高销售专业人员遵循该建议的信心。
提出新的、创造价值的干预措施。 揭示模型的工作原理还可以帮助公司揭示原本隐藏的业务干预措施。 在某些情况下，对预测原因的更深入理解可能比预测或推荐本身更有价值。 例如，预测某个细分市场的客户流失本身就很有帮助，但对可能流失的原因的解释可以揭示企业干预的最有效方法。
对于一家汽车保险公司来说，使用 SHAP 值等可解释性工具揭示了车辆和驾驶员属性之间的某些相互作用如何与更大的风险相关。 该公司利用这些见解来调整其风险模型，之后其业绩显着提高。
确保人工智能提供商业价值。 当技术团队可以解释人工智能系统如何运作时，业务团队可以确认预期的业务目标得到满足，并发现翻译中丢失内容的情况。 这可确保人工智能应用程序能够实现其预期价值。
减轻监管和其他风险。 可解释性有助于组织降低风险。 违反道德规范的人工智能系统，即使是无意的，也会引发公众、媒体和监管机构的强烈审查。 法律和风险团队可以使用技术团队提供的解释以及预期的业务用例，来确认系统符合适用的法律和法规，并与公司内部政策和价值观保持一致。
在某些领域，可解释性是一项要求。 例如，加州保险部最近发布的公告要求保险公司解释基于复杂算法所采取的不利行动。3随着人工智能使用的增长，组织可以期待更多有关可解释性的规则。 新法规，例如欧盟人工智能法规草案，可能包含具体的可解释性合规步骤。 即使没有明确规定，公司也需要确认用于进行信用判定等行动的任何工具均符合适用的反歧视法以及禁止不公平或欺骗行为的法律。
企业如何让人工智能变得可解释
构建可解释性框架并获得正确的支持工具的组织将能够更好地捕捉深度学习和其他人工智能进步的全部价值。 我们建议组织首先将可解释性作为其负责任的人工智能指南中的关键原则之一。 然后，组织可以通过建立人工智能治理委员会来为人工智能开发团队制定标准和指南（包括针对特定用例的审查流程的指南）以及投资合适的人才、技术、研究和培训来实施这一原则。
成立AI治理委员会，指导AI开发团队
人工智能治理委员会的设立包括招募成员和确定工作范围。 人工智能用例的可解释性和风险评估可能很复杂，需要了解业务目标、目标用户、技术和任何适用的法律要求。 因此，组织需要召集一批跨职能的经验丰富的专业人士，包括业务领导者、技术专家以及法律和风险专业人士。 在内部和外部引入不同的观点还可以帮助公司测试为支持人工智能模型而开发的解释对于不同受众是否直观且有效。
该委员会的一项关键职能是制定人工智能可解释性标准。 作为标准制定过程的一部分，有效的人工智能治理委员会通常会建立风险分类法，可用于对不同人工智能用例的敏感性进行分类。 该分类法链接到概述不同用例的期望和标准的指南。 例如，是否有必要进行解释以符合监管要求，或者目标只是提供功能概述以帮助采用？ 该分类还澄清了何时可能需要升级至审查委员会或法律部门。
由于每个人工智能用例都可能提出与可解释性相关的一组不同的风险和法律要求，因此组织应该为模型开发团队建立一个流程来评估每个用例。 此流程可以让组织更好地管理这些风险并从人工智能中获取价值。 在中央清单中跟踪这些评估的结果有助于确保组织能够监控人工智能系统的使用情况，以确保遵守法律并遵守负责任的人工智能原则。
作为审查过程的一部分，团队需要根据更大的信任、采用或生产力等带来的潜在价值，考虑是否超出基本的可解释性要求。 在某些情况下，可解释性和准确性之间可能存在权衡。 例如，简化人工智能模型的机制可能会提高用户信任度，但在某些（并非全部）情况下，这种转变可能会降低模型的准确性。 当存在权衡时，团队将需要权衡相互竞争的考虑因素，包括任何监管要求，并在必要时升级为领导层。
团队也许能够自己解决这些权衡问题。 有时，他们可以通过跟踪模型性能和辨别模式来对驱动高级人工智能模型预测结果的因素进行逆向工程。 然后，他们可以尝试使用更简单且更易于理解的统计方法（例如逻辑回归）来复制复杂模型。 在某些情况下，结果将是一个同样高性能的模型，其输出本质上是可解释的。
投资于合适的人才、可解释性技术、研究和培训
可解释性领域技术和法律变革的快速步伐使得公司迫切需要聘请合适的人才、投资合适的工具、积极开展研究并进行持续培训。
高绩效组织制定人才战略来支持整个企业的人工智能治理。 这些公司寻求留住法律和风险部门的同事，他们能够积极、有意义地与业务和技术人员合作，以适应适用的法规、满足消费者的期望，并随着法律的发展提供“面向未来”的核心产品（包括功能和数据集）。 同样，公司也很容易聘请熟悉法律问题或专注于技术道德的技术人员。
对可解释性技术的投资应旨在获得适当的工具，以满足开发团队在审查过程中确定的需求。 例如，更先进的工具可以在需要团队牺牲准确性的上下文中提供可靠的解释。 尽管定制解决方案的前期成本可能较高，但从长远来看有时会带来回报，因为它们可以考虑部署模型的环境，包括目标用户以及任何法律或监管要求。 考虑使用现成和开源工具的公司应该了解这些选项的任何限制。 例如，一些可解释性工具依赖于事后解释，仅根据对系统输出的审查来推断相关因素。 如果这种有限的方法对驱动结果的因果因素产生的解释不太准确，那么用户对系统输出的信心可能是没有根据的。
研究是一项持续的要求，因为法律和监管要求以及消费者期望和行业规范正在迅速变化。 人工智能治理委员会将希望积极监控并在可能的情况下在这一领域进行自己的研究，以确保持续学习和知识发展。 委员会还应制定培训计划，以确保整个组织的员工了解并能够应用该领域的最新发展。
人们使用他们理解和信任的东西。 对于人工智能来说尤其如此。 那些能够轻松展示其人工智能见解和建议是如何得出的企业，不仅会在其组织的人工智能用户中脱颖而出，而且在监管机构和消费者中也将脱颖而出，而且在盈利方面也会领先。
