很难让利益相关者接受他们不理解的技术。 就人工智能 (AI) 和机器学习 (ML) 而言，很少有人真正理解它，这给数据科学家和企业留下了可解释性的空白。
三年前，《麻省理工科技评论》发表了一篇关于人工智能的文章，题为“人工智能核心的黑暗秘密”。 “没有人真正知道最先进的算法是如何做到这一点的。 这可能是一个问题，”威尔·奈特写道。 “去年，一辆奇怪的自动驾驶汽车被释放到新泽西州蒙茅斯县安静的道路上……。 汽车没有遵循工程师或程序员提供的任何指令。 相反，它完全依赖于一种算法，该算法通过观察人类驾驶来自学驾驶。
“让汽车以这种方式行驶是一项令人印象深刻的壮举。 但这也有点令人不安，因为尚不完全清楚汽车如何做出决定……。 如果有一天它做了一些意想不到的事情——撞到了一棵树上，或者等绿灯了怎么办？ 从目前的情况来看，可能很难找出原因。”
像机器学习这样“隐藏”在人工智能中的技术对任何人来说都很难解释。这就是为什么它给公司、首席信息官和数据科学家带来了风险，他们需要解释他们的人工智能是如何运作的。
“人工智能的根本可解释性缺陷是它使用机器学习，而机器学习是一个黑匣子，”说
Will Uppington，Truera 联合创始人兼首席执行官，该公司提供帮助公司实施人工智能和机器学习的软件。 “这意味着即使模型有效，数据科学家也不一定知道原因。 这阻碍了数据科学家快速高效地构建高质量的机器学习应用程序。 当非数据科学家、
企业经营者、监管机构或消费者等可以就结果提出问题。”
阿平顿表示，模型智能平台可以帮助解决可解释性问题。
“该软件可以帮助数据科学家和非数据科学家从模型和用于构建模型的数据中解释、评估和提取见解，”阿平顿说。 “你可以将其视为机器学习领域的 Tableau。 该软件也是确保模型公平以及公司可以负责任地采用它们的关键。”
例如，如果您是一家银行，您必须能够向监管机构解释您的贷款人工智能软件如何工作，以及它如何防止偏见。 即使不需要与监管机构打交道，技术专家也必须能够向董事会、首席级管理人员和最终业务用户解释人工智能/机器学习模型的工作原理，以及为什么他们应该相信结果。
确保并维持对人工智能所说内容的信任不仅仅是清理和审查数据以确保在人工智能上线之前数据不存在偏见。 随着时间的推移，原始数据和针对其运行的算法必然会产生“漂移”。 您还必须对此进行监控和调整。
可以将工具添加到 AI/ML 部署和维护测试中，以确定 AI/ML 系统的准确性。 借助此工具，组织可以针对代表性数量的测试用例进行测试，以了解人工智能的底层“黑匣子”机器学习决策是如何工作的，以及它提供的结果是否“真实”。
在一个用例中，渣打银行使用软件来了解其正在构建的人工智能模型在做出贷款决策时如何运作。 通过输入不同的贷款资料和标准，渣打银行的团队可以看到人工智能引擎返回的结果以及原因。 他们可以确认人工智能的决策符合银行的预期，并且数据和决策过程都是公正的。 同样重要的是，参与该项目的人员可以向利益相关者解释人工智能流程。 他们找到了一种打开人工智能机器学习“黑匣子”的方法。
“如果数据科学家无法解释他们的人工智能应用程序是如何工作的，那么企业主就不会批准它们，企业经营者将无法管理它们，最终用户可能会拒绝它们，”阿平顿说。 “公司越来越意识到在利益相关者之间建立信任的挑战。 这就是为什么数据科学家[和人工智能]领导者在我们最近的调查中表示，‘利益相关者协作’是他们公司面临的头号组织挑战。”
