由于我们很多人都在家工作，我们已经进入了一个视频会议已成为我们与同事联系的主要方式的世界。 我们花几个小时参加一对一和小组会议，观察屏幕上小盒子里的面孔。 坦率地说，这很难。 试图解析屏幕上的面孔所带来的认知负荷很高，导致所谓的“变焦疲劳”。 当然，这不仅限于 Zoom——无论你使用什么，无论是 Google Meet、WebEx、Skype 还是 Microsoft 的 Teams，都存在同样的问题。
微软一直在研究减轻这种压力的方法。 一种方法是 Teams 的 Together 模式，它改变了我们在屏幕上查看面孔的方式。 另一种依赖于基于 Arm 的 Surface Pro X 内置的专用机器学习硬件。
眼神接触简介
Eye Contact 现在可供所有拥有 Pro X 的人使用，旨在与使用平板电脑前置摄像头的任何应用程序配合使用。 您所需要做的就是安装 Microsoft 的 Surface 应用程序，切换到 Eye Contact 选项卡并单击启用。 预览选项显示了处理后的图像和未处理的图像之间的细微差别，当您低头查看预览图像并打开和关闭该功能时，两者之间的眼睛位置会略有变化。
目光接触不会对您的图像产生巨大的变化——头部位置或室内照明不会发生变化。 它所做的只是稍微改变你眼睛的位置和外观，让它们变宽一点，并稍微改变你凝视的位置，所以看起来就像你在看着相机，即使你实际上专注于被摄体 – 屏幕下方的面孔。
由此产生的效果使您看起来更加投入谈话，就好像您在视频会议中看着其他人的眼睛一样。 这是相当微妙的，但它确实让对话变得更加舒适，因为当你凝视屏幕时，与你交谈的人不再下意识地试图与你进行目光接触。
这是机器学习中一种奇怪的无私行为。 您自己不会从中看到任何好处（除非您正在与也使用 Surface Pro X 的人交谈），但他们会认为您更加专注于通话，因此会更加放松且负担更少。 尽管如此，这些副作用也不容小觑。 通话对某些参与者来说越好，对其他所有人来说也越好。
使用设备硬件
Eye Contact 在 Surface Pro X 的 SQ1 SOC 中使用定制人工智能 (AI) 引擎，因此您不会看到任何性能下降，因为大部分复杂的实时计算摄影都交给了它和集成 GPU。 一切都是在设备驱动程序级别处理的，因此它适用于任何使用前置摄像头的应用程序 – 无论您使用的是 Teams、Skype、Slack 或 Zoom，它们都可以受益。
只有一个限制：Surface Pro X 必须处于横向模式，因为如果您垂直握住平板电脑，Eye Contact 中使用的机器学习模型将无法工作。 实际上，这应该不是什么大问题，因为大多数视频会议应用程序都假设您使用的是标准桌面显示器而不是平板电脑，因此针对横向布局进行了优化。
实时人工智能需要专门的芯片
AI 引擎本身就是一个强大的计算硬件，能够提供 9 TFLOP。 微软正是在这里运行 Eye Contact 机器学习模型，并从 Surface Pro X 相机驱动程序中的计算摄影模型中调用它。 如果没有适用于所有 Windows PC 的专用硬件，很难想象任何内部或外部摄像头都可以使用通用的 Eye Contact 服务，即使 Windows 10 支持便携式 ONNX 机器学习模型。
尽管英特尔最新的 Tiger Lake 处理器（将于 2020 年 11 月推出）添加了 DL Boost 指令以提高 ML 性能，但它们并不提供像 SQ1 专用 AI 芯片那样的 DNN 功能。 我们可能还需要两到三代芯片才能将这些功能提供给通用 CPU。 下一代 GPU 有可能支持像 Eye Contact 这样的 DNN，但您可能会看到专为科学工作站设计的昂贵的高端硬件。
目前，也许最好将 Eye Contact 视为未来基于 AI 的相机的重要概念验证工具，使用 SQ1 等 SOC AI 引擎，或使用 Open CL 或 CUDA 的带有独立显卡的通用 GPU， 或处理器 ML 推理指令集。 通过将人工智能模型构建到设备驱动程序中，我们只需插入新设备即可为用户提供高级功能。 如果新的机器学习技术提供新功能，它们可以附带更新的设备驱动程序。 在那之前，我们必须充分利用硬件中的每一点能力，让视频会议为尽可能多的人带来更好的体验。
