可信AI 101:构建可信和道德AI系统的指南

《信任的维度介绍

人工智能(AI)作为一项技术正在成熟. 这可不是科幻小说里的东西, 人工智能已经从理论数学和先进硬件的专属领域发展到日常生活的方方面面. 在过去的几年里成倍加速发展和扩散, ob真人游戏对成熟AI系统的需求和要求已经开始具体化. 

在DataRobot，ob真人游戏将AI成熟度的基准定义为 你可以信任的人工智能. 信任不像准确性，甚至不像公平，是人工智能系统的内在品质. 相反，它是人工智能系统形成的人机关系的一个特征. 没有一种人工智能系统可以带着信任从架子上下来. 相反，人工智能用户和系统之间需要建立信任. 

对人工智能信任的最高标准可以总结为以下问题:你要怎样才能把生命托付给人工智能系统? 

培养对人工智能系统的信任是实现人工智能变革性技术(如自动驾驶汽车或将机器智能大规模集成到医学)的巨大障碍. 忽视对人工智能信任的需求，也是在淡化已经嵌入ob真人游戏日常金融和工业流程的人工智能系统的影响, 随着ob真人游戏的社会经济健康和算法决策的日益交织. 人工智能远不是满足如此高标准所需的第一项技术. 负责任地使用人工智能的道路是由航空等多种行业铺平的, 核能, 和生物医学. ob真人游戏从他们的问责方法中学到了什么, 风险, 和利益形成了可信AI框架的基础. 

行业领袖和政策制定者已经开始汇聚对值得信赖的共同要求, 负责人工智能. 微软 要求公平, 可靠性和安全性, 隐私和安全, 包容, 透明度, 和问责制. IBM 要求可解释、公平、健壮、透明和隐私. 的 美国众议院第2231号决议 寻求建立算法问责制的要求, 消除偏见和歧视, 风险-效益分析和影响评估, 以及安全和隐私问题. 加拿大的政府也推出了自己的产品 算法影响评估工具 可以在网上找到. 这些建议的共同原则远多于分歧原则. 在DataRobot, ob真人游戏分享了这一愿景，并定义了AI 信任的13个维度，以务实地告知人们负责任地使用AI. 

现在的挑战是将这些指导原则和愿望转化为执行, 让它更容易接近, 可再生的, 所有参与设计和使用人工智能系统的人都可以实现. 这是一个艰巨的任务，但远非不可逾越的障碍. 这份文件不会是值得信赖的人工智能的原则声明, 而是深入探讨实际的关注点和考虑事项，以及框架和工具，从而使您能够解决这些问题. ob真人游戏将通过AI 信任的维度来探讨这些原则, ob真人游戏将在接下来的章节中详细介绍它们.

“信任的维度”是什么意思??

在DataRobot，ob真人游戏将人工智能系统的信任分为三个主要类别.

• 信任的 性能 你的AI/机器学习模型.
• 信任的 操作 你的人工智能系统.
• 信任的 道德 设计人工智能系统以及如何使用它来通知您的业务流程.

在每个类别中，ob真人游戏确定了一组维度，帮助更明确地定义它们. 信任是一个伞形概念, 因此，人工智能的现有功能和最佳实践至少可以部分解决这些问题, 如MLOps. 将每个维度整体地结合在一起，就构成了一个可以赢得您信任的系统. 

值得承认的是，对人工智能系统的信任因用户而异. 对于面向消费者的应用程序, 对业务部门的信任要求, 谁创造并拥有这个人工智能应用, 与那些可能在自己的家庭设备上与它互动的消费者有很大的不同吗. 双方的利益相关者都需要知道，他们可以信任自己的人工智能系统, 但每个人需要和可用的信任信号是完全不同的.

信任的信号 参考你可以找到的指标，以便在每个维度上评估给定AI系统的质量. 但信任信号并非人工智能独有——它甚至是ob真人游戏都用来评估人际关系的东西. 想想你在会见新的商业伙伴时，有意寻求什么样的信任信号. 这将因人而异, 但ob真人游戏都知道眼神交流很重要, 尤其是当你说话时，有人在注意听你说话的迹象. 对一些人来说, 有力的握手是有意义的, 和为他人, punctuality is vital; a minute late is a sign of thoughtlessness or disrespect. 反思性语言是表明你在倾听的有力方式. 把事情复杂化,  在评估一个新认识的人是潜在的朋友还是商业伙伴时，想想信任的信号会发生怎样的变化. 会有一些重叠, 但你更可能寻找的是共同的兴趣或相似的幽默感, 而不是共同的目标和激励. 你对新医生的期望是什么? 旁边的医生对病人的态度, 你可以在墙上查看他们的毕业证书，或者上网查看他们的办公室评分, 评论, 和病人感言. 

这与AI系统有什么关系? 根据其用途的不同，人工智能系统可能可以与上述任何一种人类关系相媲美. 一个嵌入到你的个人银行的人工智能是一个你需要能够信任的商业顾问. 为你的流媒体电视服务提供推荐算法的人工智能系统需要像朋友一样值得信赖，他和你的类型兴趣相同，知道你的品味. 诊断算法必须满足该领域的医学专家要求的证书和标准, 对你的问题保持开放和透明, 怀疑, 和关切. 

人工智能系统提供的信任信号不是眼神交流或墙上的文凭, 但它们服务于同样的需求. 特定的标准, 可视化, 认证, 工具可以让您评估您的系统，并向自己证明它是值得信赖的. 

在接下来的章节中, ob真人游戏将在性能类别中处理AI信任的每个维度, 操作, 和道德.

人工智能的性能

性能与这个问题有关，“我的模型根据数据进行预测的能力有多强?“在绩效管理中，ob真人游戏关注的信任维度是:

• 数据质量 -有什么建议和评估, 特别是, 可以用来验证人工智能系统中使用的数据的来源和质量? 如何识别数据中的差距或差异，以帮助您建立一个更值得信赖的模型? 
• 精度 -机器学习中测量“准确性”的方法是什么? 什么样的信任信号(工具和可视化)适合于定义和传达模型的性能? 
• 鲁棒性 & 稳定 -当你的数据发生变化或混乱时，你如何确保你的模型以一致和可预测的方式运行? 
• 速度 -机器学习模型的速度应该如何告知模型选择标准和AI系统设计?

人工智能操作

操作涉及到这样一个问题:“部署我的模型的系统有多可靠??“在操作, 它超越了模型，关注软件基础设施和周围的人, ob真人游戏专注于: 

• 合规 -在对AI有法规遵从要求的行业, 如何最好地促进人工智能系统的验证和确认, 并为您的企业带来价值?
• 安全 -通过人工智能系统分析或传输大量数据. 在创建和运行AI时，什么样的基础设施和最佳实践可以确保数据和模型的安全? 
• 谦卑 -在什么情况下AI系统的预测会表现出不确定性? 你的系统应该如何应对不确定性? 
• 管理和监控 - AI中的治理是管理人机交互的正式基础设施. 在你的人工智能系统的管理中，你如何支持披露和问责等原则? 谁负责随时间监控模型?
• 业务规则 -如何让AI系统成为团队中有价值的成员，并无缝地融入业务流程? 

AI伦理

伦理学涉及到这样一个问题:“模型在多大程度上符合我的价值观?? 我的模型对世界的真正影响是什么?“在人工智能的背景下, 伦理受益于混凝土, 尽管系统方法具有内在的复杂性和主体性. 在伦理学中，ob真人游戏包括:

• 隐私 ——个人隐私是一项基本权利, 但数据的使用和交换也使其复杂化. AI在敏感数据的管理中扮演着怎样的角色? 
• 偏见和公平 -如何利用人工智能系统促进决策的公平和公平? 哪些工具可以用来帮助定义你希望在AI系统中反映的价值? 
• Explainability和透明度 -这两个联系在一起的属性如何促进在机器和人类决策者之间建立共同的理解? 
• 影响 -如何评估机器学习为用例增加的真正价值? 为什么它是有用的或必要的? 它对你的组织有什么影响，对受其决策影响的个人有什么影响?

成熟和负责任地使用AI需要对技术模型有全面的理解, 容纳它的基础设施, 以及它的用例的上下文. 这些信任的维度不是清单，而是关键的指南. 如果一个AI项目沿着每个维度仔细评估, ob真人游戏认为，它更有可能达到预期的影响，而不会产生意想不到的后果. 的特性和设计 DataRobot AI云 让DataRobot能够最好地让ob真人游戏所有的用户与他们的AI系统建立信任. 然而, ob真人游戏发布了这些信息，并给出了独立于DataRobot平台本身的建议, 因为这对所有人工智能创造者来说都至关重要, 运营商, 让消费者找到可以信任和理解人工智能的工具.

DataRobot -可信的AI平台

DataRobot的 人工智能云平台 支持端到端建模生命周期, 具有促进所有开发步骤的功能, 部署, 以及人工智能和机器学习系统的监控. 在负责任地使用人工智能方面, DataRobot致力于回答这样一个问题:怎样才能将你的生命托付给人工智能系统? DataRobot的值得信赖的人工智能团队致力于将功能和工具整合到平台中，并建模工作流，使其变得可信, 负责任的, 负责任的, 以及道德AI的可及性和标准化. 

内置模型开发护栏

目标泄漏检测 —自动检测目标泄漏, 其中，一个特性提供了模型在预测时不应该访问的信息. DataRobot将自动生成一个“leak Removed”特性列表，推荐用于建模. 

健壮的测试和验证模式 -通过自动推荐但可定制的k折交叉验证和抵抗，稳定地评估模型性能, 时间的验证, 或者回溯测试分区方案, 在排行榜上执行竞争模式，进行真正的苹果间比较. 此外，在外部测试集上的表现在排行榜上排名.  

可辩解的人工智能 -使用像特性影响这样的洞察力, 功能的影响, 或行级预测解释，以理解和验证模型的操作. 

偏见和公平

定义适当的公平性指标 对于给定的用例，决定什么是公平的正确方法可能是复杂的, 特别是当一些指标不兼容的时候. DataRobot会引导用户回答一系列问题，以确定8个支持的指标中哪一个与给定的用例最相关.

自动检测和测量偏差 -定义了一个度量, DataRobot将自动显示在其内定义的受保护类(i.e.、种族、年龄、性别等.).

调查偏差的来源 -跨类别差异工具使用户能够更深入地研究受保护类别的特征的底层分布，以确定数据如何可能导致观察到的任何偏差.

权衡偏见和准确性 -偏差与准确性图表将排行榜转化为二维可视化, 用选择的偏差度量作为新的水平轴, 允许用户选择要部署的模型, 同时考虑性能和潜在偏差的复杂性.

确保遵从性

自动生成法规遵循文档 DataRobot将自动提供格式良好的合规文档, 透明地详细描述数据和建模方法，并结合UI可视化工具，如Lift Chart或Feature 影响，以帮助管理者对模型设计和操作建立清晰的理解. 法规遵循文档也可以定制为用例的适当模板.

审批工作流和基于用户的权限 -在AI和机器学习模型的开发和部署中，维护基于用户权限的治理.

在预测中融入谦逊

识别模型预测可能不确定的条件 -并不是所有的预测都具有相同的确定性. 在实时, Humble AI可以检测到新的得分数据和模型的预测中是否存在某些特征，从而将预测标记为可能存在不确定性. 

创建规则来触发自动操作以保护业务流程 使用Humble AI识别触发条件, 用户可以建立将条件与自动操作相关联的规则, 例如覆盖一个预测或返回一个错误.