ISO/IEC的一项技术规范规定:分类是一种将特定类型的项目(对象或文档)按照他们的特征分为类或子类的方法(ISO/IEC TS 4213)。分类是将数据集合区分为类别。一个简单的例子是电子邮件的垃圾邮件过滤器,它将传入的邮件分类为垃圾邮件或非垃圾邮件。分类器需要学习垃圾邮件分类的例子,通过识别不同的模式而学会如何开展分类工作。这类垃圾邮件过滤器不可避免地会出错,这只能通过定期评估其性能来解决。
IEC和ISO联合委员会人工智能分委会SC 42制定了一项新的技术规范——ISO/IEC TS 4213,该规范规定了用于测量ML分类器模型、系统和算法分类性能的方法。它描述了二进制分类的方法,例如上面给出的垃圾邮件过滤器示例,以及多类和多标签分类的情况。
ISO/IEC TS 4213描述了一种能将不同的评估结果进行更有效比较的方法。新的TS建立在最近发布的ISO/IEC 22989中的基本概念之上。ISO/IEC 22989规定了人工智能概念和术语。
SC 42主席Wael William Diab表示:“算法是人工智能系统的核心。这个新标准将有助于实现不同算法之间的一致性及公平的输出结果。”“本标准的发布强化了委员会对更广泛负责采用人工智能的目标,并补充了涉及整个人工智能生态系统的工作。”
ISO/IEC TS 4213规定了用于测量ML分类器模型、系统和算法分类性能的方法。它有助于解决“模型有多好”或“预测有多可靠”等问题。
ISO/IEC TS 4213提供了一种确保ML系统公平性和减少偏见的方法,它涉及到现代生活的方方面面。例如,分析人员评估美国四分之三的求职申请都是通过算法处理的。许多银行正在使用人工智能进行贷款和信用评估。如果任其发展,偏见可能会导致一系列不公平的决定,包括求职申请被拒绝或贷款时被银行拒绝。
SC 42负责制定人工智能的国际标准。其标准的制定过程采用独特的整体方法,通过规定研究技术能力要求和非技术要求,如业务和监管及政策要求、应用领域需求以及道德和社会问题,关注到整个人工智能生态系统。
SC 42还组织两年一次的可免费参加的ISO/IEC AI系列研讨会。5月的首届研讨会资料和11月即将举行的研讨会注册可以在研讨会网站上找到。