《人工智能 深度学习算法评估规范》专家评审会取得圆满成功

《人工智能 深度学习算法评估规范》专家评审会取得圆满成功

为加快推进人工智能深度学习算法评估标准研制工作，更好地服务我国人工智能技术和产业发展，2021年6月13日，中国人工智能学会（Chinese Association for Artificial Intelligence，CAAI）作为中国人工智能开源软件发展联盟理事长和秘书处单位，牵头组织产学研用单位编写了《人工智能 深度学习算法评估规范》(Artificial intelligence—Assessment specification for deep learning algorithms)标准，并在上海市华东师范大学组织召开评估规范标准送审稿专家评审会。因COVID-19疫情防控因素，评审会议采用线上方式进行，与会评审专家献言献策，指导完善评估规范标准。该标准编制工作组将按专家提出的意见修改后尽快形成发布稿，预计于2021年7月1日在北京举办的中国人工智能开源软件发展联盟成立大会上正式发布。中国科学院院士、华东师范大学何积丰教授担任标准评审会专家组组长，专家组成员包括上海交通大学、复旦大学、南京大学、西安交通大学、国泰君安证券股份有限公司、中远海运科技股份有限公司、中国商用飞机有限责任公司、Kover.AI、威马汽车技术有限公司等单位的专家。

评审会上，来自Kover.AI的CEO彭程指出，为解决业界缺乏的深度学习算法系统性评估方法问题，评审专家按照“急用先行、成熟先上”的原则，优先开展人工智能深度学习算法的可靠性评估要求规范编制的评审，随着人工智能研究的深入及应用的发展，后续将不断进行持续改进评审技术规范，逐渐扩展到深度学习算法可移植性、效率等方面的评审要求。

彭程对标准内容及编制过程进行了介绍，并指出该标准已开始在Kover.AI的深度学习算法场景中进行验证。彭程逐一对标准的必要性、科学性及规范性进行了充分的论证与评审，认为该标准结合我国人工智能应用发展需求，彭程提出了人工智能深度学习算法评估的指标体系框架，确定了深度学习算法评估的流程，对各行业选择和应用人工智能深度学习技术具有重要的指导和参考价值。随后，与会的评审专家组建议各行业在制定所在行业的深度学习算法评估标准过程中，可参照本标准对相关指标进行符合行业发展实践的细化和解释。

彭程依据深度学习算法可靠性评估指标体系，对深度学习算法开展可靠性评审工作。可靠性评审流程包括确定可靠性目标、选择评审指标、需求阶段的评审、设计阶段的评审、实现阶段的评审、运行的阶段评审及得出评审结论这七个阶段。算法需求、设计、实现和运行阶段的前提条件、输入、关键活动及输出的内容，面向深度学习算法需求阶段的评审工作，指运用可靠性分析方法，通过对算法功能实现的正确性和软硬件平台依赖的影响等进行评审，以确定算法的需求满足可靠性目标要求。面向深度学习算法设计阶段的可靠性评审工作，指运用分析或评审等方法，对算法功能实现的正确性、训练数据集的影响及目标函数等进行评审，以确定算法设计满足可靠性目标要求。面向深度学习算法实现阶段的可靠性评审工作，指运用分析和测试等方法，对算法功能实现的正确性、代码实现的正确性、目标函数的影响及对抗性样本的影响等进行评审，以确定算法的实现满足可靠性目标要求。面向深度学习算法运行阶段的可靠性评审工作，指针对实际运行环境使用数据进行分析，对算法的正确性、软硬件平台的依赖影响和环境数据的影响等进行评审，以确定算法的运行满足可靠性目标要求。

经过近6个小时的线上评审，与会评审专家一致通过了《人工智能 深度学习算法评估规范》(Artificial intelligence—Assessment specification for deep learning algorithms)标准送审稿，评审会议取得圆满成功。（作者：容敏）