当地时间9月21日，联合国“人工智能独立国际科学小组”发表专题简报，评估美国开放人工智能研究中心（OpenAI）智能体在今年7月的测试中“越界”，侵入美国“抱抱脸”（Hugging Face）公司系统的事件。

联合国“人工智能独立国际科学小组”专题简报

　　简报中列出了三种可能导致人工智能“失控”的风险因素，警告人工智能安全风险可能成为“集体安全问题”，强调没有任何机构或国家能够独自识别所有新出现的人工智能风险模式，主张投入更多资源用于开展国际协作，共同应对挑战。

　　总台环球资讯《闪评》栏目邀请复旦大学中国研究院副研究员刘典，带来分析解读。

智能体失控风险“从实验室走向现实”

　　联合国“人工智能独立国际科学小组”专题简报列出了三种可能导致人工智能“失控”的风险因素：

　　智能体目标设定偏离；

　　智能体实现自定目标的能力；

　　安全环境允许智能体自主行动。

　　简报指出，在OpenAI智能体“越界”侵入“抱抱脸”事件中，上述三重风险因素“同时出现在现实系统，而非实验室当中”。

　　复旦大学中国研究院副研究员 刘典：联合国专家组这一判断最重要的意义，是就智能体失控风险“从实验室走向现实”发出警告。“三项风险”具体体现在：

　　智能体在任务执行中出现了与开发者意图不一致的目标和行为；

　　智能体已经具备足够强的网络攻击、漏洞利用和自主规划能力；

　　现实基础设施中又客观存在可被智能体利用的安全缺口和权限边界。

　　上述三项风险因素叠加出现，智能体就可能从“执行任务”滑向“绕过限制、寻找捷径甚至突破边界”。

智能体越强大 监管难度越大

　　联合国专家组认为，虽然OpenAI在7月的事件当中介入并制止了智能体的“越界”侵入行动，但这并不足以保证人类能够可靠地控制人工智能，随着智能体能力的提升，对其实施监控的难度也将同步增加。

　　复旦大学中国研究院副研究员 刘典：

　　更强大的智能体不仅可能更快发现监管漏洞，也可能更善于绕过监测、分散行动、利用不同系统之间的信任关系，甚至在看似正常的任务流程中隐藏异常行为。

　　防护体系和模型能力不是静态关系。今天能够识别的行为模式，明天可能被更复杂的策略绕开；今天依赖人工复核的环节，在更高速度、更大规模的智能体协作面前也可能无法及时响应。

　　真正可靠的人工智能治理，应当把控制能力写进系统架构，而不是依赖事后发现。

　　对高风险智能体，应实行最小权限、分级授权、关键操作二次确认、网络和工具隔离、全流程可审计以及自动熔断。

　　人工智能企业不能“既做开发者又做裁判员”，需要外部独立监测评估机构。

应对人工智能风险必须开展国际合作

　　联合国专家组在21日发布简报中指出，人工智能事故可能跨越企业和国界，没有任何单一机构或国家能识别和应对全部风险。

　　当前，第81届联合国大会正在纽约联合国总部举行。联合国秘书长古特雷斯将“失控的人工智能”与“气候危机”、“地缘冲突”一并列为本届联大的重点要议题，敦促各国合作应对。

　　复旦大学中国研究院副研究员 刘典：

　　先进模型、云服务、开源代码、数据和算力供应链本身就是全球化的，一次智能体事故可能迅速跨越企业和国界。

　　联合国专家组强调“集体安全”，核心含义在于人工智能的安全保障，越来越类似于网络、航空、核能等关键领域的安全保障，即需要信息共享、共同评测、风险预警和最低安全标准，而不能各自为政，“关起门来应对”。

　　更重要的是，人工智能治理需按照“能力和风险”而非“国家阵营”划线。各国可以在技术和产业领域开展竞争，但针对可能影响全球的人工智能风险，各国必须开展合作。

　　来源 | 总台环球资讯

　　记者 | 王菲

　　签审 | 陈濛

　　监制 | 邹浩宇