人工智能安全治理框架发布AI安全迎来新标杆全国网络安全标准化技术委员会近日正式发

$绿盟科技(SZ300369)$  人工智能安全治理框架发布 AI安全迎来新标杆

全国网络安全标准化技术委员会近日正式发布《人工智能安全治理框架》1.0版,针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险,提出相应技术应对和综合防治措施,以及人工智能安全开发应用指引。为促进人工智能健康发展和规范应用,提供了基础性、框架性技术指南。

业内人士表示,生成式大模型特有的预训练、微调、上下文、提示、思维链COT等新的学习范式,使其具有与传统AI安全不同的许多新特点,传统安全的方法、经验、工具很难发挥效能。大模型安全风险的成因既可以是来自各类训练数据的缺陷或算法的局限性等模型内因,也可以是利用这些新型学习范式的恶意使用或蓄意攻击等外因。这使得大模型在数据准备、预训练、微调对齐、推理以及应用阶段都会存在各种潜在的风险。

公司方面,永信至诚已发布“春秋”靶场构建大模型、“春秋”安全竞赛大模型和“春秋”人才测评大模型三款安全垂直领域大模型产品;绿盟科技多年来持续进行AI安全研究投入,在AI系统安全防护、AI应用安全、AI系统的安全性评估与测试等创新技术领域研究储备。