国际层奖,如开启商用真不一般!

浙大ARClab实验室斩获2024年NDSS杰出论文奖!为大语言模型安全训练保驾护航

    近期,网络安全领域“四大顶会”之一Network and Distributed System Security(NDSS 2024)在美国圣迭戈举办。浙江大学计算机学院计算机系统结构实验室(ZJU ARClab)魏成坤孟文龙的论文“LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors”在本次会议录用的140篇论文中脱颖而出,斩获大会杰出论文奖(Distinguished Paper Award),仅4篇论文获此殊荣。

     该论文由陈文智教授指导,分析了提示学习场景下模型训练者面临的后门攻击的安全隐患,并提出了一种在不需要更新语言模型参数的情况下检测和消除后门的方法。该方法结合ARCLab实验室开源大模型OpenBuddy社区的应用需求,为语言模型的安全部署提供了保障。

     日前,OpenBuddy开源大模型也引起了业界的广泛关注,其性能接近顶尖的闭源模型。而浙大网新与浙大团队合作投资的自研大模型科技企业——杭州沧海观止科技有限公司,正是OpenBuddy的主要开发团队,其核心成员也包含了本次获奖论文的第一作者:魏成坤博士后。

    基于OpenBuddy的训练技术,目前该开源大模型正推进工程化落地,在教育教学场景推出【观止】垂类大模型。【观止】对课堂交互、教师角色扮演和学科问答等核心下游任务进行了优化,通过集成语音技术、数字人技术提供丰富的交互能力,在英语口语学习、数字人答疑、校园服务问答等方面表现出色。其中,基于【观止】的“智慧口语应用系统”,能实现人机对话口语练习、分级式练习、个性化智能训练等,提供大学生更高效的口语学习支持。它能通过将大学外语教学专家团队部分的教学内容和方法传递到大模型为核心的智能助手,并通过用户反馈数据强化训练适合大学生的口语智能教学体系。

     伴随着通用大模型的急速发展,浙大网新也正在实践诸多垂类大模型的应用落地,这对于算力支撑、模型训练、垂类知识、安全性能等都有极大的要求。而本次获奖论文中的技术,也为网新的模型部署、模型训练提供了安全保障。此外,浙大网新于去年11月加入由浙江大学与西湖区政府联手打造的“西湖之光”算力联盟,网新的“算网融合”新业务,也将为大模型的庞大算力需求提供强有力的支撑。今后,浙大网新将发挥“行业数智化专家”的优势,在教育、交通、金融、人社、监管等领域探索更多垂类大模型的工程化落地。


什么是NDSS会议?

     NDSS全称为网络与分布式系统安全会议(The Network and Distributed System Symposium),是由ISOC举办的网络与分布式系统安全领域最重要的学术会议,自1993年以来已连续开办三十余届。NDSS与IEEE S&P、CCS、Usenix Security并称为网络安全领域的“四大顶会”(BIG4),同时也是中国计算机学会推荐的A类会议,论文录用率常年保持在17%左右,具有非常高的学术影响力。2024年NDSS会议共收到694篇投稿,140篇论文被接受,杰出论文仅4篇。

追加内容

本文作者可以追加内容哦 !