蚂蚁发布大模型内生式安全护栏SingProbe,让AI边生成边识别风险
大模型正在进入日常问答、蚂蚁办公辅助、发布风险客户服务等真实业务场景。大模用户期待AI快速给出有用的型内回答,也需要这些回答安全、生式识别可靠。安全如何及时发现不安全内容和编造信息,护栏同时减少安全审核对响应速度和用户体验的边生影响,成为大模型应用落地需要解决的成边问题。

国家网络安全宣传周期间,蚂蚁AI安全实验室正式发布大模型内生式安全护栏SingProbe,大模将安全检测融入模型生成过程。型内它如同一个内置的生式识别“安全探头”,让AI一边生成回答,安全一边输出风险提示,以较低的额外计算开销,为大模型应用提供更及时的安全防护。
例如,用户向AI咨询健康问题时,会关心它是否给出不恰当的用药建议;使用AI查找资料时,也需要警惕它编造不存在的文献或事实依据。面对这些风险,SingProbe能够在回答生成过程中持续提供风险信号,帮助应用系统及时采取中止回答、重新生成等措施。
目前,大模型应用通常通过独立的外置护栏模型审核输入或输出。这种方式通用、直接,但需要额外处理待审核内容,增加计算和部署成本。如果等完整回答生成后再检查,风险内容可能已经呈现给用户;如果提高检查频率,又会进一步增加运行负担。
SingProbe尝试让安全判断与模型生成同步进行。它复用大模型推理过程中已经产生的内部信息,通过轻量化的安全检测模块,持续输出风险分数。这意味着,模型在生成回答的同时,就能给出当前内容是否存在安全或事实可靠性风险的信号,供系统及时采取告警、终止生成、重试等措施。
据研发团队在Ling-3.0-flash模型生产环境中的实测,SingProbe在解码阶段引入的额外开销低于0.5%。团队评测显示,flash版本在回答安全分类和流式安全检测任务上超过所选公开基线,在幻觉检测任务上与参考基线基本持平,为兼顾检测能力与运行效率提供了新的技术路径。
针对流式生成场景,此次还同步发布了评测基准SingStreamBench。该基准关注模型从正常回答转向风险内容的具体时刻,不仅检验护栏能否发现风险,还考察是否过早触发、发现是否及时,以更贴近实际应用的方式衡量安全防护效果。
在医疗生成场景中,研发团队进一步探索了从风险识别到按需纠偏的技术应用,提出SingProbe-Med:持续监测生成过程中的医疗风险,仅在达到触发条件后,对局部高风险内容进行解码干预。据团队在AntAngelMed-100B上的医疗评测,完整干预能够纠正基线模型中25.03%原本出错的回答,展示了内生风险信号用于生成过程安全控制的潜力。
目前,SingProbe已适配Ling-3.0系列、GLM-5.2/5.3、Qwen、DeepSeekV4等29个主流开源大模型,并接入SGLang、vLLM推理框架,相关代码、模型和评测基准同步开源。后续,团队将逐步扩展对更多开源模型的支持,推动安全防护更紧密地融入大模型推理与部署流程。
雷峰网 雷峰网(公众号:雷峰网)
- ·辛纳、兹维列夫确认出战,2026中网首批参赛名单公布
- ·安徽产业援疆为和田皮山“造血”
- ·大家对价格有多敏感?“微涨”荣耀Magic9系列却爆了?
- ·合肥车驾管所包河分所暖心办业务 便民解民忧
- ·李现拍摄“雪后故宫大片” 张张堪称壁纸
- ·世界制造业大会丨国轩高科重磅发布低空飞行高功率电池等三大创新成果
- ·国庆置家攻略|众多红木品牌年度钜惠限时开抢!
- ·黟县《青菜太守》入选省戏剧创作孵化计划项目
- ·头条:中工网评丨文旅消费“开门红”,共襄全年“满堂彩”
- ·展示阜阳历史文化 杜氏刻铜献礼全国广场舞大赛
- ·印尼煤炭供应链出现问题,部分终端用户煤炭供应告急
- ·宿松县纪委监委:严督实导补短板 查改并进优生态 宿松新闻网
- ·盛夏送凉显担当|乳小鲜万斤助农西瓜,致敬城市守护者!
- ·加拿大终止光伏双反日落复审,对华组件征税令正式撤销
- ·Olive Young的新对手?MUSINSA BEAUTY首家独栋旗舰店落地,主打药妆+美妆概念
- ·教育部部署2026届高校毕业生就业“百日冲刺”行动
- ·传祺智享,一祺向往!全新一代向往 E8 PHEV & 向往 M8 PHEV L 合肥城市联合上市品鉴会圆满落幕
- ·合肥人周末多了个好去处!卡萨帝城市体验中心入驻徽园,全屋智慧生活可沉浸体验
- ·双节“花式”迎客魅力安庆绽放文旅新活力
- ·网络安全宣传周丨宿松县总工会、县妇联联合开展网络安全宣传周个人信息保护日活动 宿松新闻网
- ·告别薄利厮杀!2026 礼赠赛道差异化盈利单品!
- ·泉州市举行向革命烈士敬献花篮仪式
- ·《面向“好房子”建设好材料选用指南》围护结构材料专篇——气凝胶隔热涂料系统
- ·【新时代 新征程 新伟业·开局之年看经济之三】抢占“风口”,挥汗投资“热土”
- ·辛纳、兹维列夫确认出战,2026中网首批参赛名单公布
- ·泉州市文旅总指挥部调度中秋国庆假日文旅市场筹备有关事宜
