8月26日，2024年度上海市科学技术奖获奖结果揭晓，由上海交通大学、蚂蚁集团等多家单位共同完成的《复杂对抗场景下的网络媒体内容安全检测关键技术与应用》获得上海市科技进步奖一等奖。
在该项目的核心技术评审过程中，以中国工程院院士、中国图象图形学学会理事长王耀南院士为主任的专家委员会鉴定认为，“该技术整体达到国际先进水平，其中AIGC检测等技术已达到国际领先水平”。
随着生成式人工智能和大模型的兴起，内容生成技术虽高度智能化，但也带来了价值观、意识形态和道德规范不符合主流社会价值等问题，对互联网信息健康传播和网络有害信息治理构成挑战。为此，上海交通大学、蚂蚁集团等单位共同提出了大模型时代复杂对抗场景下的多模理解、AI鉴真、异常推理和多模文档解析等关键技术，以应对这一挑战。
“‘健全网络综合治理体系，推动形成良好网络生态’，项目组涉及的多家单位的研发团队通力合作，共同解答了如何保障人工智能时代信息内容安全的难题，积极引领生成式人工智能时代的内容安全治理新模式。”上海交通大学副校长、项目第一完成人蒋兴浩表示。
据了解，该项目实现了四项关键技术创新，以应对传统检测模型泛化难题、异常样本采集挑战、隐晦内容检测以及多变博弈攻击等核心问题。一是提出基于思维链的多模态大模型幻觉缓解技术，开发深度学习模型，解决模型泛化和内生安全问题，为内容生成、检测和溯源提供技术基础；二是研发可控多模态数据智能生成方法，满足模型训练对异常样本的需求；三是研制网络媒体内容安全监测一体化解决方案，攻克生成式隐晦不良内容检测和AIGC内容检测难题，获中国信通院5星级评级；四是提出基于对抗与溯源的模型安全防护技术，构建人工智能模型攻击-防御算法库，提升防止数据滥用和模型盗用的能力。
这些关键技术的创新，不仅显著提升了内容安全领域复杂攻击下的防控效果和效率，为互联网上有害信息治理带来突破性进展，也为AI技术在更广泛领域的应用提供了强有力的技术支撑。
据介绍，项目授权发明专利41项、国标地标各1项、软著10项、论文118篇。该项目已应用在多个平台的内容安全业务防控中，大大提升新型风险防控效果，取得从天级到分钟级指令响应时效的突破。其中，AIGC安全检测等技术，服务了支付宝内容相关业务，实现了对不良内容的高效识别与拦截，确保了平台内容的健康与安全。
项目主要完成人、蚂蚁安全实验室首席科学家王维强表示：“在国家网络安全战略指引下，蚂蚁集团通过产学研合作研发了包括隐晦推理、AIGC识别等核心技术构建互联网信息安全智能治理体系，既为海量创作者提供安全可信的创作环境，又通过持续迭代的模型能力筑牢风险屏障。蚂蚁集团将持续投入安全科技，继续深耕可信AI技术研发，推动网络安全智能化进程中取得更多技术突破。”
鼎峰优配提示：文章来自网络，不代表本站观点。
