“两张（zhāng）人眼看（kàn）上去一模一样的照（zhào）片，机器人读取（qǔ）后为何会（huì）攻击其中一（yī）张图呢（ne）？因为不正常的（de）照（zhào）片中被嵌入了（le）特殊（shū）的噪声（shēng），人工智能产品（pǐn）读取了带有攻击性的信息。”“同一（yī）张禁止（zhǐ）标（biāo）记，被（bèi）放入了（le）不同信息，人工智（zhì）能产品读取一张是（shì）正常的停止标签，另一个则是绿灯。”上（shàng）海科学（xué）院直属单位上海计算机软件技术开发中心主（zhǔ）任蔡（cài）立志介绍（shào）道（dào），以上就是上海市（shì）生成式人工智（zhì）能质量检验检测中心（质检中心）所提供的检测服务之一。

7月20日下午，记者（zhě）走入（rù）刚刚成立的上（shàng）海市（shì）生成式人工（gōng）智能（néng）质量检验检（jiǎn）测中心（质检中心）内，深入了解当下最火热的生（shēng）成式人（rén）工智能如何保障可靠可信，为人（rén）工智能产业的健（jiàn）康发展保驾护航。

防止（zhǐ）人工智能“变（biàn）坏”

做（zuò）产业健康（kāng）诊断师

近年来，随着生（shēng）成式人工智（zhì）能（néng）技术的快速发展，为经济社会发展（zhǎn）带来新机遇的同（tóng）时，也产生了传播虚（xū）假信息、侵害（hài）个人信息权益（换脸侵害明星肖像、合成语音进行诈骗等）、数（shù）据安全和偏见（jiàn）歧视等（děng）问（wèn）题（tí）。

在此（cǐ）背景下，上海首个生成式人工智能质（zhì）检中心在（zài）6月8日正式（shì）批筹。该中心（xīn）由上海（hǎi）计算机软（ruǎn）件技术开（kāi）发中心筹建，上海市人工智能（néng）行业协会推荐指导（dǎo），提供人工智（zhì）能质量“一（yī）站式（shì）”测评服（fú）务，面向（xiàng）生（shēng）成式人工智能及其涉及的计算机视觉、自然语（yǔ）言处（chù）理、AI内容（róng）生成（chéng）等（děng）领域，打（dǎ）造（zào）人工智能（néng）测评（píng）第三方服务新模式，聚焦生（shēng）成式人工智能系统（tǒng）的逻辑推（tuī）理能（néng）力（lì）、生成内容语（yǔ）义（yì）和谐性、功能有（yǒu）效（xiào）性、性能、安（ān）全（quán）隐私（sī）风险等方面，开（kāi）展系统检测（cè）、风险评估、内（nèi）容鉴别等专（zhuān）业服（fú）务。

人工智能发（fā）展（zhǎn）不同（tóng）于此前的软件（jiàn）时代，需（xū）要不断（duàn）开放数据，不断学习，才能不断进（jìn）步，走（zǒu）得（dé）更好。而开源开放（fàng）也就意味着产生更多潜在的“危险”。蔡立志说：“就像孩（hái）子一样，不正（zhèng）确的教（jiāo）育方式会教坏孩（hái）子，我（wǒ）们就是防止人工智（zhì）能产品‘变（biàn）坏’，阻止不良数据导（dǎo）入（rù）等。”

据（jù）悉（xī），上海（hǎi）计算机软件技术开（kāi）发中心去年就推进了300多个（gè）人（rén）工（gōng）智能质（zhì）检项目，并（bìng）在业（yè）界（jiè）取得了良好（hǎo）的口碑。

“与传统的检测以发（fā）现不合格为首要任务不同（tóng），在人（rén）工智能时代，新设立的（de）生（shēng）成式人工智能质量检验检测中心不仅（jǐn）仅是守底线，更多的是引（yǐn）导产业（yè）向（xiàng）健康的（de）方向发展（zhǎn）。”上海计算机软件技术开（kāi）发（fā）中心（xīn）副主任宋（sòng）俊典解释说，这就（jiù）是新型（xíng）产业检测中心的不同（tóng）之处（chù）。

近年（nián）来，在上海科学院的整体部署下，上海软（ruǎn）件中心积（jī）极布局并开展（zhǎn）了人工（gōng）智能应用（yòng）、人工智能治理、人工智能测评等技（jì）术研究与第（dì）三（sān）方技（jì）术服务。陆续（xù）参与（yǔ）人工智（zhì）能国际、国家（jiā）标准的研制，是国家（jiā）信标委SC42人工智能分委会首批单位会员，参与编写了《中国人工智能标准化白皮书（2021）》，完成了《人工智能 深度合成图像系统技术规范》《人工（gōng）智（zhì）能 深度（dù）学习算法评估规范》《人工（gōng）智能 计算机（jī）视觉（jiào）系统测评（píng）规范》等30余项标准（zhǔn）研（yán）制。

“我（wǒ）们还在牵头（tóu）制（zhì）定多（duō）项新（xīn）标准（zhǔn），生成式只是人工（gōng）智（zhì）能的（de）一（yī）部分，未来我们还会探索工（gōng）业智能质检、智慧医（yī）疗等领域（yù）。”蔡立志表（biǎo）示。

给狂飙（biāo）的（de）生成式（shì）人工智能

系（xì）上（shàng）“安（ān）全带”

生成式人工智能的（de）狂飙突进，大模（mó）型时代（dài）已（yǐ）然降临。在（zài）“百模大战（zhàn）”越战越酣之时（shí），大（dà）模型其内（nèi）生及衍生安全威胁也愈演愈烈（liè），数据泄露、幻想、生产（chǎn）歧视（shì）、排斥（chì）和有害内容等（děng）安全问题层出不穷。如何将制约大模型应用发展的（de）“绊（bàn）脚石”变为“压舱石”？

以自动驾驶领域而言，自动驾驶需要通过真（zhēn）实世界的数（shù）据来训（xùn）练、测试和验证模（mó）型算（suàn）法的安（ān）全性和准确（què）性，其过程需（xū）要大量数（shù）据（jù）支持和复杂的驾驶环（huán）境。然而，让汽（qì）车（chē）通过实（shí）际道路测试在道路（lù）上可能遇到的（de）每一（yī）个场（chǎng）景是不现实（shí）的，AIGC（人工智能生产内（nèi）容）正可以用于模拟各种驾驶场景。

在（zài）上海（hǎi）市生成（chéng）式人工智能（néng）质量检验（yàn）检（jiǎn）测（cè）中心（xīn）（质检中心）内，检（jiǎn）测平（píng）台正在进行（háng）“自（zì）动驾驶鲁棒（bàng）性检测”。鲁棒（bàng）测试（shì）是对（duì）各个模块的功（gōng）能进行容错性的测（cè）试，检测（cè）AI模型或者系统在异常（cháng）输入和苛刻（kè）环境（jìng）条件下能否保持正（zhèng）常（cháng）工作。

“自动（dòng）驾驶包括车道、红（hóng）绿灯（dēng）检测等（děng）模块，我们基（jī）于视（shì）觉去攻击自动驾驶（shǐ）系统的感知算法（fǎ），针（zhēn）对（duì）每一（yī）个模块进行仿（fǎng）真检测。”质检中心检测工程（chéng）师马泽宇说。

自动驾（jià）驶（shǐ）正快速在上海发展，如《浦东新区无驾驶人智能（néng）网联汽车创新应用规定》以及相关（guān）实施（shī）细则的落实，上海浦东新区自动驾驶（shǐ）汽车已迎来了无人（rén）化阶段，众多企业正在（zài）加速产（chǎn）品的研发（fā）。业（yè）界专家认为，在（zài）人工智能领（lǐng）域建立质检中心，正是为了（le）给狂（kuáng）飙的（de）生（shēng）成式（shì）人工（gōng）智（zhì）能系上“安全带”。

截止到2023年（nián）7月8日（rì），中国国内推出（chū）了近100个（gè）大（dà）模型，如何客（kè）观地评价（jià）、比较大模型及（jí）其（qí）他AIGC模型的性能，成为大模型应用的关键一（yī）环。7月10日，国（guó）家网信办等国家七部（bù）委（wěi）联合发文《生成式人（rén）工（gōng）智（zhì）能服务管（guǎn）理（lǐ）暂行办法》，自2023年8月（yuè）15日（rì）起施行，管理办法明确（què）了AIGC服务提供者的责任，包（bāo）括信（xìn）息源（yuán）可信（xìn）责任（rèn）、生成内（nèi）容合法合规责任（rèn）、申报（bào）安（ān）全（quán）评估及（jí）算法备案责任（rèn）。管理办法的落地亟需（xū）专业的第三方机（jī）构（gòu）提供人工智能质量（liàng）检验检测服务（wù）。

据悉，新建立的质（zhì）检（jiǎn）中心将参考国内外（wài）人工（gōng）智能测（cè）评标准和前沿（yán）技（jì）术，建立人工智（zhì）能检验检测评（píng）价（jià）指标（biāo）体系等。“要让企业的人（rén）工智能研发工作平稳可持续发展（zhǎn），为人工智能（néng）产品（pǐn）的安全性保驾护航，让老（lǎo）百姓在（zài）使（shǐ）用人工智能（néng）产品时用得放心，用得安心。”蔡（cài）立志说。