生成式人工智能治理与实践白皮书.pdf
- 文档编号:18862569
- 上传时间:2024-02-02
- 格式:PDF
- 页数:96
- 大小:41.07MB
生成式人工智能治理与实践白皮书.pdf
《生成式人工智能治理与实践白皮书.pdf》由会员分享,可在线阅读,更多相关《生成式人工智能治理与实践白皮书.pdf(96页珍藏版)》请在冰点文库上搜索。
4生成式人工智能治理与实践白皮书56生成式人工智能治理与实践白皮书生成式人工智能治理与实践白皮书编写单位指导委员会钱磊欧阳欣朱红儒安筱鹏范科峰董建闻佳郑俊芳孙文龙吴泽明阿里巴巴集团安全部总裁阿里云智能集团首席安全官阿里云智能集团标准化业务副总裁阿里云研究院院长中国电子技术标准化研究院信息技术研究中心主任中国电子技术标准化研究院信息技术研究中心副主任阿里巴巴集团公共事务总裁阿里云智能集团首席风险官兼首席财务官中国电子技术标准化研究院副院长阿里巴巴集团首席技术官阿里巴巴集团中国电子技术标准化研究院阿里云智能集团达摩院专家委员会编写组主要成员陈岳峰傅宏宇彭骏涛杨易侗马宇诗朱琳洁李金纯杜东为杨雨泽肖哲晖蒋哲琪毛潇锋黄龙涛郎一宁李进锋徐国海司靖辉沈晖安勍特别鸣谢李晓军王鹏贾一君叶珩孙宁成晨7编写组组长编写组副组长关于我们编写单位张荣阿里云智能集团算法安全负责人袁媛阿里研究院执行副院长李娅莉阿里巴巴达摩院安全与法务负责人薛晖阿里巴巴人工智能治理与可持续发展研究中心主任徐洋中国电子技术标准化研究院人工智能研究室主任阿里巴巴人工智能治理与可持续发展研究中心(AAIG)是阿里巴巴集团旗下的人工智能顶级研发团队,致力于利用AI技术解决安全风险问题,并推动AI技术迈向更加可用、可靠、可信和可控。
团队成员百余名,学术研究能力和工程实践能力兼备,在计算机视觉、自然语言理解、数据挖掘与网络安全等领域的国际顶级会议和期刊上发表论文100多篇,多次在国际国内知名赛事中取得冠军,获授权国际国内专利60余项,申请中专利达到200多项,参与多项技术标准的制定。
AAIG贯彻“科技创新是最好的网络安全”的理念,所研发的人工智能产品涵盖内容安全、业务风控、数字安防、数据安全与算法安全等多个领域,为集团在全球的千万商家和十亿消费者提供安全保障,并通过技术服务方式赋能阿里云上一万多家中小企业构筑安全防线。
联系我们aaiglist.alibaba-8生成式人工智能治理与实践白皮书一.生成式人工智能的发展以及担忧1.生成式人工智能的技术与应用突破141.1文生文突飞猛进141.2文生图效果惊艳151.3行业应用广泛161.4使用门槛降低182.生成式人工智能的内生问题与社会担忧202.1个人信息的实时交互担忧202.2内容安全的源头敏捷控制212.3模型安全的全生命周期内控222.4知识产权的溯源与权属挑战22二.生成式人工智能的治理愿景和框架1.国际社会治理特点261.1治理目标:
坚持促发展与重监管并行261.2治理模式:
强调多元主体协同共治261.3治理手段:
创设例外保留创新空间271.4治理细则:
技术规范逐渐明晰272.我国的治理特点282.1促进发展:
对人工智能发展给予更多政策支持,配套发布一系列产业政策文件282.2重视治理:
确定了现阶段算法治理的重点场景,推动建立算法治理的“法治之网”282.3伦理约束:
加强科技伦理治理顶层设计,明确人工智能伦理原则及治理要求283.本书观点:
发展多主体协同敏捷治理体系,构建全生命周期风险分类治理框架30目录9三.生成式人工智能风险产生原因的分析1.综述:
构建生成式大模型的条件341.1算力341.2数据341.3算法351.4生态351.5人才352.语言大模型362.1Transformer网络362.2训练过程和使用的数据362.3语言大模型的生成过程392.4小结:
语言大模型的风险来源403.视觉大模型413.1模型原理413.2训练过程423.3生成过程443.4小结:
视觉大模型的风险来源45四.生成式人工智能风险治理实践和探索1.生成式人工智能治理格局建设481.1以针对性立法回应技术发展与产业需求481.2以政策完善构建与技术发展需求相匹配的治理机制481.3产业自律自治筑成负责任创新治理机制492.生成式人工智能不同环节的风险治理512.1模型训练阶段的风险治理522.2服务上线阶段的风险治理532.3内容生成阶段的风险治理532.4内容传播阶段的风险治理543.个人信息合规563.1大模型与个人信息的关系563.2训练数据中的个人信息563.3算法服务时拒绝生成个人信息5810生成式人工智能治理与实践白皮书4.内容安全保障594.1内容安全视角里,AIGC与UGC的异同594.2生成式模型风险评测604.3模型层内生安全614.4应用层安全机制624.5生成信息的信任机制635.模型安全防控685.1鲁棒性685.2可解释性685.3公平性685.4防滥用机制695.5实践案例:
鲁棒评估基准与增强框架696.知识产权探索736.1训练数据的知识产权合法性治理探索736.2生成物知识产权治理探索747.实践案例:
虚拟模特塔玑757.1虚拟模特塔玑促进生产力提升757.2数据驱动下的虚拟模特与个人信息保护767.3内容安全保障767.4模型安全控制777.5生成式标识与知识产权保护7711五.生成式人工智能多主体协同敏捷治理体系1.敏捷治理的理念与特点802.多主体协同下的敏捷治理探索与实践812.1政府规范引导822.2产业守正创新822.3社会监督理解84六.总结与展望(88)专有名词解释(92)12生成式人工智能治理与实践白皮书13一.生成式人工智能的发展以及担忧14生成式人工智能治理与实践白皮书1.1文生文突飞猛进2022年11月30日,OpenAI发布了对话式通用人工智能服务ChatGPT。
仅推出5天,用户数就超过100万;上线两个月后,用户数突破1亿,成为AI界的顶流。
ChatGPT能遵循人类指令完成各种认知型任务,包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等,并且展现出了和人类近似的水平。
2023年3月15日,GPT-4发布,在知识推理以及在逻辑运算方面有大幅提升,还支持多模态输入,进一步扩展了应用场景。
ChatGPT成功背后的技术突破主要有以下三个方面:
(1)超大规模参数的预训练语言模型为了使模型具备通用的能力,必须学习到世界知识,这要求模型具有足够大的参数量来存储海量的世界知识。
GPT-3.5的模型参数已经达到1750亿的规模。
随着模型参数量的扩大,语言模型还出现能力涌现的现象,例如上下文学习(In-contextLearning),以及思维链(ChainOfThought)等推理能力。
(2)多任务的自然语言预训练模型自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等,之前的学术研究都在特定的任务下进行针对性的算法设计,迁移性差。
而ChatGPT采用了多任务预训练的方式,不同任务共享模型参数。
这使得模型具有通用能力,下游任务不再需要微调,直接通过提示学习或者零样本学习就具有很强的性能。
(3)基于人工反馈机制的强化学习OpenAI通过引入指令微调以及基于强化学习的微调技术,提升模型和人类的价值观对齐。
具体来看,指令微调技术使语言模型得以支持用户以人类惯常的沟通方式,与模型进行互动并推动模型能力的提升。
同时,通过人工反馈和标注数据,借助强化学习进行微调,从而确保模型具备正确的价值观。
在应用上,语言大模型构建了“多场景、低门槛、高效率”的共创应用新模式,具有丰富的应用场景,在医疗、教育、零售、媒体等行业完成产品落地应用。
根据全球管理咨询公司麦肯锡(McKinsey)的报告,生成式人1.生成式人工智能的技术与应用突破15工智能的新兴主导地位为新一轮经济革命奠定了基础,估算每年能为全球经济增加4.4万亿美元收入。
1.2文生图效果惊艳2022年2月,开源工具AI绘画工具DiscoDiffusion发布,这是一个在GoogleColab上运行的代码,其原理是使用了CLIP-GuidedDiffusion,只需要输入文本提示,就能生成对应的图片。
同年4月,OpenAI发布了Dall-E2,能够生成更高分辨率和真实性的图像。
同时,AI绘画工具Midjourney发布。
Google在5月、6月分别发布AI作画的技术,Imagen和Parti。
7月份,StabilityAI在LAION5B开源数据集上训练了文生图扩散模型StableDiffusion,生成的图像形象逼真,画质细腻。
技术的开源,极大地推动了图像生成领域的发展。
2022年8月,在美国科罗拉多州举办的新兴数字艺术家竞赛中,参赛者提交了使用模型生成的绘画作品太空歌剧院,获得了“数字艺术/数字修饰照片”类别一等奖。
参赛者并没有绘画基础,通过AI绘图软件MidJourney耗时80个小时创作了该作品。
这意味着AI绘画的质量已经达到了专业水平。
进入到2023年,AI绘画继续井喷式发展。
2023年3月,百度发布的文心一言支持了文本生成图像,Adobe也发布了AI工具Firefly。
也是在3月,MidJourneyV5发布,生成质量更高,而且支持自然语言的描述输入,使得AI绘画的门槛进一步降低。
阿里巴巴于7月推出了新的绘画AI“通义万相”。
科大讯飞、商汤、华为等人工智能企业也陆续推出文生图大模型产品,国内呈现“百模大战”的竞争格局。
AI绘画的技术突破式发展依赖以下3个技术的积累和突破:
(1)在生成式模型方面,扩散模型的提出使得图像生成技术在基础理论上取得了突破。
扩散模型(DiffusionModels)相比生成对抗网络(GAN)和变分自编码器(VAE),具有训练更加稳定,采样过程可控,生成的样本质量更好等优点。
(2)在图文对齐模型上,OpenAI的CLIP模型的提出为文本和图像两个模态构建了桥梁,奠定了文本生成图片的技术基座。
(3)VVQGAN,VQVAE这类视觉量化生成模型,可以将图像压缩到量化的隐空间,从而为高效的隐空间扩散模型训练提供了基础。
16生成式人工智能治理与实践白皮书此外,可以通过微调开源的StableDiffusion模型来开发定制化的AI绘画模型,这使得AI绘画模型出现了百花齐放的现象。
同时,AI绘画的技术也通过引入更多的其他信息辅助生成想要的图片,使得结果更加可控。
例如近期的ControlNet,通过引入另外一个图片作为条件信息,控制文本生成的图片的风格,进一步提升了可用性。
文生图在多个行业上具有广泛的应用前景,例如在广告行业,AI制作宣传海报;在设计行业,AI辅助艺术创作、服装设计等;在电商行业,有虚拟模特、虚拟试衣等应用场景。
另外,文生图在游戏和漫画等行业的应用也会加速内容制作的速度。
1.3行业应用广泛语言大模型、视觉大模型等通用大模型就像一个高中生,具有了基础的逻辑、认知、知识处理等通用能力;随着行业、产业对智能化需求的升级,不少领域已经开始对通用大模型这位“高中生”进行进一步的专业学习和训练,让其成为行业领域的专家,提供专业领域的咨询、工作内容的行业大模型。
相较于通用大模型,行业大模型具有定制化、易部署、可微调、强安全等特点,能够有效适用于具体应用场景,更准确解决专业领域问题,提升行业效能。
目前,部分行业大模型已经在电力、交通、金融、能源、民生服务、互联网等行业的智能化中崭露头角。
例如,智能办公提效需求强烈,也是AI大模型赋能优先级最高的场景之一。
以企业协同工具钉钉为例,2023年4月正式接入通义千问大模型后,群聊、文档、视频会议及应用开发的智能化场景作为首发,通过输入“/”魔法棒可以唤起10余项AI能力,智能化程度显著提升,减少了人工重复操作成本,升级成为智能协同办公平台+智能应用开发平台。
1718生成式人工智能治理与实践白皮书大模型在医疗领域有广泛的应用,在患教助手、问诊在线值班医生、医疗随访、临床辅助决策和过程质控、影像助手、临床科研助理、药物研发数据洞察、医疗保险助手等场景都可以发挥巨大作用。
阿里健康基于以上场景,致力于研发“先进且可靠”的垂直领域大模型,通过使用万级的书籍文献,并结合专家经验,通过专家审核,构建了十万级疾病词条和百万级医患问答、百万级别医学术语集、全病种疾病及合理用药知识图谱,在各类平台及各级医疗机构的信息集成、专业语言理解及归纳总结等方面实现了突破,目前已达到一对一个性化咨询服务、提升愈后跟踪性研究效率等成效。
1.4使用门槛降低1.4.1生成式人工智能大模型相关的软件供应链不断完善越来越多的应用开发者希望集成语言大模型(LLM),提供更智能化的服务,LangChain应运而生。
LangChain是一个强大的框架,旨在帮助开发人员使用LLM构建端到端的应用程序,提供了一套工具、组件和接口,可简化创建由LLM提供支持的应用程序的开发过程。
同样地,在视觉大模型领域开源了基于StableDiffusion的AI绘画图形化StableDiffusionWebUI,支持多系统且具有很好的扩充性,非专业人员也能通过页面交互使用文生图大模型进行图像生成。
这使得视觉生成模型被开发者集成和使用的难度大幅降低。
19综上所述,生成式人工智能大模型相关的基础软件设施也在不断完善,使得基于大模型的应用开发也更加便捷、成本更低。
1.4.2开源共享平台降低了大模型的训练和使用门槛HuggingFace,业界最大的开源模型平台,大模型的使用更加简单。
HuggingFace是一个开源的自然语言处理AI工具平台,其在github上开源的Transformers库以及Diffusers库,已经成为生成式人工智能领域最受欢迎的开源库。
除了开源代码,HuggingFace上还有大量的开源模型,例如知名的LLama系列、StableDiffusion等,目前已经共享了超过10万个预训练模型,1万个数据集,成为机器学习界最大的开源共享平台。
CivitAIStableDiffusion模型社区,丰富StableDiffusion模型库。
Civitai是基于StableDiffusion的模型共享社区网站,汇集了1000多个不同风格、不同主题的模型。
用户可以上传自己基于StableDiffusion微调的模型,也可以下载其他用户共享的模型,直接进行图像生成。
这使得开发者不用训练就能根据自己的喜好获得模型,大幅降低了使用成本。
云计算助力生成式人工智能,MaaS的服务方式逐渐成形。
生成式人工智能的发展推动了云计算和人工智能的高度融合,全面智能化时代正在加速到来。
云计算的服务模式将从以往的IaaS,PaaS,SaaS发展为Maas。
逐渐形成了以模型为中心,以模型为服务,以模型为核心的AI开发新范式。
20生成式人工智能治理与实践白皮书以ChatGPT为首的生成式人工智能,在多种感知和认知任务上表现出与以往人工智能截然不同的能力,使人工智能产品和服务的个性化、定制化能力高度提升,给公众带来诸多工作便利和生活娱乐,表现出强大的归纳总结能力和强大的创造力,并且随着技术水平不断发展,生成式人工智能的潜力将进一步被激发,广泛赋能各垂直领域,与人类社会深度融合。
但是,新技术往往是一把双刃剑,生成式人工智能也不例外,其对社会的深刻影响将强化和放大各类治理风险。
围绕内容安全、个人信息保护能力、模型安全、知识产权权属等问题,社会各界表现出不同程度的担忧。
2.1个人信息的实时交互担忧生成式人工智能的训练与使用均依赖于数据,目前已成为个人信息保护监管领域的高度关注对象。
一方面,真实个人信息作为训练数据可以使生成式人工智能产品与服务更加个性化、定制化。
另一方面,个人信息参与到生成式人工智能的训练或使用,如未进行匿名化处理有潜在暴露特定个人信息的风险。
生成式人工智能技术、产品与服务所涉及的个人信息问题,既需要考虑训练数据中的个人信息,也需要考虑服担忧2.生成式人工智能的内生问题与社会21务过程中实时交互中个人信息的输入与输出问题。
一般来说,在模型训练阶段,使用的数据中是否可以包含个人信息、可以包含的个人信息类型与程度如何、个人信息的来源如何、用户输入个人信息是否可以跨境等问题,可以在数据集投入模型训练前通过用户授权、数据清洗、去标识化、匿名化、出境安全评估等方式解决。
在服务阶段,生成式人工智能的实时交互的特点几乎没有给常用的“机审+人审”方式留下任何机会。
各界需要在新的技术背景下重新思考和审视个人信息问题,尤其是实时交互中的个人信息是否可以收集、如何收集、是否需要单独提示、收集的信息应当如何使用,以及模型的生成内容是否可以呈现个人信息等问题。
2.2内容安全的源头敏捷控制生成式人工智能的内容安全广义上包括输出内容的社会安全性,是否合法合规、遵守道德伦理和公序良俗等,具体表现在违法不良信息、内容失实、偏见歧视、违反伦理道德等方面。
生成内容的安全性是公众选择使用相关产品和服务的重要影响因素之一,也是全球人工智能监管的重要事项。
对用户而言,便捷高效地得到文本、图片、音视频、代码等内容是使用生成式人工智能技术的主要用途,生成的内容越是接近或超过一般人类的创作能力,往往越能获得用户的青睐。
然而,语言风格越接近人类、合成的音视频越逼真,用户越是难以鉴别其中的真假。
一旦训练数据遭受偏见、错误、不良等信息毒害,亦或模型存在缺陷,生成内容很可能是错误甚至是具有社会危害性的。
特别是受知识储备、数字技能、社会环境等因素限制,公众难以察觉专业性强和陌生领域的错误。
如果公众依赖生成内容做决策,在金融交易、投资规划、医疗诊断等高风险领域,容易产生连锁安全事件。
从治理角度来看,对服务提供者来说,与以往的互联网信息发布相比,生成式人工智能的内容输出更快速,几秒钟就生成大段文字,其中可能含有误导性内容,大幅提升了对互联网信息的污染速度,显著提高了治理难度。
如果每一条输出内容都进行人工审查,人力成本大幅上升而用户体验严重受损,不具有可行性,这成为内容安全保障的难点。
同时,由于现阶段生成式人工智能服务通常无法提供准确的依据和来源,相关生成内容无法鉴伪,风险也无法被有效定位溯源。
由此可知,生成式人工智能如果训练不当、使用不当,可能造成虚假信息与违法不良信息的传播,甚至成为诈骗分子的非法牟利工具,因此,从训练数据和算法源头上控制内容安全、管理用户的输入和对生成结果的使用,成为降低生成式人工智能风险的重要切入点。
22生成式人工智能治理与实践白皮书2.3模型安全的全生命周期内控模型安全指生成式模型自身的、内在的安全,主要包括两方面内涵:
一方面是传统软件和信息技术安全问题,如后门漏洞、数据窃取、逆向工程等;另一方面是人工智能技术的“黑盒模型”特点所带来的新安全问题,例如公平性、鲁棒性、可解释性等。
生成式人工智能模型安全包含数据集、模型等要素,涉及训练、测试、验证等多个环节,是一项复杂命题。
模型安全挑战可能带来广泛和复杂的后果。
目前,生成式大模型在人工智能系统中的作用将类似于操作系统在传统软件系统中的作用,由于其普遍性和规模性,生成式大模型可能会成为单一故障点和攻击隐患点,从而成为针对源自该模型的应用程序的攻击的主要目标。
作为大规模应用或产品的核心组成部分,大模型必须建立完善的安全防御机制。
总之,生成式模型存在的各类安全风险会给社会与企业带来不可忽视的影响。
这需要通过技术手段加以防范与解决,在全生命周期内融入必要的安全机制,加强内在安全能力,避免由系统功能性故障导致不可接受的风险,构建全面的安全管理体系。
2.4知识产权的溯源与权属挑战全球范围看,知识产权的主要权利形式是著作权、商标权和专利权。
从工作原理来看,生成式人工智能以各类作品、科技成果、程序、标识、设计等人类智力成果为重要“养料”,可能触及的知识产权侵权问题较多;又以各类图片、文字、代码等内容为“果实”,生成物能否成为知识产权的保护对象是核心关注点。
因此,知识产权保护与风险防范是生成式人工智能研发、使用与推广各个环节都无法回避的问题。
训练阶段,数据集可能包括他人作品、商标、技术成果。
日前,GettyImage起诉StabilityAI,主张StabilityAI侵犯了其数百万张图片版权,AI绘画工具StableDifussion陷入AIGC时代版权纠纷,成为业内第一案,引发生成式人工智能行业的高度警惕与担忧。
训练数据很多是通过爬虫方式在互联网环境中获取,而互联网环境中的信息来源非常丰富且原始权利人、权利路径很难明晰,很难找到确定的权利人获取授权。
相对地,从在先权利人角度,训练数据是否含有其知识产权成果、是否侵权,往往需要在生成物呈现结果后予以推测和判断,从而导致了溯源难、定责难等困难。
内容生成与传播阶段,关于生成物的权利保护,核心关注点在于生成物是否能成为知识产权的保护对象。
目前,生成物多以文学和艺术作品形式存在,鲜少构成商标或专利,因此,关于生成物的知识产权保护争议多集中在23著作权领域。
此外,在人类的提示语下,由人工智能生成的成果愈发难以区分,人工智能自身是否会成为权利主体或者侵权主体的问题也逐渐引起全社会的关注。
从全球实践看,目前人工智能的水平尚不到能够独立产生意思表示和承担法律行为后果的境地,主要依赖算法控制,因此,主要国家和地区对全面赋予机器人或人工智能法律主体资格保持慎重态度,生成物知识产权权利归属也存有争议空间。
24生成式人工智能治理与实践白皮书25二.生成式人工智能的治理愿景和框架26生成式人工智能治理与实践白皮书1.1治理目标:
坚持促发展与重监管并行作为数字战略的一部分,欧盟的人工智能治理围绕促进发展和使用展开,既推出产业发展政策,又同步推进监管规则制定。
2018年4月,欧盟发布欧盟人工智能战略奠定了欧盟人工智能发展与治理的蓝图。
2021年4月以来,欧盟致力于推动人工智能法案(AIAct)起草、修改和落地实施,2023年6月该法案已进入谈判阶段,预计年底成为正式法律,为人工智能治理提供“硬法”支持。
美国强调监管的科学性和灵活性,以扫清人工智能技术应用的障碍、促进技术创新为宗旨,坚持监管的前提是鼓励人工智能的创新和发展。
在生成式人工智能发展的刺激下,2023年5月,美国白宫发布国家人工智能研发战略计划(2023版)(NAIRDSP),在提出促进发展有效措施的同时,推动理解和解决人工智能的伦理、社会影响,以及通过政策、标准等手段引导人工智能系统的安全性。
1.2治理模式:
强调多元主体协同共治欧盟和美国都主张采用多元主体广泛、深度参与的模式,持续推动企业自愿治理标准和框架,使人工智能治理从政府主导向“政府+市场”协同模式转型。
欧洲主要由政府全面立法企业参与,而美国则采取更宽松的模式即政府引导,主要靠市场自律,自我规制进行协同治理。
在社会公众和监管部门对生成式人工智能的使用影响愈发关注的背景下,企业和科研机构加大人工智能治理活动的参与力度,逐渐从被动接受治理规则,到主动谋求制定规则。
生成式人工智能产业的竞技式发展,已经引起了各国监管部门高度重视。
在原有的人工智能监管框架下,各国纷纷针对生成式人工智能开展监管与治理的探索与思考。
2023年伊始,美国从人工智能生成物版权入手,探讨生成式人工智能的社会影响与意义,组织OpenAI等人工智能领军企业出席听证会,白宫也召开相关专题会议;3月末,意大利曾出台禁令限制ChatGPT使用并开展隐私安全性调查,随后,德国、法国、西班牙等也着手加强对AI聊天工具的监管;6月,欧盟人工智能法案进入谈判阶段,谈判文本尤其针对生成式人工智能强调确保透明度、平衡上下游供应商权责与利益;7月中旬,我国国家互联网信息办公室也针对生成式人工智能服务发布了生成式人工智能服务管理暂行办法。
1.国际社会治理特点27比如,电气和电子工程师协会(IEEE)商业委员会在2020年第一季度发布第一份题为对企业使用人工智能的呼吁的倡议,强调企业在人工智能治理中的主体作用。
再比如,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 生成 人工智能 治理 实践 白皮书