On the Opportunities and Risks of Founda

On the and Risks of -

这里写目录标题 of scale

基础模型的社会影响，既涉及到模型本身的构建和它们在开发应用程序中的作用，都需要仔细检查。具体来说，我们预计基础模型将产生广泛的社会后果，并具有挑战性地理解：基础模型是不直接部署的中介资产，而是作为一个进一步适应的基础。因此，推理技术的社会影响的传统方法可能很复杂；对于具有明确目的的系统，社会影响更容易掌握（但仍然困难）。在本章中，我们将讨论我们如何应对并开始理解模型基础模型的社会影响的复杂性。具体而言，我们讨论了(i)关于不公平（5.1：公平）和滥用（5.2：误用）的危害，（ii）对经济（5.5：经济）和环境（5.3：环境）的影响，以及（iii）关于法律（5.4：合法性）和伦理（5.6：伦理）的更广泛的考虑。

and

图24。基础模型中存在的内在偏差是各种训练偏差源（左）的副产品，以及在适应过程中引入的偏差，决定了用户在特定下游应用环境中所经历的外部危害（右）。我们强调，相同的基础模型是许多不同应用程序的共享基础；因此，它的偏见会传播到这些许多应用程序中。此外，由于用户所经历的危害是特定适应模型的结果，将这些危害归因于图中描述的各种过程和来源是至关重要和具有挑战性的。

.

基础模型有可能产生不公平的结果：对不公正的人的对待，特别是由于加剧历史歧视的不平等分布[海尔曼2021]。与任何人工智能系统一样，基础模型可以通过产生不公平的结果、巩固权力系统，并不成比例地将技术的负面后果分配给那些已经被边缘化的人来加剧现有的不平等[ 2013；凯等人2015；布兰维尼和格布鲁2018；本杰明2019；阿荣瓦2019；达格纳齐奥和克莱因2020年；克劳福德2021年]。在这里，我们要问什么与公平相关的危害与基础模型有关，什么来源要对这些危害负责，以及我们如何可以进行干预来解决它们。我们在这里讨论的问题与更广泛的算法公平和人工智能伦理问题有关[科比特-戴维斯和目标2018；乔尔德科瓦和罗斯2020；海尔曼2020；约翰逊2020；法泽尔普和丹克斯2021]，种族和技术[本杰明2019；汉娜等人2020；格布鲁2021；菲尔德等人2021年]，以及社会与技术的共存[Abebe等人2020年]。

Harms

基础模型是在适应之前没有特定目的的中介资产；了解它们的危害需要推理它们的属性以及它们在构建特定于任务的模型中所扮演的角色。我们描述了内在偏差，即间接但广泛影响下游应用的基础模型的特性，以及外部危害，即在特定下游应用中产生的危害[镓和 Jones 1993]。

内在偏见。基础模型的特性会对下游系统造成危害。因此，这些内在偏差可以在基础模型中直接测量，尽管危害本身只有在适应基础模型并随后应用时才会实现，即这些是潜在的偏差或危害[和 2020]。我们关注研究最广泛的内在偏差、表征偏差，特别是考虑错误陈述、陈述不足和过度陈述。人们可能被有害的刻板印象歪曲[博鲁基等人2016；卡利斯坎等人2017；Abid等人2021；等人2021；格曼等人2020]或消极态度[哈钦森等人2020]，可通过下游模型传播，强化这种社会误解[2018年高贵；本杰明2019年]。人们可能被代表不足或完全消除，例如，当LGBTQ+身份术语[加强等2020年2020；奥利瓦等2021；托马舍夫等人2021]或描述非裔美国人的数据[布奥兰维尼和格布鲁2018；科内克等人2020；布洛杰特和奥康纳2017]被排除在训练数据中，下游模型在测试时难以处理类似的数据。人们可能被过度代表，例如，BERT似乎默认编码了一个角度中心的观点[Zhou et al. 2021a]，这可以放大大多数声音，促进观点的同质化[克里尔和海尔曼2021]或单一文化[克莱因伯格和拉格哈万2021]（5.6：伦理）。这些表征偏差适用于所有的人工智能系统，但它们的重要性在基础模型范式中大大提高。由于相同的基础模型是无数应用程序的基础，因此人员表示的偏见会传播到许多应用程序和设置。此外，由于基础模型做了大部分的重型工作（与适应相比，这通常是轻量级的），我们预计，许多经历过的危害将显著地取决于基础模型的内部属性。

外在的危害。用户可以体验到来自通过调整基础模型而创建的下游应用程序的特定危害。这些危害可以是具有代表性的[巴罗卡等人2017；克劳福德2017；2010年布洛杰特等人2020]，如信息检索系统产生的黑人女性的性描述[高贵2018]，机器翻译系统默认男性代词的性别错误[2013,2014]，或产生有害的刻板印象[Nozza等人2021；盛等2019；Abid等2021]。它们可能包括滥用，例如，基于基础模型的对话代理攻击含有有毒内容的用户[Dinan等人2021年；等人2020年]或微侵犯[布雷菲勒等人2019年；尤尔根斯等人2019年]。所有这些面向用户的行为都可能导致心理伤害或强化有害的刻板印象[斯宾塞等人，2016年；威廉姆斯，2020年]。

除了个人所经历的伤害外，群体或亚群体也可能受到伤害，如群体水平的表现差异。例如，系统可能在非裔美国人英语的文本或语音上表现不佳[布洛吉特和奥康纳2017；科内克等人2020]，从种族、性别和保险地位少数群体的临床记录中错误地检测到医疗状况[张等人2020b]，或未能检测到深色肤色人群的面孔[威尔逊等人2019；布奥兰维尼和格布鲁2018]。随着基础模型的广泛应用，包括在高风险领域，这些差异可能会演变成进一步的、更严重的危害。等人[2020]讨论如何如果非裔美国人英语不能可靠地使用语音识别技术（例如，由于不平等的基础模型），这可能意味着他们不能受益于某些衍生产品（如语音助手、辅助技术），将弱势如果这些技术用于进行面试就业或转录法庭程序。更普遍地说，描述这些群体层面的伤害（并为那些受到伤害的人争取正义而努力）也需要人工智能社区提高其对基于群体的偏见的理解[ 1954]和社会群体：我们指出了社会科学和其他社区关于超越二元性别治疗的相关工作,更细致的种族处理[例如，彭纳和萨珀斯坦2008年；弗里曼等人2011年；萨珀斯坦和彭纳2012年；萨珀斯坦等人2013年；彭纳和萨珀斯坦2015年；菲尔德等人2013年，2016年；2018年，梅等人2019年；2019年，2019年，巴特伯里2012年；哈钦森等人2020年]。

其他注意事项。为了更全面地理解基础模型的危害，需要进一步记录内在偏差和外在危害；未来的工作应该阐明内在偏见和外在危害之间的关系[布洛杰特等人2020,2021；戈德法布-塔兰特等人2021]。该文档要求将利益相关者集中在学术界和行业从业者之外：基础模式的不公平影响将主要来自少数族裔人口，他们在学术界和工业界都代表不足。具体来说，基金会模型的创建和研究可能将由那些有渠道和资源的人进行，进一步强调集中边缘化声音的场所的重要性[D‘和,5.6：伦理]。特别是，用户对特定的适应模型的研究，当跨应用程序聚合时，可以提供引人注目的和个性化的文档，从基础模型的内在偏见中产生的危害，同时以个人用户为中心。通过这种方式，我们想象人机交互（HCI）的方法，通过一些调整以适应基础模型中涉及的抽象，将有助于集中边缘社区的声音（2.5中的进一步讨论：交互）。

为了充分描述基础模型的危害并进行适当的干预，我们必须能够将其来源追溯到基础模型的性质和适应过程，并进一步分解为个体偏差来源的作用[弗里德曼和尼森鲍姆，1996]。来源追踪对于将经历过的伤害归因于伦理和法律责任至关重要，尽管归因将需要新的技术研究，以突出因果关系[Pearl 2000]和影响[Koh和Liang 2017]。

数据。几种类型的数据基于基础模型塑造了应用程序的行为和相关的外部危害：用于训练基础模型的训练数据，用于适应基础模型的自适应数据，以及测试时的用户数据/交互。对于所有这些数据源，数据的属性（例如，毒性和仇恨言论[亨德森等2017]，辱骂语言[等2017]，微攻击[飞行员等2019]，刻板印象[他等2018]）将体现在偏见的基础模型（及其适应）.91自训练数据是关键数据源，决定了基础模型和相关的内在偏见，我们关注这里的训练数据。目前，训练数据与相关数据实践（如数据管理、数据选择和数据加权[等人2020；2020；等人2021；罗杰斯2021]）与基础模型获得的内在偏差之间的关系尚不清楚；迫切需要未来的工作来澄清这一关系。

由于基础模型通常需要巨大规模的训练数据，这不仅对其文档提出了明显的挑战[等人，2021]，而且还需要全面的科学探索来阐明数据偏差和模型偏差之间的关系，我们预计需要新的协议来解决这个规模。建立偏差尺度定律，类似于准确性指标[等人2020年20；亨尼安等人2020]，可能使更小规模的系统研究成为可能，为更大尺度的数据实践提供信息。

建模。建模决策（例如，培训目标（4.2：培训）、模型体系结构（4.1：建模）、自适应方法（4.3：自适应））影响基础模型及其衍生物的偏差，从而影响所经历的外部危害。现有的工作表明，基础模型放大了训练数据偏差，扩展了机器学习和深度学习模型的趋势[赵等2017；Wang等2019d；贾等2020；桥本等2018]，尽管仍不清楚模型属性如何导致这种偏差放大。此外，考虑到直接应用基础模型可能是不可行的（由于其规模），努力压缩这些模型或使它们更有效率似乎也会放大偏差[等人，2020年；伦杜钦塔拉等人，2021年]。反馈循环也可能会加剧放大，在反馈循环中，基础模型修改社会行为并诱发社会变化，从而诱发社会变化，从而修改后续的训练数据；这种形式的反馈效应往往会加剧其他ML应用中的不平等[Lum和Isaac 2016；等2018；桥本等2018]。除了在培训和应用基础模型中做出的明确决定外，社区价值观[等人2020]和规范（5.6：伦理）间接和含蓄地[Liu等人2021b]塑造了构建模型中的决策。因此，测量偏差与工作引入基础模型[例如，布朗等2020]和标准基准[弗里德曼和尼森鲍姆1996,4.4：评估]，以及进行用户研究与不同用户组文档经历了伤害，步骤确保最佳实践积极强调偏见和不平等的考虑。

建模者。与所有算法系统一样，开发或应用基础模型的决策机构中利益相关者和边缘群体的代表性和多样性本质上是有问题的，可能对这些社区造成更大的伤害。92虽然难以记录，但现有的开发基础模型表明这是一种可能性：卡斯韦尔等人[2021]演示了有缺陷的多语言的多语言数据集中训练多语言模型和哈钦森等人[2020]表明，模型往往包含对残疾人的不良偏见。在这两种情况下，这些偏见和危害可能已经被在开发团队中更好地代表这些各方所注意到。此外，由于最终用户可能比开发人员更多样化，并且可能更早地注意到这些问题，允许用户反馈有助于基础模型设计（2.5：交互）是一个重要的方向。

and .

解决、减轻和纠正与技术相关的不平等现象需要整合社会和技术方法[Abebe等人，2020年]。对于基础模型，我们特别考虑了改变模型开发和部署以预防性减少伤害的主动方法，以及应对伤害并对未来做出改变的反应性方法。在其核心，基础模型的抽象复杂的两个方面：知道干预层面的基础水平成功地减少伤害需要下游观察的特定部署应用程序和追索权的伤害需要上游传播反馈和问责基础模型提供者。

干预。管理技术系统干预的一般原则适用于基础模型设置：确定哪些来源对偏见或伤害最负责，提供有针对性行动所需的证据。例如，呼吁改善设计、生产和控制技术（如基础模型）及其应用的团队多样性的紧迫性[朗吉诺1990年；哈定2015年；尼尔森等人2017年；奥康纳等人2019年；霍夫斯特拉等人2020年；卡特尔等人2020年如果缺乏多样性会进一步加剧[等人2021年]。此外，透明文件[例如，格布鲁等人2018年；本德和弗里德曼2018年；米切尔等人2019年]和审计[例如，拉吉和布奥兰维尼2019年]在提供干预和变革动力方面同样关键[伯勒尔2016年；立顿2018年；克里尔2020年；拉吉等人2020年；威尔逊等人2021年]。基础模型的规模，以及它们的可访问性的细节，为现有的文档和审计协议带来了新的挑战，我们将在5.6：伦理学中进一步讨论。

迄今为止，许多为减少技术的不公平影响而考虑的干预措施，包括在基础模型制度中，都是以数据为中心的技术缓解方法（消除反映不平等或偏见）和建模所涉及的决策（避免放大数据的偏见）。基础模型制度中的特别重要的是认识到这些缓解方法可能针对管道中的不同步骤，如训练数据[例如，陆等2020]，建模目标[例如，赵等2018])、适应方法和测试时间使用[例如，公园等2018；赵等2019]。因此，不同的方法可能不仅或多或少有效，但需要行动从不同的实体（例如，基础模型提供者和应用程序开发人员）和或多或少地集中影响这些模型的昂贵的培训过程（例如，改变创建一个基础模型的过程和改变它事后）。这种形式的技术干预也可能针对不同的目标：一些干预措施，如改变训练数据，旨在减少内在的偏见。另一方面，大多数算法/ML公平性的缓解工作都考虑减少模型行为方面的结果差异，即与外部伤害更直接相关的下游系统的输出。目前所有形式的技术缓解都严重有限：衡量或对抗内在偏见的方法是脆弱或无效的[戈宁和戈德堡2019；埃塔亚拉赫等人2029；博马萨尼等人2020；周等人2021b；安东尼亚克和诺2021]，衡量或对抗外部结果差异的方法可能与利益相关者目标不一致[萨哈等人2020]，有一些证据表明某些类型的技术干预可能同时无法满足[2018；2017]，不可能[莱奇纳等人2021]，或甚至可能加剧不平等[徐等人2021]。尽管存在这种情况，但我们仍然相信，技术方法仍将在解决基础模式制度中出现的危害方面发挥重要作用；一般来说，我们提倡透明度，特别是考虑到技术缓解方法可能无法实现预期的目标。更广泛地说，必须谨慎地提出偏见和偏见缓解的主张，以清楚地向不同专业知识、不同的利益相关者（例如，应用程序开发人员和基础模型；[等人，2020]）。

追索权。不幸的是，主动干预不太可能完全解决由于基础模型可能产生的所有潜在伤害或不平等。当出现损害时，目前没有广泛采用的（或法律要求的）框架来解决对受损害当事方的适当追索权。虽然对于特定的应用程序可能存在某些协议，但基础模型的抽象再次引入了一种脱节：危害可能部分归因于基础模型提供商和下游应用程序开发人员，但将这种责任分配给任何一方仍然具有挑战性。更简单地说，甚至还没有机制将这些危害传达给基础模型提供商（即使向应用程序开发人员提出了反馈或投诉）。因此，需要新的规范和标准，说明来自应用程序开发人员和最终用户的反馈应该如何到达基础模型提供商的上游，如何确定负责这些伤害的实体（如基础模型提供商、应用程序开发人员），以及与法律责任的关系（5.4：合法性）。在这个问题上取得进展，我们鼓励未来的工作咨询实践用于其他领域（特别是那些类似的抽象和多实体结构），我们预计任何标准引入可能需要合理动态，这样他们可以同步的快速变化的现状这些模型和他们的应用程序。

机器学习有一个不公平影响的既定跟踪记录，其危害的大部分负担是由边缘化社区承担的。基础模型为这种计算带来了新的挑战，但最终，要使其社会影响更加公平，需要进行重大的研究和改变，以了解它们造成的危害，并有意义地解决和纠正这些危害：

(1)基础模型的一对多性质，即在许多应用程序中使用相同的少数基础模型，意味着基础模型的内在特性渗透到许多下游应用程序中。因此，这些模型中的有害偏见对所经历的危害有巨大的影响。

(2)基础模型制度中的偏见和危害来自许多来源（例如，培训和适应数据、建模和适应决策、建模者多样性和社区价值）。将偏见和伤害的来源归因是干预和责任问题的基础；归因需要可靠地进行新的技术研究。

(3)基础模型的不平等并非不可避免，但解决它们需要一种多管齐下的方法，包括主动干预（例如，以数据为中心和以模型为中心的变化）和反应性求助（例如，反馈和问责机制）。

图25。这张图显示了基础模型对操作性和有害内容生成的影响，以及对检测的影响。

在本节中，我们考虑了基础模型的误用——人们在使用基础模型时使用它们的情况（例如，生成语言），但它们的能力被有意地利用来对人口或个人造成伤害。该定义定位不平等（模型可以造成恶意；5.1：公平）和安全(不良行为者利用模型中的无意能力或漏洞造成伤害；4.7：安全）之间的滥用问题。下面，我们将概述基础模型如何既支持新形式的误用，并支持误用检测和缓解的新工具。

will be for

生成基础模型的量表（4.2：训练）、多模态（4.1：建模）和自适应性（4.3：自适应）的进步将允许它们被误用，用于生成高质量的、廉价的、个性化的内容。在本节中，我们将在两个恶意活动的例子中讨论这三个维度：操纵性内容创建和骚扰.

内容质量。与之前的人工智能方法相比，基础模型能够自动生成更高质量、更人性化的内容。它们可能赋予虚假信息行为者权力，例如，国家创造内容来欺骗外国人口，而不透明的内容与一个国家有关。目前，创建这种内容通常需要雇佣会说目标人群语言的人。政府可能会将内容生产外包给其目标国家的母语人士，93,94，但这一决定给业务安全造成了真正的风险.基础模型将允许创建通常与人类创建的内容难以区分的内容[Kreps等人，2020；克拉克等人，2021]——事实上，它将能够为各种语言做到这一点——实现创建能够产生共鸣的内容和维护操作安全的目标。

除了欺骗外国人口外，基金会模型生成高质量合成图像（深度伪造）或文本的能力也可能被滥用来骚扰个人。深度造假已经被用于骚扰的目的。例如，印度调查记者Rana Ayyub被一个高质量的深度造假者所攻击，它将她的脸叠加在一个色情视频上，导致她离开了几个月的公众生活。95因为基础模型通常是多模态的（4.1：建模），它们同样可以模仿言语、动作或写作，并可能被滥用，以难堪、恐吓和勒索受害者。

内容创建成本。基础模型将大大降低内容创建的成本，进一步降低恶意参与者进行有害攻击的进入障碍[等人，2018年]。2017年起源于俄罗斯并针对美国人的一次影响行动的预算为1220万美元[等人，2018年]。最近，作为一场虚假信息运动的一部分，俄罗斯的个人每篇文章向美国自由职业者支付75-200美元。基础模型将降低这些边际成本。虽然基础模型，如GPT-3，在生成内容时可能会出错[布坎南等人，2021]，但雇佣少量编辑来修复它们将比直接雇佣内容创建者更可行。培训基础模型的初始成本更为重要（4.5：系统），但这些费用对于大多数国家行动者来说应该是可管理的[ et al. 2021]。

除了货币成本外，基础模型还需要更少的技术技能才能获得高质量的结果。目前的工具，如视频编辑软件，可以使可信的照片或视频深度伪造，但需要一个熟练的用户几个小时的时间来产生高质量的内容。基础模型降低了这一使用障碍：它们的少镜头适应功能（4.3：适应）为应用程序用户提供了新的交互模式（2.5：交互），从而允许用户快速迭代进行内容创建。

人格化,基础模型将减少创建个性化内容的障碍。例如，2016年针对美国的俄罗斯个人提供的虚假信息包括高度定制的内容。社交媒体上的帖子是精心推动叙述叙利亚（例如，美国应该离开叙利亚），与黑人的生命重要活动家(等。2018]（例如，建议美国应该关注美国黑人社区面临的问题，而不是在叙利亚的问题）。同样的叙述被重新包装，以与德克萨斯州的分裂主义者产生共鸣[等人，2021年]。这样的内容创建工作是昂贵的和耗时的。基础模型将允许类似的活动，但由于适应成本较低（4.3：适应）。

除了允许演员为小众受众提供个性化内容的基础模式外，它们还允许演员针对单个个人提供个性化内容——这种能力可能会被骚扰者滥用。根据个人属性或信息约束后代的基金会模型可以创造现实的个性化内容，这可能更尴尬，将受害者置于更危险之中，98，并导致更成功的勒索企图。

will be of .

虽然基础模型的生成能力将提供充足的误用机会，但这些同样的能力可能使它们成为有害内容的强大检测器。虽然这些功能对于检测人工生成和模型生成的内容同样相关，但我们在本节中关注模型生成内容的检测。首先，我们概述了目前的人工检测方法在发现基础模型的有害滥用方面将面临的挑战。然后，我们提出了基础模型的交互式和多模态表示能力如何使它们成为自动检测有害内容的强大工具。最后，我们讨论了在在线设置中部署自动检测模型以对抗潜在的基础模型误用的风险。

重新思考人类干预。目前，恶意行为经常被人类搜索互联网以发现内容来源所发现（甚至在社交媒体上，有时会被删除）。例如，虚假的社交媒体个人资料通常会从约会网站窃取个人资料照片，这些照片可以通过反向图像搜索发现。类似地，虚假信息网站经常使用抄袭的内容来掩盖欺骗性的内容[和格罗斯曼2019]，这很容易通过进行互联网短语搜索来识别。基础模型将限制这些检测策略的有效性。相对简单的虚假信息活动已经利用人工智能生成的照片100，消除了通过反向图像搜索被发现的可能性。评估这些照片是否由人工智能生成的工具可用，但基础模型将使这项工作复杂化——文本和视频以及挑战人工人类发现技术[等人2020；Clark等人2021]。

作为探测器的基础模型。基础模型的同样能力，使它们成为创造性内容的强大生成器，也可能使它们成为模型生成内容的强大检测器。现有的工作表明，基础模型可以适应检测文本生成器的虚假信息[泽勒斯等人2019b]——生成统计文本工件[霍尔茨曼等人2020]——他们可以用来评估自己的几代人的毒性水平使用提示问题[希克等人2021]。下面，我们将描述未来的基础模型将如何使机器生成的有害内容的更强大的检测系统成为可能。

基础模型的交互式和多模态接口的改进将为改进基础模型误用的检测提供新的机会。目前的统计检测器必须重新培训和部署，以整合关于误用策略文本内容的新知识[Dinan等人，2019年]。基础模型的快速学习能力（4.3：适应）可能允许它们从人类反馈适应新的误用策略，而基础模型最初没有经过训练来识别[Lee et al. 2021a]。

同时，基础模型的多模态能力将使滥用生态系统的表现更具表现性。之前的研究探索了错误信息如何比真实内容在社交网络中传播[星鸟等人2018；等人2018]，在回顾性分析时产生可识别的签名。基础模型的多模式能力可以使它们能够共同学习有害内容的表示及其在社交网络上的典型传播签名。这些联合表示可以提供强大的工具来预测某些类型的自动生成的内容是否表明了误用行为。

基础模型作为自动探测器的风险。对模型生成和人为生成的有害内容的自动检测系统的改进将使这些系统在网上更加流行，从而产生潜在的负面后果。任何检测系统都将出现假阳性病例，其中人类生成的公平内容将被标记为有害的[Sap等人，2019年；Xu等人，2021年]。算法误报影响用户（或用户组）的比率可能会造成下游伤害（5.1：公平性）。基础模型的自适应能力应该使系统的假阳性更容易处理，因为模型可以被局部编辑来重新分类这些例子（4.3：自适应）。然而，在角落的情况下可能不会被优先考虑，在这些情况下，追索权将具有挑战性。

更广泛地说，误用检测系统的大规模部署可能会引发有害内容生成器和检测器之间的“军备竞赛”。大多数使用基础模型的内容生成器将缺乏单独开发它们的资源，并且将使用由较大实体部署的系统。虽然使用条款政策应概述这些系统的可接受使用（5.6：道德），但基础模型的部署人员也将需要内部检测系统，以识别其产品的滥用101并减轻它们（5.4：合法性）。然而，对于拥有资源来开发自己的基于基础模型的内容生成器的误用行为者的控制将会减少，这就给平台带来了压力，要求其管理通过其分销渠道共享的内容。乐观地说，内容平台包含了一些世界上资本最充足的公司。它们的资源可能使开发超出大多数个人滥用剂能力的探测器。这种资源优势由于大规模重复训练这些系统的高成本，可能会抑制个体基础模型的开发。然而，即使没有最大的基础模型来支持它们，许多基础模型误用的实例仍然可能是成功的，特别是当攻击者可能会利用基础模型的交互能力来快速生成可以逃避检测的内容时。

图26。用于部署基础模型的成本效益分析的可视化。一个模型的总价值可以通过首先考虑该模型的净积极社会效益以及任何环境效益来近似。然后，我们减去训练和部署模型的负能量成本、训练模型的碳排放的社会成本，以及次级环境效应。如果净成本大于收益，那么基础模型开发人员和大型部署人员应该考虑减少危害的策略。这可能包括部署一个更有效的模型或根本不部署该模型。

基础模型可能会带来许多社会和环境效益，例如在法律领域（3.2：法律）、医疗保健（3.1：医疗保健），甚至是应对气候变化[等人，2019年]。但由于其规模，如果模型创建者不小心，它们本身可以通过增加碳排放对环境产生负面影响[斯特鲁贝尔等人2019；洛蒂克等人2019；施瓦茨等人2019；拉科斯特等人2029；曹等人2020；亨德森等人2020年；本德尔等人2021年；帕特森等人2021年；兰诺等人2021年；帕科莱特和拉瓦内利2021年]。解决这类排放问题势在必行：目前的预测显示，气候变化发生的速度比以前认为的要快.

为了了解这些排放在基础模型中可能发生的哪里，我们考虑它们的生命周期。首先，他们接受了大量数据的训练，可能长达几个月，通常分布在数百到数千个gpu中。之后，它们可能会适应新的领域，或者被提炼成更小的模型。所有这些都可以被认为是培训制度的一部分。纯粹用于研究的模型可能不会超越这些步骤。在模型被调整和/或蒸馏后，它们可能会继续部署到生产中。在这一点上，许多轮的推理将贯穿整个模型，直到一个新的模型被训练和循环重复。

这些步骤都有潜力利用大量的能源，并可能促进碳排放。基础模型可以在初始训练阶段产生大量的一次性能源成本和碳排放。例如，在某些条件下，训练一种bert基础模型的排放量只能被种植了10年的40棵树所抵消。如果大规模部署，基础模型可能需要大量的能源来满足数百万个请求103——如果使用不可再生资源，则转化为大量的碳排放。

因此，某些设计决策对培训和部署基础模型的环境影响可能是巨大的。即使是看似微不足道的决策，比如减少模型所拥有的层数，也可能导致大幅降低环境成本。例如，根据亨德森等人[2020]的计算，在商业翻译服务规模上部署的更节能的翻译模型每天可以节省78能源排放到12768能源排放，这取决于使用的能源网格。这大致相当于1到211棵树生长了10年的碳，或者一年内隔离0.35到57.4英亩森林的碳。104因此，基础模型的设计、部署和部署后监测应充分反映这些风险。

当然，在计算任何给定模型使用的能量或碳排放量时都存在不确定性[亨德森等人2020；曹等人2020；帕特森等人2021]，其他排放来源目前可能远远大于基础模型产生的排放来源[Mora等人2018]。但是，如果基础模型继续扩大规模并越来越受欢迎，它们很可能成为碳排放的一个重要贡献者。我们的目标是为基础模型开发人员和大型部署人员提供一个框架，以考虑他们如何减轻任何不必要的碳排放，并保持这些模型的净社会影响。我们建议：

(1)在许多情况下，碳排放的影响可以而且应该得到减轻。这可以通过在低碳强度区域的训练模型，或通过使用更有效的模型和硬件来实现

(2)当所有缓解机制已经用尽且不再可能实现缓解时，应评估社会的成本和效益，以确定是否以及何时在更小的基础上部署更大的基础模型，即大型基础模型的前期成本可以在模型的生命周期内摊销

(3)能源、计算和碳成本以及减轻负面影响的任何努力都应明确报告，为政策制定和研究提供信息

can and be in many cases

训练基础模型的碳影响不同于部署它们进行推断的影响。模型训练没有延迟要求，因此训练可以在云环境中相对容易地跨能源网格移动。每个电网都有自己的碳强度——每千瓦时能源使用的碳排放量。例如，魁北克省由于依赖水力发电，碳强度极低，而爱沙尼亚的电网由于依赖页岩油，碳强度极高（尽管变化迅速）[等人，2020]。最近的研究甚至表明，污染最严重的5%的发电厂贡献了所有电力排放的73%[Grant等人，2021年]。因此，虽然训练基础模型可以是相当能源密集型的，但研究人员已经证明，这些模型的碳影响可以通过选择最小碳排放的能源电网来部分缓解.

在所有数据中心提供无碳可再生电力之前，碳补偿也被提议作为权宜之计。这一战略包括减少一种活动中的碳排放，以抵消另一种活动中的碳排放。但是大多数——如果不是全部——碳抵消是一个比首先不排放二氧化碳更糟糕的解决方案[Holl和布兰卡里昂2020]。一些碳抵消计划甚至会产生负面影响。例如，对森林种植运动（通常是碳抵消的一个来源）的研究表明，它们可能弊大于利。它们可以产生单一栽培（使用一种特定种类的树木），从而减少该地区的生物多样性，并减少森林土壤中的碳储存.当使用碳抵消时，这可能导致比原始碳排放更多的碳排放。因此，在培训或部署基础模型时，我们建议预先设计尽可能少的碳排放，而不是简单地依靠碳抵消来消除排放。

当无法在低碳地区运行时，应利用其他缓解战略，减少不必要的能源使用。这包括：

开源项目和云计算的维护者应该努力将其默认设置设置为尽可能有效，因为“绿色默认”已知是最有效的缓解策略（参见[.2020]中的讨论）。其他缓解策略可以在最近的文献中找到[斯特鲁贝尔等人2019年；拉科斯特等人2019年；施瓦茨等人2019年；亨德森等人2020年]。我们还注意到，减少和减少能源使用也有一个额外的好处，使那些计算访问有限的人更容易访问模型（见5.6：伦理）。

然而，当一个模型主要用于推理时，例如，部署在一个生产应用程序中，它通常不能移动到一个低碳密集型电网的低延迟应用程序。除了使用上述规定的缓解战略外，在这种情况下，重要的是要权衡拟议的基础模型与更节能的替代方案的好处。我们将在下一节中进一步讨论这个问题。

Costs and be using .

在采取尽可能多的缓解措施（或在不可能实现缓解措施的情况下）之后，评估至关重要的是基础模型所需的规模，或者是否应该使用基础模型。这种成本效益分析应考虑到：

(1)部署基础模型的社会成本和环境成本是否大于该模式的社会效益？

(2)另一种计算上更简单、更便宜的方法能否获得类似的社会效益（例如，一个更有效的基础模型，或者可能是简单的基线）？

评估这种权衡的简化方案将模型的总体影响考虑为：

图26表示了这个公式以及可能输入每个变量的成本和收益。在这里，是模型，而是净社会效益，以及环境效益，以美元计算。可以通过改善医疗保健、获得司法公正、减少贫困、改善环境监测、帮助生态系统保护工作等方式来提高。

是从能源使用中产生的碳的社会成本。这代表了碳作为当今货币价值释放对社会的伤害。美国环境保护署（EPA）从2017年开始估计的碳社会成本的上限为每公吨二氧化碳排放105美元（以2007年美元计算）。

是该模型的能量成本。例如，2021年4月，美国住宅的平均能源成本约为每千瓦时0.1376美元。108加上这个变量可能是电网压力增加的成本。例如，最近的一项研究表明，按平均需求标准化的每能源电网中断事件的成本可能高达平均千瓦15.9美元[等人2015]。

是其他二级环境效应的社会成本。这可能包括：

在这一分析中，需要考虑的是，碳的经济效益和社会成本可能不平等地分布于各个社区，贫穷社区受到气候变化的影响更大，富裕社区受益于一个模型[等人，2021]。

因此，在进行方程7分析时，人们应该更广泛地考虑对社会的好处和危害，而不是对某个特定的组织或国家。在这种情况下，（）可以被视为一个分布，理想情况下应该在人群中均匀分布。

图27。一个假定的平摊微调的例子，显示了基础模型（在本例中是BERT Base）比从零开始训练的变压器模型具有更低的能量成本。我们估计了等人[2019]对培训BERT的前期能量成本，以及乔杜里等人[2020]对下游任务的微调成本。我们与斯特鲁贝尔等人[2019]提出的从头开始培训变压器的成本进行了比较。如果BERT用于小于∼80的任务，则前期能量成本将无法恢复。在那之后，BERT比从零开始训练的模型更节能。

在分布高度不均匀的情况下——例如，所有利益都落在模型设计者身上，而所有危害都落在永远不会从模型中受益的人群身上——设计者应该在部署模型之前在缓解上花费更多的精力。

当然，在评价公式7的每个组成部分时所使用的方法也存在一些不确定性。根据数据来源和对这些现象的建模选择，对许多这些术语的经验估计可以进行多次建模，例如评估碳的社会成本的不同机制。当然，还需要继续考虑到可能难以从金钱上量化的其他外部因素。然而，这种成本效益分析的关键结论不是方程中每一项的美元估值，而是这些影响的存在性和相对重要性。我们的目标是为开始考虑这些权衡提供一个高层框架。未来的研究可能会为如何量化这些值提供更多的指导。

最后，我们注意到，这些因素也应该在模型的生命周期内进行评估，而不是在每次运行的基础上。考虑一个替代的基线模型，它必须为每个新任务从头开始进行训练。基线很可能需要一个昂贵的超参数搜索来实现在下游任务上的等效性能。相比之下，基础模型将成本主要放在了最初的预训练程序上，而微调可能更简单、更节能。在基础模型的使用寿命中，它可能比基线更具有碳效率（图27）。甚至更有效的适应机制可以进一步改善这种摊销（见4.3：适应）。

然而，适应的效率并没有得到保证。一些基础模型可能永远不会比特定的基线更有效，即使在许多任务上进行摊销。例如，不能假定一个较小的参数较少的模型将转化为能源效率的提高。由于超参数调优成本或其他优化，在某些情况下，参数的数量与能源效率无关[Zhou等人2020；等人2020]。因此，基础模型开发人员在开始大规模培训之前，应严格评估其模型和适应机制的效率。

本节的框架旨在指导读者在培训和部署他们的模式时考虑环境和社会权衡，但在部署基础模型时涉及其他实质性的社会正义考虑，见5.6：伦理。5.5：经济学也更详细地讨论了从算法部署中产生的社会福利的动态。

/ be .

除非研究基础模型的研究人员和工程师报告其模型的计算成本、能量成本和碳成本，否则不能进行成本效益分析。我们鼓励基金会模型的开发人员、提供者和策展人报告这些指标，以及在创建基金会模型中使用的碳减排策略。参见[亨德森等人2020年；洛蒂克等人2019年；拉科斯特等人2019年；施密特等人2021年；安东尼等人2020]关于碳影响声明的例子和可以促进该报告的工具。对于研究人员来说，这样的报告可以在发布时发生，但我们也鼓励行业行为者采用透明度机制来报告他们部署的模型的这些指标。这将有助于在工业界和学术界制定政策建议，并帮助下游用户确定碳友好的使用模式。标准化报告还将有助于确定哪些模型可供那些计算访问能力有限的人访问（见5.6：关于可访问性的伦理讨论）。

鼓励更多的报告能源和碳的影响，我们建议，在其他策略：给绿色徽章，要求报告相关指标提交会议场所，游说大型部署人员的基础模型提供更多的透明度，和一般改变专业规范在学术界和工业界向标准报告这些指标（见5.6讨论专业规范：伦理和讨论亨德森报告机制等[2020]）。

在本节中，我们将描述美国法律可能如何影响、约束或促进基础模型的创建和使用。我们注意到，围绕算法工具的法律格局仍然不确定。我们强调了与(1)模型训练、(2)模型预测的责任以及(3)对模型输出的保护相关的问题。

虽然理解法律如何影响基础模型是至关重要的，但重要的是要认识到，法律不可能是我们评估基础模型的构建、维护和使用的唯一视角。伦理框架是必要的，以理解法律允许的基础模型的应用可能仍然是不明智的危害，并在5.6：伦理和5.1：公平中进行更深入的讨论。研究潜在的误用和可能存在的安全问题（见5.2：误用和4.7：安全）对于预先预防有害后果至关重要，而不是法律机制通常提供的事后治疗。

训练基础模型将需要积累大量的多模态数据，从而引发了关于数据收集和数据使用的问题。首先，模型创建者通过网络抓取增长数据集的能力将取决于法院解释服务条款的方式，特别是美国计算机欺诈和滥用法案（CFAA），该法案将“未经授权”访问服务器定为犯罪[Waje特和罗特曼2019]。法院在这些问题上存在冲突，最近的案件试图澄清在什么情况下网络抓取可能被禁止。116数据访问的限制性将从根本上影响从业者用于训练基础模型的数据的多样性[列夫夫斯基2018]。

其次，培训集中包含的大部分数据将受到版权保护，并可能受到知识产权法的保护。然而，版权法承认了当个人可能被允许使用受版权保护的材料时的例外情况。117一些学者认为，训练数据集的法律许可性将在很大程度上取决于法院是否根据合理使用原则将模型训练的过程解释为“变革性的”[和Casey 2020]。虽然什么是变革性的问题高度依赖于上下文，但一般的规则是，变革性用途是那些“添加一些新的东西，具有进一步的目的或不同的性质，并且不能替代作品的原始使用”[ 2021]。最近发布的副驾驶工具已经将这些论点突出来[格希戈恩2021]。

最后，一些训练数据集可能会违反隐私法。伊利诺斯州，例如，允许个人起诉不当收集或使用生物识别数据（例如，视网膜或虹膜扫描、指纹、声音打印，或手或脸扫描）.118外国隐私法像欧盟。如果数据集包含来自欧盟的信息，这将影响到美国模式的创建者。公民-将要求数据主体被告知数据收集的目的。加州消费者保护隐私法案（CCPA）等法律可能会出现进一步的问题，该法案为个人提供了“被遗忘的权利”，这就提出了模型创造者是否需要从模型中“删除”培训数据的问题。

虽然基础模型本身是任务不可知论性的，但经过微调的模型——或者是基础模型本身学习到的表示——可以用于传统的预测任务。当这些任务构成更大的决策系统的组成部分时，基础模型将因此影响行动、决策或政策。当这些结果造成伤害时，模型创造者和操作它们的个人可能要承担法律责任。

在物理系统中嵌入基础模型（例如，自动驾驶汽车、电网管理、医疗诊断等）。可能会对个人造成身体伤害。在这里，法院可能会根据侵权原则解决责任问题[莱姆利和凯西，2019年； 2020]。关键的开放性问题包括用户、基础模型提供商和应用程序开发人员的责任之间的相互作用，以及法院将用于评估基础模型的风险概况的标准。在特别敏感的领域（如药物）的部署将需要监管部门的批准，并开发标准化的流程来评估安全性[Wu等人，2021g]。

根据与受保护属性（如种族、性别）对个人进行分类的微调基础模型可能面临民权法下的挑战。学者们注意到，对基金会模式导致的不同待遇的要求可能会在招聘、住房或信贷贷款的背景下提出[和，2019年；等人，2019年]。法院将如何如何裁决这些问题还远不清楚。例如，学者们注意到，法院对“歧视”的传统观点实际上会阻止机器学习从业者实施许多算法公平技术.

美国法律承认对政府实体的特权和限制。因此，政府实体在地方、州或联邦一级使用基础模型，除了提出平等保护要求外，还将涉及特殊考虑。使用风险评估模型–或在其他导致剥夺生命、自由或财产的情况下–将引起程序性的正当程序索赔。120.例如，当行政机构（如环境保护署）使用模型时，原告可能声称这种使用违反了正当程序、合理性/非任意性和透明度的基本标准。

输出的法律保护。

模型输出——以及扩展负责模型的模型创建者——也可能得到某些法律保护。首先，由生成模型产生的内容可能涉及到言论自由的问题。法院将在多大程度上发现第一修正案对机器生成内容的保护尚不清楚。学者们已经讨论了一些悬而未决的问题，包括“人工智能语音”是否受到保护[等人，2016]，或者模型输出是否实际上是人类程序员的语音[，2019]。其他人注意到可能存在披露要求（类似于药物或其他物质的安全披露），也涉及语音原则，根据该原则，模型将被迫与听众分享其内容是机器生成的[Lamo和Calo 2019]。这些问题可能会产生广泛的后果，影响个人是否可以使用基础模型来大规模发表演讲，或者模型的创造者是否可以对基础模型生成的内容负责。

其次，关于谁可能对模型输出拥有所有权，存在不确定性。现有的版权法不承认计算机程序为作者，因此，对计算机程序创作的“作品”没有版权保护[格里姆梅尔曼2015]。因此，学者们提倡多种方法。一些人认为，根据情况的不同，一个程序的人类创建者和它的人类用户都有可能声称自己是该程序输出的“作者”.

随着模型越来越多地应用于“创造”的过程中——从艺术努力到更平凡的设置，如新闻文件——关于机器生成内容的所有权的争论将变得更加普遍。虽然我们上面的分析只是忽略了基础模型所涉及的法律问题的表面，但这些问题的解决对基础模型的构建、使用和部署至关重要，或者借用拉里·莱西格的话说，“代码是如何成为法律的”

基础模式有潜力通过提高生产力和创新来显著提高整体生活水平。这些模型可以用于替代人类劳动，增加人类，或帮助发现新的任务和机会，这可能导致所有权和权力的日益集中，或更多的分散。在更广泛的层面上，结果可能是由于潜在的集中化（5.1：公平，5.6：道德）而增加的不平等，或者是由于对广泛的应用更容易适应基础模型而更广泛地共享繁荣（1：介绍）。所有这些方面的最终结果并不仅仅取决于技术或经济，而是取决于技术人员、决策者、管理者、工人和其他社会成员的选择和行动。

基础模型可以被认为是经济学家所说的通用技术[布雷斯纳汉和特拉杰滕伯格，1995年]。通用技术指的是像蒸汽机和电力这样的技术，由于它们的普遍性、随着时间的推移的改进以及产生互补创新的能力（围绕一个核心产品的大量产品和服务）的能力，它们推动了转型和生产力增长的浪潮。虽然基础模型目前可能并不普遍，但它们似乎准备成为广泛的技术创新的基础，并具有通用技术的关键特征。因此，这些模型很可能在经济上很重要。在考虑基础模型对经济的影响时，我们将重点关注三个广泛的影响领域：生产率、工资不平等和所有权。

and

基础模型很可能会大大提高生产力和创新能力。生产力增长是提高生活水平的主要促成因素之一，因为它增加了各国的财富，并解决了从贫困、医疗保健、环境和教育等一系列挑战。

生产率被定义为每单位输入的输出。提高生产率的一种方法是减少分母；例如，让一个公司的广告用更少的文案或更少的劳动时间就可以降低输入单位的数量。我们也可以通过增加分子来提高生产力，例如，通过允许软件开发人员在给定的时间内编写更多的代码。如果分子的增长足够大，这可能会导致更多的人开发软件，而不是更少的[Autor 2015]。在许多任务中，我们已经观察到机器学习系统可以提高生产力。例如，用于临床文档的自动完成系统将临床概念的按键负担降低了67% [等人，2020]。同样地，基础模型影响生产力的潜力几乎涵盖了每个行业和许多职业。

仅考虑语言本身，使用美国劳工部的O*NET数据库对美国职业进行的分析显示，许多职业涉及到可能受到基础模型影响的语言相关工作类型。大约13%的职业有与写作有关的主要任务，这些职业的总工资账单（年薪乘以在该职业中工作的个人人数）超过6750亿美元。然而，基础模型的潜在影响已经超出了语言的范围。它们还将对医学、平面设计、音乐和许多其他任务产生影响，其中人们正在创造与已经存在的东西类似的东西.

也许基础模式最深远的影响，如果仍然是推测性的，是它们提高创造力和提高创新速度本身的潜力。例如，DALL·E[.2021]可能会改变插图市场，就像廉价相机彻底改变摄影技术一样。如果这些模型使人类能够开发新的方法来写新歌和小说（2.5：交互），发现不同的药物分子（3.1：医疗保健），扩展专利（3.2：法律），建立创新的软件应用程序，或开发新的业务流程，那么不仅生产力的水平，但生产力的增长率将会提高。通过这种方式，基础模型具有保罗·罗默的增长模型中的一些想法或蓝图的一些特征[Romer 1990]，甚至是元想法（关于想法的想法），与大多数其他商品不同，它们不是竞争对手，从而加速了增长。

值得注意的是，生产率的变化并不总是在官方统计数据中可见的，因为投入和产出的许多方面难以衡量[布林约夫松和科利斯，2019年]。因此，基础模型的效益和成本不能完全被传统的生产力指标，也不能被国内生产总值（GDP）或价格水平（整个商品和服务的当前价格的平均值）所反映。从历史上看，对于通用技术尤其如此，因为它们是一连串二级创新的催化剂，这些创新往往会改变经济中的商品和服务，甚至改变几年甚至几十年的生产和创新的性质。

Wage

即使基础模型提高了平均生产率或收入，也没有任何经济法律可以保证每个人都会受益。在某种程度上，这是因为并不是所有的任务都会受到相同程度的影响。更重要的是，基础模型对劳动力需求（以及就业和工资）的影响可以是积极的或消极的[布林约夫松和麦克菲2011；布林乔夫松和米切尔2017]。当一项技术在完成任务时取代了人类劳动时，它往往会减少对完成这些任务的工人的需求。这降低了就业和工资。然而，当一项技术补充劳动力，或促进创造新的机会或任务时，它往往会增加劳动力需求[移民和雷斯特雷波2019]。即使生产率提高，就业机会也可以（而且经常会）上升。例如，飞机的发明创造了对一个全新职业的需求，即飞行员。反过来，喷气发动机的发展是对人类飞行员的补充，进一步增加了对它们的需求。同样，基础模型对就业、工资和收入不平等的影响将因使用方式而不同。

虽然工业革命主要改变了物理工作，但基础模型很可能会改变涉及认知工作的任务，如内容创造和交流。一般来说，由于基础模型是中介资产，通常拥有强大的生成能力，我们设想，他们将能够增加人类在许多创造性的设置，而不是取代人类仍有重大限制使用这些模型独立的开放式生成任务(见et al. 2019]。正如我们在2.5：交互中所描述的，基础模型也可以支持用户可以利用的系统来共同构建新的艺术形式，或更有效地建立新应用程序的原型。流体人机和循环中的交互需要界面设计（2.5：交互），以及这些模型的可解释性（4.11：可解释性）和鲁棒性（4.8：可解释性鲁棒性）的基本改进，以便人类能够理解模型行为，并期望模型在不同的环境下表现良好。

基础模型的经济影响的另一个关键决定因素是谁拥有数据和模型。特别是，推动基础模型的前沿，迄今为止主要是大型公司实体的职权范围。因此，数据和模型的所有权往往是高度集中的，导致市场集中（5.6：伦理）。反过来，这又可能导致决策权和权力的显著集中，减少了那些没有所有权的人的收入和机会。这种权力的集中可以导致一种平衡，即更少的人拥有社会和经济的流动性和机会，这种情况，布林乔夫松[2022]称之为“图灵陷阱”。为了平衡这种集中化，草根已经努力开源人工智能研究，如马萨干、智能和拥抱脸，或者通过分布式培训建立基础模型。然而，由于基础模型依赖于大量的数据和计算资源（5.3：环境），行业可以培训的私有模型和对社区开放的模型之间的差距可能仍然很大。

Other

这一简短的章节并不是要全面介绍基础模型的所有经济影响。除了影响生产力、工资不平等和所有权外，基础模型还可能对工作质量和工作满意度有显著影响。例如，他们可能通过自动化工作中重复的、无趣的部分来提高工作满意度，或通过增加工作速度来降低满意度，从而导致更频繁的职业倦怠。正如在5.1：公平和5.6：伦理学中所讨论的，它们也可以放大和延续偏见，通常以意想不到的方式，或者被用作减少偏见的工具。基础模型可以促进全球贸易和远程工作，就像早期使用的机器翻译系统在这些领域有显著影响一样[例如，布林约夫森等人，2019年]。也可能有显著的环境影响（5.3：环境），以及对经济中职业变化和商业转型的速度和方向产生的意外和意想不到的影响。更广泛地说，考虑到基础模型的涌现能力，我们应该期待新的未知未知数的出现，难以预测，并可能产生实质性的后续影响。总之，基础模型将成为我们这个时代的一项重要的通用技术。它们有可能大幅提高生活水平，但也会带来加剧不平等和集中权力的风险。这些技术的经济影响并不是预先确定的，而是取决于技术人员、政策制定者、管理者、工人和其他利益相关者如何应对以下挑战，如：

了解这些系统的经济潜力是引导它们朝着符合我们的价值观的方向发展的第一步。

of scale

基金会模型的广泛采用，除了对不平等加剧的担忧外，还带来了伦理、社会和政治上的挑战，5.1的主题是：公平。在本节中，我们讨论社会、政治和伦理风险相关的应用基础模型的规模，如同质化和权力的集中，规范和发布策略适合解决它们，和关注更广泛的政治经济基础模型的开发和部署。

and scale.

如果相同的模型以最小的适应性跨不同的领域使用，那么原始模型的优点、缺点、偏差和特性将被放大（5.1：公平性）。对任何标准化技术的广泛采用和依赖都是如此。类似于许多汽车或飞机上使用的部件的制造失败可能会在各个行业产生广泛而严重的后果，基础模型固有的服务偏见或失败可能会向外涟漪。然而，目前基础模型的不可解释性（4.11：可解释性）及其任务不可知的训练使得预测、理解和解决这些弱点具有挑战性。如果基础模型被广泛采用，那么基础模型开发人员比标准模型开发人员承担更大的注意责任，因为他们在设计和部署方面的选择具有广泛的影响.

基础模型的定义特征——它们能够有效地适应多种任务的能力——使它们有可能被广泛应用于各种与社会相关的任务。与当前的分布式和多样的决策模型相比，对多个自动决策任务使用同一基础模型的许多适应性意味着决策主体可能面临基于基础基础模型的更同质的判断。

这种算法的单一培养[克莱因伯格和拉格哈万2021]可能会导致对个体决策主体的一致和任意的拒绝、错误分类或虐待[Gandy 2021]。我们将称这种同质化为[克里尔和海尔曼，2021年]。例如，4.6.2：数据解决方案讨论了导致数据亚群体上不可取行为的数据质量问题，其中亚群体可以通过任何对数据进行分层的过滤器产生，包括按社会群体进行分层（参见4.11.1：可解释性-行为和4.8.1：健壮性-优势中的相关讨论）。在数据质量工具（4.6.2：数据解决方案）和识别模型表现不佳的数据切片的能力得到改进之前[Chung等人2019；Goel等人2021]，基础模型可能始终无法向一群人群提供准确的信息或服务（参见4.8：鲁棒性。

均质化有可能放大偏见；使偏见标准化，加剧不公正，而不是分配它们；并放大任意排斥[Creel和海尔曼2021；Gandy 2021]。例如，Zhou等人[2021a]认为BERT默认情况下编码角度中心相似度量，如果跨应用基础模型的上下文应用，这可能会有害。基础模型跨领域的应用有可能作为一种认识论和文化同质化的力量，在多个应用领域中传播一个隐含的视角，通常是一个社会主导的视角。

由于需要大量的未标记和标记数据，因此在基础模型中，现有的培训语料库标准化的趋势可能会加剧。在某种程度上，模型训练类似的数据，它们很可能获得相似的行为模式、偏差（5.1.3：公平来源）和错误。以前的高努力的数据管理和标签工作，如已经标准化的培训语料库。在这样做时，他们也标准化了错误：在图像网上训练的模型通常依赖于相同的“虚假线索”和“快捷方式”，例如使用绿草等背景纹理来预测前景对象类别，如奶牛[盖尔霍斯等，2020；亨德里克斯等，2021e]。尽管基础模型和其他大型模型对许多类型的分布变化（4.8.1：鲁棒性优势）具有增强的鲁棒性，但基础模型学习虚假相关性的可能性（4.8.2：鲁棒性挑战），因此如果在相同的数据集上训练，很可能学习到类似的错误。由于选择了公开可获得的未标记数据，也可能会产生类似的影响。许多基础模型都是根据未标记的语料库进行训练的，选择这些语料库是为了它们的方便性和可访问性，例如公共互联网数据[等人，2021年]，而不是它们的质量。然而，如[Marr 2017]所述，无论是标记还是未标记，往往被许多专有基础模型的训练语料库中的专有数据所抵消，如[Marr 2017]和4.6.1：数据需求中所讨论的。因此需要更多的研究在多大程度上训练类似数据同质化相关性在基础模型和这种同质化的程度可能导致统一的失败适应衍生品模型（除非约束应用于消除行为在每个适应，如4.3.2：适应使用）。

均质化并不是不可避免的。随着模型开发人员有意拓宽了他们的数据集中表示的视角范围（5.1.3：公平来源），需要更多的研究，即基础模型在使用生成任务时提供不同的视角。例如，Sheng等人[2021]已经证明，采用特定人口统计群体的“角色”的对话系统在社会偏见指标上表现不同。除了为了避免偏见而在“角色”之间进行选择之外，在各种认知和人口统计轴上都是不同的“角色”也可以用来为生成任务生成更广泛的连贯输出。关于如何平衡输出的多样性与对个人用户的相关性和效用，仍有许多悬而未决的问题。

, , and power

基础模型的一个关键前提是，大量的未标记数据集可以与大量的计算资源相结合，以创建一个基础，从中可以为各种应用程序导出许多产品。这种范式转变有可能改变社会结构和转移权力，建立或巩固模式创造者的影响[齐默尔曼，2020年]。下面我们将讨论三个潜在的含义。

大量的数据的收集和监测。虽然收集标记数据集通常需要与领域专家合作，并理解此类数据的问题和局限性，但在训练基础模型中对异常大量数据的需求鼓励了一些研究人员强调数量而不是质量。126虽然预处理可以帮助提高数据的质量[例如，Brown等人2020]，但涉及的规模需要自动化方法，这可能是钝的或记录不足[Dodge等人2021]。尽管数据保护立法（如欧洲的GDPR）在不断发展，但各种可疑的做法，从不透明的政策[奥巴尔和奥尔多夫-赫希2020]和使用“黑暗模式”直接违反服务条款。事实上，这本质上是人工智能所采取的策略——该公司在未经用户同意的情况下从社交媒体上搜集照片，并违反了平台的服务条款，以开发面部分类软件。尽管如此，该公司还是能够向警察部门和其他组织出售这项技术，在许多情况下，州议员或部门负责人都不知情[Mac等人，2021年]。在某种程度上，基础模型的范式增加了第一个为任何特定领域拥有最大可能的数据集的价值，这可能进一步鼓励参与者追求积极的数据收集，即使这种追求在法律上存在问题或与用户的预期相反.

数据对基础模型的重要性还意味着，已经从事广泛数据收集的组织将在开发这类模型方面处于有利地位，并很可能有动机保持这种优势。如果衍生产品本身可以用于收集额外的数据（例如，在监测或健康诊断应用中），基础模型的开发人员可以寻求确保他们获得这些数据的所有权。因此，尽管基础模型范式的一个关键优势是能够生成自适应的衍生物，但基础模型的开发人员可能会寻求以一种确保数据从所有自适应的衍生物流回他们的方式来许可他们的工作。

of power。尽管随着时间的推移，计算的绝对成本变得非常便宜，但目前对最大的基础模型的培训需要计算资源，使其发展超出除少数机构和组织以外的所有机构的能力范围（5.3：环境）。因此，谁能够获得相关的计算资源和数据的问题很可能会决定谁能够在未来几年产生尖端的基础模型.

GPT-3至少在一定程度上是一个规模实验，表明在没有重大建模创新的情况下，可以通过扩大模型规模、数据量和训练时间来实现重大收益。尽管有广泛的正在进行的研究减少培训所需的资源模型（见4.2：培训），的工作表明，仍有收益从更大规模的努力[ et al. 2020]，似乎其他组织可能寻求遵循这条路径在其他领域（例如，见[ et al. 2021]）。

如果规模真的对成功至关重要，那么最有能力产生具有竞争力的基金会模式的组织将是资源最充足的：风险投资的初创企业、已经占据主导地位的科技巨头和州政府。这可能引发了人们对市场集中化的潜在担忧，并可能表明目前在国防和半导体制造等极端资本密集型行业中存在的那种现有的垄断或寡头垄断.

此外，这种权力的集中化引起了人们对目前被边缘化的个人和社区参与基础模式发展过程的能力的关注[ 2020]。特别是在政府服务领域，基础模式的采用可以进一步将决策权从政府转移给企业服务提供商，并为正当程序和问责制引入额外的障碍[ 2008]。然而，更多的基层努力（如马萨坎、拥抱脸）提供了令人鼓舞的替代方案，并有关于如何纳入参与性或价值敏感性设计的广泛工作.

推动了广泛的自动化决策。近年来，工业和政府中自动化决策系统的使用急剧扩张[奥尼尔，2016；等人，2020年]。尽管许多担心这样的自动化不是特定于基础模型，模型的生成能力如GPT-3，以及令人印象深刻的性能基准任务（例如，等人[2019]），有可能促使少的采用这项技术，例如，行政机构，其中许多缺乏必要的专业知识来理解复杂的ML系统[Calo和 2021]。因此，明确地沟通基础模型的现实能力和局限性尤为重要。

大多数自动化决策系统将作为更广泛的社会技术系统的一部分存在，人类在其中发挥关键作用[等人2018]。因此，不能保证即使标准化评估性能的大幅改进也会转化为现实世界中的预期结果（特别是在系统没有仔细考虑或持续评估的情况下）。例如，研究表明，法官可能会在解释风险评估系统的输出时重新强加种族偏见[奥尔布赖特2019]，或者以其他方式强加他们自己的偏见[史蒂文森和多莱克2021]。具有适当的生态效度的持续评估[de Vries等人2020]在这方面至关重要，但可能无法阻止没有充分证据的潜在危险或昂贵的系统[ 2017]。关于拒绝方法的研究正在进行中：个人选择不参与基础模型及其适应的衍生物的方法，无论是作为数据还是决策主题，而不受影响。

简而言之，算法决策的现有问题将在基础模型的功能中看到。在某种程度上，采用基础模型加速了从人类决策到机器决策的转变，基础模型强调了自动化的问题。虽然这些挑战没有明显的解决方案，但重要的是要质疑基础模式将如何影响有关其创造的权力部分对话；与公民社会组织、政策制定者和公民就这些系统的能力和局限性进行沟通；并努力在社会不同阶层之间就采用这种模式进行更广泛的对话。

Norms

公共政策和法律的正式管制（5.4：合法性）在为技术创新建立基础设施以及减轻广泛传播的技术的潜在有害影响方面发挥了重要作用。正如塔斯基吉梅毒实验与研究方案和IRB等机构之间数十年的差距所示，保护人类主体和利益攸关方的公共政策往往落后于公众意识和对他们的危害的证据[Grady 2015；斯塔克2012；卫生和福利部1979年]。因此，社会依赖专业规范来负责任的发展和部署，并建立最佳做法。

规范存在于推荐和要求之间的一个连续体上。作为一项新兴技术，负责任的基础模型开发和部署的规范尚未得到很好的建立[2019年的弯曲]。在接下来的内容中，我们将讨论已部署模型的规范，因为研究的模型有更广泛的自由度。

那些希望基础模型的开发者采用某些规范的人可能会以身作则，允许他们自己的行为和陈述来推荐该规范。正如在1.2：生态系统中所讨论的，我们相信大学和其他非营利机构在为基础模型建模规范方面发挥着重要作用。

作为教育机构，大学处于一种独特的地位，鼓励下一代理论家和实践者考虑本报告中提出的问题，并促进研究人员和学生之间的跨学科对话[ 2021]。大学和学院也可以通过审计现有的基础模型并公布他们的发现，建立伦理审查委员会[伯恩斯坦等人，2021年]，并发展他们自己的基础模型，为建立规范做出贡献。

要创建和采用规范，就需要在资金结构、模型存储库、发布实践、会议提交和拨款提案要求等方面进行制度化。129例如，拥抱脸的界面目前鼓励发布数据和模型卡，包括讨论偏见和社会影响。130由于它不是必需的，而且可能由于数据质量工作相对于其重要性被低估了[等人，2021]，因此很少被填写。偏见和社会影响包括在会议和某些形式的标准评价的伦理声明中（如4.4：评价中讨论），但在其他方面被一些研究人员视为可选的考虑。这必须改变。

对于一些具有社会意义的用例，我们建议建立法律标准，要求经过调整的衍生物能够可证明地表现出某些属性（5.4：合法性）。特别关注的领域应由民主决定，但可能包括分配和分配政府服务、医疗诊断和监测、雇用和贷款：在所有情况下，人们的机会甚至生命都取决于适应性衍生物的正常运作。

我们应该促进、制度化或要求什么规范？我们在这里推荐一些，但主要目的是鼓励就开发和使用基础模型的适当规范进行对话。之前的工作往往集中在提倡文档化的规范上[Gebru等人，2018年；本德和弗里德曼，2018年；米切尔等人，2019年；道奇等人，2019年]。因为在下游上下文中出现的许多负面的社会后果最初可能看起来是外在的或特定于一个用例（5.1：公平性），所以文档和透明度对于基础模型尤其重要。目前，那些适应了基础模型的人，记录了其适应的衍生物的偏差或其他负面特征，他们没有自动的机制来向基础模型的开发者报告他们的发现。在已适应的衍生工具中编写相关问题的多个报告可以允许模型开发团队发现跨多个用例的模型的内在属性。因为适应性衍生品的创建者通常代表的是与基础模型开发人员或提供者不同的实体，所以需要额外的报告结构和规范或法规来将这种类型的反馈提供给基础模型开发人员。这种反馈也可以提供给示范审计员的一般听众，从而使审计和寻求追索权更容易获得。

公众对规范、标准和创建报告机制的承诺也可以允许下游用户向基础模型提供者提交反馈。为了实现这一点，适应的衍生品应该一致地标记，允许受影响的各方跟踪问题到其来源。重大的技术和社会障碍可能会在实践中阻碍这种追踪，如隐私考虑和许多基础模型的专有性质，但如果没有标签，这将是不可能的。

模型开发人员和提供者为此类报告创建机制是很重要的。报告机制可以通过当前平台上的类似结构提供信息，比如对上的开源项目的问题跟踪。特别是，提交的问题应该是公开的，以便其他用户能够识别趋势，即使尚未进行改变，以便开发人员和提供商可以对未解决的问题负责。需要额外的机制来将趋势向上升级到基础模型提供者。Dinan等人在[2021]和4.6：数据中讨论了关于训练数据中跟踪问题的类似建议。

等人[2018]建议营养标签作为一个有用的模型，将标签作为消费者隐私的讨论[等人2009]。营养标签包括“生”成分的列表和加工食品的完整营养信息。也模型卡[米切尔et al. 2019]或营养标签适应衍生物可能包括“原材料”，如培训数据和基础模型使用，和完整的“营养内容”适应衍生物如已知能力、弱点，和偏见。

为了让数据主体和受影响方追踪对其来源的危害，报告整个管道是必要的。然而，没有能力属性的责任伤害适应导数，基础模型，或两者兼而有之，没有框架一旦伤害，即使一个成功的追踪伤害将不太可能导致模型的变化（参见5.1.4：公平追索权）。因此，需要进行重大的技术、政策和法律工作，以制定向其他专家并最终向公众交流数据、模型和衍生内容的框架；追究伤害的责任；并创造追索权的途径。

and

2019年2月，开始了一项实验。通过发布一个减少的124M参数GPT-2，没有数据集，他们希望争取时间：测试偏见的时间，准备误用的时间，以及社会适应大型语言模型存在的时间[等人，2019年]。8个月后，当发布完整的∼15亿参数版本时，测试暴露了一些但不是所有模型的功能和局限性。当考虑今天类似的问题时，释放的可能危害，主要围绕误用（5.2：误用），131必须与透明度的好处，没有闭门测试可以复制，即更广泛和独立的审计和访问。

审计审计员探讨了当前模型的局限性，并提出了修复它们的路径，并在各种自然环境中测试了模型的自适应的衍生物。审计的开放访问政策允许更多和多样的研究人员调查任何模型的偏差、限制和安全漏洞，更好地告知模型的可接受使用，并校准对它们的适当信任[Danks 2019；]。132为了支持基础模型的独立审计，模型开发人员或第三方中介可以为审计人员提供开放的API访问，包括梯度访问，并允许访问培训数据。

接受过行业专有数据培训的基础模型不太可能被发布，而那些接受过私人数据培训的基础模型（如在医学背景下）也不应该被发布。为了使专有模型从独立审计中获益，并使模型对象从审计过程所促使的改进中获益，我们建议在分阶段发布期间进行审计。虽然阶段发布可能不能说明所有可能的模型用例，但扩大未公开用例范围的一种方法是招募中立的第三方来决定哪些个人或组织应该在阶段发布程序中获得早期访问。当模型开发人员决定谁应该获得分阶段访问时，他们就会面临偏袒、选择性分发和操纵公众对其产品的看法的指控。一个中立的“阶段发布委员会”，即联邦审计员，可以为这些失败模式提供支持，并确保为广泛的审计人员和用户提供访问，以获取一系列学科专业知识和社会部门。分阶段发布委员会也可以减轻任何看法，即如果审计人员共享不满意的产出，就有可能失去早期访问模型的访问，因为他们可能处于标准的分阶段发布过程中。

访问和适应。在某种程度上，只要基础模型有社会效益，模型的发布就有可能进一步分发它们。BERT和M-BERT等大型语言模型能够跨语言迁移，当模型是开源的时，可能允许适应语言，否则可用的文本太少[Wu和 2019；Wang et al. 2020a]。鉴于目前商业提供商没有很好地提供语言的数量，这种好处就可能是巨大的。

发布不足以使访问基础模型民主化，因为计算能力的障碍仍然阻止许多人修改甚至加载基础模型，更不用说开发它们自己的模型了。然而，在上述每一点上，我们都看到了最近显著的技术改进。零冗余优化器（ZeRO）等内存技术允许研究人员在一个简单的设置上运行和训练非常大的模型[等人2020；拉吉汉达里等人2021]。蒸馏等技术可以释放更小、更易于处理的模型，从而恢复其父模型的大部分性能，同时更容易进行训练[Li等人，2020d]。如5.3：环境》中所述，开发能耗较低的训练方法，可以进一步扩展使用已发布模型的能力。如在4.5：系统中所讨论的那样，需要提高效率来训练更大的模型，如硬件和软件的共同设计，但也可以用来降低访问当前模型的价格。

相比之下，最强大的危害并显然不是由释放造成的。有能力进行大规模虚假信息、网络战或定向网络钓鱼的复杂或机构参与者，如果没有发布的话，也可能有能力创建类似的模式。尽管这些危害具有潜在的重大意义，但因此不应严重重视释放计算[等人，2019年；舍夫莱恩和达福，2020年]。需要权衡的危害是那些来自资源较少的参与者，他们将无法创建自己的基础模型，但可能会有动机产生垃圾邮件、滥用、虚假评论，或在测试中作弊。发布的好处是否超过了能够使用已发布的模型或API但不足以创建自己的模型的参与者所带来的潜在伤害？我们相信答案是肯定的。拥有开发基础模型所需的资源和联系的研究团队数量很少。即使是总体的，我们也不太可能足够多或多样化来想象所有可能的有益用例或所有可能照亮基础模型能力表面的探测器。

When not to build

强大技术的发展和部署不像重力，重力是一种作用于我们的外力。技术反映了人类所做出的一系列选择；人类的机构塑造了技术的前沿。因此，技术人员可以选择何时不构建、设计或部署基础模型[齐默尔曼2021]。这个决定不需要是二元的；相反，人们可以拒绝通过颠覆嵌入的价值观，挑战假设和塑造研究议程来从事默认的方式[辛普森2007]。技术文物，包括基础模型，在本质上是政治性的，所以关于它们的研究有一个社会政治背景，而不仅仅是一个技术背景。开发人员和研究人员应该认识到他们寻求解决哪些问题，例如，如何扩大基础模型，以及如何使其通过计算更容易获得；这些问题如何制定；以及他们的解决方案最终授权[ 2016；1980年赢家；帕西和巴罗卡斯2019年]。我们应该重视那些寻求使基础模型更可解释、可获得、可持续和公平的研究。

通过询问什么时候不建立一个基础模型或自适应的衍生物，我们不仅是在含蓄地询问“我们应该构建什么或不构建什么？”而且，“在什么条件下应该建立一个模型？”以及“管理建筑的标准和原则是什么？”第一个问题来自模型视图；以下问题来自生态系统的观点

邀请你考虑拒绝建造并不等于说，“什么都不做”。这是一种邀请，让我们可以就建造、设计和部署所需要的时间、财政资源、专业知识和能源使用情况做出慎重和明智的选择。最终，这是一个困难的、基于背景和价值观的道德问题。在某些情况下，自适应衍生物（以及更普遍的算法和机器学习）的应用是不合适的，因为社区影响了抗议，或者因为自适应衍生物天真地加剧了系统问题，这些问题可以通过公共政策、额外的资金或跨学科合作更好地解决。

贝尔蒙特报告，应用于弗洛里蒂等人[2018]，为这个问题提供了一个可能的框架。根据“慈善”原则[卫生和福利部1979年]，我们可以确定重新考虑建立适应性衍生物或研究途径可能造成弊大于利，甚至根本没有好处的案例。或者，也可能在某些情况下，自适应衍生工具更擅长优先执行效率、性能和泛化的指标[等人2020]，但个人、社区或组织可能选择优先考虑现有的解决方案，以突出其他价值观，如人际联系和可解释性[本杰明2016]。133在这样做时，他们行使自主权——正如贝尔蒙特报告的“尊重人”所解释的那样——认为这不是建立[卫生和福利部1979年]。

回答何时不建造的问题是个人责任，也是更广泛的专业责任。不由一个人、一个团队或一个公司来建造某物的决定，会招致回答：“但如果我们不建造这个，其他人就会建造，他们可能会做得更糟。”对两种模型结果的比较危害进行简单的实用主义权衡，忽略了完整性的重要性。非常重要的是，我们是建立坏模式的人，还是其他人是[威廉姆斯1973]。个人有理由不建造一些违背他们价值观的东西，或者他们不能认可自己的建造权利[科斯加德2009]。然而，这样创建的结构性环境是不同的。即使是一家公司决定建立一个道德可疑的模式的最有效版本，它们也为其他公司打开了考虑类似研究途径的大门；他们使不进行研究具有竞争不利地位[等人，2019]。什么时候不建立，那么既是一个集体问题，也是一个个人问题，要求社区遵守职业道德和责任准则。

在AI/ML社区中，与医疗领域等其他领域相比，这一基础设施还不发达。尽管计算机协会（ACM）等专业机构有道德声明，但行业和学术界都缺乏广泛使用和接受的专业誓言（例如希波克拉底誓言或工程师的义务）、参与部署和研究的监管机构（例如药物FDA）和伦理审查的官方协议（例如涉及人体研究的伦理委员会；[等，2021])。选择退出的能力可以在许多阶段被纳入到基础模型生态系统中，包括在数据生产、适应和部署阶段。随着标准转向收集越来越大范围的培训数据（4.6：数据），我们应该努力保持“对人的尊重”，[卫生和福利部，1979年]强调将隐私和同意作为数据生命周期的一部分。这将需要在数据管理方面的创新，以及对技术上和哲学上的更具体的理解——在线知情同意，记录和确保同意得到尊重的方式，以及隐私（见4.6：具体数据管理提案的数据；[Ohm 2014]）。尽管数据和基础模型在其应用程序中是多样化的，但数据参与者应该能够表明他们如何不希望使用他们的数据。选择退出同意模式有利于开发人员，因为它不要求他们为每个新的、意外的用例获得同意。那么重要的是，对于目前正在进行的申请，撤销同意的权利，但在最初获得同意时却没有。

在本节中，我们调查了随着广泛的基础模型的广泛采用而对社会造成的一些风险，如结果的同质化和权力的集中。基础模型的开发人员应采用有关基础模型的开发、审计和发布的规范，以解决这些风险，个人应能够拒绝成为数据或基础模型的决策主体而不受影响。

基础模型的生成能力和交互能力的许多含义在这里仍然没有被调查。例如，5.5：经济学讨论了创造性和设计工作的自动化对经济生产力的潜在收益。然而，由于其生成的性质，基础模型可能会取代许多人认为有意义和满足的工作，如平面设计和写作。我们希望，本报告的范围将有助于其他人追求这里未解决的伦理和社会问题。