6月10日，OpenAI创始人Sam Altman以视频连线的形式现身于中国北京举办的2023致远人工智能大会。发表讲话。
奥特曼在演讲中援引《道德经》谈及大国合作，表示人工智能安全始于足下，各国之间必须进行合作与协调。
奥特曼随后接受了致远研究院董事长张宏江的一对一问答。
博士。张洪江现任北京致远人工智能研究院院长，同时兼任多家公司的独立董事和顾问。曾任金山集团执行董事兼CEO，金山云CEO。他是微软亚洲研究院的创始人之一。 ) 院长、微软“杰出科学家”。
在加入微软之前，张宏江是美国硅谷惠普实验室的经理；在此之前，他还曾在新加坡国立大学系统科学研究所工作。
奥特曼演讲核心内容：
当前人工智能革命之所以有如此大的影响，不仅在于其影响的规模，更在于其推进的速度.这既带来了红利，也带来了风险。
随着越来越强大的人工智能系统的出现，全球合作的重要性从未如此重要。在一些重大事件中，各国必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益的最重要领域之一。
对齐仍然是一个未解决的问题。 GPT-4 花了八个月的时间来完成对齐工作。但相关研究仍在升级中，主要分为两个方面：可扩展性和可解释性。
问答环节核心内容：
十年后，人类将拥有强大的人工智能系统（AI System）。
OpenAI 没有相关的开源新时间表。开源模式有优势，但开源未必是最好的路线（推动AI的发展）。
理解神经网络比理解人脑容易得多。
在某个时候，我会尝试制作一个 GPT-5 模型，但不会很快。不知道具体的GPT-5什么时候出现。
人工智能安全需要中国研究人员的参与和贡献。
注：“AI对齐”是AI控制问题中最重要的问题，即要求AI系统的目标与人类的价值观和利益对齐（一致).
随着越来越强大的人工智能系统的出现，全球合作的风险空前高涨。
如果我们不小心，旨在改善公共卫生结果的人工智能系统放错位置可能会提供毫无根据的建议，从而扰乱整个医疗保健系统。同样，旨在优化农业生产的人工智能系统可能会无意中耗尽自然资源或破坏生态系统，因为没有考虑影响粮食生产的长期可持续性，即环境平衡。
我希望我们都能同意，推进 AGI 安全是我们需要共同努力并找到共同点的最重要领域之一。
我声明的其余部分将集中在我们可以从哪里开始：1.第一个领域是 AGI 治理，AGI 从根本上成为改变我们文明的强大力量，强调有意义的国际合作和协调的必要性。每个人都可以从协作治理方法中受益。如果我们安全负责地走这条路，AgI 系统可以为全球经济创造无与伦比的经济繁荣，应对气候变化和全球健康安全等共同挑战，并提高社会福祉。
我也深信未来。我们需要投资于 AGI 安全，以到达我们想去的地方并在那里享受它。
为此，我们需要仔细协调。这是一项具有全球影响力的全球技术。鲁莽的开发和部署造成的事故成本将影响到我们所有人。
在国际合作中，我认为有两个关键领域是最重要的。
首先，我们需要建立国际规范和标准，并在过程中注重包容性。任何国家使用 AGI 系统都应平等一致地遵循此类国际标准和规范。在这些安全围栏内，我们相信人们有足够的机会做出自己的选择。
其次，我们需要国际合作，以可验证的方式建立对日益强大的人工智能系统安全开发的国际信任。我并不认为这是一项需要大量专注和持续关注的简单任务。
《道德经》告诉我们：千里之行，始于足下。我们认为，这方面最具建设性的第一步是与国际科技界合作。
需要强调的是，在推动技术进步的过程中，我们应该增加透明度和知识共享机制。谈到 AGI 安全时，发现新出现的安全问题的研究人员应该为了更大的利益分享他们的见解。
我们需要认真思考如何在尊重和保护知识产权的同时鼓励这一规范。如果我如果我们这样做，将为我们深化合作打开新的大门。
更广泛地说，我们应该投资于促进和指导人工智能一致性和安全性的研究。
在 Open AI，我们今天的研究重点是让 AI 在我们当前的系统中发挥有益和安全作用的技术问题。这也可能意味着我们训练 ChatGPT 的方式不会造成暴力威胁或协助用户进行有害活动。
但随着我们越来越接近 AGI 时代，未对齐的 AI 系统的潜在影响和影响规模将呈指数级增长。现在主动应对这些挑战可以最大限度地降低未来发生灾难性后果的风险。
对于当前系统，我们主要使用强化学习和人工反馈来训练我们的模型成为有用的安全助手。这只是各种训练后调整技术的一个例子。我们也在努力研究新技术，这需要大量艰苦的工程工作。
从 GPT4 预训练到部署，我们用了 8 个月的时间进行对齐。总的来说，我们认为我们在这里做得很好。 GPT4 比我们以前的任何模型都更符合人类。
但是，对于更先进的系统，对齐仍然是一个悬而未决的问题，我们认为这需要新的技术方法以及加强的治理和监督。
对于未来的AGI系统，它提出10万行二进制代码。人类监管者不太可能发现这样的模型是否在做坏事。因此，我们正在投资一些新的、互补的研究方向，我们希望这些方向会带来突破。
一个是可扩展的监管。我们可以尝试使用人工智能系统来协助人类监督其他人工智能系统。例如，我们可以训练一个模型来帮助人类监督发现其他模型输出中的缺陷。
其次是解释能力。我们想尝试更好地了解这些模型内部发生的事情。我们最近发表了一篇论文，使用 GPT-4 来解释 GPT-2 中的神经元。在另一篇论文中，我们使用 Model Internals 来检测模型何时说谎。我们还有很长的路要走。我们相信先进的机器学习技术可以进一步提高我们的解释能力。
最终，我们的目标是训练一个 AI 系统来帮助对齐研究。这种方法的美妙之处在于它可以随着 AI 开发的速度进行扩展。
在降低风险的同时获得 AGI 的非凡好处是我们这个时代的重大挑战之一。我们看到了中国、美国和世界各地的研究人员朝着同一个目标共同努力并努力解决 AGI 对齐带来的技术挑战的巨大潜力。
如果我们这样做，我相信我们将能够利用通用人工智能解决世界上最重要的问题，大大提高人类的生活质量。太感谢了。
以下是对话记录：
未来十年我们将拥有非常强大的AI系统
张志远研究院院长洪江提问：我们离通用人工智能（AGI）还有多远？风险是紧迫的，还是我们远离它？
Sam Altman：很难估计什么时候。未来十年，我们很可能会拥有非常强大的人工智能系统，新技术将从根本上改变世界的速度比我们想象的要快。在那个世界里，我认为把这件事（人工智能安全规则）做好是重要和紧迫的，这就是为什么我呼吁国际社会共同努力。
从某种意义上说，我们现在看到的新技术的加速和系统性影响是前所未有的。所以我认为这是关于为即将发生的事情做好准备并意识到安全问题。鉴于 AI 的庞大规模，其利害关系重大。
中国、美国等国家以及欧洲是人工智能创新的驱动力。在您看来，在AGI安全领域，不同国家在解决问题上有哪些优势？这个问题特别解决了 AI 安全问题。如何将这些优势结合起来？
全球合作为人工智能提出安全标准和框架
张宏江：您在前面的介绍中多次提到全球合作正在进行中。我们知道，世界过去曾面临相当大的危机。不知何故，对于他们中的许多人，我们设法建立了共识，建立了全球合作。你也在全球巡演，你想推动什么样的全球合作？
Sam Altman：是的，到目前为止我是对的。我对每个人的反应和回答都非常满意。我认为人们非常重视 AGI 的风险和机遇。
我认为安全讨论在过去 6 个月里取得了长足的进步。似乎真正致力于找出一种结构，使我们能够在全球范围内共同努力降低风险的同时享受这些好处。我认为我们非常适合这样做。全球合作总是困难重重，但我将其视为将世界团结在一起的机遇和威胁。如果我们能为这些系统提出框架和安全标准，那将非常有帮助。
如何解决人工智能的对齐问题
张宏江：您提到先进人工智能的对接是一个没有解决的问题。我也注意到OpenAI在过去几年里付出了很多努力。你提到 GPT-4 是目前对齐领域最好的例子。你认为我们仅仅通过微调（API）就能解决AGI的安全问题吗？还是比解决这个问题的方式更难？
Sam Altman：我认为对齐这个词有不同的理解方式。我认为我们需要解决的是整个人工智能系统中的挑战。传统意义上的对齐——使模型的行为与用户的意图相匹配当然是其中的一部分。
但是还会有其他问题，比如我们如何验证系统在做什么，我们希望它们做什么，我们如何调整系统的价值。最重要的是要了解 AGI 安全的整体情况。
没有技术解决方案，其他一切都很难。我认为专注于确保我们解决安全技术方面的问题非常重要。正如我提到的，弄清楚我们的价值观是什么不是技术问题。虽然需要技术投入，但却是一个值得全社会深入探讨的问题。我们必须设计公平、有代表性和包容性的制度。
张宏江：对于对齐，我们看到的GPT-4仍然是从技术角度的一种解决方案。但除了技术之外，还有许多其他因素，通常是系统性的。人工智能安全在这里也不例外。除了技术方面，还有哪些因素和问题？您认为这对 AI 安全至关重要吗？我们应该如何应对这些挑战？特别是因为我们大多数人都是科学家。我们应该做什么。
Sam Altman：这当然是一个非常复杂的问题。但如果没有技术解决方案，其他一切都很难。我认为专注于确保我们解决安全技术方面的问题非常重要。正如我提到的，弄清楚我们的价值观是什么不是技术问题。这需要技术投入，但也是值得全社会深入探讨的问题。我们必须设计公平、有代表性和包容性的制度。
而且，正如您所指出的，我们不仅需要考虑 AI 模型本身的安全性，还需要考虑整个系统的安全性。
因此，能够构建安全的分类器和检测器非常重要，这些分类器和检测器可以在监控 AI 的系统上运行，以符合使用策略。我认为很难提前预测任何技术会出现的所有问题。因此，从现实世界的使用中学习并迭代地部署它，看看当你真正创造现实并改进它时会发生什么。
同样重要的是要给人类和社会时间去学习和更新，并思考这些模型将如何以好的和坏的方式与他们的生活互动。
各国需要合作
张宏江：刚才您提到了全球合作。你一直在世界各地旅行。中国、美国和欧洲是人工智能创新的驱动力。在您看来，在AGI方面，不同国家在解决AGI问题，尤其是解决人类安全问题上有哪些优势？问题。如何将这些优势结合起来？
Sam Altman：我认为总体上需要很多不同的观点和 AI 安全。我们还没有所有的答案，这是一个相当困难和重要的问题。
此外，如前所述，让人工智能安全和有益并不是一个纯粹的技术问题。涉及了解不同国家在非常不同的背景下的用户偏好。我们需要很多不同的输入来实现这一点。中国拥有一些世界上最优秀的人工智能人才。从根本上说，我认为需要来自世界各地的最优秀人才来解决对齐高级人工智能系统的困难。所以我非常希望中国的人工智能研究人员能够在这里做出巨大的贡献。
需要一个非常不同的框架。�Making AGI Safer
张宏江：关于GPT-4和AI安全的后续问题。我们是否有可能需要改变整个基础设施或 AGI 模型的整个架构。使其更安全、更易于检查。
Sam Altman：我们确实需要一些非常不同的架构，无论是从功能的角度还是从安全的角度来看，这都是完全可能的。
我认为我们将能够取得一些进展，在解释我们各种模型的功能方面取得良好进展，并让他们更好地向我们解释他们在做什么以及为什么这样做。但是，是的，如果在 Transformer 之后有另一个巨大的飞跃，我不会感到惊讶。自最初的 Transformer 以来，我们已经改变了很多架构。
OpenAI开源的可能性
张宏江：我了解到今天的论坛是关于AI安全的，因为大家对OpenAI很好奇，所以我有很多关于OpenAI的问题，不仅仅是关于AI安全的问题。我有一个听众问题，OpenAI 是否有计划像 3.0 版之前那样重新开源其模型？我还认为开源有利于 AI 安全。
Sam Altman：我们的一些模型是开源的，一些不是，但随着时间的推移，我想你应该期待我们在未来继续开源更多的模型。我没有具体的模型或时间表，但这是我们现在正在讨论的事情。
张宏江：BAAI把所有的努力都开源了，包括模型和算法本身。我们相信我们有这种需要，分享和给予你认为是他们所控制的。你有没有类似的想法，或者你在 OpenAI 的同行或同事之间是否讨论过这些话题。
Sam Altman：是的，我认为开源在某种程度上确实发挥着重要作用。
最近也有很多新的开源模型。我认为 API 模型也有重要作用。它为我们提供了额外的安全控制。您可以阻止某些用途。您可以阻止某些类型的调整。如果某物不起作用，您可以将其取回。在当前模型的规模下，我并不太担心这一点。但是随着模型变得像我们期望的那样强大，如果我们是对的，我认为开源所有东西可能不是最好的途径，尽管有时它是对的。我认为我们只需要仔细平衡它。
我们以后会有更多的开源大模型，但是没有具体的模型和时间表。
AGI 的下一步是什么？我们会很快看到 GPT-5 吗？
张宏江：作为研究人员，我也很好奇，AGI研究下一步的方向是什么？在大型模型、大型语言模型方面，我们会很快看到 GPT-5 吗？体现模型的下一个前沿领域是什么？自主机器人是 OpenAI 正在或计划探索的领域吗？
Sam Altman：我也很好奇接下来会发生什么，做这项工作我最喜欢的事情之一就是在研究的前沿有很多兴奋和惊喜。我们还没有答案，所以我们正在探索许多可能的新范例。当然，在某个时候，我们会尝试做一个 GPT-5 模型，但不会很快。我们不知道确切的时间。从 OpenAI 成立之初，我们就一直在研究机器人技术，我们对此非常感兴趣，但我们遇到了一些困难。我希望有一天我们能回到这个领域。
张宏江：听起来不错。您在演讲中还提到了如何使用 GPT-4 来解释 GPT-2 的工作原理，使模型更加安全。这种方法是否可扩展？ OpenAI未来会继续往这个方向发展吗？
Sam Altman：我们会继续朝这个方向努力。
张宏江：您认为这种方法可以应用于生物神经元吗？因为我问这个问题的原因是有一些生物学家和神经科学家想用这种方法来研究和探索人类神经元在他们的领域中是如何工作的。
Sam Altman：与生物神经元相比，了解人工神经元上发生的事情要容易得多。所以我认为这种方法对人工神经网络是有效的。我认为有一种方法可以使用更强大的模型来帮助我们理解其他模型。但我不太确定你会如何将这种方法应用于人脑。
控制模型数量是否可行？
张宏江：好的，谢谢。既然谈到了AI安全和AGI控制，我们一直在讨论的一个问题是，如果世界上只有三种模型会不会更安全？这就像核控制，你不需要核武器�� 扩散。我们有这个条约，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是一个可行的方向吗？
Sam Altman：我认为世界上对于拥有少数模型还是多数模型更安全存在不同的看法。我认为更重要的是，我们是否有一个系统可以对任何强大的模型进行充分的安全测试？我们是否有一个框架，任何创建足够强大模型的人都有资源和责任来确保他们创建的东西是安全和一致的？
张宏江：在昨天的这个会议上，麻省理工未来生命研究所的Max教授提到了一个可能的方法，类似于我们控制药物研发的方式。当科学家或公司开发新药时，您不能直接将它们推向市场。你必须经历这个测试过程。这是我们可以借鉴的地方吗？
Sam Altman：我绝对认为我们可以从不同行业开发的许可和测试框架中学到很多东西。但我认为从根本上说，我们已经有了一些可以发挥作用的东西。
张宏江：非常感谢Sam。感谢您抽出时间参加这次会议，尽管是在线的。我敢肯定还有很多问题，但鉴于时间有限，我们必须到此为止。希望下次有机会来中国，来北京，我们可以有更深入的探讨。非常感谢。
澳洲中文论坛热点
- 悉尼部份城铁将封闭一年，华人区受影响！只能乘巴士（组图）
- 据《逐日电讯报》报导，从明年年中开始，因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
- 联邦政客们具有多少房产？
- 据本月早些时分报导，绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联