澳洲谷歌泄密文件曝光：AI大战，谷歌没有护城河，OpenAI也没有（全文附后）（图）

在澳大利亚澳洲新闻



谁是AI大战的最终赢家？

或许既不是讨论最激烈的OpenAI，也不是微软、谷歌等科技巨头。开源AI未来或将占据制高点。

周四，据媒体半分析报道，谷歌研究人员在一份泄露的文件中承认，谷歌没有护城河，OpenAI 也没有，在与开源 AI 的竞争中将很难取得优势。

如文档中所述，开源模型比同类产品训练速度更快、可定制性更强、更私密且功能更强大。他们用 100 美元和 130 亿美元的参数做的事情是“Google 的 1000 万美元和 540 亿美元的参数做不到的”，而且只需要几周而不是几个月。

就用户而言，如果有免费、高质量且没有使用限制的替代品，谁还会为 Google 的产品付费？

以下是谷歌的泄密文件：

1）谷歌没有护城河，OpenAI也没有护城河

我们对OpenAI做了大量的考察和思考，谁会跨过下一个里程碑？下一步是什么？

但令人不安的事实是，我们没有能力赢得这场军备竞赛，OpenAI 也没有。在我们争吵的同时，第三派一直在悄悄窃取我们的工作。

我的意思是开源 AI，简而言之，他们正在夺走我们的市场份额。我们认为是“主要开放问题”的问题现已得到解决并正在影响用户。仅举几例：

手机上的 LLM：人们在 Pixel 6 上以 5 个代币/秒的速度运行基本模型。

可扩展的个人 AI：您可以在笔记本电脑上整夜微调您的个性化 AI 助手。

负责任的出版：这个问题不是“解决”，而是“避免”。整个网站充满了不受任何限制的艺术模型，文字也不甘落后。

Multimodality：目前的多模态ScienceQA SOTA在一小时内完成训练。

虽然我们的模型在质量上仍然略有优势，但差距正在以惊人的速度缩小。与同类产品相比，开源模型训练速度更快、可定制性更强、更私密且功能更强大。他们用 100 美元和 130 亿美元的参数做事，“Google 无法用 1000 万美元和 540 亿美元的参数做”，而且只需要几周而不是几个月。这对我们有深远的影响：

我们没有诀窍。我们最大的希望是向 Google 以外的其他人学习并与他们合作。优先实现3P融合。

当免费、不受限制的替代品质量相当时，人们不会为受限模型付费。我们应该在哪里考虑我们的附加值？

大模型正在压垮我们，从长远来看，最好的模型是那些可以快速迭代的模型。

2) 发生了什么？

3月初，Meta的大型语言模型LLaMA被泄露，开放source community 得到了第一个真正有能力的基础模型。它没有命令或对话调整，也没有 RLHF。尽管如此，社区还是立即明白了他们得到的东西的重要性。

随后，巨大的创新成果相继涌现，发展仅相隔数日。现在，不到一个月后，出现了指令调优、量化、质量改进、人工评估、多模态、RLHF 和许多其他相互关联的变体。

最重要的是，他们已经解决了缩放问题，以至于任何人都可以调整它。很多新点子都来自于普通人，门槛已经从一个大的研究机构降到了一个人、一个晚上和一台功能强大的笔记本电脑。

在很多方面，这对任何人来说都不足为奇。当前开源大型模型的复兴紧随其后的是对生成图像模型的热情。开源社区并没有忘记这些相似之处。许多人将此称为 LLM 的“稳定扩散”时刻。

通过低秩矩阵微调方法（LoRA），结合规模上的重大突破（如大型模型Chinchilla），公众可以以相对较低的成本参与；在这两种情况下，一个足够高的 A 质量模型都可以引发全球个人和机构的想法和迭代浪潮，很快就会超越大公司。

这些贡献在图像生成领域至关重要，并使 Stable Diffusion 走上了与 Dall-E 不同的道路。开放模式带来了 Dall-E 所没有的产品集成、营销、用户界面和创新。

效果是可以预见的：在文化影响方面，它迅速接管并变得比 OpenAI 的解决方案更加相互依赖。 LLM 是否会发生同样的事情还有待观察，但广泛的结构要素是相同的。

3) 我们错过了什么？

开源最近的成功创新直接解决了我们仍在努力解决的问题，更多地关注他们的工作可以帮助我们避免重蹈覆辙。

LoRA 是一种非常强大的技术，我们应该多加注意，LoRA 的工作原理是将模型更新表示为低秩分解，从而将更新矩阵的大小减小了数千倍。这使得 fine-模型的调整只需要一小部分成本和时间。能够在几个小时内在消费类硬件上个性化语言模型是一件大事，特别是对于那些涉及近实时整合新的和多样化的知识的人来说。这种技术尽管 LoRA 直接影响了我们一些最雄心勃勃的项目，但它在 Google 内部并未得到充分利用。

从头开始重新训练模型是一条艰难的道路，而 LoRA 如此有效，部分原因在于 - - 与其他形式的微调一样 - 是可堆叠的，可以应用指令调整等改进，然后随着其他贡献者增加对话、推理或工具使用而加以利用。虽然个别微调是低级的，但它们的总和不需要，允许模型的全级更新随着时间的推移而累积。

这意味着，随着新的和更好的数据集和任务可用，该模型可以以较低的成本保持更新，而无需支付完整的训练费用。

相比之下，从头开始训练大型模型不仅会失去预训练，还会失去任何先前的迭代改进。在开源世界中，这些改进很快就接管了，使得全面再培训的成本高得令人望而却步。

我们应该仔细考虑每个新应用程序或想法是否真的需要一个全新的模型。如果我们真的有重大的架构改进，那么我们应该投资于更积极的改进形式，尽可能多地保留上一代的功能。如果我们能在小模型上迭代得更快，那么从长远来看，大模型并没有多大优势。

LoRA 更新成本极低（约 100 美元）意味着几乎任何有想法的人都可以生成它们。不到一天的训练时间不足为奇，以这种速度，所有这些微调的累积效果很快就会克服初始模型大小的劣势。

数据质量的可扩展性在这些项目中比 size 更好地体现了，许多模型通过在小型、高质量的数据集上训练来节省时间。这显示了数据扩展法则的一些灵活性，并迅速成为谷歌以外的标准培训方式。这两种方法在谷歌中都没有占据主导地位，但幸运的是，这些高质量的数据集是开源的，可以免费获得。

4）直接与开源竞争是亏本买卖

如果没有使用限制，这一最新发展对我们的业务战略具有直接、重大的影响，免费、高质量的替代品，谁为谷歌的产品买单？

另外，我们不应该指望能够赶上，现代互联网在开源上运行是有原因的，开源有一些无法复制的优势。

我们更需要他们，保守我们的技术秘密总是不稳定的，谷歌的研究人员经常变动，所以我们可以假设他们知道我们所知道的一切，只要大道畅通，相关技术就会不断传播.

但在技术上保持竞争优势变得更加困难，世界各地的研究机构都在相互借鉴，以广度优先的方式探索解决方案空间，这远远不够超出我们的能力范围。我们可以在外部创新削弱其价值的同时努力守住我们的秘密，或者我们可以尝试相互学习。

本文不构成个人投资建议，也不代表平台观点。市场有风险，投资需谨慎。请您独立作出判断和决定。

澳洲中文论坛热点