ChatGPT的爆发引爆了AI行业,全球科技巨头争相进入该领域展开混战。周五,Meta还宣布推出大规模语言模型LLaMA,加入由微软、谷歌等科技巨头主导的AI“军备竞赛”。
当地时间2月24日,Meta宣布将面向研究界推出“元人工智能大语言模型”系统(Large Language Model Meta AI) ,简称“美洲驼”。
与ChatGPT和New Bing不同,LLaMA不是任何人都可以对话的产品,也不与任何Meta应用程序连接。更准确地说,该产品将是一个开源“研究工具”。
公司首席执行官扎克伯格在社交媒体上表示,LLaMA 旨在帮助研究人员推进他们的研究工作。书面材料的答案、摘要以及更复杂的方面(例如自动证明数学定理和预测蛋白质结构)也大有可为。
开源“研究工具”
Meta 表示,LLaMA 在非商业许可下可供政府、社区和学术界的研究人员和工作人员使用,并且正在接受研究人员的申请。
此外,LLaMA 将提供底层代码供用户使用,因此用户可以自行调整模型并将其用于研究相关的用例。与之形成鲜明对比的是,谷歌的 DeepMind 和 OpenAI 并没有公开他们的训练代码。
该公司还表示,作为基础模型的 LLaMA 被设计成通用的,可以应用于许多不同的用例,而不是针对特定的应用进行微调具体任务模型。
< /p>
比GPT3.5性能更强
根据Meta官方网站介绍,LLaMA包含4个基本模型,参数分别为70亿、130亿、330亿和650亿。其中,LLaMA 65B和LLaMA 33B是在1.4万亿个token上训练的,最小的模型LLaMA 7B也是在1万亿个token上训练的。
Meta 表示,在大多数基准测试中,参数更小的 LLaMA-13B 的性能优于 GPT3.5 的前身 GPT3- 175B 和 LLaMA-65B 可以与业界最好的 Chinchilla-70B 和 PaLM-540B 竞争。值得一提的是,最近流行的ChatGPT是支持GPT3.5的。
Meta 还提到 LLaMA-13B 对计算能力的要求“低得多”,可以在单个数据中心级 GPU(Nvidia Tesla V100) 继续运行。
扎克伯格写道:
“Meta 致力于这种开放的研究模式,我们将把我们的新模型提供给AI研究界。”
值得一提的是,去年5月,Meta还推出了大型语言模型OPT-175B。该项目同样面向研究人员,构成了其聊天机器人 blenderbot 新迭代的基础。后来,该公司还发布了一款名为 Galactica 的模型,该模型因经常分享有偏见和不准确的信息而被撤下。
据媒体报道,扎克伯格已将人工智能作为公司内部的重中之重,他经常在财报电话会议和采访中谈到其对改进元产品的重要性。据有媒体分析,虽然LLaMA目前并未用于Meta产品,但不排除未来使用的可能。
澳洲中文论坛热点
- 悉尼部份城铁将封闭一年,华人区受影响!只能乘巴士(组图)
- 据《逐日电讯报》报导,从明年年中开始,因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
- 联邦政客们具有多少房产?
- 据本月早些时分报导,绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联