澳洲大模型训练一次费用2-1200万美元! ChatGPT 燃烧了多少? (合影)

在澳大利亚澳洲新闻




随着以ChatGPT为代表的生成式AI的兴起,其背后基于大模型的人工智能成为行业投资方向。

所谓的“大模型”通常是在一个没有标签的大数据集上通过自监督学习来训练的。

在其他场景的应用中,开发者只需要对模型进行微调,或者使用少量数据进行二次训练,即可满足需求新的应用场景需要。

据腾讯研究院介绍,目前人工智能大多是针对特定场景应用进行训练,生成的模型很难迁移到其他应用,属于属于“小机型”范畴。

整个过程不仅需要大量的人工调参,还需要将大量的标注数据馈送给机器,减少了研究和人工智能的开发效率高,成本也比较高。高的。

相比之下,大模型的改进可以惠及所有下游小模型,大大提升人工智能的使用场景和研发效率。

同时在大模型的框架下,ChatGPT使用的GPT模型每一代的参数都有高速扩展,并且预训练的数据量要求和成本也在快速提升。

GPT-3 训练一次大约需要 140 万美元,一些更大的 LLM 模型需要 200 万到 1200 万美元。

这个成本对于全球科技巨头来说并不便宜,但还在可以接受的范围内。

图片/ p>

初期投资近十亿美元,每天电费数万美元

国盛证券预计,今年1月平均每天有1300万独立访问者使用ChatGPT,对应芯片需求超过3万颗Nvidia A100 GPU,初始投资成本约8亿美元,每天电费5万美元左右:

1)计算假设:NVIDIA A100:根据OneFlow报告目前,NVIDIA A100 是 AWS 性价比最高的 GPU 选择。

NVIDIA DGXA100服务器:单机搭载8块A100GPU,AI运算性能约5PetaFLOP/s,单机最大算力机器约6.5kw,价格约19.9万美元/台。

标准机柜:19英寸,42U。

单台DGXA100服务器的尺寸约为6U,一个标准机柜可放置7台左右的DGXA100服务器。

那么,单个标准机柜成本140万美元,56个A100GPU,计算性能35PetaFLOP/s,最大功率45.5kw。

图片

2)芯片需求:日咨询量:根据Similarweb数据,截至2023年1月末,chat.openai.com网站(即ChatGPT官网)在2023/1/27-2023/2/3这一周吸引了多达2500万的日访问量。

假设在当前稳定状态下,每个用户每天提问10个左右,每天咨询量约2.5亿次。

A100跑分:假设每道题平均30个词,单个词在A100GPU上消耗350ms左右,一共消耗729,167 A100GPU 每天运行小时数。

A100需求:对应的,需要729,167/24=30,382个Nvidia A100GPU每天同时计算才能满足当前的ChatGPT访问量。

3)运营成本:初始算力投入:基于上述NVIDIA DGXA100,需要30,382/8=3,798台服务器,对应3,798/7=542台内阁。

为满足ChatGPT目前数千万用户的咨询量,初期算力投入成本约为542*140=7.59亿美元。

每月电费:以用电量计算,542*45.5kw*24h=591,864kwh/天。参考 HashrateIndex 统计数据,我们假设美国的平均工业电价约为 0.08 美元/千瓦时。

那么,每天的电费约为 2,369,640*0.08=47,000 美元/天。

图片


Image

训练成本:公有云,单子-百万到数千万美元

国盛证券根据参数数量和代币数量估算,成本一次 GPT-3 培训的费用约为 140 万美元;对于一些较大的��LLM模型使用相同的计算公式,训练成本在200万美元到1200万美元之间:

1) 基于参数个数和token的数量,据OneFlow估计,GPT-3训练一次的成本约为139.8万美元:通常每个token的训练成本约为6N(推理成本约为2N),其中N为数量LLM的参数;假设在训练过程中,模型的FLOPS利用率为46.2%,与在TPUv4芯片上训练的PaLM模型(5400亿参数)一致。

图片

2)对于一些更大的LLM模型(比如2800亿参数的Gopher和5400亿参数的PaLM),使用同样的计算公式,可以得出培训成本在200万到1200万美元之间。

图片

国盛证券认为,在公有云上,对于谷歌这样的全球科技公司来说,数百万至数千万美元的培训成本并不便宜,但可以接受且不贵。


澳洲中文论坛热点
悉尼部份城铁将封闭一年,华人区受影响!只能乘巴士(组图)
据《逐日电讯报》报导,从明年年中开始,因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
联邦政客们具有多少房产?
据本月早些时分报导,绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联

中文新闻,澳洲经济,时事,华人论坛动态,悉尼本地消息,墨尔本,珀斯,布里斯班,澳洲新闻,澳大利亚华人网,澳洲华人论坛

澳洲新闻

突发:Westfield Marion 因持枪人员被封锁

澳大利亚正如标题所示,新闻内容将会更新 南澳大利亚警方敦促阿德莱德南部居民避开 Westfield Marion 购物中心,因为有报道称一名武装罪犯在逃。 当局在一份声明中表示,警方正在对下午 3:3 ...

澳洲新闻

“亲华”达顿是否从鹰派变成了鸽派?

澳大利亚在所有用来形容达顿的词语中,“亲华”不会排在首位。然而,在中国总理李强准备对澳大利亚进行高调访问之际,这位反对派领导人正是如此评价自己的。 但当被问及他是否像阿尔巴 ...

澳洲新闻

北群枪击案凶手瑞恩·科尔有藏毒前科

澳大利亚被指控的杀人犯瑞安·科尔在本周生日前的几个月里,一直在他昆士兰州北部家的前院翻新一艘旧渔船。 附近的居民经过他位于南麦凯罗布广场的家时向他挥手打招呼,并对他的修复工 ...

澳洲新闻

今天中午全国最冷的首都是悉尼

澳大利亚今天中午悉尼很冷,天气预报说这是全国最冷的首府城市。 Weatherzone 报告称,悉尼正午气温为 10.9 摄氏度。 新南威尔士州海岸正在下雨,悉尼部分地区的气温为 7.2 度。 中午墨尔本气温 ...

澳洲新闻

加拿大准备向澳大利亚出售核技术

澳大利亚加拿大创新部长弗朗索瓦·菲利普·商鹏飞告诉天空新闻,加拿大已准备好向澳大利亚出售核技术,作为一种安全、具有成本效益的电力来源。 加拿大于 20 世纪 60 年代开始安全运营核能 ...

澳洲新闻

南澳女子背部中弹,可能是意外

澳大利亚在阿德莱德以北,一名妇女背部中弹,被送往医院。 这起事件于昨天下午 4:30 发生在 Hornsdale。 警方表示,初步调查表明这可能是一起事故。 所有相关各方都互相认识,对公众不构成威 ...