由ChatGPT引爆的AI热潮也“烧”了金融圈，彭博发布了面向金融界的大规模语言模型（LLM）——BloombergGPT。
3月30日，根据彭博社发布的最新报告，其构建了迄今为止最大的领域特定数据集，并训练了LLM，开发了语言模型具有 500 亿个参数 - BloombergGPT。
报告显示，该模型依托来自彭博社的大量金融数据源构建了3630亿个标签的数据集，以支持金融领域的各项任务行业。该模型在金融任务上的性能远超现有模型，在一般场景上的性能也可以与现有模型一较高下。
一般来说，在NLP领域，参数的数量和复杂度是正相关的。 GPT-3.5模型有2000亿个参数，GPT-3的参数个数为1750亿。
关于 BloombergGPT
报道称，研究人员利用彭博现有数据创建、收集和整理资源，通过构建迄今为止最大的领域特定数据集完成了BloombergGPT，并进行了基于一般和金融业务场景的混合模型训练：
Bloomberg 主要是一家金融数据公司。数据分析师在公司成立四十年里收集了大量的财务文件，拥有海量的财务数据档案。涵盖一系列主题。我们将这些数据添加到公共数据集中，以创建一个拥有超过 7000 亿个标签的大型训练语料库。
使用这个训练语料库的一部分，我们训练了一个基于 Hoffmann 和 Le Scao 等人的 Bloomberg 风格的 500 亿参数模型。人性化设计，基于通用和金融业务场景的混合模型训练。
结果表明，我们的混合训练方法使我们的模型在金融任务上的表现大大优于现有模型，而在一般场景上的表现与现有模型相当甚至更好比现有模型。
1.BloombergGPT优势：特定领域模型仍然不可替代，Bloomberg数据源可靠
Bloomberg在论文中指出，现阶段通用的自然语言处理模型可以覆盖很多领域，但是针对特定领域的模型仍然不可替代，因为Bloomberg的大部分应用都在金融领域，开始为具有特殊优势的金融领域建立模型，同时可以在一般LLM基准测试中保持竞争力：
除了建立LLM在在金融领域，本文的经验也为其他研究领域的专门模型提供了参考。我们的方法是在特定领域和通用数据源上训练 LLM，以开发在特定领域和通用基准测试中表现良好的模型。此外，我们的训练数据不同于传统的网络爬虫数据。网上的数据总是有重复和错误，但我们的数据来源是可靠的。
2.BloombergGPT训练数据集：
BloombergGPT的训练数据库名为FINPILE，由一系列英文金融信息组成，包括新闻、文件、新闻稿、从网络上抓取的金融文件，以及提取的社交媒体消息。
为了提高数据质量，FINPILE 数据集还使用了公共数据集，例如 The Pile、C4 和 Wikipedia。 FINPILE 的训练数据集大约有一半是特定领域的文本，一半是通用文本。为了提高数据质量，对每个数据集进行了重复数据删除。
对金融领域的理解更准确
报告指出在金融领域的自然语言处理在通用模型中也很常见，然而，对于金融领域，这些任务提出了挑战：
以情绪分析为例，一篇题为《一家公司将裁员10000人》的文章表达了一般意义上的负面情绪，但在金融情绪方面，有时可能被认为是正面的，因为它可能会导致公司股价或投资者信心增加。
报道指出，从测试来看，BloombergGPT五项任务中有四项（ConvFinQA、FiQA SA、FPB 和 Headline）表现最好，在 NER（命名实体识别）中排名第二。因此，BloombergGPT 有其优势。
测试1：ConvFinQA数据集是金融领域的问答数据集，包括从新闻文章中提取的问题和答案，旨在测试模型对相关问题的理解和推理能力
测试 2：FiQA SA，第二个情感分析任务，测试英文财经新闻和社交媒体标题中的情感方向。
测试三：标题，数据集包含黄金商品领域的英文新闻标题，并标注了不同的子集。任务是判断新闻标题是否包含特定信息，如价格上涨或价格下跌等。
测试四：FPB，Financial Phrasebase 数据集包括来自金融新闻的句子情感分类任务。
测试五：NER，命名实体识别任务，用于对从提交给 SEC 的金融协议收集的金融数据进行信用风险评估.对于 ConvFinQA 来说，这个差距尤为显着，因为它需要使用对话式输入来推理表格并生成答案。
< img src="/uploads/allimg/230331/1IJ42521-8.jpg" alt="Image" />
ChatGPT 喜欢 Bloomberg
华尔街日报就此问题专门询问了 ChatGPT，ChatGPT 认为 BloombergGPT 是一项非常有意义的技术进步:
是专门为金融领域开发的语言模型，能够更好的处理金融领域的数据和任务，在金融领域的benchmark测试中表现良好金融领域。
这将有助于金融从业者更好地理解和应用自然语言处理技术，促进金融科技的发展。同时，BloombergGPT也可以为其他领域的语言模型开发提供借鉴和参考。
总的来说，BloombergGPT 是一项有益的技术创新。
澳洲中文论坛热点
- 悉尼部份城铁将封闭一年，华人区受影响！只能乘巴士（组图）
- 据《逐日电讯报》报导，从明年年中开始，因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
- 联邦政客们具有多少房产？
- 据本月早些时分报导，绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联
