BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后，我们正式开源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源，覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练，经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。模型开源后所有开发者可以：
- 可以直接调用大模型进行对话
- 在我们训练的基础上使用自由语料库继续训练
- 对大模型进行微调训练以满足各种下游任务
©版权声明： 本网站（猫目，网址：https://maomu.com/ ）所有内容，包括但不限于文字、图片、图标、数据、产品描述、页面设计及代码，均受中华人民共和国著作权法及国际版权法律保护，归本站所有。未经书面授权，任何个人、组织或机构不得以任何形式复制、转载、修改、传播或用于商业用途。 对于任何侵犯本网站版权的行为，我们保留追究其法律责任的权利，包括但不限于要求停止侵权、赔偿损失及提起诉讼。
