百度称文心一言完全自主研发 并解读其背后技术原理

近日，百度CTO王海峰在《中国经济大讲堂》节目上表示，文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0，经过近4年研发和迭代，文心大模型已经形成了产业级知识增强大模型技术体系，包括自然语言处理、视觉、跨模态、生物计算、行业大模型，以及支撑大模型应用的工具平台，蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文，还有一些相关技术也已开源开放。

关于 “文心一言”名字由来，王海峰表示，“文”是语言文字，“心”是用心理解，“文心”指致力于理解和运用语言文字的自然语言理解模型，同时也呼应了《文心雕龙》，寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意，也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出，即可“一生二、二生三、三生万言”。

同时，王海峰以老师教学生为例，解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生，记住了很多知识，但需要老师来指导如何运用，而有监督精调就是老师在教学生，将提炼出来的知识要点、典型范例等教给模型，让它知道该如何符合人类规范、习惯和价值观，去执行相应动作，生成相应内容。

文心一言训练了奖励模型，为每次输出的结果打分并给到反馈，进行强化学习，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。

此外，文心一言还融合了不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。

王海峰最后表示，未来，文心一言这类大语言模型会成为一个通用的赋能平台，金融、能源、媒体、政务等各行各业，都可以基于文心一言实现智能化变革，提高效率，创造巨大的商业价值。

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。