垂直领域大模型的定制化:理论基础与关键技术
作者:
作者单位:

1.深圳市大数据研究院, 深圳 518172;2.香港中文大学(深圳)理工学院, 深圳 518172;3.中国信息通信研究院, 北京 100191;4.中国移动通信集团终端有限公司, 北京 100033

作者简介:

通讯作者:

基金项目:

广东省基础与应用基础研究重大项目(2023B0303000001);国家自然科学基金面上项目(62371313);广东省基础与应用基础研究基金面上项目(2022A1515010109)。


Domain-Specific Foundation-Model Customization: Theoretical Foundation and Key Technology
Author:
Affiliation:

1.Shenzhen Research Institute of Big Data, Shenzhen 518172, China;2.School of Science and Engineering, the Chinese University of Hong Kong (Shenzhen), Shenzhen 518172, China;3.China Academy of Information and Communications Technology, Beijing 100191, China;4.China Mobile Group Device Co. Ltd., Beijing 100033, China

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    随着 ChatGPT 等基于大模型的产品展现出强大的通用性能,学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中,即进行垂直领域大模型的定制化。然而,现有的通用大模型可能无法完全适配特定领域数据的格式,或不足以捕捉该领域的独特需求。因此,本文旨在探讨垂直领域大模型定制化的方法论,包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础,以及几种可行的垂直领域大模型构建方法,期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。

    Abstract:

    As ChatGPT and other foundation-model-based products demonstrate powerful general performance, both academia and industry are actively exploring how to adapt these models to specific industries and application scenarios, a process known as the customization of domain-specific foundation models. However, the existing general-purpose foundation models may not fully accommodate the patterns of domain-specific data or fail to capture the unique needs of the field. Therefore, this paper aims to discuss the methodology for customizing domain-specific foundation models, including the definition and types of foundation models, the description of their general architecture, the theoretical foundations behind the effectiveness of foundation models, and several feasible methods for constructing domain-specific foundation models. By presenting this content, we hope to provide guidance and reference for researchers and practitioners in the customization of domain-specific foundation models.

    参考文献
    相似文献
    引证文献
引用本文

陈浩泷,陈罕之,韩凯峰,朱光旭,赵奕晨,杜滢.垂直领域大模型的定制化:理论基础与关键技术[J].数据采集与处理,2024,(3):524-546

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2024-04-09
  • 最后修改日期:2024-04-30
  • 录用日期:
  • 在线发布日期: 2024-06-14