一种硬件适配大模型的方法及装置、电子设备和存储介质pdf

 公司新闻     |      2025-04-10 12:53:02    |      小编

  本公开涉及一种硬件适配大模型的方法及装置、电子设备和存储介质,所述方法包括:对大模型提供平台提供的至少两个大模型进行算子抓取,得到目标算子库;接收目标硬件对所述目标算子库的接入请求;响应于所述接入请求,基于所述目标算子库,对所述目标硬件与每个大模型进行适配。本公开实施例可以为硬件方提供完整的大模型场景下的模型‑算子清单,以及可以快速实现目标硬件与每个大模型的适配。

  响应于所述接入请求,基于所述目标算子库,对所述目标硬件与每个大模型进行适配。

  2.根据权利要求1所述的方法,其特征在于,所述对大模型提供平台提供的至少两个大

  确定每个大模型对应的应用指数,其中,每个大模型对应的应用指数用于反映该大模

  根据所述算子抓取顺序,依次对每个大模型进行算子抓取,得到所述目标算子库。

  3.根据权利要求2所述的方法,其特征在于,所述确定每个大模型对应的应用指数,包

  针对任意一个大模型,确定所述大模型在所述大模型提供平台的模型操作数据,其中,

  所述模型操作数据包括模型关注量、模型下载量、模型收藏量、模型拉取量中的至少两种数

  4.根据权利要求2所述的方法,其特征在于,所述根据所述算子抓取顺序,依次对每个

  根据所述算子抓取顺序,依次运行每个大模型的模型训练程序,对每个大模型进行算

  5.根据权利要求4所述的方法,其特征在于,所述目标算子库中包括每个大模型对应的

  所述根据所述算子抓取顺序,依次运行每个大模型的模型训练程序,对每个大模型进

  针对任意一个大模型,获取所述算子抓取脚本在所述大模型的模型训练程序运行过程

  对所述大模型对应的初始算子列表进行去重处理,得到所述大模型对应的目标算子列

  对所述目标硬件与每个大模型进行适配验证,得到所述目标硬件与每个大模型的目标

  7.根据权利要求6所述的方法,其特征在于,所述对所述目标硬件与每个大模型进行适

  基于预设算子准出标准,对所述目标硬件与所述目标算子库中的每个算子进行适配验

  基于预设模型准出标准,对所述目标硬件与每个大模型进行适配验证,得到所述目标

  针对任意一个大模型,根据所述目标硬件与所述大模型中每个算子的算子适配结果,

  以及所述目标硬件与所述大模型的模型适配结果,确定所述目标硬件与所述大模型的目标

  接收目标用户发送的硬件选择请求,其中,所述目标用户为目标大模型使用用户,所述

  向所述目标用户返回所述目标硬件对所述目标大模型的目标适配结果,其中,所述目

  标硬件对所述目标大模型的目标适配结果用于供所述目标用户判断所述目标硬件是否符

  算子抓取模块,用于对大模型提供平台提供的至少两个大模型进行算子抓取,得到目

  适配模块,用于响应于所述接入请求,基于所述目标算子库,对所述目标硬件与每个大

  其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至8中任意

  11.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机

  [0001]本公开涉及计算机技术领域,尤其涉及一种硬件适配大模型的方法及装置、电子

  [0002]硬件在适配大模型训练推理场景时,需要完成包括算子、模型在内的适配工作。国

  际领先的硬件厂商‑英伟达,在其CUDA生态的自驱力下,能够快速有效适配成熟垂直训练场

  景的新需求、新场景的需求。但是,国产硬件还未能够拥有一个广泛、成熟并良性循环的生

  态系统。而且,国产各硬件的系统之间也存在底层技术的壁垒,硬件应用方需要对每一家厂

  商的硬件进行独立的适配,这使得国内市场无法广泛的使用国产芯片训练大模型,从而加

  大国内硬件应用于大模型场景的难度和门槛。因此,亟需一种硬件适配大模型的标准方法。

  [0003]本公开提出了一种硬件适配大模型的方法及装置、电子设备和存储介质的技术方

  [0004]根据本公开的一方面,提供了一种硬件适配大模型的方法,包括:对大模型提供平

  台提供的至少两个大模型进行算子抓取,得到目标算子库;接收目标硬件对所述目标算子

  库的接入请求;响应于所述接入请求,基于所述目标算子库,对所述目标硬件与每个大模型

  [0005]在一种可能的实现方式中,所述对大模型提供平台提供的至少两个大模型进行算

  子抓取,得到目标算子库,包括:确定每个大模型对应的应用指数,其中,每个大模型对应的

  应用指数用于反映该大模型的重要程度;根据每个大模型对应的应用指数,确定所述至少

  两个大模型的算子抓取顺序;根据所述算子抓取顺序,依次对每个大模型进行算子抓取,得

  [0006]在一种可能的实现方式中,所述确定每个大模型对应的应用指数,包括:针对任意

  一个大模型,确定所述大模型在所述大模型提供平台的模型操作数据,其中,所述模型操作

  数据包括模型关注量、模型下载量、模型收藏量、模型拉取量中的至少两种数据;对所述模

  [0007]在一种可能的实现方式中,所述根据所述算子抓取顺序,依次对每个大模型进行

  算子抓取,得到所述目标算子库,包括:基于算子抓取规则,生成算子抓取脚本;将所述算子

  抓取脚本植入每个大模型的模型训练程序;根据所述算子抓取顺序,依次运行每个大模型

  [0008]在一种可能的实现方式中,所述目标算子库中包括每个大模型对应的目标算子列

  表;所述根据所述算子抓取顺序,依次运行每个大模型的模型训练程序,对每个大模型进行

  算子抓取,得到所述目标算子库,包括:针对任意一个大模型,获取所述算子抓取脚本在所

  述大模型的模型训练程序运行过程中抓取到的算子,得到所述大模型对应的初始算子列

  表;对所述大模型对应的初始算子列表进行去重处理,得到所述大模型对应的目标算子列

  [0009]在一种可能的实现方式中,所述方法还包括:对所述目标硬件与每个大模型进行

  [0010]在一种可能的实现方式中,所述对所述目标硬件与每个大模型进行适配验证,得

  到所述目标硬件与每个大模型的目标适配结果,包括:基于预设算子准出标准,对所述目标

  硬件与所述目标算子库中的每个算子进行适配验证,得到所述目标硬件与每个算子的算子

  适配结果;基于预设模型准出标准,对所述目标硬件与每个大模型进行适配验证,得到所述

  目标硬件与每个大模型的模型适配结果;针对任意一个大模型,根据所述目标硬件与所述

  大模型中每个算子的算子适配结果,以及所述目标硬件与所述大模型的模型适配结果,确

  [0011]在一种可能的实现方式中,所述方法还包括:接收目标用户发送的硬件选择请求,

  其中,所述目标用户为目标大模型使用用户,所述目标大模型为所述至少两个大模型中的

  至少一个;向所述目标用户返回所述目标硬件对所述目标大模型的目标适配结果,其中,所

  述目标硬件对所述目标大模型的目标适配结果用于供所述目标用户判断所述目标硬件是

  [0012]根据本公开的一方面,提供了一种硬件适配大模型的装置,包括:算子抓取模块,

  用于对大模型提供平台提供的至少两个大模型进行算子抓取,得到目标算子库;接收模块,

  用于接收目标硬件对所述目标算子库的接入请求;适配模块,用于响应于所述接入请求,基

  [0013]根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执

  行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方

  [0014]根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序

  [0015]在本公开实施例中,对大模型提供平台提供的至少两个大模型进行算子抓取,得

  到目标算子库,从而可以为硬件方提供完整的大模型场景下的模型‑算子清单,进而,在接

  收到硬件方发送的目标硬件对目标算子库的接入请求后,响应于接入请求,基于目标算子

  [0016]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非

  限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将

  [0017]此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公

  [0018]图1示出根据本公开实施例的一种硬件适配大模型的方法的流程图。

  [0022]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同

  的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除

  [0023]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”

  [0024]本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关

  系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文

  中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、

  B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

  [0025]另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。

  本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于

  本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。

  代,更为底层的,离不开对计算芯片的强依赖和强需求。然而,中国市场中所应用的芯片款

  式,多被国际厂商英伟达(Nvidia,NV)的系列芯片占据。英伟达基于统计计算设备架构

  Architecture,CUDA)构建起了生态与技术的护城河,将硬件、

  软件、系统、算法库以及终端应用进行整合。通过整合底层图形处理器(Graphics

  Unit,CPU)三大硬件,使得从云端到终端不同的硬件平台,都支持统一的CUDA

  软件平台。而基于CUDA软件平台的可编程特性,使内部或第三方开发者可以不断开发并完

  善CUDA的软件堆栈,使得其生态不断形成正向循环,同时公司在各细分垂直领域落地全套

  [0027]国产芯片和NV相比,在软件平台生态上仍然有很大的差距,也因此在各领域落地

  时遇到很大阻力。在不考虑经济成本、只探究硬件能力的角度下,硬件自身的表现是影响其

  销售的因素之一;另一个相对重要的因素,则是硬件对消费者使用场景的支持。对于AI行业

  的硬件消费者来说,硬件需要支持业务中广泛的训练场景,保证训练质量;并且根据行业动

  态,能够及时更新软件栈堆或模型支持能力。国产硬件的软件平台基本都由自己独立开发,

  [0028]相较于NV拥有的CUDA生态使其能够快速完成新业务场景的支持,国产硬件暂时并

  没有一个能够推动其自主发展的“生态”。而且,对比国产硬件厂商和硬件消费者视角,后者

  选择硬件芯片时的款式多、可选范围大,前者在适配模型时的主动性需要更高。在当前市场

  环境来看,国产硬件厂商多数会将提升硬件自身表现排在首位,再按需推动应用场景的落

  地。而市场硬件消费者要使用一款硬件芯片,“能用起来”是关键。两个视角和对影响因素的

  [0029]本公开实施例提供了一种硬件适配大模型的方法,可以解决针对大模型垂直训练

  场景的硬件适配问题,为硬件支持大模型场景设置标准的适配流程和适配指引,以使得硬

  件接入大模型场景后,能够拥有符合大模型场景的基础能力;并且随着垂直训练领域的更

  新,硬件方也只需投入少量的适配资源,便可快速的应对大模型场景下对硬件的新要求。下

  [0030]图1示出根据本公开实施例的一种硬件适配大模型的方法的流程图。该方法可以

  动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal

  Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等,该方法可以通过处理器调

  用存储器中存储的计算机可读指令的方式来实现。或者,可通过服务器执行该方法。如图1

  [0031]在步骤S11中,对大模型提供平台提供的至少两个大模型进行算子抓取,得到目标

  [0032]大模型是指包含超大规模参数(通常在十亿个以上)的神经网络模型,这种模型在

  自然语言处理领域得到广泛应用。大模型具有以下显著特征:1)巨大的规模:大模型包含数

  十亿个参数,模型大小可以达到数百GB甚至更大,巨大的模型规模使它们拥有强大的表达

  能力和学习能力;2)强大的计算资源:训练大模型通常需要数百甚至上千个GPU,以及大量

  的时间,通常在几周到几个月;3)知识蒸馏:大模型的训练通常采用知识蒸馏技术,首先训

  练一个更大的教师模型,然后使用教师模型指导一个较小的学生模型训练;4)模型剪枝与

  压缩:为了减小大模型大小和降低推理成本,通常需要对模型进行剪枝、量化和压缩等处

  [0033]由于大模型场景下多为开源大模型,因此,这里的大模型提供平台可以是任意提

  供大模型的开源社区,例如,GitHub、GitLab、Gitee等,本公开对此不做具体限定。硬件方的

  硬件如果能够适配大模型提供平台提供的多个大模型,即可满足大多数大模型应用场景的

  [0034]大模型提供平台提供的大模型,可以是大模型场景下当前比较流行的所有大模

  型,大模型的具体类型和对应的具体垂直训练领域,可以根据实际情况灵活调整,本公开对

  [0035]对大模型提供平台提供的至少两个大模型进行算子抓取,得到目标算子库,从而

  可以为硬件方提供完整的大模型场景下的模型‑算子清单。具体进行算子抓取的大模型的

  个数可以根据实际情况灵活确定,例如,可以是大模型提供平台提供的所有大模型,或者是

  从大模型提供平台提供的所有大模型中根据需求选择的至少两个大模型,本公开对此不做

  [0036]后文会结合本公开可能的实现方式,对如何对大模型提供平台提供的至少两个大

  [0038]在步骤S13中,响应于接入请求,基于目标算子库,对目标硬件与每个大模型进行

  [0039]硬件方需要将自身提供的目标硬件接入大模型场景时,可以发送接入请求,以使

  得响应于接入请求,基于目标算子库,完成目标硬件与每个大模型的适配,从而实现目标硬

  [0040]基于目标算子库完成目标硬件与每个大模型的适配,即目标硬件驱动大模型的训

  [0041]这里的目标硬件可以是AI芯片,还可以是其他适配大模型的硬件,本公开对此不

  做具体限定。图2示出根据本公开实施例的目标硬件接入大模型的示意图。图2示出了大模

  型的训练框架到AI芯片驱动之间的结构层,图2中绿色模块即为目标硬件需要与目标算子

  [0042]在本公开实施例中,对大模型提供平台提供的至少两个大模型进行算子抓取,得

  到目标算子库,从而可以为硬件方提供完整的大模型场景下的模型‑算子清单,进而,在接

  收到硬件方发送的目标硬件对目标算子库的接入请求后,响应于接入请求,基于目标算子

  [0043]在一种可能的实现方式中,对大模型提供平台提供的至少两个大模型进行算子抓

  取,得到目标算子库,包括:确定每个大模型对应的应用指数,其中,每个大模型对应的应用

  指数用于反映该大模型的重要程度;根据每个大模型对应的应用指数,确定至少两个大模

  型的算子抓取顺序;根据算子抓取顺序,依次对每个大模型进行算子抓取,得到目标算子

  [0044]针对大模型平台提供的大模型,确定能够反映每个大模型的重要程度的应用指

  数,以使得可以根据每个大模型的重要程度,确定需要进行算子抓取的至少两个大模型的

  算子抓取顺序,进而对每个大模型按照算子抓取顺序依次进行算子抓取,从而有效规范化

  [0045]在一种可能的实现方式中,确定每个大模型对应的应用指数,包括:针对任意一个

  大模型,确定大模型在大模型提供平台的模型操作数据,其中,模型操作数据包括模型关注

  量、模型下载量、模型收藏量、模型拉取量中的至少两种数据;对模型操作数据进行加权求

  [0046]针对任意一个大模型,从大模型提供平台获取该大模型的模型关注量、模型下载

  量、模型收藏量、模型拉取量,并将模型关注量、模型下载量、模型收藏量、模型拉取量中的

  至少两种数据确定为模型操作数据,进而对模型操作数据进行加权求和,以使得可以从实

  际使用量和/或模型受关注程度来衡量该大模型的重要程度,得到该大模型对应的准确度

  较高的应用指数。具体从模型关注量、模型下载量、模型收藏量、模型拉取量中选择至少哪

  两种数据作为模型操作数据,可以根据实际需求灵活选择,本公开对此不做具体限定。

  [0047]在一示例中,针对一个大模型i,将大模型i对应的模型关注量、模型下载量、模型

  收藏量、模型拉取量均确定为大模型i对应的模型操作数据,进而,可以通过下述公式(1)确

  [0049]其中,W为大模型i在大模型提供平台的模型关注量,模型关注量W对应的权重设

  置为0.1;F为大模型i在大模型提供平台的模型下载量,用于反映大模型领域对于大模型i

  的使用情况,F数值越高说明下载大模型i的模型代码、使用大模型i的开发者越多,模型下

  载量较为重要,因此,模型下载量F的权重也会更高,可以设置为0.5;S为大模型i在大模型

  提供平台的模型收藏量,通常用于反映开发者对于大模型i的关注程度,模型收藏量S的权

  重可以设置为0.2;PR为大模型i在大模型提供平台的模型拉取量,一般针对开发者修改模

  型代码、添加新功能等需要修改代码的操作,此数值会增加,模型拉取量PR的权重可以设

  置为0.2。模型关注量、模型下载量、模型收藏量、模型拉取量的具体数值可以从大模型提供

  平台获取,各个参数对应的权重可以根据实际情况灵活设置,本公开对此不做具体限定。

  [0050]在确定每个大模型对应的应用指数之后,可以根据应用指数由高到低对多个大模

  型进行排序,从而得到多个大模型对应的算子抓取顺序,并基于该算子抓取顺序,依次对每

  [0051]在一种可能的实现方式中,根据算子抓取顺序,依次对每个大模型进行算子抓取,

  得到目标算子库,包括:基于算子抓取规则,生成算子抓取脚本;将算子抓取脚本植入每个

  大模型的模型训练程序;根据算子抓取顺序,依次运行每个大模型的模型训练程序,对每个

  [0052]通过确定算子抓取脚本,以及将算子抓取脚本植入每个大模型的模型训练程序,

  从而使得后续根据算子抓取顺序,依次运行每个大模型的模型训练程序后,就可以有效基

  于算子抓取脚本对每个大模型运行过程中应用到的每个算子进行算子抓取,得到目标算子

  [0053]在一示例中,基于算子抓取规则编写算子抓取脚本的函数,生成算子抓取脚本。算

  子抓取脚本中的函数以算子接口、算子输入、模型中模块作为输入;函数会识别大模型训练

  进程中抓取到的算子,以算子名、算子输入、模型中模块作为依据,以实现去重处理,避免抓

  取到的算子重复;函数会将所抓取到的算子,存储在预设位置,例如,记录在csv(Comma‑

  [0054]在一种可能的实现方式中,目标算子库中包括每个大模型对应的目标算子列表;

  根据算子抓取顺序,依次运行每个大模型的模型训练程序,对每个大模型进行算子抓取,得

  到目标算子库,包括:针对任意一个大模型,获取算子抓取脚本在大模型的模型训练程序运

  行过程中抓取到的算子,得到大模型对应的初始算子列表;对大模型对应的初始算子列表

  [0055]安装算子抓取脚本,并将其安装路径加入PYTHONPATH环境变量,并将算子抓取脚

  本植入每个大模型的模型训练程序,以使得针对任意一个大模型,在运行该大模型的模型

  训练程序时,算子抓取脚本可以对该大模型运行过程中PYTHON层应用到的每个算子进行算

  子抓取,得到初始算子列表,进而进行去重处理后,得到该大模型对应的目标算子列表。每

  [0056]基于目标算子库,可以为硬件方提供完整的大模型场景下的模型‑算子清单,进而

  快速实现目标硬件与每个大模型的适配。硬件与每个大模型进行适配的具体过程,本公开

  [0057]在一示例中,可以按照预设周期对大模型提供平台提供的多个大模型进行算子抓

  取,从而实现定期更新和迭代目标算子库。预设周期的具体取值可以根据实际情况灵活设

  [0058]在一种可能的实现方式中,该方法还包括:对目标硬件与每个大模型进行适配验

  易倍体育官网登录入口 Emc易倍平台

  [0059]在目标硬件与每个大模型进行适配之后,还可以对目标硬件与每个大模型进行适

  配验证,得到目标硬件与每个大模型的目标适配结果,从而可以基于适配结果有效反映目

  [0060]在一种可能的实现方式中,对目标硬件与每个大模型进行适配验证,得到目标硬

  件与每个大模型的目标适配结果,包括:基于预设算子准出标准,对目标硬件与目标算子库

  中的每个算子进行适配验证,得到目标硬件与每个算子的算子适配结果;基于预设模型准

  出标准,对目标硬件与每个大模型进行适配验证,得到目标硬件与每个大模型的模型适配

  结果;针对任意一个大模型,根据目标硬件与大模型中每个算子的算子适配结果,以及目标

  [0061]对目标硬件与每个大模型进行适配验证,可以从算则层面和模型层面分别进行验

  证。基于预设算子准出标准,为每个算子提供测试用例,包括功能测试用例、性能测试用例,

  用于指示每个算子的算子准出,从而可以对目标硬件与目标算子库中的每个算子进行适配

  验证,得到算子适配结果。基于预设模型准出标准,为每个大模型提供标准的输入、输出,以

  及对应的性能、精度标准数值,用于验证适配后模型层面的性能表现,从而可以对目标硬件

  [0062]针对任意一个大模型,目标硬件与该大模型中每个算子的算子适配结果,以及目

  标硬件与该大模型的模型适配结果,共同得到目标硬件与该大模型的目标适配结果,用于

  [0063]在一种可能的实现方式中,该方法还包括:接收目标用户发送的硬件选择请求,其

  中,目标用户为目标大模型使用用户,目标大模型为至少两个大模型中的至少一个;向目标

  用户返回目标硬件对目标大模型的目标适配结果,其中,目标硬件对目标大模型的目标适

  [0064]由于目标硬件对大模型的目标适配结果可以反映目标硬件适配该大模型后对该

  大模型的性能支持能力,因此,针对目标大模型使用用户,即硬件需求方,可以基于不同硬

  件方提供的目标硬件对目标大模型的目标适配结果,判断哪个目标硬件符合选择需求,进

  [0065]基于目标硬件对大模型的目标适配结果,可以为硬件需求方提供直观的参考选择

  [0066]可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可

  以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理

  解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻

  [0067]此外,本公开还提供了硬件适配大模型的装置、电子设备、计算机可读存储介质、

  程序,上述均可用来实现本公开提供的任一种硬件适配大模型的方法,相应技术方案和描

  [0068]图3示出根据本公开实施例的一种硬件适配大模型的装置的框图。如图3所示,装

  [0069]算子抓取模块31,用于对大模型提供平台提供的至少两个大模型进行算子抓取,

  [0071]适配模块33,用于响应于接入请求,基于目标算子库,对目标硬件与每个大模型进

  [0073]确定每个大模型对应的应用指数,其中,每个大模型对应的应用指数用于反映该

  [0074]根据每个大模型对应的应用指数,确定至少两个大模型的算子抓取顺序;

  [0075]根据算子抓取顺序,依次对每个大模型进行算子抓取,得到目标算子库。

  [0077]针对任意一个大模型,确定该大模型在大模型提供平台的模型操作数据,其中,模

  型操作数据包括模型关注量、模型下载量、模型收藏量、模型拉取量中的至少两种数据;

  [0082]根据算子抓取顺序,依次运行每个大模型的模型训练程序,对每个大模型进行算

  [0083]在一种可能的实现方式中,目标算子库中包括每个大模型对应的目标算子列表;

  [0085]针对任意一个大模型,获取算子抓取脚本在该大模型的模型训练程序运行过程中

  [0086]对该大模型对应的初始算子列表进行去重处理,得到该大模型对应的目标算子列

  [0088]验证模块,用于对目标硬件与每个大模型进行适配验证,得到目标硬件与每个大

  [0090]基于预设算子准出标准,对目标硬件与目标算子库中的每个算子进行适配验证,

  [0091]基于预设模型准出标准,对目标硬件与每个大模型进行适配验证,得到目标硬件

  [0092]针对任意一个大模型,根据目标硬件与该大模型中每个算子的算子适配结果,以

  及目标硬件与该大模型的模型适配结果,确定目标硬件与该大模型的目标适配结果。

  [0093]在一种可能的实现方式中,接收模块32,用于接收目标用户发送的硬件选择请求,

  其中,目标用户为目标大模型使用用户,目标大模型为至少两个大模型中的至少一个;

  [0095]发送模块,用于向目标用户返回目标硬件对目标大模型的目标适配结果,其中,目

  标硬件对目标大模型的目标适配结果用于供目标用户判断目标硬件是否符合选择需求。

  [0096]该方法与计算机系统的内部结构存在特定技术关联,且能够解决如何提升硬件运

  算效率或执行效果的技术问题(包括减少数据存储量、减少数据传输量、提高硬件处理速度

  [0097]在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执

  行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这

  [0098]本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所

  述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非

  [0099]本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的

  存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。

  [0100]本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有

  计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处

  [0102]图4示出根据本公开实施例的一种电子设备的框图。参照图4,电子设备1900可以

  被提供为一服务器或终端设备。参照图4,电子设备1900包括处理组件1922,其进一步包括

  一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922

  的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的

  每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。

  [0103]电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源

  出接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如微软服务器

  多用户多进程的计算机操作系统(Unix),自由和开放原代码的类Unix操作系统

  [0104]在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算

  机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以

  [0105]本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机

  可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

  [0106]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形

  设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、

  电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具

  体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器

  (ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩

  盘只读存储器(CD‑ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储

  有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可

  读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波

  导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电

  [0107]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/

  处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外

  部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关

  计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计

  算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计

  [0108]用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、

  机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的

  任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如

  Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机

  可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独

  立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机

  或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包

  括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利

  用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令

  的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可

  编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方

  [0109]这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/

  或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/

  [0110]这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据

  处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据

  处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功

  能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指

  令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的

  计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中

  [0111]也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它

  设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产

  生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的

  [0112]附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程

  序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代

  表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用

  于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也

  可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执

  行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或

  流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动

  作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

  [0113]该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实

  施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机

  [0114]上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似

  [0115]本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并

  不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功

  [0116]若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息

  前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人

  信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时

  满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知

  已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同

  意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人

  信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授

  权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处

  [0117]以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也

  不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技

  术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨

  在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的

  2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问加。

  3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

  4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

  MCP-1重组蛋白在制备疟疾红内期全虫灭活疫苗免疫佐剂中的应用.pdf

  2025年江苏省高职单招职业技能考试试题及答案解析 完整版2025.pdf

  部编人教版七年级下册语文全册教学设计(配2025年春新版教材).docx

  武汉市2025届高中毕业生四月调研考试(四调)数学试卷(含答案).pdf

  2024至2030年中国船用低速柴油机行业发展预测及投资策略报告.docx

  原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者