明途科技申请硬件资源受限下的大模型轻量化推理部署方法专利为端侧AI工程化落地提供高效、通用的部署方案

 公司新闻     |      2026-04-10 10:28:42    |      小编

  国家知识产权局信息显示,成都明途科技有限公司申请一项名为“一种硬件资源受限下的大模型轻量化推理部署方法”的专利,公开号CN121745311A,申请日期为2025年12月。

  专利摘要显示,本发明提供一种硬件资源受限下的大模型轻量化推理部署方法,该方法通过“梯度敏感性+激活频次”复合指标量化大模型权重重要性,结合改进型指数加权移动平均策略执行剪枝操作,得到结构化稀疏模型;采用双规则对稀疏模型划分子网络并训练路由决策网络,构建自适应特征分流架构模型;通过嵌套量化技术生成多精度权重集合,动态调整量化位宽,适配边缘设备硬件参数完成推理环境初始化;接收推理请求后,基于训练完成的路由决策网络选定最优子网络,并行加载对应权重并融合输出推理结果;转换推理结果格式,并基于系统实时监控指标动态优化调度策略。本发明兼容主流大模型与硬件平台,为端侧AI工程化落地提供高效、通用的部署方案。

  天眼查资料显示,成都明途科技有限公司,成立于2014年,位于成都市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本3000万人民币。通过天眼查大数据分析,成都明途科技有限公司共对外投资了12家企业,参与招投标项目148次,财产线条,此外企业还拥有行政许可2个。

  声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

  易倍体育官方入口 易倍体育官网

  易倍体育官方入口 易倍体育官网