和创科技申请一种多租户大模型推理服务架构及其运行方法专利，实现高效资源利用与低延迟服务

金融界2025年7月12日消息，国家知识产权局信息显示，和创（北京）科技股份有限公司申请一项名为“一种多租户大模型推理服务架构及其运行方法”的专利，公开号CN120295727A，申请日期为2025年03月。

专利摘要显示，本发明提供了一种多租户大模型推理服务架构及其运行方法，包括多级缓存模块，用于按优先级管理LoRA模型在显存、内存、磁盘及远程存储中的存储；路由注册模块，用于记录各服务器的模型缓存位置及负载状态；动态路由模块，用于根据租户标识和服务器状态分配请求；参数融合模块，用于将LoRA模型与基础模型叠加生成个性化推理模型。本发明通过多级缓存管理、动态路由策略和负载均衡机制，实现高效资源利用与低延迟服务。该架构支持租户个性化LoRA模型的按需加载与参数融合，显著提升多租户场景下的推理服务效率。

天眼查资料显示，和创（北京）科技股份有限公司，成立于2009年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本16016.8853万人民币。通过天眼查大数据分析，和创（北京）科技股份有限公司共对外投资了7家企业，参与招投标项目32次，财产线索方面有商标信息56条，专利信息41条，此外企业还拥有行政许可6个。

本文源自：金融界

作者：情报员