(原标题:DLInfer助力沐曦股份曦云C500推理落地MinerU多模态场景,性能加速60%)
12月2日,据沐曦股份(688802.SH)官方消息,近期,上海AI实验室 DeepLink 团队推出的 DLInfer 通过支持 LMDeploy 主流模型推理,助力沐曦股份曦云 C500落地 MinerU 多模态数据生成场景,Graph 模式下实现性能加速60%。
据介绍,DLInfer 是一套专为国产硬件适配大模型推理框架的中间件解决方案,其核心功能在于通过标准化的融合算子接口,打通上层大模型推理框架与底层硬件厂商的异构计算能力。目前,DLInfer 已实现软硬适配工程中的有效解耦,支持包括 InternLM 系列、InternVL 系列、Qwen 系列、DeepSeek 系列在内的多款主流模型在多元硬件上的推理适配,支撑包括沐曦股份曦云 C500 在内的超 5 款主流硬件接入。
