加速替代CUDA!摩尔线程开源vLLM
时间:2024-12-25 13:40:38 来源:积重难反网 作者:休闲 阅读:776次
11月5日消息,加速近日,替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示,加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台,线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架,支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等,替代可显著提高大语言模型(LLM)的线程推理性能。
目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。
同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址:
https://github.com/MooreThreads/vLLM_musa
(责任编辑:焦点)
最新内容
- ·众多网友称9年前买199元“恋爱险”兑付到账1万元:赚大发了
- ·欧冠百球射门效率排行榜:梅西第二,C罗垫底!
- ·CBS谈曼城问题:冬窗买人、激活福登、找到哈兰德以外的火力点
- ·琼斯:退役当天回家的路上我哭了,有三四个月不敢看比赛
- ·雷军:小米SU7的研发已经花了130亿
- ·2球2助攻+7关键传球!奥利塞10分获whoscored本周五大联赛最佳
- ·米兰的痛!23岁AC米兰旧将闪耀欧冠:一人独造5球,评分10分满分
- ·[流言板]乱成一团!八村垒抢投三分打铁,雷迪克替补席十分不满
- ·鲁媒:盖利近期难回归 克里斯逐渐融入球队成为核心外援
- ·欧冠历史进球排行:C罗141球领跑,梅西129球 莱万101球
热点内容
- ·2000w补一个副攻手推荐一下
- ·网友总结24家手机厂商“生死”现状:最后只活了6家
- ·目标拿1分?莱比锡欧冠5连败暂排倒数第四,11月至今0胜1平4负
- ·纳乔:对落选西班牙队大名单感到意外 德拉富恩特没有跟我聊过
- ·玩这个游戏这么久真的遇到太多令人作呕的人,要是听完觉得不舒服,那没错,说的就是你这种人
- ·快手电商废止退款不退货服务规则:商家可提前主动解约
- ·[流言板]稳定发挥!布克半场9投4中,三分6中2,得到17分2篮板4助攻
- ·6200万跑车即将启动!曼联祝贺约罗19岁生日🥳迫不及待见你归来
- ·蔚来智驾大调整:端到端计划冲刺明年一季度推出
- ·5轮17射进1球!莱奥本赛季已5次错失重大进球机会,是意甲最多