申请试用
HOT
登录
注册
 
BigDL-LLM: Intel XPU上的大模型低比特加速库-陈依娜
BigDL-LLM: Intel XPU上的大模型低比特加速库-陈依娜

BigDL-LLM: Intel XPU上的大模型低比特加速库-陈依娜

示说网官方
/
发布于
/
132
人观看

陈依娜-Intel亚太研发有限公司 AI Frameworks Engineer


分享介绍:

     本讲座将介绍bigdl-llm,一个开源低比特大模型加速库,用于在英特尔XPU(包括CPU和GPU)上使用低比特优化(FP4/INT4/NF4/FP8/INT8)以极低的延迟运行和微调LLM(大语言模型)。它建立在各种技术(如llama.cpp、gptq、bitsandbytes、qlora 等)之上,并在英特尔CPU/GPU上进行了优化。有了bigdl-llm,用户就可以使用标准PyTorch API(如Hugging face Transformers和LangChain)在英特尔平台(笔记本、工作站、服务器和GPU)上构建和运行 LLM 应用程序;大量模型(如 LLaMA/LLaM2、ChatGLM2/ChatGLM3、Mistral、Falcon、MPT、Baichuan/Baichuan2、QWen、MOSS、Dolly/Dolly-v2、RedPajama、StarCoder、Whisper 等)已在bigdl-llm上得到验证和优化。

1点赞
0收藏
4下载
确认
3秒后跳转登录页面
去登陆