返回精选
Hugging Face 社区博客2022-08-17 08:008 月 17 日

Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用

A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

AI 导读

Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。

来源:Hugging Face 社区博客 · huggingface.co

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。