苹果携手英伟达，大幅提升大语言模型文本生成速度

苹果与英伟达合作，将其ReDrafter技术集成至英伟达TensorRT-LLM，大幅提升大语言模型(LLM)文本生成速度。ReDrafter现已集成于TensorRT-LLM，开发者可轻松利用其加速生产环境LLM应用。测试显示，在英伟达GPU上，该技术使文本生成速度提升高达2.7倍，降低延迟和功耗，显著改善用户体验。

9to5Mac | Apple

📮投稿 ☘️频道 🌸聊天