AMD 推出自家首款小语言 AI 模型“Llama-135m ”

“AMD 推出自家首款小语言 AI 模型‘Llama-135m ’，主打‘推测解码’能力可减少 RAM 占用”。文章内容主要介绍了AMD推出的一款新的小型语言AI模型：

1. 模型名称与特点：AMD-Llama-135m，这是AMD推出的首款“小语言模型”，具有推测解码功能。
2. 开源许可：该模型采用Apache 2.0开源许可。
3. 模型地址：文章提供了模型的访问链接。
4. 推测解码能力：模型的推测解码能力是通过使用小型草稿模型生成一组候选token，然后由更大的目标模型进行验证。这种方法可以在不影响性能的情况下，每次前向传递生成多个token，显著减少RAM占用，实现效率提升。
5. 训练过程：AMD表示，该模型在四个AMD Instinct MI250节点上训练了六天，而其“编程专用版本”AMD-Llama-135m-code则额外耗费了四天时间进行微调。

文章还包含了一些广告声明，提醒读者链接用于传递更多信息，结果仅供参考。