端侧最强开源 AI 模型 Llama 3.2 登场：可在手机运行，从 1B 纯文本到 90B 多模态，挑战 OpenAI 4o mini

这是一篇关于Meta公司发布的最新AI模型Llama 3.2的报道。以下是文章的主要内容：

1. 模型发布：Meta公司在9月25日发布了Llama 3.2 AI模型，这是一个开放和可定制的模型，旨在推动边缘人工智能和视觉的发展。

2. 模型特点：

   • 提供多模态视觉和轻量级模型。
   • 包含适合边缘和移动设备的中小型视觉LLMs（11B和90B）。
   • 包含轻量级纯文本模型（1B和3B）。
   • 提供预训练和指令微调（instruction-tuned）版本。

3. 模型版本：

   • Llama 3.2 90B Vision：适合企业级应用，擅长多种任务，包括图像理解和视觉推理。
   • Llama 3.2 11B Vision：适合内容创建、对话式AI、语言理解和视觉推理。
   • Llama 3.2 3B：适合需要低延迟推理的应用。
   • Llama 3.2 1B：最轻量级的模型，适合边缘设备和移动应用程序。

4. 技术优势：

   • Llama 3.2 1B和3B模型支持128K标记的上下文长度。
   • 这些模型在边缘设备上运行效率高，支持高通和联发科硬件，并针对Arm处理器优化。

5. 应用场景：

   • 图像标题、图像文本检索、视觉基础、视觉问题解答和视觉推理。
   • 文本摘要、情感分析、代码生成和执行指令。

6. 模型微调和部署：

   • 预训练模型和对齐模型都可以使用torchtune进行微调。
   • 使用torchchat进行本地部署。
   • 开发者可以使用Meta AI智能助手试用这些模型。

7. 合作伙伴和发行版：

   • Meta将分享首批Llama Stack官方发行版。
   • 与AWS、Databricks、Dell Technologies等合作伙伴合作，为下游企业客户构建Llama Stack发行版。
   • 设备分发通过PyTorch ExecuTorch，单节点分发通过Ollama。

8. 广告声明：

   • 文章包含对外跳转链接，用于传递更多信息，结果仅供参考。

Llama 3.2模型的发布，展示了Meta在大型语言模型方面的最新进展，为开发者提供了强大的工具，以实现更广泛的AI应用。如果您需要更多详细信息或有其他问题，请告诉我。