“中国电信AI 研究院完成首个全国产化万卡万参大模型训练,TeleChat2-115B 对外开源”。以下是该新闻的主要内容:
- 中国电信人工智能研究院(TeleAI)成功完成了国内首个基于全国产化万卡集群训练的万亿参数大模型,并对外开源了基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。
- 这项成果标志着国产大模型训练实现了全国产化替代,进入自主创新、安全可控的新阶段。
- TeleChat2-115B 在天翼云“息壤一体化智算服务平台”和“星海 AI 平台”上训练完成,提升了模型训练效率和稳定性。
- TeleAI 采用了大量小模型进行 Scaling,验证了不同模型结构的有效性,并在数据配比方面进行了优化。
- 在后训练阶段,TeleAI 合成了大量问答数据用于模型训练,并采用迭代式更新策略提升答案质量。
此外,新闻还提供了 TeleChat2-115B 的开源地址:
- GitHub: https://github.com/Tele-AI/TeleChat2
- Gitee: https://gitee.com/Tele-AI/tele-chat2
- ModelScope: https://modelscope.cn/models/TeleAI/TeleChat2-115B
- Modelers: https://modelers.cn/models/TeleAI/TeleChat2-115B
如果您需要了解更多详细信息或有其他问题,请告诉我。
来源:IT之家【阅读原文】
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...