中国电信 AI 研究院完成首个全国产化万卡万参大模型训练

热点资讯3个月前发布 时间煮雨
476 00
中国电信 AI 研究院完成首个全国产化万卡万参大模型训练

中国电信AI 研究院完成首个全国产化万卡万参大模型训练,TeleChat2-115B 对外开源”。以下是该新闻的主要内容:

  • 中国电信人工智能研究院(TeleAI)成功完成了国内首个基于全国产化万卡集群训练的万亿参数大模型,并对外开源了基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。
  • 这项成果标志着国产大模型训练实现了全国产化替代,进入自主创新、安全可控的新阶段。
  • TeleChat2-115B 在天翼云“息壤一体化智算服务平台”和“星海 AI 平台”上训练完成,提升了模型训练效率和稳定性。
  • TeleAI 采用了大量小模型进行 Scaling,验证了不同模型结构的有效性,并在数据配比方面进行了优化。
  • 在后训练阶段,TeleAI 合成了大量问答数据用于模型训练,并采用迭代式更新策略提升答案质量。

此外,新闻还提供了 TeleChat2-115B 的开源地址:

如果您需要了解更多详细信息或有其他问题,请告诉我。

来源:IT之家【阅读原文】

© 版权声明
阿里云ECS “99套餐” 双11特惠 36元/年

相关文章

暂无评论

none
暂无评论...