当金融行业选择训推一体化架构建设大模型时,需要提前考虑那些方面的因素,通过那些方面进行可行性分析?
1、多样化算力,目前算力架构还比较“烟囱”,如果被某一个算力厂商绑死,存在潜在风险2、虚拟化,云化算力的好处不只是提供了云上管理的简单实现,也能为算力充分复用提供前提。3、训推一体,性能要以训为主,数量要以推为主,这种结构实际上是存在失衡错配的。可能需要通过虚拟化基础上的动态调度实现。4、训推过程不是一个一致性流水线,训练可能需要大量迭代,里面涉及到的核心是数据和检查点等,需要进行配套基础设施和管理机制的提前储备。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30