MindSpore bert模型训练aicore利用率为0

说明：代码基本都是自己实现，没有参照码云仓bert模型实现，只有在前向梯度累加部分完全复用MindSpore官网代码，链接：https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/apply_gradient_accumulation.html。主要原因还是代码的问题，由于前向使用的是官网提供的梯度累加的代码，直接改为封

小乐快乐

394人浏览 · 2022-08-20 19:29:26

小乐快乐 · 2022-08-20 19:29:26 发布

MindSpore版本：1.2.0

cann：5.0.1.spc1.2

模型：bert

场景：使用两个形同bert模型对两个词语或短句进行相似度匹配

问题：模型跑起来以后aicore资源利用率为0，并且训练一个batch需要花60s以上的时间，如下图

主要原因还是代码的问题，由于前向使用的是官网提供的梯度累加的代码，直接改为封装好的api，model.train问题解决

技术共进，成长同行——讯飞AI开发者社区

更多推荐

解密 LLM 指令微调Instruction Tuning：让大模型更懂人话

在过去两年里，大语言模型（LLM, Large Language Models）已经成为人工智能领域最炙手可热的明星。从 ChatGPT 到 Claude，再到国内的各类对话模型，大家感受到的不仅仅是“机器会写作文了”，更是一种前所未有的自然交互体验。然而，你可能会好奇：这些模型是怎么从“预测下一个词”的语言预测机器，进化为能理解并执行复杂指令的对话助手的？这背后的关键环节之一，就是——指令微调（

讯飞AI开发者社区

准大学生AI技术学习路线：四年长期规划与资源指南

人工智能作为当今科技领域最炙手可热的方向，吸引了无数学生的兴趣。然而，许多AI专业学生在大一阶段都会感到“认知错位”：新闻中的大模型、机器人、无人驾驶令人兴奋，但实际学习内容却是高数、线代、C语言等基础课程，既枯燥又看不到与AI的直接联系。这种迷茫几乎是AI专业学生的必经之路，但制定清晰的长期规划能帮助你高效利用大学四年时间，从基础到前沿逐步深入。