mllm, qnn, x64
code:https://github.com/UbiquitousLearning/mllm

1. 问题

通过自定义qualcomm graph使用高通的htp后端进行llm推理，网络暂时只有mllm，和https://github.com/chraac/llama.cpp。qualcomm是支持x64模拟htp推理的，这样比较好debug，方便调试。但是mllm中是不支持的。因为他htp后端强制使用了libcdsprpc.so来申请内存，就是高通说的shared mem。但是这部分的问题是可以修复的，需要自己或作者出点工作量。后续的人有同样问题的可参考。

2. other

继续diss一下qualcomm不支持单op的算力调用。diss

Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

第71篇：AI+能源：智能电网、新能源预测与节能优化

摘要：本文系统性地深入探讨人工智能在能源领域的革命性应用。我们首先解析智能电网（Smart Grid）的核心机制——AI如何融合实时电力数据（发电、输电、配电、用电）、气象信息、用户行为，通过强化学习（Reinforcement Learning）与优化算法（如线性规划、混合整数规划），实现电力的动态调度、供需平衡、故障预测与自愈，构建更安全、高效、弹性的电力系统。

avatar 讯飞AI开发者社区

AIGC产业爆发人工智能生成内容的未来趋势与编程实践

服务网格支持：gRPC与Tornado的互通方案

avatar 讯飞AI开发者社区

基于PyTorch的农作物病虫害预测模型部署实战

随着农业科技的不断发展，利用人工智能和深度学习来提高农作物生产力已经成为一个重要方向。在众多应用中，农作物病虫害预测模型的部署无疑是农民和农业工作者最为关心的话题之一。随着环境的变化和气候异常的加剧，农作物病虫害的发生愈发复杂，因此，如何通过科学的方法预测并防治这些病虫害成为了提高农业产量、确保粮食安全的关键。本文将基于PyTorch框架，通过具体的实践案例，介绍如何搭建和部署一个农作物病虫害预测

avatar 讯飞AI开发者社区