本文基于触觉智能IDO-EVB3588开发板，运行大模型。效果抢先看！

视频使用的主板采用瑞芯微RK3588处理器，是全新一代AloT高端应用芯片，采用8nm LP制程，搭载八核64位CPU，四核Cortex-A76和四核Cortex-A55架构，主频高达2.4GHz。

• 6TOPS AI算力，三核架构，支持int4/int8/int16/FP16/BF16/TF32；

• 支持H.265/H.264/AV1/VP9/AVS2视频解码， 最高8K60FPS；

• 支持 H.264/H.265视频编码， 最高8K30FPS；

• 支持HDMI2.1输出，最高8K@60Hz；

• 支持HDMI2.0 输入， 最高4K60FPS；

• 支持多摄像头输入；

• 双通道LVDS，支持到1080P@60Hz 大屏幕 ；

• 多屏异显；

• 两路独立的千兆以太网口，支持WAN口+LAN口 双IP ；

• 5G/4G/WIFI/蓝牙无线通信；

• 板载4路USB3.0，2路全功能Type-C；

• 丰富的系统支持， Android 12，Ubuntu，鸿蒙OpenHarmony全面支持。

1、运行

在开发板上可以通过CPU直接部署运行模型，可以在终端中直接对话：

视频效果如下所示：

CPU调用情况:

同时，通过调整模型，可以在NPU上部署运行大模型，3588开发板的NPU拥有6T的算力，可以加速模型运行。

运行qwen1.8b模型占用情况如下

2、网页调用模型API

模型部署后可以暴露API供其他应用使用，例如Web网页调用API接口实现对话功能。

视频效果如下所示：