早期痛点

识别图片中的物体，早期可以使用Yolo
但是缺点也很明显：

• 训练时间长
• 成本高
• 泛华性能差
• 通用识别领域覆盖有限

优点：

• 特殊领域识别

大模型出现

大模型出现后，一些大模型对接了图片识别相关的模型，实现了图片识别，然后转换成文本再返回给大模型。

这样，基本实现了识别图片中存在的物体，但是仍然无法代替一般的Yolo应用，因为它无法提供物体在图片中的坐标信息。

因为图片模型“转换成文本再返回给大模型”，丢失了很多信息，无法完成这样的需求。

多模态大模型如何代替Yolo

主要逻辑是这样的：

• 建立坐标系
• 使用prompt规范模型输出

建立坐标系

• 先对图片进行预处理，在图片上覆盖一层浅白色的遮罩

• 然后用绿色的线条，将图片划分为网格，比如18x18

• 然后在网格的边缘添加红色的数字代表坐标

• 输出处理后的图片

使用prompt规范模型输出

• 要求模型输出json
• 要求识别图片中特定物体，然后输出其坐标系

有时间我会更新ipynb到文章

Deng-Xian-Sheng. (2024). 【多模态大模型】的正确打开方式——图片 [The correct way to open [multimodal large models] - pictures]. CSDN. https://blog.csdn.net/Deng_Xian_Sheng/article/details/141820139