目录

数据训练与自动化工作流

又一个坑出现

原因探究

先解决问题

思考总结


数据训练与自动化工作流

接着上次的说,使用Dify私有化部署ollama以后,一直在研究如何把私有化数据进行训练,能够在日常工作中做部分人工替代的工作。比如使用工作流的方式,来实现一些业务逻辑,最简单的工作流就是下面这个了,Dify只要你选择工作流,就很容易创建了。

而且,即使一开始选择的是聊天助手方式,也依然可以转换成工作流模式,这一点,Dify做的非常好。 

又一个坑出现

既然是探索,踩坑就是必然的。这次又碰到了一个坑。先看下图:

这次的探索很简单,就是给一段文字,让AI进行整理并分类总结。

只看运行输出的内容,你是不是认为输出的这个Jason格式正常,只是没有内容?

我也是这么认为的,但实际上,请看下图中的LLM的prompt设置,要求输出的格式并不是Jason。

原因探究

这到底是怎么回事呢?

为了找到原因,做了以下几个步骤:

1、重启ollama,但故障依旧;

2、使用LLM的自动生成功能重写prompt,没用,依然是输出为空;

3、 改变用户的输入内容,仍然没有输出;

先解决问题

百思不得其解的情况下,只好换千问模型试了一下,没想到竟然成功输出内容了。

 

思考总结

现在回想起来,感觉这个坑大概有两个原因:

1、llama3不支持Jason格式的输出,至始至终都没有任何输出结果;

2、猜想是服务器算力不够,没有GPU导致llama3罢工了。从一个现象可以猜想的出来,去掉了要求jason输出的要求,也依然没有输出;

不知道大家是否碰到过类似的问题,欢迎留言。

好在大模型有很多,这个不行,就换掉,不能在一个问题上浪费太多时间。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐