我想尝试不用 Ollama 加载推理一个模型,所以想试试看最新的 Gemma3,但是按照模型卡上的代码运行的时候,如下:

from transformers import AutoProcessor, Gemma3ForConditionalGeneration

出现了下述错误:

ImportError: cannot import name 'Gemma3ForConditionalGeneration' from 'transformers'

这个错误是因为pip安装的transformers发行版还没支持Gemma3ForConditionalGeneration,自然没有。

那么如何找到支持的版本呢?

我通过https://huggingface.co/google/gemma-3-27b-it/discussions/7了解到可以从 GitHub 版本安装更新。问题里给出的安装命令如下:

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3

这样必定是最新的。可以看帖子里给出的命令设置了一个分支,但是你也可以直接用main分支,没啥区别。

按理说到这里就应该结束了,但是众所周知,国内网络情况不是很好,那么如何安装呢?

首先你把 GitHub 上的仓库弄下来(你可以去 Gitee 之类的地方找镜像):

git clone git@github.com:huggingface/transformers.git

然后用这个本地仓库安装:

pip install -e transformers -U

一定要使用-U来进行更新安装,不然一些部件可能容易出现损坏,比如例子中的AutoProcessor会显示找不到。这种损坏了的话也是用-U就可以修复了。

希望能帮到有需要的人~

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐