国内访问huggingface下载模型通常会出现网络原因而失败,这里提供2种有效的解决方法:

方法1: 利用代理

设置以下环境变量:前提是你有可以访问外网的代理

os.environ['https_proxy'] = 'http://127.0.0.1:10809'
os.environ['http_proxy'] = 'http://127.0.0.1:10809'
os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'

方法2:使用国内镜像

第二种方法是使用国内镜像站: https://hf-mirror.com 但是可能模型不全。

完整代码:

import os
from langchain.embeddings import HuggingFaceBgeEmbeddings
import numpy as np

## 直接下载huggingFace模型尽可能存在网络问题, 解决办法之一是添加代理, 前提是你有可以访问外网的代理
# os.environ['https_proxy'] = 'http://127.0.0.1:10809'
# os.environ['http_proxy'] = 'http://127.0.0.1:10809'
# os.environ['all_proxy'] = 'socks5://127.0.0.1:10809'

##更方便的解决办法是使用huggingface的国内镜像
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
bge_embeddings = HuggingFaceBgeEmbeddings(model_name="BAAI/bge-large-zh-v1.5")

或者 export HF_ENDPOINT=https://hf-mirror.com

推荐https://github.com/leo038/langchain-rag这个项目是我用langchain实现的RAG项目, 并且对RAG中涉及到的技术点进行了详细的代码讲解。

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐