llamafactory webui报错httpx.RemoteProtocolError: Server disconnected without sending a response.
这也是因为llamafactory前端目前也只支持单卡训练或推理。指定模型做推理，前端访问。
·
使用了代理导致的
unset http_proxy
unset https_proxy
demo.launch(server_name=“0.0.0.0”, share=True, inbrowser=True)
ASCEND_RT_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=0 GRADIO_SERVER_PORT=8080 llamafactory-cli webui
指定模型做推理，前端访问
ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli webchat examples/inference/llama3.yaml
这也是因为llamafactory前端目前也只支持单卡训练或推理
技术共进，成长同行——讯飞AI开发者社区
更多推荐
1
0- 0
已为社区贡献6条内容
所有评论(0)