llama-cpp-python web server cuda 编译安装简单说明

llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明参考构建命令命令登录后复制export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环境变量1.登录后...

凉爽的安迪

379人浏览 · 2024-09-04 03:15:59

凉爽的安迪 · 2024-09-04 03:15:59 发布

llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明

参考构建命令

命令

export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环境变量

CUDACXX=/usr/local/cuda-12.5/bin/nvcc CMAKE_ARGS="-DLLAMA_CUDA=on -DLLAMA_CUBLAS=on  -DLLAVA_BUILD=OFF -DCUDA_DOCKER_ARCH=compute_6"  make  GGML_CUDA=1

可能的问题

比如cuda 编译的DCUDA_DOCKER_ARCH变量
核心就是配置

Makefile:950: *** I ERROR: For CUDA versions < 11.7 a target CUDA architecture must be explicitly provided via environment variable CUDA_DOCKER_ARCH, e.g. by running "export CUDA_DOCKER_ARCH=compute_XX" on Unix-like systems, where XX is the minimum compute capability that the code needs to run on. A list with compute capabilities can be found here: https://developer.nvidia.com/cuda-gpus .  Sto

说明

以上核心是关于cuda 编译参数的配置，如果有其他问题，可以参考以下链接

参考资料

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md
https://llmops-handbook.distantmagic.com/deployments/llama.cpp/aws-ec2-cuda.html
https://github.com/jetsonhacks/buildLibrealsense2TX/issues/13
https://stackoverflow.com/questions/72278881/no-cmake-cuda-compiler-could-be-found-when-installing-pytorch

原创作者: rongfengliang 转载于: https://blog.51cto.com/rongfengliang/11908969

技术共进，成长同行——讯飞AI开发者社区

更多推荐

Python基本概述

Python是一门功能强大、易于学习的编程语言，广泛应用于数据科学、Web开发、人工智能、机器学习等多个领域。随着技术的不断发展，Python的生态系统和社区也在不断壮大，使得它成为了全球最受欢迎的编程语言之一。无论你是编程新手，还是资深开发者，Python都能为你提供强大的支持。在未来的编程生涯中，掌握Python无疑是一个重要的技能。??

讯飞AI开发者社区

探索Java与Python在人工智能开发中的优势对比与应用场景

开发者的最佳选择最终应取决于项目的具体需求、团队的技术栈背景以及对性能、开发周期和长期维护的综合考量。当AI功能需要与现有的大型Java企业系统（如ERP、CRM或复杂的后端服务）进行深度集成时，使用Java开发AI模块可以避免跨语言调用带来的复杂性和性能损耗，保证系统架构的统一性和可维护性。对于需要7x24小时稳定运行的大规模、高性能AI应用系统，如大型推荐系统、实时反欺诈引擎或高频交易系统中的

讯飞AI开发者社区

开发具有跨领域知识迁移能力的AI Agent

在当今数字化时代，人工智能技术飞速发展，AI Agent在各个领域都发挥着重要作用。然而，现有的AI Agent往往只能在特定领域表现出色，缺乏跨领域知识迁移的能力。开发具有跨领域知识迁移能力的AI Agent的目的在于打破领域之间的界限，使AI Agent能够将在一个领域学到的知识和技能应用到其他领域，从而提高其通用性和适应性。