ollama 是一个用于在本地运行和管理大型语言模型(LLMs)的命令行工具。它支持多种模型,包括文本生成、嵌入模型等。以下是常用的 ollama 命令及其用法:


1. 基本命令

  • 查看版本:检查 ollama 的版本信息。

    ollama --version
  • 查看帮助:获取 ollama 的命令帮助信息。

    ollama --help

2. 模型管理

  • 拉取模型:从远程仓库下载模型到本地。

    ollama pull <模型名称>

    例如,下载 nomic-embed-text 模型:

    ollama pull nomic-embed-text:latest
  • 运行模型:启动并运行指定的模型。

    ollama run <模型名称>

    例如,运行 nomic-embed-text 模型:

    ollama run nomic-embed-text:latest
  • 列出本地模型:查看已下载到本地的模型列表。

    ollama list
  • 删除模型:从本地删除指定的模型。

    ollama rm <模型名称>

3. 模型交互

  • 文本生成:与模型进行交互式对话或生成文本。

    ollama run <模型名称>

    例如,运行 llama2 模型并输入文本:

    ollama run llama2
    > 你好,介绍一下你自己
  • 嵌入生成:使用嵌入模型生成文本的向量表示。

    curl http://localhost:11434/api/embed -d '{
      "model": "<模型名称>",
      "input": "<文本内容>"
    }'

    例如,使用 nomic-embed-text 生成嵌入向量:

    curl http://localhost:11434/api/embed -d '{
      "model": "nomic-embed-text:latest",
      "input": "这是一个测试文本"
    }'

4. 服务管理

  • 启动服务:启动 ollama 后台服务。

    ollama serve
  • 停止服务:停止 ollama 后台服务。

    ollama stop

5. 高级功能

  • 自定义模型:通过 Modelfile 创建自定义模型。

    ollama create <模型名称> -f <Modelfile路径>
  • 导出模型:将本地模型导出为文件。

    ollama export <模型名称> <导出路径>
  • 导入模型:从文件导入模型到本地。

    ollama import <导入路径>

6. 示例:完整流程

以下是一个完整的示例,展示如何使用 ollama 下载、运行和交互模型:

# 拉取模型
ollama pull llama2

# 运行模型
ollama run llama2

# 交互式对话
> 你好,能介绍一下你自己吗?

# 生成嵌入向量
curl http://localhost:11434/api/embed -d '{
  "model": "nomic-embed-text:latest",
  "input": "这是一个测试文本"
}'

总结

ollama 是一个功能强大的工具,支持模型的下载、运行、管理和交互。通过上述命令,您可以轻松在本地部署和使用各种大型语言模型。如果需要更详细的文档或示例,可以参考 Ollama 官方文档

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐