langfuse 监控大模型

你可以用 Together.ai 提供的免费 API（支持 Llama2/Mistral）进行推理，并用 Langfuse 记录请求日志。

时空无限

557人浏览 · 2025-03-18 11:52:46

时空无限 · 2025-03-18 11:52:46 发布

前言

你可以用 Together.ai 提供的免费 API（支持 Llama2/Mistral）进行推理，并用 Langfuse 记录请求日志。

1.先申请 Together.ai 免费 API Key

打开 Together.ai 官网
注册账户
获取 API Key

2.langfuse 配置

首先注册账号。
添加组织
在这里插入图片描述
组织下添加项目

添加成员，然后点击下一步（next）

创建项目

创建成功后，会显示一些信息，记下这页的信息，下文会用到。

2. 配置环境变量

export LANGFUSE_SECRET_KEY="sk-lf-81b933f9-ec4c-4bb6-8786-95a651b7a5e5"
export LANGFUSE_PUBLIC_KEY="pk-lf-142eb99c-e809-4ffc-bdcf-527ed6c993d5"
#EU region
export LANGFUSE_HOST="https://langfuse.bj.office.openbayes.com"
export ANTHROPIC_API_KEY="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"
export TOGETHER_API_KEY="e3cd30fb798884e2ad0e49730f18f1790448a875de29a303d993fde33004e1eb"

3.安装依赖

pip install langfuse

4.代码：使用 Together.ai 并监控请求

import os
import requests
from langfuse.decorators import observe
import argparse

# 获取 API Key
TOGETHER_API_KEY = os.getenv("TOGETHER_API_KEY")
LANGFUSE_HOST = os.getenv("LANGFUSE_HOST")
LANGFUSE_PUBLIC_KEY = os.getenv("LANGFUSE_PUBLIC_KEY")
LANGFUSE_SECRET_KEY = os.getenv("LANGFUSE_SECRET_KEY")

# Langfuse 监控
@observe(as_type="generation")
def call_together_ai(prompt):
    url = "https://api.together.xyz/v1/chat/completions"
    headers = {
        "Authorization": f"Bearer {TOGETHER_API_KEY}",
        "Content-Type": "application/json"
    }
    data = {
        "model": "mistralai/Mistral-7B-Instruct-v0.1",  # 免费大模型
        "messages": [{"role": "user", "content": prompt}],
        "max_tokens": 10000
    }

    response = requests.post(url, headers=headers, json=data)

    # 监控 API 请求
    if response.status_code == 200:
        return response.json()["choices"][0]["message"]["content"]
    else:
        print("API 错误:", response.json())
        return None

@observe()
def main():
    parser = argparse.ArgumentParser(description="调用 Together AI API 并使用 Langfuse 监控")
    parser.add_argument("prompt", type=str, help="输入的文本提示")
    args = parser.parse_args()

    # 传递命令行参数到 Together AI
    response = call_together_ai(args.prompt)

    print("OpenAI Response:", response)
if __name__ == "__main__":
    main()

5.测试

python main6.py "详细讲解一下宇宙创世纪这本书"
OpenAI Response:  "The Universe in a Nutshell" 是由詹姆斯·霍金斯（James H. Page）和迈克尔·艾伦斯（Michael A. Turner）编写的一本科学书籍，旨在介绍宇宙的基本概念和现代物理学的发展。

本书的内容涵盖了宇宙的形成、物理学的基本原理、宇宙的结构和演变等领域。作者们采用易于理解的语言和图示来介绍这些概念，使读者能够了解宇宙的基本工作原理。

在第一部分中，作者们介绍了宇宙的形成，从大型的宇宙粒子到星球和星系的形成。他们还介绍了宇宙的早期演变，包括宇宙的膜膜和宇宙的膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜膜星系星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系星星系999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999

再试一次

python main6.py "详细讲解一下宇宙创世纪这本书"
OpenAI Response:  "The Universe in a Nutshell" 是由詹姆斯·霍金斯（James H. Page）和迈克尔·艾伯斯（Michael A. Turner）编写的一本科学书籍，旨在介绍宇宙的基本概念和现代物理学的发展。

本书的内容涵盖了宇宙的大规模结构、物理学的基本原理、宇宙的演变过程以及未来的发展趋势。作者们使用了易于理解的语言和图示来介绍这些概念，使读者能够了解宇宙的基本结构和工作原理。

在本书中，作者们介绍了宇宙的大规模结构，包括星球系统、星球群系统、星球群系统的分布、星球群系统的演变过程以及宇宙的大规模结构的未来发展趋势。作者们还介绍了宇宙的物理学的基本原理，包括物理常量、力、能量、力量和能量的转换、物质和能量的相互转换以及物理常量的变化。

作者们还介绍了宇宙的演变过程，包括宇宙的形成、宇宙的演变过程、宇宙的演变过程的未来发展趋势以及宇宙的演变过程的未来发展趋势的未来发展趋势。

最后，作者们介绍了宇宙的未来发展趋势，包括宇宙的未来发展趋势的未来发展趋势以及宇宙的未来发展趋势的未来发展趋势。

总的来说，"The Universe in a Nutshell" 是一本易于理解的科学书籍，旨在介绍宇宙的基本概念和现代物理学的发展。作者们使用了易于理解的语言和图示来介绍这些概念，使读者能够了解宇宙的基本结构和工作原理。