RouteLLM: 开源 LLM 路由框架
的一个 LLM 路由框架，它通过分析不同模型的性能和成本将任务分配给合适的模型，能够在保持高质量的同时显著降低成本。例如一些简单问题就调用 Llama2 来处理，对于有难度的问题才去调用 GPT-4o 来处理，可以有效的降低成本。是 LMSYS 基于其大模型竞技场（Chatbot Arena）数据。
·
是 LMSYS 基于其大模型竞技场（Chatbot Arena）数据开源 的一个 LLM 路由框架，它通过分析不同模型的性能和成本将任务分配给合适的模型，能够在保持高质量的同时显著降低成本。
例如一些简单问题就调用 Llama2 来处理，对于有难度的问题才去调用 GPT-4o 来处理，可以有效的降低成本。
技术共进，成长同行——讯飞AI开发者社区
更多推荐
1
0- 0
已为社区贡献44条内容
所有评论(0)