lanarky

Lanarky是一个用于构建成熟的LLM（语言-语言-模型）应用程序的FastAPI框架。它提供了一个无偏见的框架，可以为Python用户构建和部署LLM应用程序。

Lanarky具有以下特点：

• 多模式令牌流
• 用于快速原型设计的Gradio插件
• 支持LangChain
• 多个LLM缓存策略

Lanarky利用FastAPI作为基础，确保使用它构建的应用程序已经准备好投入生产，并可以在任何云提供商上无缝部署。

使用pip可以从PyPI安装该库。你可以在https://lanarky.readthedocs.io/en/latest/找到完整的文档。

示例代码：

python
1from dotenv import load_dotenv
2from fastapi import FastAPI
3from langchain import ConversationChain
4from langchain.chat_models import ChatOpenAI
5
6from lanarky import LangchainRouter
7
8load_dotenv()
9app = FastAPI()
10
11langchain_router = LangchainRouter(
12    langchain_url="/chat",
13    langchain_object=ConversationChain(
14        llm=ChatOpenAI(temperature=0), verbose=True
15    ),
16    streaming_mode=0
17  )
18app.include_router(langchain_router)

Lanarky的路线图包括以下内容：

• 添加对LangChain的支持
• 添加Gradio用于快速原型设计
• 添加对内存、Redis和GPTCache LLM缓存的支持
• 添加对LlamaIndex的支持
• 添加对Guidance的支持
• 添加SQL数据库集成
• 添加对Rebuff的支持

如果你发现这个项目有用，请给它一个⭐。

你可以通过创建问题或提交拉取请求在GitHub上贡献代码。参与贡献的人可以在GitHub上找到。

Lanarky在MIT许可证下发布。如果你对与我们一起构建LLM应用程序感兴趣，欢迎通过Twitter @lanarky_io与我们联系。让我们连接起来，探索一起使用Lanarky创建令人惊奇的LLM应用程序的可能性！