lanarky

Lanarky是一个用于构建成熟的LLM（语言-语言-模型）应用程序的FastAPI框架。它提供了一个无偏见的框架，可以为Python用户构建和部署LLM应用程序。

Lanarky具有以下特点：

• 多模式令牌流
• 用于快速原型设计的Gradio插件
• 支持LangChain
• 多个LLM缓存策略

Lanarky利用FastAPI作为基础，确保使用它构建的应用程序已经准备好投入生产，并可以在任何云提供商上无缝部署。

使用pip可以从PyPI安装该库。你可以在https://lanarky.readthedocs.io/en/latest/找到完整的文档。

示例代码：

python
1from dotenv import load_dotenv
2