项目详情
深入了解 lanarky 的功能与特性
Lanarky是一个用于构建成熟的LLM（语言-语言-模型）应用程序的FastAPI框架。它提供了一个无偏见的框架，可以为Python用户构建和部署LLM应用程序。
Lanarky具有以下特点：
- 多模式令牌流
- 用于快速原型设计的Gradio插件
- 支持LangChain
- 多个LLM缓存策略
Lanarky利用FastAPI作为基础，确保使用它构建的应用程序已经准备好投入生产，并可以在任何云提供商上无缝部署。
使用pip可以从PyPI安装该库。你可以在https://lanarky.readthedocs.io/en/latest/找到完整的文档。
示例代码：
python
from dotenv import load_dotenv
from fastapi import FastAPI
from langchain import ConversationChain
from langchain.chat_models import ChatOpenAI
from lanarky import LangchainRouter
load_dotenv()
app = FastAPI()
langchain_router = LangchainRouter(
langchain_url="/chat",
langchain_object=ConversationChain(
llm=ChatOpenAI(temperature=0), verbose=True
),
streaming_mode=0
)
app.include_router(langchain_router)