lanarkyThe web framework for building LLM microservices
lanarky基本信息
lanarky介绍
Lanarky是一个用于构建成熟的LLM（语言-语言-模型）应用程序的FastAPI框架。它提供了一个无偏见的框架，可以为Python用户构建和部署LLM应用程序。
Lanarky具有以下特点：
- 多模式令牌流
- 用于快速原型设计的Gradio插件
- 支持LangChain
- 多个LLM缓存策略
Lanarky利用FastAPI作为基础，确保使用它构建的应用程序已经准备好投入生产，并可以在任何云提供商上无缝部署。
使用pip可以从PyPI安装该库。你可以在https://lanarky.readthedocs.io/en/latest/找到完整的文档。
示例代码：
from dotenv import load_dotenv
from fastapi import FastAPI
from langchain import ConversationChain
from langchain.chat_models import ChatOpenAI
from lanarky import LangchainRouter
load_dotenv()
app = FastAPI()
langchain_router = LangchainRouter(
langchain_url="/chat",
langchain_object=ConversationChain(
llm=ChatOpenAI(temperature=0), verbose=True
),
streaming_mode=0
)
app.include_router(langchain_router)
Lanarky的路线图包括以下内容：
- 添加对LangChain的支持
- 添加Gradio用于快速原型设计
- 添加对内存、Redis和GPTCache LLM缓存的支持
- 添加对LlamaIndex的支持
- 添加对Guidance的支持
- 添加SQL数据库集成
- 添加对Rebuff的支持
如果你发现这个项目有用，请给它一个⭐。
你可以通过创建问题或提交拉取请求在GitHub上贡献代码。参与贡献的人可以在GitHub上找到。
Lanarky在MIT许可证下发布。如果你对与我们一起构建LLM应用程序感兴趣，欢迎通过Twitter @lanarky_io与我们联系。让我们连接起来，探索一起使用Lanarky创建令人惊奇的LLM应用程序的可能性！
lanarky相关项目
A programming framework for agentic AI 🤖
fabric is an open-source framework for augmenting humans using AI. It provides a modular framework for solving specific problems using a crowdsourced set of AI prompts that can be used anywhere.
Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
Chatbot for documentation, that allows you to chat with your data. Privately deployable, provides AI knowledge sharing and integrates knowledge into your AI workflow
No-code LLM Platform to launch APIs and ETL Pipelines to structure unstructured documents
:robot: The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement for OpenAI, running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. Features: Generate Text, Audio, Video, Images, Voice Cloning, Distributed, P2P inference
