Scrapegraph-ai

python
1from scrapegraphai.graphs import SmartScraperGraph
2
3# 定义数据采集管道的配置
4graph_config = {
5    "llm": {
6        "api_key": "YOUR_OPENAI_API_KEY",
7        "model": "openai/gpt-4o-mini",
8    },
9    "verbose": True,
10    "headless": False,
11}
12
13# 创建 SmartScraperGraph 实例
14smart_scraper_graph = SmartScraperGraph(
15    prompt="提取网页上的有用信息，包括公司所做的事情的描述、创始人及社交媒体链接",
16    source="https://scrapegraphai.com/",
17    config=graph_config
18)
19
20# 运行管道
21result = smart_scraper_graph.run()
22
23import json
24print(json.dumps(result, indent=4))

python
1{
2    "description": "ScrapeGraphAI 将网站转换为干净、组织良好的数据，供 AI 代理和数据分析使用。它提供了一个由 AI 驱动的 API，用于轻松且高效地提取数据。",
3    "founders": [
4        {
5            "name": "Marco Perini",
6            "role": "创始人 & 技术负责人",
7            "linkedin": "https://www.linkedin.com/in/perinim/"
8        },
9        {
10            "name": "Marco Vinciguerra",
11            "role": "创始人 & 软件工程师",
12            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
13        },
14        {
15            "name": "Lorenzo Padoan",
16            "role": "创始人 & 产品工程师",
17            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
18        }
19    ],
20    "social_media_links": {
21        "linkedin": "https://www.linkedin.com/company/101881123",
22        "twitter": "https://x.com/scrapegraphai",
23        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
24    }
25}

管道名称	描述
SmartScraperGraph	单页采集器，只需用户提示和输入源。
SearchGraph	一个多页采集器，从搜索引擎的前n个搜索结果中提取信息。
SpeechGraph	单页采集器，从网站提取信息并生成音频文件。
ScriptCreatorGraph	单页采集器，从网站中提取信息并生成一个Python脚本。
SmartScraperMultiGraph	多页采集器，可在提供单一提示和多个来源的情况下提取多页面信息。
ScriptCreatorMultiGraph	多页采集器，用于生成从多个页面和源中提取信息的Python脚本。

SDK	语言	GitHub 链接
Python SDK	Python	scrapegraph-py
Node.js SDK	Node.js	scrapegraph-js

text
1  @misc{scrapegraph-ai,
2    author = {Marco Perini, Lorenzo Padoan, Marco Vinciguerra},
3    title = {Scrapegraph-ai},
4    year = {2024},
5    url = {https://github.com/VinciGit00/Scrapegraph-ai},
6    note = {一个利用大语言模型的数据采集Python库}
7  }

AI 奇想空间

AI 奇想空间

项目详情

🕷️ ScrapeGraphAI: 你只需采集一次

🚀 快速安装

相关项目

crawl4ai

💻 用法

📖 文档

🔗 ScrapeGraph API & SDKs

🎓 引用

作者

📜 许可证

	联系信息
Marco Vinciguerra
Marco Perini
Lorenzo Padoan