网站内容爬虫

antsdata/website-crawler

AntsData 4.6 (205 评价) 132K 次调用

抓取整站文本内容，结构化输出以喂给 RAG、向量库与 LLM 应用。

#AI#RAG

输入参数 · INPUT

配置你的采集任务

参数	类型	必填
startUrls 起始 URL	string[]	必填
maxDepth 抓取深度	number	可选
maxItems 最大页数	number	可选
outputFormat 输出格式	string	可选

示例 · EXAMPLE

输入与输出

input.json

{
  "startUrls": [
    "https://example.com"
  ],
  "maxDepth": 2,
  "outputFormat": "markdown"
}

output.json

{
  "url": "https://example.com/post",
  "title": "Example Post",
  "text": "…",
  "markdown": "# Example…",
  "wordCount": 860,
  "crawledAt": "2026-06-01T10:00:00Z"
}

调用方式 · API

一个请求即可运行

POST · cURL

curl -X POST https://api.antsdata.com/v1/actors/antsdata/website-crawler/runs \
  -H "Authorization: Bearer YOUR_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"startUrls":["https://example.com"],"maxDepth":2,"outputFormat":"markdown"}'

完整接入指南见 API 文档.

网站内容爬虫

配置你的采集任务

输入与输出

一个请求即可运行

同类数据源

搜索引擎结果采集器