5 分钟快速开始：使用 AntsData API 获取第一个结构化数据集

AntsData 是什么？

AntsData 是一个托管式网页数据采集平台，面向需要大规模可靠获取公开网站结构化数据的开发者和数据工程团队。平台处理完整的基础设施栈——代理轮换、反机器人绕过、浏览器渲染和并发管理——使您的团队可以专注于下游数据管道，而非采集维护。

平台提供统一的 REST API，包含多个专业端点。核心 Web Unlocker API 处理任意网页：可以采集单个页面、截取屏幕截图或爬取整站。在此基础上，AntsData 为 Google 搜索、Google Shopping、Amazon、Google Maps 以及 TikTok、Instagram、Facebook、YouTube、X/Twitter 和 LinkedIn 等主要社交平台提供专用采集器。每个端点都返回结构化 JSON，并支持同步和异步两种执行模式。

定价模式为按需付费，无月度承诺。费用范围为每 1,000 条记录 1.2 至 2 元人民币，适用于一次性探索性拉取和生产级数据管道。

---

前置条件

开始之前，请确保您已准备好以下内容：

1. AntsData 账号和 API 密钥。 您可以在 AntsData 平台注册。整个过程不到两分钟，仅需一个邮箱地址。注册完成后，从账号仪表盘生成 API 密钥。

2. 终端中有 curl 或任何 HTTP 客户端。 以下示例使用 curl，macOS、Linux 和 Windows（通过 PowerShell 或 WSL）均可使用。您也可以使用任何编程语言的 HTTP 库——Python requests、Node.js fetch、Go net/http 等。

3. 一个目标采集 URL。 本教程将使用一个公开网页。您可以替换为任何需要采集数据的 URL。

---

第一步：获取 API 密钥

访问 AntsData 平台并创建账号。确认邮箱后，登录并进入仪表盘的 API 控制台。点击"Generate API Key"创建一个新的 Bearer Token。

将密钥存储为环境变量，以便后续所有命令直接使用，无需硬编码：

export ANTSDATA_API_KEY="your_api_key_here"

此密钥用于认证您发出的每个 API 请求。请妥善保管，不要将其提交到源代码管理中。以下示例均引用 $ANTSDATA_API_KEY 环境变量。

AntsData 采用预付费信用体系。请在发出请求前充值账户余额。最低充值额度足以满足测试需求，且仅对成功请求收费。

---

第二步：发起首次 API 调用

从 AntsData 获取数据最简单的方式是使用 Web Unlocker 的 scrape 端点。它接受一个 URL，并以您选择的格式返回页面内容——HTML、纯文本、Markdown 或提取后的 JSON。

以下是一条 curl 命令，采集一个公开页面并以 Markdown 格式返回内容：

curl -X POST "https://api.antsdata.com/v1/scrape" \
  -H "Authorization: Bearer $ANTSDATA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "format": "markdown",
    "render": true
  }'

render 参数告诉 AntsData 使用无头浏览器在提取内容前执行 JavaScript。对于动态加载数据的现代 Web 应用，这是必需的。对于简单的静态页面，将其设为 false 可以降低延迟。

format 参数控制输出格式。使用 html 获取原始 DOM，text 获取去除标记的纯文本，markdown 获取干净的 Markdown 输出，json 用于需要结构化键值提取的场景。

运行此命令，您将在几秒内收到一个包含采集页面内容的 JSON 响应。这就是您从 AntsData 获取的第一个结构化数据集。

---

第三步：解析结构化响应

scrape 端点的响应是一个具有固定结构的 JSON 对象。理解这个结构对于构建下游解析逻辑非常重要。

典型的采集响应包含以下字段：

• url — 跟随重定向后的最终 URL。
• statusCode — 目标页面的 HTTP 状态码（200、404 等）。
• title — 从 HTML <title> 标签中提取的页面标题。
• content — 您所请求格式的主要页面内容。
• html — 页面的完整渲染 HTML，无论您选择的格式是什么，此字段始终可用。
• markdown — 转换为干净 Markdown 的页面内容。
• text — 去除所有标记的纯文本。
• headers — 包含目标服务器 HTTP 响应头的对象。
• fetchMs — 获取和渲染页面所花费的时间，单位为毫秒。
• scrapedAt — 采集执行时间的 ISO 8601 时间戳。

核心设计原则是，无论目标网站如何变化，响应始终包含相同的顶层字段。您的解析逻辑无需在元数据层面适应不同的页面结构——statusCode、title、fetchMs 和 scrapedAt 始终存在。content 字段包含您请求的格式，而 html 始终可用，以便您在原始 DOM 上运行自定义提取。

在生产环境中，处理内容前请始终检查 statusCode。非 200 状态码表示目标页面返回了错误、被封锁或暂时不可用。

---

第四步：试用专业端点

Web Unlocker 的 scrape 端点适用于任意 URL，但 AntsData 还提供针对特定平台的专业端点，返回预结构化的数据。这些端点省去了为每个网站编写自定义解析器的工作。

Google 搜索示例

google-search 端点返回结构化的搜索结果，包括自然排名列表、AI Overview、图片结果和分页元数据。调用时，向 /v1/google-search 发送 POST 请求，JSON 请求体中包含搜索 query、国家代码（gl，如 us、uk、de、jp）、界面语言（hl）、每页结果数（num，最多 100）和设备类型（desktop 或 mobile）。您还可以设置 location 参数（自由文本的位置字符串）获取地理位置特定的结果，使用 start 参数进行分页偏移。

响应包含 totalResults（预估的总匹配数）、organicResults（数组，每个条目包含 position、title、url、snippet 和 domain）、aiOverview（包含 AI 生成的摘要内容）、imageResults（图片搜索结果数组）和 pagination（包含用于获取下一页的 nextStart）。

Amazon 商品示例

amazon-product 端点接受标准 Amazon 商品 URL 并返回结构化的商品数据。向 /v1/amazon-product 发送 POST 请求，传入商品 url，并可选择 mode 参数（sync 或 async）。

响应返回的字段包括 asin、title、brand、price、currency、bsr（畅销排名）、bsrCategory、rating、reviewCount、availability、sellerName、features（要点式商品描述）和 images（商品图片 URL 数组）。完整的字段参考请查阅 AntsData API 文档。

其他可用端点

除 Google 和 Amazon 外，AntsData 还为社交平台（TikTok、Instagram、Facebook、YouTube、X/Twitter、LinkedIn）、Google Shopping 和 Google Maps 提供采集器。每个端点返回针对该平台优化的结构化 JSON。所有端点的调用方式完全一致——POST 请求加 JSON 请求体加 Bearer Token 认证。

---

第五步：使用异步模式扩展规模

在生产工作负载中，您通常需要采集数百甚至数千个页面。发送顺序同步请求效率低下，且无法利用 AntsData 的并发基础设施。异步模式就是为此场景设计的。

在异步模式下，您提交一批任务并立即获得任务 ID，然后在处理完成后轮询获取结果。这使您能够提交大批量任务，而无需保持 HTTP 连接打开。

工作流程非常直接。对于批次中的每个 URL，向任意端点发送 POST 请求，在 JSON 请求体中添加 "mode": "async"。每次提交返回的响应中包含一个 taskId 字段。存储这些任务 ID 用于后续轮询。

要获取结果，向 /v1/task/{taskId} 发送 GET 请求，使用相同的授权请求头。响应包含一个 status 字段，值为 pending、completed 或 failed。当状态为 completed 时，响应还包含一个 data 字段（包裹标准端点输出），以及 taskId、status 和 completedAt 字段。当状态为 failed 时，error 字段描述失败原因。

轮询时，按固定间隔（例如每 2 到 5 秒）检查每个任务，直到所有任务达到终态（completed 或 failed）。在生产实现中，建议使用任务队列或调度器来高效管理提交和轮询，并使用指数退避避免过多的轮询调用。

异步模式同样适用于专业端点。例如，您可以使用相同模式以异步方式提交一批 Amazon 商品 URL 或 Google 搜索查询。任务生命周期完全一致：提交、获取 taskId、轮询直到状态为 completed 或 failed。

对于超大批量任务，AntsData 通过分布式基础设施以高并发处理请求。scrape 端点的典型吞吐量约为每分钟数百个页面，具体取决于目标复杂度和渲染需求。Amazon 和 Google Search 等专业端点有各自的吞吐量配置，基于目标平台的反爬虫复杂度。

---

了解响应格式

每个 AntsData 端点都返回结构化 JSON。Web Unlocker scrape 端点使用一致的响应结构。下表列出所有标准输出字段。

字段	类型	说明
url	string	跟随重定向后的最终 URL
statusCode	number	目标页面的 HTTP 状态码（200、404 等）
title	string	从 <title> 标签提取的页面标题
content	string	所请求格式的主要页面内容
html	string	页面的完整渲染 HTML
markdown	string	转换为干净 Markdown 的页面内容
text	string	去除所有标记的纯文本
headers	object	目标服务器的 HTTP 响应头
fetchMs	number	获取和渲染页面的耗时（毫秒）
scrapedAt	string	采集执行时间的 ISO 8601 时间戳

对于专业端点，响应结构会有所不同。google-search 端点返回 totalResults、organicResults、imageResults、aiOverview 和 pagination。amazon-product 端点返回商品特定字段，如 asin、title、price、bsr 和 reviewCount。每个端点的响应结构均在 AntsData API 参考文档中有详细说明。

在异步模式下，提交响应包含 taskId 和 status 字段。当您在任务完成后轮询任务端点时，响应将标准端点输出包裹在 data 字段中，同时包含 taskId、status 和 completedAt。

---

端点总览

下表列出 AntsData 上所有主要端点类别及其说明和典型用例。

类别	端点	说明	典型用例
Web Unlocker	scrape	单页采集，可选 JS 渲染	通用网页数据提取、内容监控
Web Unlocker	screenshot	全页或视口截图	视觉 QA、页面存档、设计对标
Web Unlocker	crawl	多页爬取，跟踪内部链接	整站内容迁移、SEO 审计、文档提取
搜索	google-search	Google 自然搜索结果，含 AI Overview	SERP 追踪、竞品 SEO 分析、市场调研
搜索	google-shopping	Google Shopping 商品列表	商品价格对比、市场监控
电商	amazon-product	Amazon 商品详情页数据	价格追踪、BSR 监控、竞争情报
电商	amazon-sellers	Amazon 卖家资料数据	卖家验证、渠道完整性检查
地图	google-maps	Google Maps 商户列表数据	本地 SEO 监控、竞品位置分析
社交	tiktok-*	TikTok 资料、视频和商品数据	社交电商追踪、网红分析
社交	instagram-*	Instagram 资料和帖子数据	品牌监控、互动追踪
社交	facebook-*	Facebook 主页和广告数据	广告情报、竞品广告追踪
社交	youtube-*	YouTube 视频和频道数据	内容表现分析、关键词研究
社交	x-twitter-*	X/Twitter 帖子和资料数据	情绪监控、趋势追踪
社交	linkedin-*	LinkedIn 资料和公司数据	B2B 线索研究、竞品招聘分析

所有端点均支持同步（sync）和异步（async）执行模式。价格从 Web Unlocker scrape 端点的每 1,000 条记录 1.2 元人民币，到 amazon-product 和社交采集器等专业端点的每 1,000 条记录 2 元人民币不等。请访问 AntsData 定价页面获取各端点的最新费率。

---

常见问题与解决方案

每次请求都返回 401 Unauthorized。 您的 API 密钥缺失、已过期或格式错误。请确认 Authorization 请求头使用 Bearer YOUR_KEY 格式，Bearer 和密钥之间有一个空格。如果使用环境变量，请在终端运行 echo $ANTSDATA_API_KEY 确认其设置正确。

响应中内容为空或不完整。 目标页面可能严重依赖 JavaScript 渲染内容。将 render 参数设为 true 以启用无头浏览器渲染。您也可以使用 waitFor 参数指定 CSS 选择器或时间延迟（毫秒），等待特定元素加载后再提取内容。

fetchMs 值过高或超时。 JavaScript 繁重、图片较大或第三方脚本较多的页面渲染时间更长。对于复杂页面，请增加 timeout 参数（默认 30 秒）。或者，如果所需页面内容在初始 HTML 响应中即可获取（无需 JavaScript 执行），将 render 设为 false。

客户端速率限制或节流。 如果您在紧密循环中发送同步请求，可能会遇到客户端连接限制。对于批量工作负载，请切换到异步模式。异步模式让 AntsData 在内部处理并发，在结果就绪时返回，无需您管理连接池或速率限制逻辑。

响应中出现意外的 statusCode（403、429、503）。 目标网站可能正在经历问题或实施地理限制。尝试设置 country 参数，将请求路由到不同的地理位置。如果问题持续存在，目标页面可能确实已下线或正在封锁——请从同一目标区域使用浏览器直接检查该 URL。

异步任务长时间停留在 pending 状态。 任务按顺序处理，在高峰期可能需要更长时间。如果任务在 pending 状态停留超过五分钟，请联系 AntsData 支持。对于时间敏感的工作负载，建议使用同步模式并设置合理的 timeout 值。

---

常见问题

AntsData API 获取数据需要多长时间？

Web Unlocker scrape 端点在同步模式下，大多数页面在 2 到 10 秒内返回，具体取决于渲染复杂度和目标服务器响应时间。无需 JavaScript 渲染的简单静态页面可在 1 秒内返回。Google Search 和 Amazon Product 等专业端点通常在 3 到 8 秒内完成。异步模式下，批量任务并行处理，单个结果在处理完成后即可获取——吞吐量可扩展到每分钟数百个页面，具体取决于端点和目标复杂度。

能否使用 AntsData 进行实时价格监控？

可以。amazon-product 端点返回实时价格数据，包括当前售价、标价、币种、折扣百分比和卖家信息。要构建价格监控管道，请为目标 ASIN 安排定期同步调用，或使用异步模式对大型商品集进行批量更新。BSR 字段近实时更新，允许您追踪一天内的排名变化。按使用量付费的模式（每 1,000 条记录 2 元人民币）使频繁监控在经济上可行。

AntsData 是否处理验证码和反机器人检测？

是的。反机器人绕过是 AntsData 平台的核心能力。基础设施包括跨住宅和数据中心 IP 范围的代理轮换、浏览器指纹随机化、验证码解决和 JavaScript 挑战解决。您无需配置任何这些——每次请求都会自动处理。Web Unlocker 端点专为对抗具有激进反机器人措施的网站而设计，包括 Cloudflare、Akamai 和自定义机器人检测系统。

同步模式和异步模式有什么区别？

在同步模式下，您发送单个请求并等待响应。HTTP 连接保持打开，直到采集完成并返回结果。这是最简单的方法，适用于单页采集或低流量请求。在异步模式下，您提交任务并立即获得 taskId。任务在后台处理，您轮询另一个端点在结果就绪时获取。异步模式适用于需要处理数百或数千个 URL 的批量工作负载。它消除了连接超时问题，让 AntsData 优化整个批次的并发。

AntsData 如何计费？

AntsData 使用以人民币计价的预付费信用体系。您充值账户余额，按成功返回的记录数收费。Web Unlocker scrape 端点每 1,000 条记录 1.2 元人民币。Google Search、Google Shopping、Amazon Product 和社交采集器等专业端点每 1,000 条记录 1.2 至 2 元人民币，具体取决于端点。没有月度订阅费，没有最低消费承诺，失败请求不收费。您可以在 AntsData 仪表盘中监控使用量和剩余余额。