API 快速入门：提取 LinkedIn 职场数据

为什么要抓取 LinkedIn 的职位数据？

在 B2B 销售和竞争情报领域，招聘公告通常被视为“煤矿里的金丝雀”。一家公司的招聘活动是其战略发展轨迹最可靠的领先指标之一。如果一个竞争对手突然开放了几个“云迁移架构师”的职位，这预示着其即将进行大规模的基础设施转型。对于 HR 科技初创公司或招聘机构来说，追踪特定地区对某些技能的总体需求是其商业模式的核心基础。

LinkedIn 无疑是获取此类专业数据的首选来源。然而，大规模提取这些数据却是一项艰巨的挑战。LinkedIn 采用了极其复杂的反爬虫机制、激进的速率限制以及复杂的会话管理协议，以防止自动化的抓取行为。试图构建内部抓取工具往往会导致在收集到哪怕一个可用的数据集之前，IP 就遭到了永久封禁。

在这个 API 快速入门教程中，我们将演示如何彻底绕过这些障碍。使用 AntsData 的托管搜索 API，开发人员可以轻松提取丰富、结构化的职场数据，将工程梦魇转化为简单的 RESTful API 调用。

第 1 步：了解端点与参数

为了提取职位列表，我们将使用 /v1/scraper/linkedin/jobs 端点。这个 API 的真正威力在于其广泛的过滤功能，这些功能与 LinkedIn 自身的高级搜索功能紧密对应。

以下是您可以用来缩小数据范围的关键参数：

• keywords：您正在搜索的特定职位头衔或技能（例如：“Data Scientist” 数据科学家）。
• location：地理区域（例如：“United States” 美国，“London, UK” 英国伦敦）。
• experienceLevel：针对资历的枚举值。选项包括实习（INTERNSHIP）、初级（ENTRY_LEVEL）、副级（ASSOCIATE）、中高级（MID_SENIOR）、总监级（DIRECTOR）和高管级（EXECUTIVE）。
• workplaceType：用于过滤现场办公（ON_SITE）、远程（REMOTE）或混合办公（HYBRID）职位的枚举值。
• postedWithinDays：限制结果的新鲜度（例如：过去 1 天、7 天或 30 天内发布）。
• companyNames：一个数组，用于直接追踪特定的竞争对手。
• resultsLimit：控制分页，每次请求最多支持 1000 条结果（默认值为 100）。

第 2 步：构建 API 请求

假设您是一家为远程工程团队构建工具的 SaaS 公司的市场研究员。您想要分析目前美国市场对提供远程办公的“中高级数据科学家”的需求，以评估一个潜在的新产品功能。

您将向 AntsData 端点构建一个带有以下参数的 GET 请求：

GET https://api.antsdata.com/v1/scraper/linkedin/jobs
  ?keywords=Data Scientist
  &location=United States
  &workplaceType=REMOTE
  &experienceLevel=MID_SENIOR
  &postedWithinDays=7

(注意：您必须在 Authorization 标头中包含您的 AntsData API 密钥)。

第 3 步：分析 JSON 负载

当您提交此请求时，AntsData 的 Web Unlocker 基础设施就会开始运作。它会处理 TLS 指纹识别，通过纯净的 IP 代理池路由请求，并处理 LinkedIn 的应用程序逻辑。几秒钟内，它就会返回一个预解析、经过模式验证的 JSON 负载。

您无需编写任何 BeautifulSoup 或正则表达式逻辑。响应提供了一个干净的职位对象数组：

{
  "status": "success",
  "data": [
    {
      "job_id": "38495021",
      "title": "Senior Data Scientist - Remote",
      "company": "TechFlow Analytics",
      "location": "United States",
      "posted_at": "2024-05-12T14:30:00Z",
      "applicants": 142,
      "description": "我们正在寻找一位在 LLM 训练和 RAG 架构方面具有专业知识的高级数据科学家...",
      "url": "https://www.linkedin.com/jobs/view/38495021/"
    }
    // ... 另外 99 条结果
  ]
}

这些结构化数据立即可供执行分析。

第 4 步：构建自动化的情报管道

通过将这个简单的 API 调用集成到您的数据管道中，您将释放巨大的战略价值。

1. 竞品追踪：通过传递特定的 companyNames，您可以设置一个 Cron 任务，在每周一抓取排名前五的竞争对手。如果其中一家开始在某个新地区大肆招聘，您的仪表盘会立即发出警报。
2. 市场饱和度分析：applicants（申请人数）字段极具价值。它让您能够立即评估哪些职位竞争极其激烈，而哪些行业正面临人才短缺。
3. 基于 NLP 的功能开发：您可以将数百个职位发布的 description（描述）字段输入到 LLM 或 NLP 工具中，以提取最常被要求的软件工具或编程语言。如果现在 80% 的“数据科学家”职位都要求掌握“LangChain”，您的产品团队就能确切知道市场的走向。

通过利用 AntsData，您可以将原始的、难以访问的互联网页面转化为可扩展的市场情报——而无需编写任何一行网页抓取代码，也无需处理代理封禁问题。