Serpstack评论：针对Google搜索结果的JSON Rest API

如果您需要获取搜索引擎结果（尤其是Google的搜索结果），一种方法是在google.com上进行实际的搜索，然后尝试解析将得到的复杂HTML代码。可以做到，但是很努力。如果您想采用更简单的方法，为什么不使用专用的SERP API，您可以将其与搜索词一起使用，并以易于解析的格式返回结果。 一种这样的产品是 Serpstack API 来自apilayer。它以您的搜索查询字符串和参数作为输入，并以JSON格式返回搜索结果。让我们深入了解该产品。

首先，我们通常会讨论SERP，从而开始我们的工作。接下来，我们将解释它的含义，并描述通常可从搜索引擎获得的几种不同类型的结果。我们还将探讨为什么使用SERP API的一些原因。当我们都在同一页面上时，我们将详细介绍Serpstack API。在深入研究如何使用API之前，我们将快速浏览其一些主要功能。在得出结论之前，我们将探讨该服务的定价结构和可用计划。

简而言之SERP

首先，SERP是搜索引擎结果页面的缩写。这些是当用户使用搜索引擎（例如Google或Bing）在线搜索某些内容时提供给他们的网页。用户使用通常称为关键字的特定术语和短语来指定他们的搜索查询，然后搜索引擎为他们提供SERP。

每个SERP都是唯一的。甚至在使用相同关键字或查询文本的同一搜索引擎上执行的多个搜索查询中，也是如此。这样做的主要原因是，几乎每个搜索引擎都会根据远远超出其搜索条件的各种因素来显示结果，从而为其用户定制体验。这些因素可能包括用户的地理位置，浏览历史记录和社交设置等。尽管两个SERP可能看起来相同并且可能包含许多相同的结果，但它们通常会有细微的差异。

搜索引擎提供商，例如Google，Bing或其他公司正在不断发展其服务和技术，并对其结果进行试验。他们的目标是为用户提供更快速响应和直观的体验。随着新技术被引入搜索领域，并且它们以惊人的速度发展，SERP的外观也发生了变化，如今它们与以前已经大不相同。

有机结果

SERP通常包含两种类型的内容：自然结果和付费结果。自然搜索结果是由于搜索引擎的算法而出现的网页列表。稍后对此进行更多讨论。搜索引擎优化（SEO）是操纵内容以欺骗搜索引擎以列出我们特定关键字或搜索字符串的网站的科学，或者说是一门艺术。

关于搜索算法和排名信号

因此，回到有机结果。简而言之，它们是由搜索引擎根据许多因素共同索引的列表，这些因素统称为“排名信号”。例如，Google使用的搜索算法具有数百个排名因素。搜索引擎提供商倾向于将其排名系统的详细信息保密。因此，尽管Google之外没有人（也许内部没有那么多人）准确地知道排名信号是什么，但有些排名被认为比其他排名更重要。

为什么要使用SERP API？

任何人都可以使用SERP API的原因有很多。显然，需要定期检索产品和网站的SERP数据并随着时间的推移对其进行跟踪，因为它是任何SEO策略的重要组成部分。随着排名的不断波动以及搜索关键字在一段时间内或多或少地变得适用和有价值，只有一种方法可以紧跟这些变化，那就是使用现成的软件即服务（SaaS））解决方案，该解决方案使用Serpstack之类的SERP API将SERP数据直接实现到您自己的应用程序或网站中。

简而言之，使用浏览器检索SERP数据和使用SERP API（例如Serpstack）之间的主要区别是响应的格式。 Serpstack API将返回可由内部软件轻松解析的JSON数据。使用它可以使您不必从所有周围的Web格式中提取有意义的数据。

介绍Serpstack

一句话，Serpstack是一种实时，准确的Google搜索结果API。受到全球一些最大品牌的信赖，此JSON REST API闪电般快速且易于使用。该产品是由位于英国伦敦和奥地利维也纳的软件公司apilayer构建和维护的。该产品最初是出于内部需求而创建的，以自动跟踪搜索引擎的位置，如今该产品已发展成为市场上最受信任的SERP API之一。关于apilayer，这是全球一些最受欢迎的API和SaaS产品（包括Currencylayer，Invoicely和Eversign）背后的公司。

每当提出API请求时，Serpstack API就会通过使用代理网络和专有的抓取技术以自动化的方式从搜索引擎检索SERP数据。生成的SERP数据是公开可用的，任何人都可以访问它。此外，Serpstack API几乎支持Google返回的所有搜索结果类型，包括Web结果，图像结果，视频结果，新闻结果，购物结果，赞助广告，问题等等。

Serpstack API建立在apilayer云基础架构之上，该基础架构运行着一些世界上最流行的实时API服务，该系统在任何阶段都具有高度可扩展性和灵活性。它的构建旨在提供一种实时，任意规模地抓取Google SERP数据的方式。使用简单的HTTP GET URL结构只需几分钟即可实现服务，并且结果以JSON或CSV格式返回。

Serpstack的主要功能

从功能上讲，Serpstack API毫无保留。首先，该服务具有高度可扩展性，并且始终无队列。 Apilayer强大的云基础架构仅是为承受大量API请求而构建的，而无需排队。它一直是公司几种产品的核心。它也是高度可定制的。由于没有两个客户有相同的需求，因此您可以根据一系列选项（包括位置，语言，设备等）来定制自动搜索查询。

使用该产品，不再需要担心全局IP，浏览器群集或验证码。得益于强大的基础代理网络，该SERP抓取API几乎可以覆盖每种情况。而且预算也很容易。您每月最多可以免费获得100个请求，如果您需要的更多（而且很可能需要这样做），则付费计划的起价仅为每月29.99美元。我们将在短期内详细介绍产品的价格。

以下是该产品最重要功能的概述：

简单整合

从一开始就很难使用Scrapestack API。创建定制查询并使用定制位置，设备，语言等以任何规模开始抓取SERP页面仅需几分钟。

高安全等级

使用256位SSL加密对发送到Serpstack API和从Serpstack API接收的所有数据流进行加密。这与银行网站或大多数电子商务平台使用的安全性类型相同。您可以放心，您的数据将受到保护。

无与伦比的速度和可用性

凭借近乎完美的可用性评分，您可以放心，Scrapestack API会在需要时出现。 apilayer绝不会影响速度。发送到API的API请求将在几毫秒内处理完毕。当然，结果的快慢还取决于Google的响应时间。

输出格式选择

为了更轻松地起诉SERP数据，Serpstack易于使用的REST API提供了JSON或CSV响应选择。这使其与任何编程语言兼容。

世界一流的支持

人们常说，产品仅与其技术支持结构一样好。同样，这是Scrapestack闪耀的地方。如果您有任何技术问题，训练有素的专家团队将为您提供解决方案。响应速度很快，服务效果很好。

广泛的文件

与支持同样重要，文档通常是您学习如何使用产品的主要方式。 Serpstack提供了广泛的API文档，有待探索。使用它可以使您在短短几分钟之内入门，并且使您在几天之内（而不是几周或几个月）成为专家。

使用Serpstack

吹嘘该产品的出色功能-真正的是，让我们看看您如何实际使用该产品，可以提出的不同类型的请求以及可以预期的相应响应。

基础

要使用Serpstack API，您首先需要注册一个帐户。这是免费的，因此，您将获得一个唯一的API访问密钥。从现在开始，您将使用此方法通过简单的HTTP GET请求访问API进行身份验证，以访问任何可用的端点。因此，要使用API，您只需要使用“ access_key”参数将API密钥附加到基本URL。这是一个典型的请求-尽管非常基本并且完全没用-看起来像这样：

https://api.serpstack.com/search

? access_key = YOUR_ACCESS_KEY

为了增加安全性，所有付费计划都允许使用256位SSL加密。要使用它，您只需要发送HTTPS请求而不是HTTP请求即可。例如，上面的加密示例将变为：

https://api.serpstack.com/search

? access_key = YOUR_ACCESS_KEY

每当API请求失败时，Serpstack API都会返回一个JSON对象，其中包含有关错误的详细信息。例如，如果达到或超过了允许的最大API请求限制，则API会返回以下内容。每个订阅计划对一个请求的数量都有不同的限制。

{

"success": false,

"error": {

"code": 104,

"type": "usage_limit_reached",

"info": "Your monthly API request volume has been reached. Please upgrade your plan."

}

}

API请求和参数

除非另有说明，否则Serpstack API将始终默认为从Google提供搜索结果。因此，如果您想查询Google搜索结果的API，您要做的就是将“ query”参数附加到API的基本URL并将其设置为您选择的搜索查询。使用“ mcdonalds”作为搜索词的查询在通过身份验证和加密后的样子如下：

https://api.serpstack.com/search

? access_key = YOUR_ACCESS_KEY

& query = mcdonalds

如您所见，这是一个相当简单的语法。正如您肯定会想象的那样，可以将大量可选参数附加到请求中，以进一步缩小搜索结果的范围。稍后我们将探讨其中的一些，但在线API文档中会提供所有这些的详细列表。

API响应

您从Serpstack API获得的响应将在很大程度上取决于您的搜索查询和您选择使用的参数。没有指定过滤条件的基本查询将返回大量数据。这是您从上面的示例查询中获得的响应的开始部分。

{

"request": {

"success": true,

"processed_timestamp": 1566207832,

"search_url": "https://www.google.com/search?q=mcdonalds",

"total_time_taken": 1.5

},

"search_parameters": {

"engine": "google",

"query": "mcdonalds",

"type": "web",

"device": "desktop",

"google_domain": "google.com",

"hl": "en",

"gl": "us",

"page": "1",

"num": "10"

},

"search_information": {

"total_results": 759000000,

"time_taken_displayed": 0.91,

"did_you_mean": null,

"showing_results_for": null,

"query_displayed": "mcdonalds",

"detected_location": null,

"no_results_for_original_query": false

},

以上示例的目的只是让您了解结果的外观。我只添加了响应的前25行，这些响应的总长度超过了400行。

您在使用Google搜索时可能会注意到，典型的搜索结果页面有不同的部分，每个部分显示不同类型的结果。您将获得付费的广告结果，自然搜索结果，图像，视频等。此外，页面顶部的功能区可让您显示特定类型的结果，例如地图，新闻，购物或书籍，仅举几例。各种可选参数可让您指定您想要获取的搜索结果类型，从而简化了生成的JSON文件的解析。让我们更深入地了解您可以获得的一些不同类型的结果。

广告结果

只要有针对您的搜索查询的赞助广告，而且大多数情况下，API响应就会带有ads对象。它按搜索结果中显示的顺序包含所有广告。它包括在搜索结果的顶部和底部显示的两个广告。

有机结果

随机搜索结果是Google提供的主要搜索结果，它们可能是您特别感兴趣的结果。它们由一系列因素决定，例如网络访问量，反向链接，社交媒体的存在等等。，确切的算法由Google保密，以保持竞争优势。 API将详细分析这些结果，并以“ organic_results”的形式返回。

图片结果

就像有两种方法可以从Google搜索中获取图像结果一样，API可以通过两种方式返回图像。进行标准网络搜索时，Google会在搜索结果中提供一些图像。这些图像（称为内联图像）由Scrapestack API在“ inline_images”数组中返回。

"image_results": [

{

"position": 1,

"title": "McDonald's Gold Card: The True Story ...",

"width": 1024,

"height": 683,

"image_url": "https://www.rd.com/wp-content/image/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg",

"type": "png",

"url": "https://rd.com",

"source": "https://rd.com"

},

{

"position": 2,

"title": "McDonald's - Wikipedia",

"width": 1200,

"height": 1051,

"image_url": "https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png",

"type": "png",

"url": "https://en.wikipedia.org/wiki/McDonald%27s",

"source": "https://en.wikipedia.org"

},

{

"position": 3,

"title": "Best New Global Menu Items ...",

"width": 970,

"height": 545,

"image_url": "https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg",

"type": "png",

"url": "https://thrillist.com/",

"source": "https://thrillist.com"

}

]

另一方面，如果在类型参数设置为image的情况下专门搜索图像，则将图像作为“ image_results”数组返回。在这些情况下，API默认会返回100张图像。

视频结果

我们刚刚对图像进行的完全相同的考虑也对视频结果有效，因为内嵌视频以及全局搜索结果或专用视频结果均可用

我们可以继续浏览页面，并为您提供有关Serpstack API可以返回的各种结果的详细信息，但我们认为您已掌握了相关知识。可以说，在API的响应中也可以找到典型Google搜索返回的任何类型的结果。除了已经描述的结果类型之外，API还将返回，新闻结果，购物结果和本地结果，以及结果页面的答案框，天气框，事件，热门轮播，热门故事等内容。

支持的编程环境

关于Serpstack API的最好的事情之一是，您可以在大多数环境中轻松使用它，无论使用哪种语言，只要可以发送HTTP请求，就应该很好。支持所有流行的Web语言，例如PHP或Python。实际上，API的文档中包含有关如何通过PHP，Python，Nodejs，jQuery，Go和Ruby使用它的示例。

例如，这里是PHP代码，用于打印搜索结果的总数以及Serpstack API返回的每个自然搜索结果。

$queryString = http_build_query([

'access_key' => 'YOUR_ACCESS_KEY',

'query' => 'mcdonalds',

]);


$ch = curl_init(sprintf('%s?%s', 'https://api.serpstack.com/search', $queryString));

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);


$json = curl_exec($ch);

curl_close($ch);

$api_result = json_decode($json, true);


echo "Total results: ", $api_result['search_information']['total_results'], PHP_EOL;


foreach ($api_result['organic_results'] as $number => $result) {

echo "{$number}. {$result['title']}", PHP_EOL;

}

这是一些代码，可以在Python中完成相同的操作：

import requests


params = {

'access_key': 'YOUR_ACCESS_KEY',

'query': 'mcdonalds'

}


api_result = requests.get('https://api.serpstack.com/search', params)


api_response = api_result.json()


print "Total results: ", api_response['search_information']['total_results']


for number, result in enumerate(api_response['organic_results'], start=1):

print "%s. %s" % (number, result['title'])

定价和计划

Serpstack API可用根据几个计划根据您的需求。最基本的计划是免费计划。顾名思义，它是免费的，但是，尽管它不像典型的试用版一样受时间限制，但它的功能和使用都受到限制。您每个月最多只能进行100次搜索。

接下来的三个级别功能齐全，仅随允许您进行每月搜索的最大次数而变化。基本计划将为您提供5000个，每月29.99美元，商业计划为99.99美元/月，最多可达到20000，而Business Pro计划可让您进行5万次搜索，每月199.99美元。如果这些计划都不适合您，那么还有一种价格可变的企业计划可以根据您的确切需求进行定制。如果您选择按年计费，而不是按月计费，则可以享受20％的折扣，从而使服务更加实惠。