Screaming Frog SEO Spider(网络爬虫开发工具)

Screaming Frog SEO Spider破解版是一款专门用于抓取网址进行分析的网络爬虫开发工具，能够高效地对小型以及超大型网站进行爬网，同时允许用户实时分析结果，可以直接通过程序收集关键的现场数据，以使SEO能够做出明智的决策，另外这个软件也是完完全全的支持使用这个XPath来进行提取的数据，所以只要用户们的网站的结构来进行简练就不必担心在这里抓取的时候也有可能会出现一系列的错漏的问题，其中无论是检测这个企业的网站还是搜索的网络的资源都是非常的方便。

Screaming Frog SEO Spider破解版软件特色：

1、找到断开的链接

立即抓取网站，找到损坏的链接(404)和服务器错误。批量导出错误和源URL以修复或发送给开发人员。

2、审计重定向

找到临时和永久的重定向，识别重定向链和循环，或者上传一个网址列表，以在网站迁移中进行审计。

3、分析页面标题和元数据

在抓取过程中分析页面标题和元描述，并确定在您的网站中过长，短小，缺失或重复的页面标题和元描述。

4、发现重复的内容

使用md5算法检查发现精确的重复网址、部分重复的网页标题、说明或标题等元素，并找到内容较低的网页。

5、使用XPath提取数据

使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标签、额外的标题、价格、SKU或更多!

Screaming Frog SEO Spider破解版软件功能：

1、查找断开的链接、错误和重定向

2、分析页面标题和元数据

3、审查元机器人和指令

4、审计hreflang属性

5、发现重复的页面

6、生成XML站点地图

7、爬网限制

8、抓取配置

9、保存抓取并重新上传

10、自定义源代码搜索

11、自定义提取

12、Google Analytics集成

13、Search Console集成

14、链接指标集成

15、JavaScript渲染抓取

16、自定义robots.txt抓取

Screaming Frog SEO Spider破解版软件亮点：

1、批量导出错误和源URL以修复或发送给开发人员

2、发现精确的重复网址、部分重复的网页标题、说明或标题等元素

3、使用CSS Path，XPath或regex从网页的HTML中收集任何数据

4、通过包含URL的高级配置，上次修改，优先级和更改频率

5、连接到Google AnalyticsAPI，并抓取用户数据

6、分析页面标题和元数据、审查元机器人和指令

7、允许您保存爬网，打开蜘蛛的配置选项以及自定义源代码搜索

Screaming Frog SEO Spider破解版软件用法：

一、爬行抓取

1、常规抓取

在常规抓取模式下，Screaming Frog SEO Spider 13会抓取您输入的子域名，并将默认情况下所遇到的所有其他子域名视为外部链接(显示在“外部”标签下)。在该软件的许可版本中，您可以调整配置以选择抓取网站的所有子域。搜索引擎优化蜘蛛最常见的用途之一是在网站上发现错误，如断开的链接，重定向和服务器错误。为了更好地控制抓取，请使用您的网站的URI结构、SEO spider配置选项，例如只抓取HTML(图像、CSS、JS等)、排除功能、自定义robots.txt、包含功能或者更改搜索引擎优化蜘蛛的模式，并上传一个URI列表抓取

2、抓取一个子文件夹

SEO Spider工具默认从子文件夹路径向前抓取，因此如果您希望抓取站点上的特定子文件夹，只需输入具有文件路径的URI即可。通过直接输入到SEO Spider中，它将抓取/blog/sub目录中包含的所有URI

3、抓取网址列表

通过输入网址并点击“开始”来抓取网站，您可以切换到列表模式，粘贴或上传要抓取的特定网址列表。例如，在审计重定向时，这对于站点迁移尤其有用

二、组态

在该工具的许可版本中，您可以保存默认的爬网配置，并保存可在需要时加载的配置配置文件

1、要将当前配置保存为默认值，请选择“文件>配置>将当前配置保存为默认值”

2、要保存配置文件以便将来可以加载，请单击“文件>另存为”并调整文件名(最好是描述性的)

3、要加载配置文件，请单击“文件>加载”，然后选择您的配置文件或“文件>加载最近”以从最近的列表中进行选择

4、要重置为原始Screaming Frog SEO Spider 13破解版默认配置，请选择“文件>配置>清除默认配置”

三、出口

顶部窗口部分的导出功能在顶部窗口中与您当前的视野一起工作。因此，如果您使用过滤器并单击“导出”，则只会导出过滤选项中包含的数据

有三种主要的数据导出方法：

1、导出顶层窗口数据：只需点击左上角的“导出”按钮，即可从顶层窗口选项卡导出数据

2、导出较低的窗口数据(URL信息、链接、输出链接、图像信息)：要导出这些数据，只需在顶部窗口中右键单击要导出数据的URL，然后单击“导出”下的“URL信息”、“链接”、“出链接”或“图片信息”

3、批量导出：位于顶层菜单下，允许批量导出数据。您可以通过“all in links”选项导出抓取中找到的链接的所有实例，也可以将所有链接全部导出到具有特定状态代码(如2XX，3XX，4XX或5XX响应)的URL。例如，选择“链接中的客户端错误4XX”选项将导出全部链接到所有错误页面(例如404错误页面)。您还可以导出所有图像替代文字，所有图像缺少替代文字和所有锚点文字