网页采集过程中如何屏蔽广告

在采集网页内容过程中,有些网页中会很多广告,甚至会弹出广告框。一是影响规则的制作,二是影响采集速度。为了改善这些情况,采集器中会有一个功能点:屏蔽网页广告。

操作方法

  • 01

    在采集网页内容过程中,有些网页中会很多广告,甚至会弹出广告框。一是影响规则的制作,二是影响采集速度。为了改善这些情况,采集器中会有一个功能点:屏蔽网页广告。 主要目的: 1、为了加快页面加载(广告会拖慢页面加载速度) 2、为了减少资源请求(节省带宽资源) 界面位置:

  • 02

    基本操作:

  • 03

    相同的任务开启不开启广告屏蔽和广告屏蔽,可以看到如下图采集速度有明显的不同。没有屏蔽广告的相同时间内只采集了12条,而屏蔽广告的相同时间内采集了100条 屏蔽广告示例:

  • 04

    不屏蔽广告示例:

  • 05

    开启广告屏蔽可能存在的不利影响: 部分页面可能会因为屏蔽广告,导致页面结构发生变化,采集器的任务中原本生成的xpath需要调整。这时候最简单的做法就是在做规则之前就需要考虑清楚是否要勾屏蔽广告,然后再做规则。确保规则的准确性。 如果之前不勾选屏蔽广告,可以看到循环列表的xpath是这样的,而且循环列表也是正常的。如下图:

  • 06

    这时候返回勾选屏蔽广告,再看循环列表,可以看到勾上之后循环列表为空了。这样规则找不到循环列表就不会正常采集。

  • 07

    这就是部分页面因为屏蔽了广告,页面结构发生了变化。所以需要先确定是否勾屏蔽广告再做规则了。 同时,还存在部分网站,屏蔽广告后,网页一直在加载的情况,采集无法进行。这时返回“编辑规则”,将“屏蔽广告功能”的勾选去掉就可以了。请谨慎使用该功能。

(0)

相关推荐

  • 怎么在小米手机浏览器中设置屏蔽广告?

    许多使用小米手机的小伙伴在使用自带的浏览器的时候想要通过设置来屏蔽广告应该如何操作呢?今天,小编就教大家在小米手机浏览器中设置屏蔽广告.具体如下:1. 首先,我们在手机中将浏览器打开,如图.2.之后在 ...

  • 苹果iPhone手机中的屏蔽广告功能怎么设置开启

    今天给大家介绍一下苹果iPhone手机中的屏蔽广告功能怎么设置开启的具体操作步骤.1. 解锁手机后,找到桌面上的设置图标,打开.2. 进入设置页面后,找到隐私选项,打开.3. 在打开的隐私设置页面,找 ...

  • 在浏览过程中收藏网页

    在浏览网页的过程中,用户可以将自己喜欢的网页或常去的网页用收藏夹保存起来,方便以后浏览. 操作方法 01 步骤1:启动IE浏览器,进入"中关村在线"页面,单击"收藏夹&q ...

  • chrome浏览器怎么屏蔽网页广告(safari浏览器屏蔽广告)

    我们上网浏览信息时,其实每时每刻都在被广告追踪.虽然我们很少谈论这个问题,但它在真实生活中每天都在上演.相较于网络上提供的海量免费信息,我们浏览的每个网站都会附带十几个不同的追踪 Cookie,这些 ...

  • 上网过程中有些网页打得开有些打不开怎么办?

    故障现象 1.单个或多个网页不打开,而这些网站发给其他人,却是可以打开的. 原因分析 1.浏览器设置原因 浏览器插件过多,浏览器加载项.以及ie设置错误等都会引起类似的故障. 2.浏览器插件原因 有时 ...

  • 怎么在手机QQ浏览器中设置开启广告过滤/屏蔽?

    许多小伙伴在浏览网页的时候会选择使用QQ浏览器,如果我们对浏览器中弹出的广告比较反感,想要将其设置广告过滤/屏蔽应该如何操作呢?今天,小编就教大家在手机QQ浏览器中设置开启广告过滤/屏蔽.具体如下:1 ...

  • 如何屏蔽百度中的网站广告

    有的小伙伴在使用百度软件浏览网页时,总会收到很多广告,觉得太麻烦了,因此想要屏蔽网站广告,但是却不知道如何屏蔽,那么小编就来为大家介绍一下吧.具体如下:1. 第一步,点击并打开百度app.2. 第二步 ...

  • 如何打开手机版百度中的屏蔽程序化广告功能

    手机版百度软件被很多人使用,用来浏览网页,查询资料等,有的用户在使用该软件时,想要打开屏蔽程序化广告功能,但是却不知道如何打开,那么小编就来为大家介绍一下吧.具体如下:1.第一步,点击并打开百度软件2 ...

  • 如何开启搜狗搜索中的智能屏蔽广告功能

    在手机中,我们可以通过搜狗搜索来浏览网页,而在搜狗搜索中,我们可以启用智能屏蔽功能来屏蔽广告.具体应如何操作呢?接下来就由小编来告诉大家.具体如下:1. 第一步,打开手机并在桌面上找到搜狗搜索图标,点 ...