Windows配置heritrix3做网络爬虫开发实例

一、引言:

最近在忙某个商业银行的项目,需要引入外部互联网数据作为参考,作为技术选型阶段的工作,之前已经确定了中文分词工具,下一个话题就是网络爬虫的选择,目标很明确,需要下载一些财经网站的新闻信息,然后进行文本计算。记得上一次碰爬虫还是5年前,时过境迁,不知道爬虫的世界里是否有了新的崛起。比较过一些之后,初步认定Heritrix基本能够满足需要,当然肯定是需要定制的了。

二、版本选择

Heritrix当前版本3.1.0,安装后发现,启动任务时,Windows平台有BDBOpen的错误(具体原因不详),Linux环境没有测试。度娘了一把,没啥实质性收获,如果从源码去看,又太费时间。就换到了3.0.5,这个版本也有问题,就是创建Job时,总是提示文件夹有问题,可以选择手动创建下载任务。操作界面如下图所示:

三、配置任务-手动

1.jobs目录下新建文件夹sohu;

2.拷贝模板文件profile-crawler-beans.cxml到sohu目录

3.重命名profile-crawler-beans.cxml文件为crawler-beans.cxml

4.手动修改文件crawler-beans.cxml,设置目标网站和存储方式:

复制代码

代码如下:

# This Properties map is specified in the Java 'property list' text format
# <a href="http://java.sun.com/javase/6/docs/api/java/util/Properties.html#load%28java.io.Reader%29">http://java.sun.com/javase/6/docs/api/java/util/Properties.html#load%28java.io.Reader%29</a></p><p>metadata.operatorContactUrl=http://localhost
metadata.jobName=sohu
metadata.description=sohujingxuan</p><p>##..more?..##
</value>
</property>
</bean></p><p> <!-- overrides from declared <prop> elements, more easily allowing
multiline values or even declared beans -->
<bean id="longerOverrides" class="org.springframework.beans.factory.config.PropertyOverrideConfigurer">
<property name="properties">
<props>
<prop key="seeds.textSource.value"></p><p># URLS HERE
<a href="http://t.sohu.com/jingxuan">http://t.sohu.com/jingxuan</a></p><p> </prop>
</props>
</property>
</bean></p><p> <!-- CRAWL METADATA: including identification of crawler/operator -->
<bean id="metadata" class="org.archive.modules.CrawlMetadata" autowire="byName">
<property name="operatorContactUrl" value="<a href="http://localhost"/">http://localhost"/</a>>
<property name="jobName" value="sohu"/>
<property name="description" value="sohujingxuan"/>
<!-- <property name="operator" value=""/> -->
<!-- <property name="operatorFrom" value=""/> -->
<!-- <property name="organization" value=""/> -->
<!-- <property name="audience" value=""/> -->
<!-- <property name="userAgentTemplate"
value="Mozilla/5.0 (compatible; <a href="mailto:heritrix/@VERSION">heritrix/@VERSION</a>@ <a href="mailto:+@OPERATOR_CONTACT_URL@)"/">+@OPERATOR_CONTACT_URL@)"/</a>> -->

</bean>

四、停用Robots检查

改造函数,禁用Robots协议检查,目的就不说了,改造方法如下:

复制代码

代码如下:

private boolean considerRobotsPreconditions(CrawlURI curi) {
// treat /robots.txt fetches specially
//++zhangzl:取消robots.txt的强制限制
return false;
//--</p><p>}

五、后续工作

1.定向下载改造:只下载目标内容,过滤无关信息。

2.自动解析改造:下载内容自动解析到指定目录,指定格式。

(0)

相关推荐

  • 如何用C#做网络爬虫

    如今代码圈很多做网络爬虫的例子,今天小编给大家分享的是如何用C#做网络爬虫.注意这次的分享只是分享思路,并不是一整个例子,因为如果要讲解一整个例子的话,牵扯的东西太多. 操作方法 01 新建一个控制台 ...

  • 搜索不到wifi信号windows无法配置此无线网络

    当然有时候确实是笔记本自带了管理网络的驱动,只需用它就可以无线上网,但是大部分还是因为无线网服务wireless Zero Configeration没有打开。 1、首先打开“运行”,输入:servi ...

  • 用windows配置我的无线网络设置

    每次开机后需要手动连接真的是很麻烦,经本人无数次经验终于成功了.和网友一起分享一下. 操作方法 01 开机后点击桌面网上邻居[属性]原后右键点击[无线网络连接]属性-点击无线网配置:在复选框勾选[用w ...

  • Windows 8 Modern Apps 网络隔离如何解除?

    在 Windows 8 中,我们全新引入了 WinRT 平台,带给用户包含动态磁贴和沉浸式用户体验的 Modern Apps。 如果您是企业用户,有公司的代理服务器环境,或者您是开发人员,相信您已经发 ...

  • Windows Server 2008访问网络慢问题

    最近参与的一个项目现场采用微软的Windows Server 2008 R2操作系统,软件部署后需要访问安装在另外一台机器上的Oracle数据库。在项目运行过程中发现访问数据库特别慢,一开始以为是项目 ...

  • Windows 7的ADSL网络连接和拨号连接设置方法图解教程

    一、Windows 7 ADSL网络连接的设置方法。 很多家庭用户和小型商业用户基本都是使用ADSL上网的,所以特别做个专题说明一下: 1、连接模型为计算机——路由器——ADSL MODEM的局域网模 ...

  • 如何设置Windows Xp 系统局域网网络

    Windows Xp 系统局域网网络怎么设置? 通常不需要设置,系统默认的是“自动获得IP地址”和“自动获得DNS服务器地址”。 如果你的局域网不支持自动分配IP地址,则需要为你的电脑设置一个固定IP ...

  • Windows上搭建安卓的JAVA开发环境(Eclipse版本)

    在Windows上搭建Android的JAVA开发环境图文教程(Eclipse版本) 步骤/方法 01 下载完需要的工具之后,开始安装 (1)安装Ecplise:下载回来的Ecplise(eclips ...

  • ​Windows中组建家庭网络(1)

    操作方法 01 Windows中组建家庭网络(1) 近年来,随着计算机及其配件价格的不断下降及网络的日益普及,家庭组网已经成为一个非常实际的时尚话题.通过家庭组网,不仅可以节约开支,使很多硬件设备实现 ...