hadoop入门之hadoop集群验证任务存放在不同的节点上

Linux环境:CentOs6.4

Hadoop版本:Hadoop-1.1.2

master: 192.168.1.241 NameNode JobTracker DataNode TaskTracker

slave:192.168.1.242 DataNode TaskTracker

内容:想hadoop文件系统中上传一个大文件,验证文件分别分布在192.168.1.241节点和192.168.1.242节点上。

第一步: 前期工作:搭建Hadoop集群,

在hdfs-site.xml中的配置为2.

复制代码

代码如下:

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

运行执行start-all.sh命令,运行结果如图所示:

查看9000和9001的信息

9000是HDFS的入口9001是MapReduce的JobTracker的入口

从以上图中可以确定Ip地址为192.168.1.241.

第二步:通过网页查看节点的个数。在浏览器中输入http://localhost:50070

以上看到LiveNodes的个数为2,说明启动成功。

第三步:上传大文件。具体步骤如图所示:

通过网页查看运行状况:

大文件已经上传成功.文件的大小是244.91MBlock的大小是64M。所以每个节点能够有4个Block。

Replication为2,表明每个Block有2个备份。

查看节点的使用情况:

从图中可以看出,此文件分成了4个Block。(TotalNumberofblocks:4)。

每个Block在两个节点上进行了备份,分别是192.168.1.241192.168.1.242

hadoop集群至此测试结束。测试成功。

(0)

相关推荐

  • hadoop多台机器集群的配置

    以前也配置过hadoop集群,但是很久没有重新去倒腾配置的细节,导致这次走了不少弯路。为了让后来的人少走弯路,也给我自己留个提醒,于是就有了这篇文章。 首先配置这个集群主要包括三个部分。三个部分各自都 ...

  • Linux集群内SSH免密码访问的快速配置方法

    日常无论测试环境还是生产环境,在进行多台服务器(集群)安装配置的时候,经常需要对集群内服务器SSH访问做免密码设置.比如Hadoop.HBase等集群的安装配置,或者多台服务器为便于后续运维也需要做S ...

  • 如何管理和维护RHCS集群

    管理和维护RHCS集群是一个非常复杂和繁琐的工作,要维护好一个RHCS集群,必须熟悉RHCS的基本运行原理,在集群管理方面,RHCS提供了两种方式:即Luci图形界面方式和命令行方式,这儿重点讲述在命 ...

  • 如何安装Redis集群

    我们使用一台机器,模拟6个redis实例来创建redis集群,其中3主3从. 操作方法 01 创建目录,copy配置文件 02 修改配置文件 按照此方式修改7001~7005的配置文件,注意修改端口号 ...

  • Hadoop集群运行JNI程序

    要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情。 Hadoop运行程序的方式是通过jar包,所以我们需要将所有 ...

  • hadoop入门之通过页面验证hadoop是否安装成功的方法

    Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 验证Hadoop是否安装成功主要通过以下两个网址。 http://localhost:50030(MapReduce的 ...

  • Linux系统 CentOS 7怎么搭建集群? 搭建高可用集群的步骤

    CentOS 7下怎么搭建高可用集群。高可用集群是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。那 ...

  • windows2003做集群的方法

    首先说一下需要的环境: 1、每台机子只有一个网卡,操作系统windows2003 sp2, 准备三个IP地址,如:服务器A:192.168.0.2 服务器B:192.168.0.3 和用于集群IP:1 ...

  • 在VMWare中配置SQLServer2005集群 Step by Step(四) 集群安装

    在VMWare 中配置集群 1. 进入command 命令窗口执行以下命令,创建仲裁磁盘和共享数据磁盘 vmware-vdiskmanager.exe -c -s 200Mb -a lsilogic ...