hadoop

　　hadoop是一款由Apache基金会所开发的分布式系统基础架构，主要是由HDFS和MapReduce组成。该软件具有较高的扩展性、高效性和高容错性，功能非常强大，用户可以在不了解分布式底层细节的情况下，开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理，它的处理能力值得人们信赖，需要的可以试试看。

功能特点

　　HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

　　HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

　　高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

　　⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

　　⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

　　⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

　　Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

环境搭建方法

　　安装VMware-workstation10

　　VMware-workstation10的安装非常简单，只需要根据提示一步步选择“Next”即可，遇到回答“Yes”还是“No”的地方，选 择“Yes”。在安装过程中，会出现暂时的网络中断，不要惊慌，一会就会恢复。安装完成后在网络共享中心→更改适配器设置，会出现VMware- workstation10自动建立的虚拟网络如下图2.1所示

　　图1.1

　　vmnet0， 实际上就是一个虚拟的网桥（VMware已经不显示了，但仍然有此功能）

　　vmnet1， 这是一个Host-Only网络模式（使用Host-Only连接方式必须启用此网卡）

　　vmnet8， 这是一个NAT方式（使用NAT连接方式必须启用此网卡）

　　1.2 用VMware打开Centos镜像

　　将Centos镜像解压开以后，找到一下目录如下图2.2所示

　　图1.2

　　双击方框内的文件即可，不用安装，里面的Centos已经配置好，一共两个用户，一个是Hadoop普通账户，密码为hadoop,一个是root用户，密码为hadoop。

　　1.3 宿主机（windows）与客户机（安装在虚拟机中的Linux）网络连接

　　(1) host-only 宿主机与客户机单独组网。

　　好处：网络隔离

　　坏处：虚拟机与其他服务器之间不能通信

　　(2) brige 客户机与宿主机在同一个局域网中。

　　好处：都在同一个局域网可以相互访问

　　坏处：不安全

　　(3)NAT 略

　　1.4 设置网络

　　大家可以根据自己的条件设置自己的网络连接方式，由于使用的是内网我的IP端有限制，所以我使用桥接的方式。设置方式如下：

　　图 1.3

　　图 1.4

　　图 1.5

　　由于我使用的是桥接模式，虚拟机的VMnet1和VMnet8没有用到所以我将其禁用了，但选择Host-Only或NAT不能全部禁用，使用哪个就开启哪个。

　　(1)开机

　　图 1.6

　　在此处点击我已经移动

　　图 1.7

　　图 1.8

　　开启之后，我们选择Other，输入root，密码：hadoop进入系统，如下图

　　(2)配置静态网络

　　由于我使用的是桥接方式，所以Linux所设置的网段和我Host主机的网段在同一个网段中

　　图 1.9

　　图 1.10

　　图 1.11

　　图1.12 我电脑的IP为192.168.1.49，虚拟机的为192.168.1.50，两者在同一网段中，选择Manual静态模式，最后点击Apply

　　图1.13 配置成功