spring hadoop (系统设计与实施)

　　Spring Hadoop是一款整合的工具包；它可以快速的进行帮助用户进行创建您需要的Spring Hadoop、pig、Hive等，也可对HBase、HDF等进行支持，还可满足用户在基于Hadoop的作业调度，这进行使用或者操作这些数据的时候，无需进行连接过多的Hadoop，即可快速的使用您需要的项目；软件的使用还是比较的简单，操作也相当的快捷，灵活，需要的朋友赶快这河东软件园将spring hadoop (系统设计与实施)下载使用试试吧！

软件功能

　　Spring Hadoop支持MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。

　　HDFS的数据访问能通过JVM支持的脚本语言，如Groovy，JRuby，Jython等等。

　　支持声明式配置HBase

　　对于客户端连接Hadoop，提供强大的Hadoop配置选项和模板机制

　　还计划支持Hadoop工具，包括FsShell和DistCp等。

　　总之能把Hadoop各成员的配置，创建都和Spring的容器结合起来，得到统一的管理。

软件特色

　　可以快速的进行配置您的文件查看

　　支持根据自己的需求来快速的进行搭建

　　还可对许多的功能进行支持，包括了HDFS、HBase等功能的使用

　　也可快速的对HAdoop的技巧进行快速的了解

　　可快速的进行添加命名空间的功能，也支持将命名空间快速的添加到需要的项目

使用方法

　　搭建web日志采集系统

　　收集日志

　　支持三种操作模式。

　　作为嵌入代理的用法将导致消息直接传递给水槽通道，然后控件将立即返回应用程序。所有与远程代理的交互都将异步发生。将“类型”属性设置为“嵌入”将强制使用嵌入代理。此外，配置在appender配置剂的性能也会导致嵌入剂。

　　我们下面就简单的用第一种方式

　　客户端配置

　　log4j.xml

　　服务端配置

　　下载 flume, 在conf 目录下，配置example.conf ：

　　启动 flume

　　查看日志，是否成功。

　　Solr 配置

　　关于solr的介绍

　　这里 solr的数据也是需要存储到 hdfs中的，另外solr 是通过zookeeper 来管理的

　　以下配置，这里用的cloudera manager 安装，所以自动配好了，但是需要检验，如果是手动安装也有对应的文档可以直接查看, 另外这里省略Solr Authentication。

　　配置 zookeeper service

　　配置 solr use hdfs

　　初始化管理员命名空间

　　启动solr

　　配置OLR收藏

　　来组织逻辑数据SOLR通过集合，所以你需要创建collection，每个collection有自己的配置，文档上已经讲的比较清楚了，而且也不多，这里不再赘述

　　生成的配置集

　　下面是的collection是用来存储上面收集到的日志：

常见问题

　　异常信息：(以下异常解决所需jar版本是对应hbase 和 hadoop的，异常出现并不准确按照以下顺序，是后期整理的结果)

　　1. Java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

　　缺少hadoop-common-2.5.1.jar

　　2. java.lang.ClassNotFoundException: com.google.common.base.Preconditions

　　缺少guava-12.0.1.jar

　　3. java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

　　缺少hadoop-mapreduce-client-core-2.5.1.jar

　　4. java.lang.ClassNotFoundException: com.google.protobuf.RpcChannel

　　缺少protobuf-java-2.5.0.jar

　　5. java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration

　　缺少commons-configuration-1.6.jar

　　6. java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName

　　缺少hadoop-auth-2.5.1.jar

　　7. java.lang.ClassNotFoundException: org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingInterface

　　缺少hbase-protocol-1.2.1.jar

　　8. java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException

　　缺少zookeeper-3.4.6.jar

　　9. java.lang.ClassNotFoundException: org.apache.htrace.Trace

　　缺少htrace-core-3.1.0-incubating.jar

　　10. java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup

　　缺少netty-all-4.0.23.Final.jar

　　11. java.lang.VerifyError: class org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final method getUnknownFields. ()Lcom/google/protobuf/UnknownFieldSet;