河东软件园:绿色免费的软件下载站! 最新软件|软件分类|软件专题|软件发布

所在位置:首页 > 网络软件 > 数据库类 > spring hadoop (系统设计与实施) 2.2.0 官方正式版

spring hadoop (系统设计与实施)

 2.2.0 官方正式版
  • 软件大小:124 KB
  • 更新日期:2017-08-14
  • 软件语言:简体中文
  • 软件类别:数据库类
  • 软件授权:免费软件
  • 软件官网:
  • 适用平台:WinXP, Win7, Win8, Win10, WinAll
  • 软件厂商:

8.9
软件评分

本地下载文件大小:124 KB 高速下载需下载高速下载器,提速50%

软件介绍人气软件相关文章网友评论下载地址

为您推荐:数据库类

  Spring Hadoop是一款整合的工具包;它可以快速的进行帮助用户进行创建您需要的Spring Hadoop、pig、Hive等,也可对HBase、HDF等进行支持,还可满足用户在基于Hadoop的作业调度,这进行使用或者操作这些数据的时候,无需进行连接过多的Hadoop,即可快速的使用您需要的项目;软件的使用还是比较的简单,操作也相当的快捷,灵活,需要的朋友赶快这河东软件园将spring hadoop (系统设计与实施)下载使用试试吧!

spring hadoop (系统设计与实施) 2.2.0 官方正式版

软件功能

  Spring Hadoop支持MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。

  HDFS的数据访问能通过JVM支持的脚本语言,如Groovy,JRuby,Jython等等。

  支持声明式配置HBase

  对于客户端连接Hadoop,提供强大的Hadoop配置选项和模板机制

  还计划支持Hadoop工具,包括FsShell和DistCp等。

  总之能把Hadoop各成员的配置,创建都和Spring的容器结合起来,得到统一的管理。

软件特色

  可以快速的进行配置您的文件查看

  支持根据自己的需求来快速的进行搭建

  还可对许多的功能进行支持,包括了HDFS、HBase等功能的使用

  也可快速的对HAdoop的技巧进行快速的了解

  可快速的进行添加命名空间的功能,也支持将命名空间快速的添加到需要的项目

使用方法

  搭建web日志采集系统

  收集日志

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  支持三种操作模式。

  作为嵌入代理的用法将导致消息直接传递给水槽通道,然后控件将立即返回应用程序。所有与远程代理的交互都将异步发生。将“类型”属性设置为“嵌入”将强制使用嵌入代理。此外,配置在appender配置剂的性能也会导致嵌入剂。

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  我们下面就简单的用第一种方式

  客户端配置

  log4j.xml

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  服务端配置

  下载 flume, 在conf 目录下,配置example.conf :

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  启动 flume

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  查看日志,是否成功。

  Solr 配置

  关于solr的介绍

  这里 solr的数据也是需要存储到 hdfs中的,另外solr 是通过zookeeper 来管理的

  以下配置,这里用的cloudera manager 安装,所以自动配好了,但是需要检验,如果是手动安装也有对应的文档可以直接查看, 另外这里省略Solr Authentication。

  配置 zookeeper service

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  配置 solr use hdfs

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  初始化管理员命名空间

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  启动solr

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  配置OLR收藏

  来组织逻辑数据SOLR通过集合,所以你需要创建collection,每个collection有自己的配置,文档上已经讲的比较清楚了,而且也不多,这里不再赘述

  生成的配置集

  下面是的collection是用来存储上面收集到的日志:

spring hadoop (系统设计与实施) 2.2.0 官方正式版

常见问题

  异常信息:(以下异常解决所需jar版本是对应hbase 和 hadoop的,异常出现并不准确按照以下顺序,是后期整理的结果)

  1. Java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少hadoop-common-2.5.1.jar

  2. java.lang.ClassNotFoundException: com.google.common.base.Preconditions

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少guava-12.0.1.jar

  3. java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少hadoop-mapreduce-client-core-2.5.1.jar

  4. java.lang.ClassNotFoundException: com.google.protobuf.RpcChannel

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少protobuf-java-2.5.0.jar

  5. java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少commons-configuration-1.6.jar

  6. java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少hadoop-auth-2.5.1.jar

  7. java.lang.ClassNotFoundException: org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingInterface

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少hbase-protocol-1.2.1.jar

  8. java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少zookeeper-3.4.6.jar

  9. java.lang.ClassNotFoundException: org.apache.htrace.Trace

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少htrace-core-3.1.0-incubating.jar

  10. java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup

spring hadoop (系统设计与实施) 2.2.0 官方正式版

  缺少netty-all-4.0.23.Final.jar

  11. java.lang.VerifyError: class org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final method getUnknownFields. ()Lcom/google/protobuf/UnknownFieldSet;

spring hadoop (系统设计与实施) 2.2.0 官方正式版

下载地址

  • spring hadoop (系统设计与实施) 2.2.0 官方正式版

    本地高速下载

人气软件

查看所有评论>>网友评论0

发表评论

您的评论需要经过审核才能显示

精彩评论

最新评论

盖楼回复X

(您的评论需要经过审核才能显示)