在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名，其实我们可以通过 Context 来获取相关参数，代码类似如下：
[crayon-673f32db0f0425[……]
分类存档: 海量数据
Hadoop在Map阶段获取当前split的文件名
作者: Michael
日期: 2015 年 3 月 30 日
没有评论 | 2,580 views
hadoop多硬盘配置注意点
作者: Michael
日期: 2015 年 3 月 30 日
没有评论 | 2,339 views
Hadoop修改配置PID文件路径
作者: Michael
日期: 2015 年 3 月 24 日
没有评论 | 5,824 views
[一]、 概述
Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的，而linux下 /tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：n[......]
HBase安装配置snappy压缩算法
作者: Michael
日期: 2015 年 3 月 18 日
没有评论 | 2,757 views
[一]、前提
首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考： Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相[……]
Hadoop安装配置snappy压缩
作者: Michael
日期: 2015 年 3 月 18 日
2 条评论 | 18,681 views
本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。
[一]、 实验环境
- CentOS 6.3 64位
- Hadoop 2.6.0
- JDK 1.7.0_[……]
HBase+Hadoop2 NN HA+Zookeeper独立安装的整合
作者: Michael
日期: 2015 年 2 月 5 日
4 条评论 | 3,778 views
Hadoop2 NN HA+Zookeeper独立安装的步骤参见：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/ ，本文H[……]
Hadoop2分布式及NN和RM实现HA的实验
作者: Michael
日期: 2015 年 2 月 4 日
没有评论 | 6,222 views
ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
作者: Michael
日期: 2014 年 12 月 25 日
没有评论 | 1,783 views
HBase单机模式启动后，很快进程就结束了，日志中错误信息如下：
|
1 2 3 4 5 6 7 8 9 10 11 |
ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master java.lang.RuntimeException: Failed suppression of fs shutdown hook: Thread[Thread-30,5,main] at org.apache.hadoop.hbase.regionserver.ShutdownHook.suppressHdfsShutdownHook(ShutdownHook.java:196) at org.apache.hadoop.hbase.regionserver.ShutdownHook.install(ShutdownHook.java:83) at org.apache.hadoop.hbase.util.JVMClusterUtil.startup(JVMClusterUtil.java:191) at org.apache.hadoop.hbase.LocalHBaseCluster.startup(LocalHBaseCluster.java:420) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:149) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:104) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:76) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2120) |
环境参数：
- Mac OSX 10.10.1
- Java[……]
Hadoop2.x在Ubuntu系统中编译源码
作者: Michael
日期: 2014 年 4 月 22 日
没有评论 | 3,854 views
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：
［一］、基础环境
- Ubuntu 12.04 LTS 64 位
- Hadoop2.2.0
- J[……]
eclipse中开发Hadoop2.x的Map/Reduce项目
作者: Michael
日期: 2014 年 4 月 15 日
没有评论 | 4,063 views
本文演示如何在Eclipse中开发一个Map/Reduce项目：
1、环境说明
- Hadoop2.2.0
- Eclipse Juno SR2
- Hadoop2.x-eclipse-pl[……]
近期评论