东风化宇 | Flyne

2015
06-26

MR-JOB执行过程及JOB提交源码分析 HOT

本文的行文思路如下：在上文《Hadoop MapReduce编程模型》中提到MapReduce主要有两部分组成：编程模型和运行时环境，并对MR编程模型进行了介绍。本文继续介绍MR运行时环境，主要包括如下三部分： YARN框架简介 MR JOB的执行过程分析 J....Read more …

2015
06-26

Hadoop MapReduce编程模型 HOT

本文的行文思路如下：一、MapReduce 1、什么是MapReduce？ MapReduce是由Google提出的一个分布式计算模型，用来解决海量数据的计算问题。举个例子说明其解决问题的思想： MapReduce由两个阶段组成：Map和Reduce。在Map阶段，....

页码： 1 2 3

2015
04-28

Hadoop RPC机制及HDFS源码分析 HOT

HDFS的源码中存在大量的远程过程调用（RPC），在深入研究HDFS源码之前，必须理解Hadoop RPC机制。一、Hadoop RPC 网络通信模块是分布式系统中最底层的模块，它支撑了上层分布式环境下复杂的进程间通信（Inter-Process Communication，IPC）逻辑，是所....

页码： 1 2

2015
04-27

HDFS体系结构及操作(命令行、Java程序) HOT

当数据集的大小超过一台计算机的存储能力时，就有必要将它存储到多台计算机上，但是不方便管理和维护，此时就迫切需要一种系统来统一管理分布在多台机器上的文件，这就是分布式文件系统。一个分布式文件系统应该具备如下特点：透明性：虽然是通过网络来访问分布在各节点上的文件，但在用户看来，就像是访问本地的....Read more …

2015
04-23

Hadoop基础及伪分布式环境搭建 HOT

一、What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 1、产生背景首先从Had....Read more …

2015
04-22

Hadoop、Storm学习准备篇 HOT

本文是为了学习Hadoop做准备，主要解决如下问题： Linux常见命令回顾 Linux常见操作回顾虚拟机环境下的网络配置本文的Linux操作环境如下：系统：CentOS6.4（虚拟机下安装）用户：hadoop（普通用户）、root 网络环境：NA....

页码： 1 2

2015
04-06

针对Storm开发中遇到的一些问题进行了记录，本文会不断更新，希望能够帮到你。问题一：集群中的supervisor节点在Storm UI界面中没有显示？症状描述：刷新Storm UI界面后，有supervisor节点消失；某节点上supervisor服务进程挂掉后重启，Storm UI界面上却不显示该supervisor节点…… 解决方式：删除问题节点上的storm local di....Read more …

2015
04-05