首页 > 分布式 > Hadoop > Hadoop、Storm学习准备篇
2015
04-22

Hadoop、Storm学习准备篇

本文是为了学习Hadoop做准备,主要解决如下问题:

      • Linux常见命令回顾
      • Linux常见操作回顾
      • 虚拟机环境下的网络配置

本文的Linux操作环境如下:

系统:CentOS6.4(虚拟机下安装)

用户:hadoop(普通用户)、root

网络环境:NAT连接,192.168.52.1/24(网关)

一、Linux常见命令

1、命令行技巧

1)tab键的妙用

  • 补全命令、文件名(注:tab键不可以补全参数)
  • 连按两次tab键可以显示所有命令
  • 查看以某些字符开头的所有命令

2)一些快捷键

  • ctrl + c(停止当前进程)
  • ctrl + r(搜索命令历史)(比history | grep xxx命令方便)
  • ctrl + l(清屏,与clear命令作用相同)

3)Linux中的通配符(了解)

  • * 匹配零个或多个
  • ? 匹配任意一个
  • [c1~c2] 匹配一个c1~c2范围中的一个字符,如[0~9] [a~z],~ 也可以写成 -
  • [list] 匹配列表里的一个字符,如 [abc]
  • [!list] 匹配列表以外的一个字符,如 [!abc]

2、常用命令行回顾

1)切换环境

  • 切换到命令行:init 3
  • 切换到图形化界面:init 5

补充:可在/etc/inittab中指定启动Linux系统后默认进入的环境。

2)将普通用户添加到sudoer 列表

首先切换到root用户,编辑/etc/sudoers文件,将hadoop添加到sudoer列表,如下图:

01. Linux646

小技巧:使用visudo命令可以直接编辑/etc/sudoers文件。

3)作业管理

01. Linux690

补充一:通过在命令后追加一个&,可以将该命令放入后台运行。通过以下命令可以管理后台作业:

  • jobs 显示后台作业
  • fg 编号 将后台作业调到前台执行
  • bg 编号 让一个作业继续在后台运行

补充二:可以通过Ctrl+Z暂停某个程序(底层原理是向程序发送信号17);通过Ctrl+C 终止当前命令

4)文件操作

01. Linux847

5)打包、压缩命令(tar)

  • -c 建立一个压缩文件的参数指令(create)
  • -x 解开一个压缩文件的参数指令(extract)
  • -z 是否需要用 gzip 压缩
  • -v 压缩的过程中显示文件(verbose)
  • -f 打包后的文件名(即归档名),在f之后要跟上归档名

打包:tar -cvf aaa.tar myfile.txt test.txt

打包并压缩:tar -zcvf aaa.tar.gz myfile.txt test.txt

解压:tar -zxvf aaa.tar.gz

6)Vi编辑器

主要掌握Vi编辑器的三种模式:一般模式、插入模式和最后行模式。

除此之外,还应掌握一般模式和最后行模式下的常用命令。详见:http://www.flyne.org/article/150

7)文件权限管理

01. Linux1208

8)用户/组管理

相关配置文件:

  • /etc/passwd 用户信息
  • /etc/shadow 用户密码(加密的)
  • /etc/group 组信息

相关命令详见:http://www.flyne.org/article/170

9)关闭防火墙

暂时关闭防火墙:sudo service iptables stop

永久关闭防火墙:sudo chkconfig iptables off

10)du、df

du查看目录大小:

– 查看某个目录的大小:du -hs /home/hadoop/documents

– 查看目录下所有目录和文件的大小:du -sh /home/hadoop/documents/*

df查看磁盘使用情况:df -h


留下一个回复

你的email不会被公开。