Hadoop学习笔记

大数据学习笔记

安装配置

分布式模式

尚学堂-肖冰
在讲node1的公钥内容直接复制给node中的认证文件中,想以此实现免密码登陆,但是没有成功。最后的解决办法是在node2,node3,中生成密钥文件,实现本地免密码登陆。然后在node1生成认证文件,然后直接将该文件通过scp将文件传输到node2,然后将该内容重定向追加到认证文件中。OK

HDFS

基本特性及流程

  1. 节点之间的通信机制
    2.

    读写原理

1.副本的读写是由前一个节点开启进程进行的,完全不用客户端操作

hdfs可靠性保证关键因素

常见操作

常见操作 熟悉Java api和shell命令操作

MapReduce

输入输出格式

Map 和 Reduce 大小

shuttle的详细过程

问题

mapred 50030端口查看 连接 MapRed端口是9001 DFS端口是9000
为什么有人可以直接在window上直接安装Hadoop

Hadoop实战篇

IDE

Hadoop提供了一些插件来实现对IDE的支持,在该插件支持目录管理,文件管理等。比如可以从本地上传文件到hdfs.
程序可以在IDE中另开一个项目来实现

肖斌的视频第24集是演示wc程序编写。