安装配置
分布式模式
尚学堂-肖冰
在讲node1的公钥内容直接复制给node中的认证文件中,想以此实现免密码登陆,但是没有成功。最后的解决办法是在node2,node3,中生成密钥文件,实现本地免密码登陆。然后在node1生成认证文件,然后直接将该文件通过scp将文件传输到node2,然后将该内容重定向追加到认证文件中。OK
HDFS
基本特性及流程
1.副本的读写是由前一个节点开启进程进行的,完全不用客户端操作
hdfs可靠性保证关键因素
常见操作
常见操作 熟悉Java api和shell命令操作
MapReduce
输入输出格式
Map 和 Reduce 大小
shuttle的详细过程
问题
mapred 50030端口查看 连接 MapRed端口是9001 DFS端口是9000
为什么有人可以直接在window上直接安装Hadoop
Hadoop实战篇
IDE
Hadoop提供了一些插件来实现对IDE的支持,在该插件支持目录管理,文件管理等。比如可以从本地上传文件到hdfs.
程序可以在IDE中另开一个项目来实现
肖斌的视频第24集是演示wc程序编写。