`
dawuafang
  • 浏览: 1100594 次
文章分类
社区版块
存档分类
最新评论

HADOOP的学习笔记 (第二期)

 
阅读更多


前段时间写了hadoop学习笔记第一期,这段时间一直忙,没有时间。今天来写第二期吧。关于全分布模式。


我用的是虚拟的两台机器,环境都是centos 5.5 。

master 192.168.0.150

slaver 192.168.0.152


第一步:首先都按照第一期(http://blog.csdn.net/kobe_lzq/article/details/7958160)的操作做两台单机环境。

第二步:因为master向slaver中放置文件的时候都是通过SSH,所以配置两台机器都需要免密码登陆。配置方式前面也已经讲过,在master中生成的id_rsa.pub scp到slaver中。

第三步:配置host /etc/hosts和主机名

第四步:修改核心的配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml

1.修改core-site.xml

2.修改mapred-site.xml

第五步:在分别修改两台机器中的masters 和 slavers 如图:


第六步:至此,基本就是配置完毕,然后执行下format, start以后用 hadoop dfsadmin -report 看下。

分享到:
评论

相关推荐

    Hadoop学习笔记.pdf

    Hadoop 适合初学者 Hadoop2.0 hbase 什么时候用HBase: 确信有足够多数据 确信可以不依赖所有RDBMS的额外特性(列数据类型/第二索引/事物/高级查询语言) 确信有足够硬件

    Hadoop学习笔记之jdk的安装

    1.首先必须在将虚拟机上的Linux系统配置好。 2.删除自带的jdk。 3.就可以开是学习Hadoop了接下来对照文件操作。 声明本人是第一次发帖子,如有错误请大家多多指正。请大家多多关注。

    HADOOP学习笔记

    1、建用户: adduser phpq //新建phpq用户 ... 2、建工作组 groupadd test //新建test工作组 ...5、临时关闭:在/etc/shadow文件中属于该用户的行的第二个字段(密码)前面加上*就可以了。想恢复该用户,去掉*即可。

    Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS:1.HDFS基础

    其中的第一至四步骤。 1.2、请参考文章: maven的安装、路径配置、修改库文件路径和eclipse中的配置,解决Eclipse使用Maven下载慢的问题 1.3、创建一个maven工程HDFS 1.4、 导入相应的依赖坐标加日志添加 junit ...

    大数据学习笔记:Hadoop 2.x的版本架构模型介绍

    大数据学习笔记:Hadoop 2.x的版本架构模型介绍 第一种:NameNode与ResourceManager单节点架构模型 文件系统核心模块: NameNode:集群当中的主节点,主要用于管理集群当中的各种元数据 secondaryNameNode:主要能...

    大数据学习笔记

    第二部分 ZOOKEEPER学习 24 第6章 zookeeper介绍 25 6.1 zookeeper简介 25 6.2 分布式应用程序 25 6.3 Apache Zookeeper意味着什么? 26 第7章 zookeeper基本组成与工作流程 27 第8章 zookeeper的leader节点选择 31 ...

    大数据学习笔记.pdf

    第二部分 ZOOKEEPER学习 .......................................................................................................... 24 第6章 zookeeper介绍 ..................................................

    java连接sqoop源码-LearningHadoop2:学习Hadoop2

    学习笔记 来自在线课程的综合说明: 大数据 -从加州大学圣地亚哥分校释放海量数据集中的价值 Randal Scott King学习 Hadoop 2 来自加州大学圣地亚哥分校的Hadoop 平台和应用程序框架 目录 第一节 Hadoop生态系统概述...

    IT十八掌_kafka阶段学习笔记(课堂笔记与原理图解)

    IT十八掌第三期配套笔记! 1、kafka消息系统的介绍 2、producer有分区类 3、kafka支持的副本模式 4、kafka消费者偏移量考察 5、kafka自定义消费者 6、kafka自定义生产者 7、kafka带分区生产者 8、flume集成kafka的几...

    IT十八掌_Hive阶段学习笔记(课堂笔记与优化总结)

    IT十八掌第三期配套课堂笔记 1、Hive工作原理、类型及特点 2、Hive架构及其文件格式 3、Hive操作及Hive复合类型 4、Hive的JOIN详解 5、Hive优化策略 6、Hive内置操作符与函数 7、Hive用户自定义函数接口 8、Hive的...

    IT十八掌_HBase阶段学习笔记(课堂笔记与原理图解)

    IT十八掌大数据第三期配套课堂笔记! 1 、HBase的特点 2 、HBase访问接口 3 、HBase存储结构与格式 4 、HBase设计 5 、关键算法和流程 6 、HBase安装 7、HBase的Shell操作 8、HBase客户端

    华为工程师linux的笔记-第2章 .pdf

    第15章到第38章学习内容分别包括:Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发...

    IT十八掌_Flume阶段学习笔记(知识点总结)

    IT十八掌第三期配套课堂笔记! 1、安装和执行机制的分析 2、操作引入 3、常见工具对比 4、flume起源 5、flume概念 6、flume简介和实际应用操作 7、flume的几种配置 8、知识点的总结

    Spark-Core学习知识笔记整理

    Spark-Core文档是本人经三年总结笔记汇总而来,对于自我学习Spark核心基础知识非常方便,资料中例举完善,内容丰富。具体目录如下: 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...

    高级java笔试题-EBook-PDF:ITPDF电子书

    MVC学习指南(第2版).pdf 看透springMvc源代码分析与实践.pdf 深入浅出MyBatis技术原理与实战.pdf 大数据 Hadoop权威指南大数据的存储与分析第4版.pdf Hive编程指南.pdf Spark大数据处理技术.pdf 大数据Spark企业级...

    Learn_Data_Science_in_3_Months:这是Siraj Raval在Youtube上开设的“ 3个月学习数据科学”课程

    每天2-3小时的学习时间 使用的工具 Python,SQL,R,Tensorflow,Hadoop,MapReduce,Spark,GitHub, 加速学习技巧 使用浏览器扩展以2倍或3倍速度观看视频 观察内存保留情况时手写笔记 融入 第1个月-数据分析 第一...

    第二章 Spark RDD以及编程接口

    第二章 Spark RDD以及编程接口 目录 Spark程序”Hello World” Spark RDD 创建操作 转换操作 控制操作 行动操作 注:学习《Spark大数据处理技术》笔记 1. Spark程序”Hello World” 1. 概述 计算存储在HDFS的Log...

    h2o-3:H2O是一个开源,分布式,快速且可扩展的机器学习平台:深度学习,梯度提升(GBM)和XGBoost,随机森林,广义线性建模(带有弹性网的GLM),K均值,PCA,广义附加模型(GAM),RuleFit,支持向量机(SVM),堆叠集成,自动机器学习(AutoML)等

    H2O提供了许多流行实现,例如广义线性模型(GLM),梯度提升机(包括XGBoost),随机森林,深层神经网络,堆叠体,朴素贝叶斯,广义加性模型(GAM),考克斯比例危害,K-表示PCA,Word2Vec以及全自动机器学习算法...

    leetcode下载-xiaoxiyouran_all:跨平台

    该项目下保存小夕笔记的第一部分(因为暂时不知道一个项目最大容量是多少)。所以暂时记为第一部分把。 软件架构 主要包含如下: 1分钟钉盘入门.pdf 前端 20180319文件夹说明.md 加密 Android 助教 C 数学 ...

    25个大数据专业术语入门大数据必备知识.pdf

    2.分析。年末你可能会收到⼀份来⾃信⽤卡公司寄来的包含了全年所有交易记录的年终报表。如果你有兴趣进⼀步分析⾃⼰在⾷物、⾐服、 娱乐等⽅⾯具体花费占⽐呢?那你便是在做"分析"了。你正从⼀堆原始数据中来吸取...

Global site tag (gtag.js) - Google Analytics