一、hadoop到底是什么?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
1、用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
2、Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
3、Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
二、hadoop是什么?详细一点
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大
大讲台国内首个it在线自适应学习平台。中国的knewton,世界的自适应学习,百度“大讲台”。
(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
三、hadoop到底是什么
1、是一个文件系统。相比较WinXP,它可以同时利用多台机器
2、装WinXP,1个WinXP系统你只能装在一台机器上。而1个Hadoop系统可以装在一台机上,也可以装在很多机器上。
3、用WinXP保存一个文件,肯定就保存在一台机器上,而Hadoop就不同,一个文件可能会被拆成很多份,分别放在不同的机器上,而你通过Hadoop不需要知道他们具体存到哪里,可以象WinXP下一样访问1个文件。
4、安装WinXP只需要1台标准的个人电脑做为它的底层需求,而Hadoop还需要Linux系统+JAVA做为它的底层需求。
5、WinXP有个漂亮的操作界面,非富的其它功能,一般用户都可以很方便的使用它;而Hadoop没有这些,很多功能都要通过敲命令,甚至写代码才能使用它。
四、Hadoop诞生历史
创始人 :人称Hadoop之父的 Doug Cutting ,Apache软件基金会主席,是Lucene、Nutch 、Hadoop等项目的发起人。
最开始Hadoop只是Apache Lucene的子项目Nutch的一部分。
Lucene 是全球第一个开源的全文检索引擎工具包,想必做过Javaweb的搜索功能的同学都接触过。
它有完成的查询引擎和部分文本分析引擎。
Nutch 基于Lucene,并具有网页抓取和解析的功能,可以实现一个搜索引擎的开发,但是如果投入使用的话就必须在极短时间内做出反应,并且能够实现短时间内对亿级数量的网页进行分析处理,这就需要考虑分布式任务处理、故障恢复、负载均衡这些问题。
后来Doug Cutting 借鉴谷歌的 Google File System 和 MapReduce:Simplified Data Processing On Large Clusters 两篇论文,移植了其中的技术,并将其命名为:Hadoop。
五、HadOOP什么意思?
Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。在Hadoop中实现了Google的MapReduce算法,它能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行。此外,Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据,并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统使得Hadoop框架具有高容错性,它会自动处理失败节点。已经在具有600个节点的集群测试过Hadoop框架。