读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Hadoop

10道Hadoop面试真题及解题思路

小数点   2017-09-28

(一)海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采...

阅读全文

关于 Hadoop 你需要知道的一些事项

小数点   2017-09-19

作者:Ian Barker 除非你过去几年一直隐居,远离这个计算机的世界,否则你不可能没有听过Hadoop。 全名Apache Hadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架。...

阅读全文

基于Hadoop大数据分析应用场景与实战

小数点   2017-09-18

作者:王雷 为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台...

阅读全文

一分钟让你知道Hadoop是什么

小数点   2017-08-22

作者:kkdelta hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计...

阅读全文

再见Hadoop之父,大数据应用新认知

图表大师   2017-08-18

作者:宋家雨 前不久,有机会再次见到hadoop之父–Doug Cutting先生,与2014年见面稍有不同的是,这次Doug Cutting先生身份变为了Cloudera首席架构师。结合Hadoop、大数据和人工智能等...

阅读全文

分析:「AI on Hadoop」有意义吗?

图表大师   2017-08-11

近日MapR宣布推出了一款名为Quick Start Solution(QSS)的新解决方案,专注于深度学习应用。MapR强调,QSS是一款分布式深度学习产品和服务,能够大规模训练复杂的深度学习算法。 想法是这样...

阅读全文

Hadoop工具如何形成SAP Hana的大数据平台

蝙蝠侠   2017-07-26

自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的hadoop工具。没有Hadoop,大多数SAP Hana...

阅读全文

Hadoop Yarn调度器的选择和使用

大象会跳舞   2017-07-21

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它...

阅读全文

大数据框架Hadoop主要模块介绍

数据有意思   2017-06-30

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。 核心模块: Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Config...

阅读全文

一步一步学习大数据:Hadoop 生态系统与场景

大象会跳舞   2017-06-22

作者:Lee Hadoop概要 到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议。 随着互联网以及物联网的蓬勃发展,我们进入了大数据时代。IDC预测...

阅读全文

不要让Hadoop成为Had oops!

小狼   2017-06-07

作者: 易安信EMC 过去几年里,数据量的生成以每两年翻翻的速度增长,但企业的预算却没有相应增长。这意味着要更有创造性地通过更少的方式做更多的工作。这是一个持续且艰巨的挑战,我没有...

阅读全文

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

数据有意思   2017-05-19

作者:杜亦舒 本文主要帮您解决一下几个问题: HDFS是用来解决什么问题?怎么解决的? 如何在命令行下操作HDFS? 如何使用Java API来操作HDFS? 在了解基本思路和操作方法后,进一步深...

阅读全文

hadoop生态系统的详细介绍

小数点   2017-05-15

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态...

阅读全文

零基础搭建Hadoop大数据处理-集群安装

招聘办女秘书   2017-05-11

作者:欢醉 经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3....

阅读全文

零基础搭建Hadoop大数据处理-初识

招聘办女秘书   2017-05-03

文|欢醉 在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数据分析,学习,如双...

阅读全文