读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

Hadoop

教你玩转Hadoop分布式集群搭建,进击大数据

小数点   2017-12-06

作者:小哥 终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hado...

阅读全文

Hadoop面试,有它就够了

小数点   2017-11-24

A、简介 Apache Hadoop 是一个开源软件框架,可安装在一个商用机器集群中,使机器可彼此通信并协同工作,以高度分布式的方式共同存储和处理大量数据。最初,Hadoop 包含以下两个主要组件:H...

阅读全文

IBM 11链接Hadoop最佳实践

小数点   2017-11-08

大数据标志着业务分析的新时代到来,各商业组织现在有机会就数据在容量、速度和多样性的传统处理能力不足问题上作出更加明智的决策。IBM 具有得天独厚的优势, 可以提供全面的技术和服务, 从...

阅读全文

嫌弃Hadoop?可能是你的打开方式有问题

小数点   2017-11-06

作者:Andrew Brust 关于 Hadoop 所谓的消亡,以及它跌落神坛的报道数不胜数。有很多人放马后炮说,Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型,临时的工作来说很慢”、“ Hadoop ...

阅读全文

Hadoop 伪分布式搭建

小狼   2017-10-25

作者:imxintian Hadoop环境部署-JDK部分 准备工作 在 /opt/目录下创建文件夹modules,和softwares 修改操作权限(切换至root用户下) chown -R wxt:wxt /opt/ 然后切换至普通用户 m...

阅读全文

Hadoop技术之Hadoop HA 机制学习

小数点   2017-10-23

作者:温球良 导语 最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本着追根溯源的精神,还是有必要吃透,也为自己的工...

阅读全文

10道Hadoop面试真题及解题思路

小数点   2017-09-28

(一)海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采...

阅读全文

关于 Hadoop 你需要知道的一些事项

小数点   2017-09-19

作者:Ian Barker 除非你过去几年一直隐居,远离这个计算机的世界,否则你不可能没有听过Hadoop。 全名Apache Hadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架。...

阅读全文

基于Hadoop大数据分析应用场景与实战

小数点   2017-09-18

作者:王雷 为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了Hadoop等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台...

阅读全文

一分钟让你知道Hadoop是什么

小数点   2017-08-22

作者:kkdelta hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计...

阅读全文

再见Hadoop之父,大数据应用新认知

图表大师   2017-08-18

作者:宋家雨 前不久,有机会再次见到hadoop之父–Doug Cutting先生,与2014年见面稍有不同的是,这次Doug Cutting先生身份变为了Cloudera首席架构师。结合Hadoop、大数据和人工智能等...

阅读全文

分析:「AI on Hadoop」有意义吗?

图表大师   2017-08-11

近日MapR宣布推出了一款名为Quick Start Solution(QSS)的新解决方案,专注于深度学习应用。MapR强调,QSS是一款分布式深度学习产品和服务,能够大规模训练复杂的深度学习算法。 想法是这样...

阅读全文

Hadoop工具如何形成SAP Hana的大数据平台

蝙蝠侠   2017-07-26

自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的hadoop工具。没有Hadoop,大多数SAP Hana...

阅读全文

Hadoop Yarn调度器的选择和使用

大象会跳舞   2017-07-21

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它...

阅读全文

大数据框架Hadoop主要模块介绍

数据有意思   2017-06-30

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。 核心模块: Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Config...

阅读全文