读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

Hadoop

分析:「AI on Hadoop」有意义吗?

图表大师   2017-08-11

近日MapR宣布推出了一款名为Quick Start Solution(QSS)的新解决方案,专注于深度学习应用。MapR强调,QSS是一款分布式深度学习产品和服务,能够大规模训练复杂的深度学习算法。 想法是这样...

阅读全文

Hadoop工具如何形成SAP Hana的大数据平台

蝙蝠侠   2017-07-26

自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的hadoop工具。没有Hadoop,大多数SAP Hana...

阅读全文

Hadoop Yarn调度器的选择和使用

大象会跳舞   2017-07-21

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它...

阅读全文

大数据框架Hadoop主要模块介绍

数据有意思   2017-06-30

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。 核心模块: Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Config...

阅读全文

一步一步学习大数据:Hadoop 生态系统与场景

大象会跳舞   2017-06-22

作者:Lee Hadoop概要 到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议。 随着互联网以及物联网的蓬勃发展,我们进入了大数据时代。IDC预测...

阅读全文

不要让Hadoop成为Had oops!

小狼   2017-06-07

作者: 易安信EMC 过去几年里,数据量的生成以每两年翻翻的速度增长,但企业的预算却没有相应增长。这意味着要更有创造性地通过更少的方式做更多的工作。这是一个持续且艰巨的挑战,我没有...

阅读全文

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

数据有意思   2017-05-19

作者:杜亦舒 本文主要帮您解决一下几个问题: HDFS是用来解决什么问题?怎么解决的? 如何在命令行下操作HDFS? 如何使用Java API来操作HDFS? 在了解基本思路和操作方法后,进一步深...

阅读全文

hadoop生态系统的详细介绍

小数点   2017-05-15

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态...

阅读全文

零基础搭建Hadoop大数据处理-集群安装

招聘办女秘书   2017-05-11

作者:欢醉 经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3....

阅读全文

零基础搭建Hadoop大数据处理-初识

招聘办女秘书   2017-05-03

文|欢醉 在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数据分析,学习,如双...

阅读全文

Hadoop没有消亡,它是大数据的未来

小数点   2017-05-03

作者:数据之王 人认为 Hadoop 正在失败,但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看,为了反驳此前一篇文章《为什么 Hadoop 正在消亡?(Why Hadoop is F...

阅读全文

大数据系列(5)——Hadoop集群MYSQL的安装

雪姬   2017-04-21

文|指尖流淌 前言 有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常...

阅读全文

分布式计算开源框架Hadoop入门实践(二)

雪姬   2017-04-18

作者:岑文初 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。H...

阅读全文

大数据系列(2)——Hadoop集群坏境CentOS安装

大象会跳舞   2017-04-18

文|指尖流淌 前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正...

阅读全文

分布式计算开源框架Hadoop入门实践(一)

小数点   2017-04-17

作者:岑文初 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实...

阅读全文