读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

Hadoop

这是一篇最通熟易懂的Hadoop HDFS实践攻略!

数据有意思   2017-05-19

作者:杜亦舒 本文主要帮您解决一下几个问题: HDFS是用来解决什么问题?怎么解决的? 如何在命令行下操作HDFS? 如何使用Java API来操作HDFS? 在了解基本思路和操作方法后,进一步深...

阅读全文

hadoop生态系统的详细介绍

小数点   2017-05-15

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态...

阅读全文

零基础搭建Hadoop大数据处理-集群安装

招聘办女秘书   2017-05-11

作者:欢醉 经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3....

阅读全文

零基础搭建Hadoop大数据处理-初识

招聘办女秘书   2017-05-03

文|欢醉 在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数据分析,学习,如双...

阅读全文

Hadoop没有消亡,它是大数据的未来

小数点   2017-05-03

作者:数据之王 人认为 Hadoop 正在失败,但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看,为了反驳此前一篇文章《为什么 Hadoop 正在消亡?(Why Hadoop is F...

阅读全文

大数据系列(5)——Hadoop集群MYSQL的安装

雪姬   2017-04-21

文|指尖流淌 前言 有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常...

阅读全文

分布式计算开源框架Hadoop入门实践(二)

雪姬   2017-04-18

作者:岑文初 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。H...

阅读全文

大数据系列(2)——Hadoop集群坏境CentOS安装

大象会跳舞   2017-04-18

文|指尖流淌 前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正...

阅读全文

分布式计算开源框架Hadoop入门实践(一)

小数点   2017-04-17

作者:岑文初 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实...

阅读全文

大数据系列(1)——Hadoop集群坏境搭建配置

小数点   2017-04-17

文|指尖流淌 前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含...

阅读全文

大数据道场(HDP SandBox) 初探

数据有意思   2017-04-12

文|半吊子全栈工匠 这里的大数据道场是以HDP sandbox 为基础的,安装好了virtual box,导入了sandbox镜像之后,启动虚拟机,来看看我们的大数据道场吧。 访问方式 通过SSH的终端访问是不二...

阅读全文

Hadoop面试中6个常见的问题及答案

雪姬   2017-02-09

译者 | 码农网 – 小峰 你准备好面试了吗?呀,需要 Hadoop 的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是 Hadoop? Hadoop 是一个开源软件框架,用于存储大量...

阅读全文

Hadoop部署实践:菜鸟级安装入门经验

招聘办女秘书   2017-02-04

文/胡晨川 我是Linux外行,hadoop外行,java更外行,Scala听也没听过,在我脑海中,Spark一直只是我的英文名。但是,作为一名数据分析师,我怎么可以完全不了解大数据的应用呢?于是,完全...

阅读全文

Hadoop和Couchdb成为新一波数据库攻击的目标

小六子   2017-01-24

前言 最近,一些经常劫持并删除数据的网络罪犯盯上了不安全的Hadoop和CouchDB应用。安全研究人员在上周表示,在针对未设防的开源数据管理平台的新一波攻击中,共有28000项MongoDB及Elastics...

阅读全文

成本性能要兼得?简化Hadoop云部署有高招

蝙蝠侠   2017-01-19

文 | Craig Stedman 译者 | 杨宏玉 对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署流程,并试图降低云端Hadoop...

阅读全文

ZooKeeper原理及其在Hadoop和HBase中的应用

雪姬   2017-01-16

文 | LBD ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、...

阅读全文

深刻理解HDFS工作机制

雪姬   2017-01-12

文 | Pickle 深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原...

阅读全文

分布式(hadoop)内核研发面试指南

小数点   2016-12-23

文 | 封神 本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。 最近一直在看简历,面试同学,发现符合要求的很少。本文是同...

阅读全文

资深架构师教你一篇文看懂Hadoop

小数点   2016-11-01

作者:陈 飚 “昔我十年前,与君始相识” 一瞬间Hadoop也到了要初中择校的年龄了。十年前还没有Hadoop,几年前国内IT圈里还不知道什么是Hadoop,而现在几乎所有大型企业的IT系统中有已经有了Ha...

阅读全文