读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

Hadoop

大数据系列(5)——Hadoop集群MYSQL的安装

小数点   2017-04-21

文|指尖流淌 前言 有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常...

阅读全文

分布式计算开源框架Hadoop入门实践(二)

小数点   2017-04-18

作者:岑文初 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。H...

阅读全文

大数据系列(2)——Hadoop集群坏境CentOS安装

大象会跳舞   2017-04-18

文|指尖流淌 前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正...

阅读全文

分布式计算开源框架Hadoop入门实践(一)

小数点   2017-04-17

作者:岑文初 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实...

阅读全文

大数据系列(1)——Hadoop集群坏境搭建配置

小数点   2017-04-17

文|指尖流淌 前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含...

阅读全文

大数据道场(HDP SandBox) 初探

数据有意思   2017-04-12

文|半吊子全栈工匠 这里的大数据道场是以HDP sandbox 为基础的,安装好了virtual box,导入了sandbox镜像之后,启动虚拟机,来看看我们的大数据道场吧。 访问方式 通过SSH的终端访问是不二...

阅读全文

Hadoop面试中6个常见的问题及答案

雪姬   2017-02-09

译者 | 码农网 – 小峰 你准备好面试了吗?呀,需要 Hadoop 的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。 Q1.什么是 Hadoop? Hadoop 是一个开源软件框架,用于存储大量...

阅读全文

Hadoop部署实践:菜鸟级安装入门经验

招聘办女秘书   2017-02-04

文/胡晨川 我是Linux外行,hadoop外行,java更外行,Scala听也没听过,在我脑海中,Spark一直只是我的英文名。但是,作为一名数据分析师,我怎么可以完全不了解大数据的应用呢?于是,完全...

阅读全文

Hadoop和Couchdb成为新一波数据库攻击的目标

小六子   2017-01-24

前言 最近,一些经常劫持并删除数据的网络罪犯盯上了不安全的Hadoop和CouchDB应用。安全研究人员在上周表示,在针对未设防的开源数据管理平台的新一波攻击中,共有28000项MongoDB及Elastics...

阅读全文

成本性能要兼得?简化Hadoop云部署有高招

蝙蝠侠   2017-01-19

文 | Craig Stedman 译者 | 杨宏玉 对于大数据管理和分析应用程序云服务,用户的关注度正不断增长,而为了应对这一趋势,供应商已经开始努力简化Hadoop的云部署流程,并试图降低云端Hadoop...

阅读全文

ZooKeeper原理及其在Hadoop和HBase中的应用

雪姬   2017-01-16

文 | LBD ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、...

阅读全文

深刻理解HDFS工作机制

雪姬   2017-01-12

文 | Pickle 深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原...

阅读全文

分布式(hadoop)内核研发面试指南

小数点   2016-12-23

文 | 封神 本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。 最近一直在看简历,面试同学,发现符合要求的很少。本文是同...

阅读全文

资深架构师教你一篇文看懂Hadoop

小数点   2016-11-01

作者:陈 飚 “昔我十年前,与君始相识” 一瞬间Hadoop也到了要初中择校的年龄了。十年前还没有Hadoop,几年前国内IT圈里还不知道什么是Hadoop,而现在几乎所有大型企业的IT系统中有已经有了Ha...

阅读全文

MapReduce 初级案例——多表关联

小数点   2016-10-17

作者:虾皮 多表关联和单表关联类似,它也是通过对原始数据进行一定的处理,从其中挖掘出关心的信息,下面进入一个实例。 1 实例描述 输入是两个文件,一个代表工厂表,包含工厂名列和地址...

阅读全文

MapReduce 初级案例——数据去重

雪姬   2016-10-14

作者:虾皮 “ 数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。 统计大数据集上的数据种类个数、 从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就...

阅读全文

MapReduce初级案例——单表关联

蝙蝠侠   2016-10-13

作者:虾皮 前面的实例都是在数据上进行一些简单的处理,为进一步的操作打基础。“ 单表关联”这个实例要求从给出的数据中寻找所关心的数据,它是对原始数据所包含信息的挖掘。下面进入这个实...

阅读全文

MapReduce初级案例——数据排序

蝙蝠侠   2016-10-13

作者:虾皮 “ 数据排序”是许多实际任务执行时要完成的第一项工作,比如学生成绩评比、 数据建立索引等。这个实例和数据去重类似,都是先对原始数据进行初步处理,为进一步的数据操作打好基...

阅读全文

MapReduce初级案例——平均成绩

蝙蝠侠   2016-10-13

作者:虾皮 “平均成绩”主要目的还是在重温经典“ WordCount”例子,可以说是在基础上的微变化版,该实例主要就是实现一个计算学生平均成绩的例子。 1 实例描述 对输入文件中数据进行就算学生...

阅读全文