读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

标签:Hadoop

ZooKeeper原理及其在Hadoop和HBase中的应用

雪姬   2017-01-16   Hadoop

文 | LBD ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、...

阅读全文

Cloudera和Hortonworks的开源之战

雪姬   2017-01-13   评论

文 | 飞总 我写过一场大数据界的大撕逼,在Google和图灵奖获得者Michael Stonebraker之间。具体的情况可以参考这里。这场大撕逼发生在2008年,可谓惊天动地。 BigData的圈子里有另外一场大...

阅读全文

深刻理解HDFS工作机制

雪姬   2017-01-12   Hadoop

文 | Pickle 深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原...

阅读全文

数据分析如何入门及职业规划?

数控小V   2017-01-09   数据分析

作者:挖数 我认为数据相关的职业,大致有3种职业路线,分别是市场调研方向、数据分析/挖掘方向、数据工程师方向,这3条路线,分别有对应的公司和技能树。 我有不少朋友 非数学/计算机/统...

阅读全文

大数据2016年大事记

莫扎特   2017-01-06   大数据动向

导读: 2016年2月,红极一时的BI和可视化工具提供商Tableau发布财报,业绩令人大失所望,其市值在一天之内被腰斩。这预示着2016年的BI市场将动荡不安。几个月后,风暴再起,Qlik Technologi...

阅读全文

“大数据”产业的“真实面目”

LinkinPark   2016-12-23   评论

文/新浪财经意见领袖(微信公众号kopleader)专栏作家 江濡山 振兴“大数据”产业,既不能盲目受产业领域专家的影响,也应当突破“技术官僚”的小圈子,面向市场、面向一流的科技企业、面向年轻...

阅读全文

分布式(hadoop)内核研发面试指南

数控小V   2016-12-23   Hadoop

文 | 封神 本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。 最近一直在看简历,面试同学,发现符合要求的很少。本文是同...

阅读全文

一只特立独行的伪Hadoop批发商

数控小V   2016-12-16   大数据企业

文 | 飞总 有人说钱是好东西,来来往往皆为利。但是开源的东西本身并不来钱。只是不管怎么样,大家都是要吃饭的。雷锋叔叔这么伟大,在中国也只能三月来了四月走。真正能存在的,以前叫暴发...

阅读全文

为什么说 Storm 比 Hadoop 快?

雪姬   2016-12-14   大数据技术

文 | 杨晓青  张云聪 “快”这个词是不明确的,专业属于点有两个层面: 1.时延 , 指数据从产生到运算产生结果的时间,题主的“快”应该主要指这个。 2. 吞吐, 指系统单位时间处理的数据量。 ...

阅读全文

Hadoop平台中SQL优化的四个思路

莫扎特   2016-12-08   干货教程

文 | 大数据开放实验室 星环科技 要正确的优化SQL,必须能快速定位性能瓶颈点,或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因,如文件下载时的瓶颈点可能是网络速度,本...

阅读全文

如何用Spark解决一些经典MapReduce问题?

雪姬   2016-12-06   Spark

文 | 谭杨 摘要 Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoo...

阅读全文

Docker生态会重蹈Hadoop的覆辙吗?

数控小V   2016-12-02   Docker

  一、Docker的兴起和Hadoop何其相似 2015年说是Docker之年不为过,Docker热度高涨,IT从业人员要是说自己不知道Docker都不好意说自己是做IT的。2016年开始容器管理、集群调度成为热点...

阅读全文

2017年大数据发展十大新趋势

数控小V   2016-11-28   全球视野

译者 | 丑灿 2017年大数据发展的10大趋势经由全球专业机构发布,希望可以为你所在机构的年的发展规划提供战略政策依据。 1.数据量将持续增长 数据量的不断增加意味着通过数据的快速分析获取...

阅读全文

大数据底层平台公司能做多大?

莫扎特   2016-11-24   评论

大数据是企业服务市场中的新兴领域,短短几年时间,大数据概念从兴起到落地,开始在各行各业发挥作用,行业政策频出,技术飞速发展,受到资本追捧。 整个大数据行业可大致分为三层,底层基...

阅读全文