商务合作QQ:849046688 ,邮箱 dashuju36@qq.com 粉丝QQ群②:190771709

36大数据

我要投稿

大数据动向

【源码剖析】- Spark 新旧内存管理方案(上)

数控小V   2016-07-23   Spark

作者:牛肉圆粉不加葱 本文由简书 牛肉圆粉不加葱 授权转载,版权所有归作者,转载请联系作者! Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块。作为使用...

阅读全文

Hive导入10G数据的测试

数控小V   2016-07-23   Hadoop

作者:张丹 本文由 粉丝日志博客张丹 授权发布,版权所有归作者,转载请联系作者! 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户...

阅读全文

Spark 核心 RDD 剖析(下)

雪姬   2016-07-22   Spark

作者:牛肉圆粉不加葱 本文由简书牛肉圆粉不加葱授权发布,版权所有归作者,转载请联系作者! 上文Spark 核心 RDD 剖析(上)介绍了 RDD 两个重要要素:partition 和 partitioner。这篇文章将...

阅读全文

微信公众号爬虫

雪姬   2016-07-22   干货教程

前言 无论是新方案还是旧方案, 获取公众号文章列表, 获取阅读点赞, 获取评论等接口可以通过抓包来获取 以上接口都是需要授权的, 授权参数主要有一下几个: uin : 用户对于公众号的唯一ID, ...

阅读全文

OLAP在大数据时代的挑战

雪姬   2016-07-22   评论

作者:徽沪一郎 数据的价值 在涉及具体的技术前,先想一想为什么需要OLAP这样的系统,它有什么价值或者说在公司或部门这是不可取代的么? 可以带来哪些价值,是直接变现还是间接变现。 如果不...

阅读全文

Hadoop学习资源

莫扎特   2016-07-22   Hadoop

作者:严爬爬 本文由简书严爬爬授权发布,版权所有归作者,转载请联系作者! 聊到大数据技术,当然是少不了hadoop,这只可爱的小象。这两年的大数据技术十分火爆,今天我就为大家整理了hado...

阅读全文

见识一下居高临下的大数据市场

LinkinPark   2016-07-21   全球视野

如今轨道上的私营卫星比以往任何时候都多,它们提供了极有意义的数据。 在著名的原子弹诞生地、位于新墨西哥州政府实验室不远的地方,一家新创企业正在将这个实验室的超级计算技术应用于一个...

阅读全文

Spark 核心 RDD 剖析(上)

数控小V   2016-07-21   Spark

作者:牛肉圆粉不加葱 本文由简书 牛肉圆粉不加葱 授权发布,版权所有归作者,转载请联系作者! 本文将通过描述 Spark RDD 的五大核心要素来描述 RDD,若希望更全面了解 RDD 的知识,请移步...

阅读全文

Hadoop家族学习路线图

数控小V   2016-07-21   Hadoop

作者:张丹 本文由粉丝日志博客授权发布,版权所有归作者,转载请联系作者! 从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处理的广阔地盘。开源界...

阅读全文

张涵诚:大数据操作系统遐想

数控小V   2016-07-19   大数据动向

作者:百分点张涵诚 本文由百分点张涵诚投稿,转载请联系作者! 背景 到2025年,保守估算,全球将拥有1000亿连接,65亿互联网用户使用超过100亿部智能手机,全球的数据总量达到百ZB,届时全...

阅读全文