读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

标签:数据采集

浅谈分布式消息技术 Kafka

小狼   2017-07-27   大数据技术

作者:张松然 Kafka的基本介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/ngi...

阅读全文

机器学习特征工程技巧

蝙蝠侠   2017-07-26   机器学习

1. 数值变量标准化 不同数据的Scale不一样,所以需要标准化。比如身高和体重。 不做标准化,有些算法会死得很惨,比如SVM、神经网络、K-means之类。标准化的一种方法是均值方差法。 不是什...

阅读全文

携程用户数据采集与分析系统

雪姬   2017-06-30   干货教程

【作者简介】王小波,携程技术中心框架研发部高级工程师,主要负责用户行为数据采集系统及相关数据产品研发设计工作。之前主要从事互联网广告、RTB相关系统研发和设计工作。本文来自王小波在...

阅读全文

剖析大数据平台的数据源

雪姬   2017-06-23   大数据技术

作者:张逸 我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析了大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储与...

阅读全文

剖析大数据平台的数据采集

数据有意思   2017-06-22   数据挖掘

作者:张逸 我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析了大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储与...

阅读全文

大数据浪潮下的前端工程师

诺蓝   2017-04-18   数据可视化

作者|流形 (阿里巴巴集团 前端开发/架构师) 马云曾经说过『人类正从IT时代走向DT时代』。正如他说言,今天几乎所有的互联网公司背后都有一支规模庞大的数据团队和一整套数据解决方案作决...

阅读全文

美团点评前端无痕埋点实践

大象会跳舞   2017-03-02   大数据技术

构建一个数据平台,大体上包括数据采集、数据上报、数据存储、数据计算以及数据可视化展示等几个重要的环节。其中,数据采集与上报是整个流程中重要的一环,只有确保前端数据生产的全面、准...

阅读全文

从零开始,构建数据化运营体系

蝙蝠侠   2017-02-08   干货教程

文 | 秦路 数据化运营是一个近年来兴起的概念,它在运营的基础上,提出了以数据驱动决策的口号。 在了解数据化运营前,运营们有没有过如下的问题: 不同渠道,效果究竟是好是坏? 活跃数下...

阅读全文

大数据跨界,从这里开始

雪姬   2017-02-07   干货教程

文 | blogchong 首先,如题,这篇依然是写给那些从其他领域跨界到大数据领域的朋友的,当然,初入大数据领域,或者对大数据领域有所兴趣的朋友,也可一观。 想起要写这个话题,已经很久了,...

阅读全文

我们需要什么样的ETL?

雪姬   2017-02-06   干货教程

文 | 傅一平 从10年前的数据仓库到当前的大数据平台,ETL也需要与时俱进,这里来谈谈个人的理解,如果你在考虑建设新的企业级ETL平台,可以作为参考。 一、定位的重新认识 ETL作为传统数据...

阅读全文

大数据项目如何落地之路线图探讨

小数点   2017-01-19   干货教程

文 | 田军 今天,继续来谈一谈“大数据项目如何落地?”这个话题。从事过多个大数据项目的规划方案及项目落地工作,在这里与大家分享一些心得,主要是关于大数据项目如何成功落地并取得预期目...

阅读全文

2017,数据行业的下半场,应该怎么玩?

雪姬   2017-01-18   评论

文 | 数据分析-jacky 刚刚,在哈尔滨总部,航航数据和润禄数据学院的核心团队对2017的开年战略进行了讨论, 现在讨论已结束,我把会议的主要观点纪录了下来,一是跟微博上的朋友们交流,再...

阅读全文