读者QQ群②:190771709,投稿请发dashuju36@qq.com
我要投稿

大数据动向

普通反爬虫机制的应对策略

小数点   2017-04-27

爬虫与反爬虫,这相爱相杀的一对,简直可以写出一部壮观的斗争史。而在大数据时代,数据就是金钱,很多企业都为自己的网站运用了反爬虫机制,防止网页上的数据被爬虫爬走。然而,如果反爬机...

阅读全文

【干货】大数据框架整理

小数点   2017-04-27

大数据离线部分 HDFS 1:HDFS的架构部分及工作原理     NameNode:负责管理元素据,将信息保存在内存中     DataNode:保存数据,以块的形式保存。启动后需要定时的向NameNode发送心跳,报...

阅读全文

大数据的本质是消除不确定性

小数点   2017-04-27

作者:桑文锋 题目的观点是我在吴军的某本书上看到的,当时内心咯噔了一下。我一直在思考到底什么是大数据,这句话直中要害。这么牛的观点,我一般不太相信是一个人直接领悟出来的,背后一...

阅读全文

魅族推荐平台架构解析(二)

小数点   2017-04-27

三、魅族推荐平台现状 1、第三代架构的核心需求 为了解决上述问题,我们对魅族推荐平台架构进行了优化。根据业务需要以及对一二代架构优缺点的总结,我们首先确定了第三代架构的核心需求: ...

阅读全文

如何用PyTorch实现递归神经网络?

小数点   2017-04-26

作者:James Bradbury 从 Siri 到谷歌翻译,深度神经网络已经在机器理解自然语言方面取得了巨大突破。这些模型大多数将语言视为单调的单词或字符序列,并使用一种称为循环神经网络(recurre...

阅读全文

魅族推荐平台架构解析(一)

小数点   2017-04-26

一、“推荐” 关于“推荐”这个词,相信大家并不陌生,平时浏览网站(特别是电商网站)时看到的很多网站的首页的内容是通过系统推荐给大家的。 1、推荐能做什么? 在网站首页或一些精品页,可以...

阅读全文

入门必读,36大数据精选了十个最常见的问题

小数点   2017-04-25

随着大数据的火热,一波节奏又被带了起来,越来越多的小伙伴开始对大数据产生了兴趣,所以36大数据特意为大家收集了十个常见的大数据问题,以帮助刚刚接触的小伙伴迅速入坑。 1.什么是大数...

阅读全文

文本分析之制作网络关系图——Python

小数点   2017-04-25

文|邓旭东HIT 今天给大家带来我一个脚本,用来分析社会网络关系。 这个图我没有用到gephi或者其他的工具,是我用python纯脚本运行出来的。简单的实现了封装,大家有兴趣可以下载下脚本,运...

阅读全文

当机器人来抢饭碗,CIO该如何应对?

小数点   2017-04-25

文|赵新竹 现在有很多关于机器人、软件和人工智能是否会窃取工作的讨论。在辩论的反方,你会发现像美国财政部长Steven Mnuchin这样的否认者,他认为新技术对工作产生广泛影响会在“50或100年”...

阅读全文

常用排序算法比较与分析

小数点   2017-04-25

文|Philo.Xie 一、常用排序算法简述 下面主要从排序算法的基本概念、原理出发,分别从算法的时间复杂度、空间复杂度、算法的稳定性和速度等方面进行分析比较。依据待排序的问题大小(记录数...

阅读全文

我为什么不在乎人工智能

小数点   2017-04-24

文|王垠 有人听说我想创业,给我提出了一些“忽悠”的想法。他们说,既然你是程序语言专家,而现在人工智能(AI)又非常热,那你其实可以搞一个“自动编程系统”,号称可以自动生成程序,取代程...

阅读全文

大规模爬虫流程总结

小数点   2017-04-24

爬虫是一个比较容易上手的技术,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫,完全就是另一回事,并不是1*n这么简单,还会衍生出许多别的问题。 系统的大规模爬虫流程...

阅读全文

所谓“优酷数据泄露事件”的客观事实还原

小数点   2017-04-21

本文作者:威胁猎人 17 日网络爆出疑似优酷上亿数据泄漏的新闻,标题为《优酷账号密码疯狂泄露!》,威胁猎人团队通过近期的黑产监控数据给大家客观的展现这次泄露出的数据在各维度情况,还...

阅读全文

微信分布式数据存储协议对比——Paxos和Quorum

小数点   2017-04-21

分布式系统是网络化的计算机系统,海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群,比如核心业务:账号、支付单据、...

阅读全文