读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

大数据技术

Kafka技术内幕拾遗

小数点   2017-10-20

客户端的连接对象(NetworkClient)在轮询时会判断是否需要更新元数据。客户端调用元数据更新器的maybeUpdate()方法,并不一定每次都需要更新元数据。只有当元数据的超时时间(metadataTime...

阅读全文

【漫谈数据仓库】 如何优雅地设计数据分层

小数点   2017-10-20

一、文章主题 本文主要讲解数据仓库的一个重要环节:如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。 本文对数据分层的讨论适合下面一些场景,超过该范围场景 or 数据仓库经验...

阅读全文

深入分析一款简单的Github信息泄露爬虫

小数点   2017-10-20

作者:grt1stnull 0×01.前言 Github作为一个代码托管平台,有着海量的开源代码和许多开发者。在代码上传时,有些开发者缺乏安全意识,会在不经意间泄露自己的密码或者密钥。本文以这里为切...

阅读全文

如何从MongoDB迁移到MySQL?这有现成经验!

小数点   2017-10-19

作者:小码哥 最近的一个多月时间都在做数据库的迁移工作,我目前在开发的项目在上古时代是使用 MySQL 作为主要数据库的,后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB,使用了几个...

阅读全文

PostgreSQL之时间戳自动更新

小数点   2017-10-19

作者:Mike_Zhang 问题描述 PostgreSQL执行Insert语句时,自动填入时间的功能可以在创建表时实现,但更新表时时间戳不会自动自动更新。 在mysql中可以在创建表时定义自动更新字段,比如 : ...

阅读全文

Nmap插件编写之MySQL写库

小数点   2017-10-19

作者:010sec 0×01 Nmap介绍 Nmap是一款针对大型网络的端口扫描工具,尽管它也适用于单机扫描。在不同情况下,你可能需要隐藏扫描、越过防火墙扫描或者使用不同的协议进行扫描,比如:UDP、...

阅读全文

Oracle 服务总线介绍

小数点   2017-10-19

我们正设计一套针对电信供应商的新系统,并且锁定Oracle服务总线(OSB)作为企业服务总线。对我来说这款工具的最好的加分项就是强大的工具支持。Oracle已经将其所有企业集成软件栈集成为一...

阅读全文

分布式数据库数据一致性原理说明与实现

小狼   2017-10-19

前言 分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解...

阅读全文

Dataset基于SQLAlchemy的便利工具

小数点   2017-10-18

作者: w2n1ck 数据集使得数据库中的数据读取和写入数据就像阅读和编写JSON文件一样简单。 dataset对于操作JSON、CSV文件、NoSQL非常好用。 import dataset 连接MySQL数据库: db = dataset...

阅读全文

基于YARN集群构建运行PySpark Application

小狼   2017-10-18

作者:Yanjun Spark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给YARN集群去处理,这样能够实现构建于YARN集群之上Application的多样性,比如可以运...

阅读全文

细致分析Padding Oracle渗透测试全解析

小数点   2017-10-18

作者:Sherkey 最近在研究Padding Oracle渗透测试,发现网上没有详细讲原理的文章。因此自己整理了这样一篇,希望哪怕是没有密码学基础的朋友也能看完后完全理解攻击的原理。 一、基础知识...

阅读全文

MySQL 数据库锁定机制

小数点   2017-10-16

1. MySQL 锁定机制简介 各存储引擎使用三种类型锁定机制 行级锁定(row-level) 表级锁定(table-level) 页级锁定(page-leve) : 页级锁定介于行级锁定与表级锁定之间。 2. MySQL数据...

阅读全文

R语言可视化之UpSetR包

小数点   2017-10-16

作者:严涛 简介 集合可视化我们用得最多的是韦恩图,韦恩图在集合数少的时候是很好用的,但是当集合数多比如五个以上的时候那就会看花眼了,比如下面这副含有6个集合韦恩图,是发表在Natur...

阅读全文

商业银行如何运用大数据技术?

小数点   2017-10-16

近日,中国人民银行成立金融科技(FinTech)委员会,旨在加强金融科技工作的研究规划和统筹协调。随着金融科技在业务层面渗透率的逐步提升,大数据技术在金融机构中的应用日益广阔,对于商...

阅读全文

数据湖只是个哗众取宠的伪概念吗?

小数点   2017-10-13

作者:Uli Bethke 数据湖是个伪概念吗?最直接的答案是是的,在这篇文章中我会告诉你原因。 最大的问题在于“数据湖”这个词已经不堪重负,被供应商和分析师们赋予了太多不同的含义。如果有什...

阅读全文