Arganzheng's Blog

stay hungry, stay foolish

基于Aerospike实现一个分布式图数据库

背景去年开始做知识图谱，从网站抓取到的数据经过清洗、抽取、消歧、挖掘等最后得到的图谱，需要以在线的形式提供给用户使用，这就需要一个图数据库了。为了避免重复造轮子，我们调研了很多开源的图数据库，像neo4j, Titan, OrientDB，Graph Engine(@Microsoft), Cayley, ArangoDB, 等等。具体可以参考笔者之前写的一篇文章：图存储引擎学习笔记。遗憾的是这块不像RMDB，并没有一个winer，各有优缺点。本来想用Titan的，但是发现Titan的性能实在太差，而且更重要的是，代码非常复杂，不利于维护和扩展。最后我们觉得自己开发一个。但是我们并不打算从零开始构建一个图存储，而是借鉴了Titan的思想，做一个粘合层，底层的...

Posted by arganzheng | June 23, 2017

Aerospike UDF学习笔记

背景很多数据存储系统都支持用户自定义函数(UDF, User-Defined Functions)，Aerospike也不例外；UDF language一般是解释型的脚本语言，比如Lua(Redis，Postgres, etc.)，JavaScript(ArangoDB, Cayley, etc.)，Aerospike这里采用了Lua。 UDF(User-Defined Functions) code written by a user(or developer) that runs inside the Aerospike database server currently only supports Lua as the UDF languag...

Posted by arganzheng | May 29, 2017

markdown中图片如何指定大小

Markdown让你专注于内容而不是格式，但是有时候你确实想要控制一下显示效果，比如说图片。在markdown中，图片是通过这样的方式插入的： ![test image size](/img/post-bg-2015.jpg) 显示效果如下：可以看到默认是最大化，如果我们想要控制图片的显示大小，怎么做呢？最简单直观的做法就是使用原始的HTML标签： <img src="/img/post-bg-2015.jpg" height="100px" width="400px" > 显示效果如下：但是这样子就不是纯粹的markdown文本了，是markdown跟html的混合体，当然图片这个html标签还算是简洁。另一种方式就是通...

Posted by arganzheng | May 16, 2017

redis slave的key过期机制

Redis的Scale out一直是大家关注的，因为它的单进程单线程模型，scale out基本是势在必行。对于读多写少的应用，最简单的方式就是利用Redis的Replication机制，master提供写，slave提供读。但是在 3.21 之前，由于slave所有写操作都来自于master，被动清理的key并不会发送DEL命令到slave，所以会导致一个key在master已经过期了，但是在slave上还能查到。这对于通过read only slave进行redis读扩展来说是一个不可接受的事情。 Redis的作者很早就意识到这个问题了2，而且在3.2之后也对这个问题进行了彻底的修复1。不过随着Redis 3.0集群的出现，redis的scale out有了更...

Posted by arganzheng | May 5, 2017

Bloom filter在分布式环境中的应用

概述布隆过滤器是一个应用非常广泛的概率型数据结构，一般用于判断一个元素是否存在一个集合中，比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在缓存系统中，判断一个元素是否在缓存中；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用哈希表（hash table）来存储的。它的好处是快速准确，缺点是费存储空间。当集合比较小时，这个问题不显著，但是当集合巨大时，哈希表存储效率低的问题就显现出来了。关于这个，只需要根据元素的数量和大小简单的计算一下就知道了。虽然可以适用分布式K-V系统（如Redis）来承载，但是成...

Posted by arganzheng | May 4, 2017

neo4j如何实现存在就更新，否则插入？

这个需求其实很普遍，比如我有一个节点: (n:Person {id: 'argan', name: 'argan', age: 32})。然后用户又传递了一个person数据过来： {id: 'argan', age: 30, sex: 'male', email: 'arganzheng@gmail.com'} 可以看到更新了一个属性：age，新增了两个属性：sex和email。我们希望最后的结果是 (n:Person {id: 'argan', name: 'argan', age: 30, sex: 'male', email: 'arganzheng@gmail.com'})。需要注意的是name没有传递，所以还是保留着的。如果要删除一个属性，...

Posted by arganzheng | April 23, 2017

neo4j高效数据维护

1、如何为两个存在的顶点创建关系? 通常思路是这样子的：先创建索引： CREATE INDEX ON :User(username) CREATE INDEX ON :Role(name) 再创建关系： MATCH (u:User {username:'admin'}), (r:Role {name:'ROLE_WEB_USER'}) CREATE (u)-[:HAS_ROLE]->(r) 注意 1、节点MATCH部分一定要走索引，否则数据量大的情况下会导致noe4j对所有的节点进行扫描过滤，直接卡死。更重要的是这个操作是有加锁的，会影响到其他读写操作。 2、关于关系如何实现存在就更新，否则插入的逻辑，可以参考笔者写的另一篇文章 neo4...

Posted by arganzheng | April 21, 2017

Titan的pluggable storage backend

如何实现一个Titan storage backend primary backend storage 主要实现类在 com.thinkaurelius.titan.diskstorage 下。 Titan根据后端不同的存储类型，定义了相应的接口： KeyColumnValueStore(I): Interface to a data store that has a BigTable like representation of its data. BaseKeyColumnValueAdapter(C) OrderedKeyValueStoreAdapter(C): Wraps a Ord...

Posted by arganzheng | April 13, 2017

DynamoDB学习笔记

数据模型不同于Cassandra的Column family数据模型，DynamoDB的数据模型非常类似于传统的关系型数据： Tables: 类似于数据库中的table Items: 记录，类似于数据库的row Attributes: 属性，类似于数据库的column 说明 1、跟传统的RDB不同，DynamoDB是schema-less的，不需要预定义表结构，同一个表中的记录结构也不需要完全一致（但是必须包含主键属性）。 Except for the required primary key, a DynamoDB table is schemaless, which means that neither the attribut...

Posted by arganzheng | April 12, 2017

neo4j如何批量导入JSON数据

neo4j提供了如下批量导入工具：通过neo4j-admin import命令可以将数据从 CSV 文件批量导入到未使用的数据库。load data into a previously unused database. 通过[LOAD CSV](https://neo4j.com/docs/developer-manual/3.2/cypher/clauses/load-csv/)语句 import small to medium-sized CSV files into an existing database. CSV数据格式参见: 10.2.2. CSV file header format。 ➜ Data head company.cs...

Posted by arganzheng | April 10, 2017