Arganzheng's Blog

stay hungry, stay foolish

使用puppeteer和chrome-headless做暗网抓取

最近国家企业信用信息公示系统的验证码又升级了。之前是点按后滑动拼图方式: 解决方案虽然麻烦，但是偏向于工程架构方面，没有什么算法的东东：但是最近升级之后新增了一种验证码模式——点按后顺序选字方式：这个就没办法用纯工程的方式来解决了。必须使用到机器学习的方式了。机器学习的最基本的就是要模型训练，而模型训练就需要样本和标注（有监督学习）。所以首先我们要想办法拿到大量的...

Posted by arganzheng | January 4, 2018

ElasticSearch如何支持嵌套属性检索

地球是圆的，对象往往也不是扁平的。所以嵌套属性就很常见了，比如name.first, address.city, etc. 我们知道ElasticSearch是Document Oriented的NoSQL，文档本身就是JSON表示，JSON本身就是一个自由嵌套的数据结构(JSON documents are hierarchical in nature: the document may...

Posted by arganzheng | December 28, 2017

ElasticSearch的Query Context和Filter Context

Sorting and Relevance 像MySQL这样的数据库，查询结果如果没有order by，那么默认就是按照主键排序的。对于大部分业务场景来说，排序往往取决于某个/些字段的值，但是对于搜索引擎来说，排序却往往跟相关性有关系。那么ES中相关性是什么，又是怎么计算的呢？ Scoring by Relevance ES默认对结果按照相关性降序排序(By default, resu...

Posted by arganzheng | December 24, 2017

Thanksgiving in 2017

thanks, for everything you did

这几天因为民生银行香港卡的问题，跟行政同学略有交互，行政同学顺便邀请我参加即将到来的感恩节活动，活动的主题如下：哪一次被帮助的经历一直让你心怀感激？生活、工作当中遇上些坑爹事再所难免可总有那么一次在你需要别人帮助的时候正好有个人出现替你解了围你的困难和窘境随之化解 TA的这个举动是雪中送炭也好，锦上添花也罢只要是确实在你的心里留下深刻印象的并且让你回忆起来始终会...

Posted by arganzheng | November 23, 2017

如何查看和设置文件句柄数

1. 系统级别限制(System-Wide Limit) Set this higher than user-limit set above. 配置文件：/etc/sysctl.conf: fs.file-max = 2097152 然后运行: sysctl -p让其生效。这个命令会增加系统级别（所有用户）可以打开的文件句柄数。可以通过/proc/sys/fs/file-m...

Posted by arganzheng | October 28, 2017

neo4j如何支持多个label索引查询

4kw+的Company数据，8kw+的Person数据，和20kw左右的关系数据。 $ head company.csv id:ID,name,:LABEL 00002cefc5e2d05b9311a791fd009160,"岳阳市岳阳楼区亿诺厨房电器总经销",Company 00002ebe645c0f777887ff17d525ba6b,"禄丰县碧城镇零点俱乐部",Company 0...

Posted by arganzheng | August 20, 2017

一个诡异的Antlr4语法问题

背景图数据库对外要提供灵活的查询接口，可以有三种层次的实现形式：自然语言: unicorn(facebook) 结构化查询语言: Gremlin(Titan), AQL(ArangoDB), Cypher(Neo4j), etc. 根据需要预定义的接口: 如一度关系接口，实体查询接口等。自然语言实现起来过于复杂，准确度不高，不好现实；预定义接口之前在做通用知识图谱...

Posted by arganzheng | July 3, 2017

基于Aerospike实现一个分布式图数据库

背景去年开始做知识图谱，从网站抓取到的数据经过清洗、抽取、消歧、挖掘等最后得到的图谱，需要以在线的形式提供给用户使用，这就需要一个图数据库了。为了避免重复造轮子，我们调研了很多开源的图数据库，像neo4j, Titan, OrientDB，Graph Engine(@Microsoft), Cayley, ArangoDB, 等等。具体可以参考笔者之前写的一篇文章：图存储引擎学习笔记。 ...

Posted by arganzheng | June 23, 2017

Aerospike UDF学习笔记

背景很多数据存储系统都支持用户自定义函数(UDF, User-Defined Functions)，Aerospike也不例外；UDF language一般是解释型的脚本语言，比如Lua(Redis，Postgres, etc.)，JavaScript(ArangoDB, Cayley, etc.)，Aerospike这里采用了Lua。 UDF(User-Defined Functio...

Posted by arganzheng | May 29, 2017

快乐课程

你真的会呼吸吗？

之前对瑜伽其实大部分的了解都是停留在体式上，感觉有点类似于中国的少林易筋经，对强身健体肯定是有帮助的。去年年初的时候，同事 @张静在公司组织了一次瑜伽活动，请了一个印度老师过来给我们教授瑜伽。这算是一次别开生面的体验，因为这次瑜伽不只是传统上的体式学习，更多的是呼吸练习和冥想。也就是这样子，比较系统的了解了一下印度瑜伽的体系，其实体式只是瑜伽课程中的基础，更高层次的其实是呼吸和三摩地。...

Posted by arganzheng | May 20, 2017