Arganzheng's Blog

stay hungry, stay foolish

图存储引擎学习笔记

存储和索引 有两种存储方式,一种是Index Free Adjacency,不依赖于索引,直接存储关联的物理位置(内存指针,磁盘文件偏移量),这类的产品有neo4j, Titian, OrientDB,Graph Engine(@Microsoft), etc。第二种是Index-Based Adjacency,使用各种索引实现图的检索功能,这类的产品有 FlockDB(@Twitter)...

抓取学习笔记

知识图谱的很重要的原始数据来源还是来自于网站抓取的数据,网站抓取器就是我们常说的Spider。 在互联网上爬来爬去,发现链接,抓取网页,这就是Spider整天做的事情。听起来很简单,但是实际上是困难重重的。 Spider有两个核心任务:选链调度 和 网页抓取。 Spider面临的主要问题有: 压力计算、控制、流量分配: 如何提升对外抓取友好度,减少被封禁。...

使用supervisor进行进程监管

supervisor是一个python写的进程管理工具,可以监管进程的运行。它提供了进程挂掉自动重启功能,并且还有一个管理页面,可以看到监管的程序的运行状态,也可以直接在整个页面上对进程进行重启、关闭、查看日志等操作。 安装 安装比较简单,直接看官网,这里不赘述了。 使用方法 supervisor的主要配置入口在supervisord.conf: [unix_http_server...

ElasticSearch存储相关

版本 线上使用的是1.7.1版本,最新的ES版本是5.0,这个版本在功能和性能上做了很大的改进(Elasticsearch 5.0 新版本的特性与改进),所以我们也直接使用这个版本。 风险是这个版本相对比较新,是十一月中旬才release的版本,可能会有一些不稳定,资料也会比较少。另外,因为太新,很多第三方插件,如head,bigdesk,等,都还没有追上。 ...

卓有成效的程序员——Mac篇

作为一个资深程序猿,在linux、windows和mac下都进行过相当长的一段开发时间,是时候总结一下mac下的一些高效工作Tips了。 离线文档 有时候有些文档需要翻墙或者访问很慢,你可以将整个文档离线下载下来,在本地阅读。 登录能翻墙的服务器,使用wget的mirror功能下载整个网站: wget -m --no-check-certificate --convert-links...

Git学习笔记

公司已经全面切换Git,我们的新项目刚好作为组内的第一个尝鲜项目。其实也用过Github一段时间了,对Git也不能说是完全小白。只是以前基本都是一个人作战,现在是多个人合作,刚好趁这个机会总结一下,让团队其他同事可以通过这篇文章快速的切换到Git来。 Git基础 1.1 Git配置 Git有三个级别的配置文件,分别是: 版本库级别的配置文件: 工程目录下...

搜索引擎中的相关性和排序截断

一般来说,检索需要解决两个问题: 召回:matching 排序和截断: ranking 召回就是使用经典的倒排索引,从query词检索出相关的文档,文档是否匹配query词。但是这些文档哪些在前哪些在后呢?这就涉及到排序和截断的问题了,这是一个ranking问题,这往往是搜索引擎最具有差异性,也是最核心的部分(比如Google的PageRank算法成就了伟大的谷歌公司)。 ...

protobuf中的反射

像Python,javascript这样的动态脚本语言具有很强的反射能力,即使是java这类的静态类型语言,也提供了一定程度的反射能力,而C/C++这样的纯静态语言没有运行时的类型信息,但是Protobuf本身具有很强的反射(reflection)功能,可以根据 type name 创建具体类型的 Message 对象,也能够动态获取和设置某个属性。 背景知识 protobuf对于每个元...

巧用protobuf的自定义options

知识图谱在线系统的schema除了定义每个实体的属性之外,还有一个信息需要策略同学告诉我们——就是哪些字段需要索引,以及索引的方式,这点非常类似于ElasticSearch的Mapping: PUT /my_index { "mappings": { "my_type": { "properties": { "status_code": { ...

Protobuf Buffer的缺陷

最近在搞知识图谱,知识图谱的模型比较统一——就是实体和关系。其中实体和关系可以挂载关联的属性,属性以key-value键值对存在。称之为Property Graph Model。 属性: Property: key->value 实体 Entity: (id) => (type, property*) 其中: t...