Arganzheng's Blog

stay hungry, stay foolish

protobuf中的反射

像Python,javascript这样的动态脚本语言具有很强的反射能力,即使是java这类的静态类型语言,也提供了一定程度的反射能力,而C/C++这样的纯静态语言没有运行时的类型信息,但是Protobuf本身具有很强的反射(reflection)功能,可以根据 type name 创建具体类型的 Message 对象,也能够动态获取和设置某个属性。 背景知识 protobuf对于每个元...

巧用protobuf的自定义options

知识图谱在线系统的schema除了定义每个实体的属性之外,还有一个信息需要策略同学告诉我们——就是哪些字段需要索引,以及索引的方式,这点非常类似于ElasticSearch的Mapping: PUT /my_index { "mappings": { "my_type": { "properties": { "status_code": { ...

Protobuf Buffer的缺陷

最近在搞知识图谱,知识图谱的模型比较统一——就是实体和关系。其中实体和关系可以挂载关联的属性,属性以key-value键值对存在。称之为Property Graph Model。 属性: Property: key->value 实体 Entity: (id) => (type, property*) 其中: t...

记一个诡异的C++问题

昨天联通一直遇到一个诡异的问题:服务某个接口一接受到请求就core dump了。用gdb查看core文件,也没有看出个所以然: 最后实在没有办法,只能采用排除法,把可疑的代码逐行注释掉,检查是不是还有core。因为是一跑就core,所以其实还是很快就定位到问题代码: class StrategyData { public: StrategyData(); inline s...

互联网广告系统学习笔记

广告变现方式 计费方式 结算方式 适用场景 CPT 品牌广告 CPM 有受众选择需求的品牌广告 CPC 竞价广告 CPS/CPA/ROI 效果类广告联盟/DSP...

Kerberos学习笔记

互联网的开放环境中是一个危险的地方,用户可以被模仿,Server也可以被伪造,而且在通信过程中还时刻存在数据被窃听,篡改和重放。在这样的环境下如何安全可靠的识别用户身份,如何提供业务访问授权? Kerberos,是一个基于票据的计算机网络认证协议。它的认证过程的实现不依赖于主机操作系统的认证,无需基于主机地址的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可以被任意地读取、...

使用logstash收集nginx访问日志

首先安装logstash,这个非常简单,不赘述。建议把所有插件都安装上,省心。 然后要配置一下logstash for nginx。logstash基本原理:input => filter => output。在我们这里input就是nginx的access日志,output就是ElasticSearch。filter则是用来解析和过滤日志用。一般我们要把message结构化再...

Kafka实战

背景 最近要把原来在BB做的那套集中式日志监控系统迁移到Mobojoy这边,原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana,其中Log Agent和Log Server之间走的是Thrift RPC,自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的,异步化Agent对应用性能基...

安装RabbitMQ

1. 安装erlang erlang的安装比想象中要麻烦的多,试验了好几种,总是出现依赖错误。。最后还是通过kerl脚本安装搞定了。。具体参见:Installing Erlang。 [work@study.arganzheng.me downloads]$ ./kerl list releases Getting the available releases from erlang.or...

大数据平台学习笔记

数据接入 主要负责数据的收集,分发,预处理以及管理工作 Scribe/Flume, Kafka 离线计算平台 Hadoop 批处理 三种任务(Job) Map-Reduce Job Hive Job Pig J...