Arganzheng's Blog

stay hungry, stay foolish

Protobuf Buffer的缺陷

最近在搞知识图谱，知识图谱的模型比较统一——就是实体和关系。其中实体和关系可以挂载关联的属性，属性以key-value键值对存在。称之为Property Graph Model。属性: Property: key->value 实体 Entity: (id) => (type, property*) 其中: type决定该实体的schema，如Person, Product，一个实体必须且只能挂在一个type下面。type这里相当于行业。关系: SPO三元组，附加可选的k-v属性对 Assoc: (id1, atype, id2) => (time,...

Posted by arganzheng | October 11, 2016

记一个诡异的C++问题

昨天联通一直遇到一个诡异的问题：服务某个接口一接受到请求就core dump了。用gdb查看core文件，也没有看出个所以然: 最后实在没有办法，只能采用排除法，把可疑的代码逐行注释掉，检查是不是还有core。因为是一跑就core，所以其实还是很快就定位到问题代码： class StrategyData { public: StrategyData(); inline std::string get_search_id() {return _search_id;} inline std::string set_search_id(const std::string& search_id){ _search_id = searc...

Posted by arganzheng | July 16, 2016

互联网广告系统学习笔记

广告变现方式计费方式结算方式适用场景 CPT 品牌广告 CPM 有受众选择需求的品牌广告 CPC 竞价广告 CPS/CPA/ROI 效果类广告联盟/DSP 一些指标指标含义备注 cpm 每千次展检索收费检索端的核心KPI ctr 点击率 ...

Posted by arganzheng | May 28, 2016

Kerberos学习笔记

互联网的开放环境中是一个危险的地方，用户可以被模仿，Server也可以被伪造，而且在通信过程中还时刻存在数据被窃听，篡改和重放。在这样的环境下如何安全可靠的识别用户身份，如何提供业务访问授权？ Kerberos，是一个基于票据的计算机网络认证协议。它的认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有主机的物理安全，并假定网络上传送的数据包可以被任意地读取、修改和插入数据。在以上情况下， Kerberos 为一种可信任的认证服务，是通过传统的密码技术执行认证服务的。关键词说明在登录鉴权体系中，票据（Ticket）是串联整个登录流程，验证用户身份，以及确保通信信道安全的最为重要的部分。顾名思义，票据与我...

Posted by arganzheng | May 5, 2016

使用logstash收集nginx访问日志

首先安装logstash，这个非常简单，不赘述。建议把所有插件都安装上，省心。然后要配置一下logstash for nginx。logstash基本原理：input => filter => output。在我们这里input就是nginx的access日志，output就是ElasticSearch。filter则是用来解析和过滤日志用。一般我们要把message结构化再存储，方便后面的搜索和统计。因此需要对message进行解析。logstash是使用grok过滤器，使用match正则表达式解析。要根据自己的log_format来定制。比如这里我们的log_format配置是： log_format main '$http_h...

Posted by arganzheng | April 18, 2016

Kafka实战

背景最近要把原来在BB做的那套集中式日志监控系统迁移到Mobojoy这边，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不够有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这个程度，而且也是可以通过引入队列缓冲一下处理。不过现在综合考虑，其实直接使用消息队列会更简单。PRC，负载均衡，...

Posted by arganzheng | April 11, 2016

安装RabbitMQ

1. 安装erlang erlang的安装比想象中要麻烦的多，试验了好几种，总是出现依赖错误。。最后还是通过kerl脚本安装搞定了。。具体参见：Installing Erlang。 [work@study.arganzheng.me downloads]$ ./kerl list releases Getting the available releases from erlang.org... R10B-0 R10B-10 R10B-1a R10B-2 R10B-3 R10B-4 R10B-5 R10B-6 R10B-7 R10B-8 R10B-9 R11B-0 R11B-1 R11B-2 R11B-3 R11B-4 R11B-5 R12B-0 R12B-1 ...

Posted by arganzheng | April 8, 2016

大数据平台学习笔记

数据接入主要负责数据的收集，分发，预处理以及管理工作 Scribe/Flume, Kafka 离线计算平台 Hadoop 批处理三种任务(Job) Map-Reduce Job Hive Job Pig Job 实时计算平台 Storm(JStorm), Samza, Spark, Flink 在线流式计算资源管理和调度 YARN, Mesos ...

Posted by arganzheng | April 8, 2016

RAID学习

最近申请到两台机器，RMS系统上显示的配置信息如下： CPU: INTEL Xeon E5-2620 V2 6C 2.1GHZ:2 内存: HUAWEI PC3L-10600 16G:6 硬盘: HUAWEI SATA 500G 7.2K:2 Flash: SSD 480G MLC:5 可以看到有5块480G的SSD盘。我们知道使用合适的RAID可以提到读性能，增加数据的安全性。那么五块盘安装什么磁盘阵列合适呢？大学的时候学习过，但是因为平时基本不用关心这个，也就记得一点点印象，现在刚好趁这个机会学习一下。什么是RAID RAID全称为独立磁盘冗余阵列(Redundant Array of Independent Disks)，它的基本思想就是把多个...

Posted by arganzheng | March 30, 2016

自动化部署平台设计

我们一般通过jenkins做持续构建，在代码提交之后自动构建maven任务，输出jar包或者war包。但是我们还需要把jar/war包发布到线上机器。这个操作能不能自动化呢？要实现自动化部署，我们需要解决下面三个问题： WHAT to deploy: jar/war/zip, etc. 如果要支持js/css/html，甚至class文件，还需要支持文件发布。 WHERE to deploy: 目标机器目标目录 HOW to deploy backup: 一般来说只需要保留上一个可用版本就可以了。当然也可以保留多个，回滚的时候选择最新的进行回滚。 remove ...

Posted by arganzheng | March 29, 2016