Arganzheng's Blog

stay hungry, stay foolish

通讯协议序列化思考

由于我们现在的RPC框架原来的序列化方式太弱了,导致各种序列化问题。所以最近研究了一下相关的序列化方式。主要有: 二进制类的,一般采用TLV编码方式,如Protocol Buffers, Thrift。 文本类的,如JSON, XML。 混合型的,比如Avro,schema是JSON,data是二进制方式的。 序列化一般要么作为RPC传递,或者作为自描述的数据存储,比如数...

分布式系统常用思想和技术总结

一、分布式系统的难点 分布式系统比起单机系统存在哪些难点呢? 1. 网络因素 由于服务和数据分布在不同的机器上,每次交互都需要跨机器运行,这带来如下几个问题: 1. 网络延迟:性能、超时 同机房的网络IO还是比较块的,但是跨机房,尤其是跨IDC,网络IO就成为不可忽视的性能瓶颈了。并且,延迟不是带宽,带宽可以随便增加,千兆网卡换成万兆,只是成本的问题,但延迟是物理限制,基本不可能降...

Config Server和SLA在RPC中的作用

背景 在分布式系统中,经常会遇到这样的业务场景: 查找远程服务的地址 查找资源地址(如mc,redis等) 访问远程服务时,获取超时时间、Load balance策略、灰度策略、HA策略等配置 当系统规模较小时,地址信息和配置信息可以保存在本地的文件系统中,以达到简单高效的目的。但是随着系统的壮大和服务器数量的增加,配置和地址信息的变更可能需要重启大量的服务器,这将会是...

一个有意思的Scala函数式编程例子

问题 输入一个Map[String, Any],要求过滤掉这个map中所有key=”version”的元素。 示例输入: val subMap = Map("version" -> "3", "hello" -> "world") val map = Map("version" -> 1, "query" -> "arganzheng", "pageNumb...

网络RPC编码协议学习

由于我们现在的RPC框架原来的序列化方式太弱了,导致各种序列化问题。所以最近研究了一下相关的序列化方式。主要有: 二进制类的,一般采用TLV编码方式,如Protocol Buffers, Thrift。 文本类的,如JSON, XML。 混合型的,比如Avro,schema是JSON,data是二进制方式的。 二进制编码 主要是TLV编码及其变体。 TLV是Tag-L...

Thrift的序列化版本控制

在现实世界中,唯一的不变就是变化。即使是接口定义也不例外。所以,做好接口版本控制,升级和兼容是非常重要的一个指标。 The system must be able to support reading of old data from log files, as well as requests from out-of-date clients to new servers, and...

tips for sublime text

Command Palette 类似于shell终端,提供了sublime text的所有支持命令。可以说是总入口,比如Package Control就是通过Command Palette调用出来的(Press ⌘⇧P to bring up the command palette, begin to type “install”, and select “Package Control:...

BTrace实战

什么是BTrace 官方文档上有个非常简洁精辟的介绍。 BTrace is a safe, dynamic tracing tool for the Java platform. BTrace can be used to dynamically trace a running Java program (similar to DTrace for OpenSolaris app...

循环引用序列化问题

假如一个对象里面引用了自己,那么序列化的时候如果不做特殊处理就会死循环了。在XStream中是采用reference处理的。反序列化的时候也根据reference来特殊处理。JSON也是类似的,不过貌似支持不是很好。 package me.arganzheng.study.xstream; import org.apache.commons.lang.StringUtils; impo...

使用EC2和SSH翻墙

前提 拥有一台墙外的机器——这里是EC2。具体申请和配置过程请参考笔者的上一篇文章 使用亚马逊EC2搭建web工程 步骤 1. SSH配置 参考文章EC2 + SSH 翻墙 3/3— SSH 翻墙设置中有针对windows和linux详细的配置说明。笔者这里只针对mac做简要的说明: cd ~/.ssh vim config 输入以下内容 Host ec2-ami HostN...