Arganzheng's Blog

stay hungry, stay foolish

移动终端设备唯一标识

背景在不需要用户登录或者没有用户概念的移动互联网产品中（如百度，今日头条，浏览器等），设计一种稳定的能够唯一标识客户设备的id（CUID），相当于移动互联网的用户 cookieid(匿名用户id)，使得客户端自身以及和服务端交互时所产生的每一条行为日志的都能够找到对应到相应的设备标识，方便追踪和分析用户。理论上每台终端机器都有一个唯一的设备号，如 Android 的 IMEI(International Mobile Equipment Identify)，IOS 的 IDFA/IDFV。但是实际使用中会遇到各种各样的问题。 Android平台: 因为各种『中国特色』场景，并引发各种终端属性不靠谱的问题山寨机: 一批或多批出货的手机终端属性可能都...

Posted by arganzheng | November 16, 2014

Quartz工作机制

使用了几年Quartz，其实还是停留在使用的层面，最近想做一个自动化监控报警的，想了解一下Quartz是怎样定时触发job的。于是深入了解了一下代码。启动初始化 Quartz启动时会根据配置信息进行相应的初始化。例如下面的这个spring-quartz.xml配置文件： <?xml version="1.0" encoding="GBK"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" ...

Posted by arganzheng | November 6, 2014

日志监控系统

What is a Log? Timestramp + Data = Log Life of a Log record => transmit => analyze => store => delete Related Tools(open source) transport: flume, fluentd, scribe, rsyslog, syslog-ng search+analytics: hadoop, graylog2, elsa storage: hdfs, cassandra, elasticsearch data visualize: kibana, graphite logstash ...

Posted by arganzheng | October 29, 2014

MySQL用户授权

MySQL的用户创建和授权基本是通过一个命令解决： GRANT privileges ON what TO user IDENTIFIED BY "password" WITH GRANT OPTION　要使用该语句，你需要填写下列部分： 1、privileges : 授予用户的权限，下表列出可用于GRANT语句的权限指定符： Alter 修改表和索引 Create 创建数据库和表 Delete 删除表中已有的记录 Drop 抛弃（删除）数据库和表 INDEX 创建或抛弃索引 Insert 向表中插入新行 REFERENCE 未用 Select 检索表中的记录 Update 修改现存表记录 FILE 读或写服务...

Posted by arganzheng | October 22, 2014

如何构建maven私有仓库

私有仓库，也称之为私服，它是一种特殊的远程仓库。它是架设在局域网内的仓库服务，私服代理广域网上的远程仓库，供局域网内的maven用户使用。当Maven需要下载构建的时候，它从私服请求，如果私服不存在该构件，则会从外部的远程仓库下载，缓存在私服上之后，再为maven的下载请求提供服务。此外，一些无法从远程仓库下载到的构件也能从本地上传到私服上供大家使用。通过建立自己的私服，就可以带来如下几个好处：加速Maven构建节省外网带宽部署第三方构件节省中央maven仓库的负担提高稳定性，增强控制使用Nexus搭建私服 Sonatype Nexus是当前最流行的Maven仓库管理软件。具体搭建非常简单，网上资料很多，这里不赘述了...

Posted by arganzheng | October 20, 2014

实时消息系统设计与实现

特点实时性支持群聊与广播多媒体：text, image, vioce or video 难点顺序丢包重复设计 client server 会话/群聊协议登陆，身份验证连接发起会话退出会话（退群）消息接收设置心跳长连接终端接入层: ConnectSvr 逻辑层: SenderSvr, PushSvr, ReceiveSvr 存储层: MsgStore 设计权衡聊天记录要不要保存？保存多久？客户端保存还是服务器保存？要不要使用系统推送...

Posted by arganzheng | October 14, 2014

nginx重定向问题

背景经常有这样的需求，对于没有登陆的用户如果访问了某个需求登陆才能访问的链接，系统需要自动将其重定向到登陆页面。登陆成功之后再跳回原来请求的链接。实现 Java中实现重定向非常简单，HttpServletResponse.sendRedirect就可以了： try { response.sendRedirect(HttpServletRequestTool.getLoginUrl(request)); } catch (IOException e) { log.error("Error redirecting user to login.", ex); } 关键是拿到登陆的URL和returnUrl： import javax.servlet....

Posted by arganzheng | October 10, 2014

Reading搜索

需求用户可以根据 isbn、作者和书名进行搜索。相关搜索：相关搜索关键词根据时间进行排序？根据状态进行排序？相似书籍（more like this）智能提示 suggesters auto-complete completion suggester spell correction term suggester phrase suggster 2. 用户可以根据分类（tag）进行浏览，其实就是根据tag进行搜索 ...

Posted by arganzheng | September 28, 2014

ElasticSearch学习

业界流行的开源搜索框架 Lucene: Java. Just a library Sphinx: C++ Solr/SolrCloud: Java, uses Lucene internally for all its indexing and search. Netfix Digg ElasticSearch: Java, uses Lucene internally for all its indexing and search. Wikipedia StackOverflow GitHub ElasticSearch的核心概念...

Posted by arganzheng | September 26, 2014

ElasticSearch的mappings

在ES中，每个文档都会归属到一个类型下(type，事实上是index下。ES6.0之后废除type的概念)。这个类型相当于关系型数据库中的表结构。所以每个类型有类似于DB一样的schema定义，称之为mapping。mapping定义了type中的fields信息： datatype for each field，具体参见前面的文章ElasticSearch的数据类型。 how the field should be handled by ES 大部分情况下，我们是不需要对type进行自定义mapping的，但是在某些情况下我们需要自定义mapping： distinguish between full text string fields ...

Posted by arganzheng | September 25, 2014