Arganzheng's Blog

stay hungry, stay foolish

Java NIO.2

五种IO模型按照《Unix网络编程》的划分，IO模型可以分为下面五种：阻塞IO: blocking I/O 进程处于阻塞模式时，让出CPU，进入休眠状态，直到数据到达并且被复制到应用程序缓冲区中或者发生错误才返回 Linux下的I/O操作默认是阻塞I/O，即open和socket创建的I/O都是阻塞I/O 非阻塞IO: nonblocking I/O 可以通过fcntl或者open时使用O_NONBLOCK参数，将fd设置为非阻塞的I/O 进程并不投入睡眠，而是立即返回一个错误应用程序需要不停的轮询(polling)内核来检查是否I/O操作已经完成 ...

Posted by arganzheng | August 10, 2014

nginx URL rewrite与下载文件名称问题

背景我们的APK官方下载链接原来是http://app.arganzheng.me/official/download?language=xxx。这个链接是请求到tomcat，然后在应用服务器中遍历某个目录，找到最新的apk版本，让用户下载。 /** * 下载APK。处理CDN的真正下载请求。其实应该是在静态资源服务器和nginx处理。 */ @RequestMapping("/download") public void downloadApk(HttpServletResponse response) { File file = getLatestApkFile(); if (file == null) { logger.error("No a...

Posted by arganzheng | August 6, 2014

Java NIO

WHAT is Java NIO 虽然说Java NIO的真正含义是Non-Blocking IO。但是实际上它的字面意义是Java New IO，在Java 1.4的时候引入，用于区分原来老的IO方式。整个新的IO API是为服务器设计的，只与服务器相关。 WHY NIO 1. 网络IO往往是性能瓶颈与CPU和内存相比，甚至与磁盘相比，网络都很慢。CPU与主存之间的传输速度大概是6GB每秒。与之相比，磁盘的传输速度要慢的多，但是也能够达到150MB每秒。但是，当今最快的局域网的理论速度是每秒120MB，但是大多数LAN只支持这个速度的十分之一到百分之一。而通过公用的Internet传输的速度一般至少要比LAN的速度低一个数量级。随着时间的的推移，CPU、...

Posted by arganzheng | August 5, 2014

如何实时同步大量小文件

需求静态资源服务器存放新闻、视频、图片，每隔一段时间定时拉取更新。为了反正静态资源服务器(现在是用MFS)挂掉，需要将静态资源同步到普通的linux文件系统做备份。这样故障的时候可以切换回去。大概有900w+的小文件，使用rsync，在没有任何文件变更的情况下，都需要执行20多分钟（扫描对比差异）。如何实时的同步呢？方案 1、cron + rsync [work@xxx-xxxx-mob01.hk01.baidu.com zhengzhibin]$ cat ~/userbin/sync_static_mbrowser.sh #!/bin/bash source /home/work/.bashrc BASH_PATH="/home/work/.b...

Posted by arganzheng | August 4, 2014

服务端监控方案

需求功能性监控(availability)：我们希望能够及时的发现线上的bug，异常。性能监控与调优(performance)：我们希望能够识别可能的性能瓶颈，并且有数据支撑方便对性能进行调优。比如慢速SQL，缓存命中率，链接池等。预警报警：我们希望能够第一时间收到线上异常，进行处理。辅助线上故障定位、故障分析运维支持：我们系统能够有数据支撑我们进行容量规划、报警和扩容，等。自动化运维：比如自动扩容；或者根据监控的数据和配置的SLA进行服务降级。等等。监控方案监控对象操作系统：OP 网络监控：OP 应用监控：RD URI Spring JDBC ...

Posted by arganzheng | July 30, 2014

如何监控线上应用的运行状态

需求通常我们对线上的运行状态有监控的需求。比如我们需要知道队列的大小和使用情况，缓存的命中率，链接池的大小和使用情况，每个请求的QPS、响应时间，等等。解决方案一般的做法如下：对需要监控的点进行埋点做统计。可以使用AOP尽量做到对应用透明。统计结果通过某种方式导出。比如最常见的是通过log打印出来，再去查看log。其实上面的步骤明显的将这个过程进行了抽象： Measurement Exportor/Reportor 进一步具体化，Measurement主要有如下几个维度： Gauges: A gauge is an instantaneous measurement of a value. Counter...

Posted by arganzheng | July 27, 2014

配置MySQL Slave

需求已经有一主一备，需要再增加一个只读备机。步骤 1. 安装mysql 最好找个跟Master一样的MySQL版本（特别是主版本号）。基本不需要源码安装，到官网找到相应平台编译好的二进制包就可以了。具体参考: 2.2 Installing MySQL on Unix/Linux Using Generic Binaries。可以不建立mysql组和用户。 shell> tar zxvf /path/to/mysql-VERSION-OS.tar.gz shell> cd /path/to/mysql-VERSION-OS shell> scripts/mysql_install_db --basedir=/path/to/mysq...

Posted by arganzheng | July 24, 2014

使用Redis做简单的消息队列

消息队列的好处直接，就是 1. 解耦；2. 削峰；3. 异步化。基本上和缓存一样是居家必备之良药。然而消息队列虽然重要，但是同时其实是蛮重的一个组件。所以就想能不能先简单的通过Redis来实现消息队列呢？不考虑PubSub、分布式、持久化、事务等复杂的情况。就像JDK的各种Queue一样。答案当然是可以的，因为Redis提供的list数据结构就非常适合做消息队列。 List List是一个双向链表，支持双向的Pop/Push，江湖规矩一般从左端Push，右端Pop——LPush/RPop，而且还有Blocking的版本BLPop/BRPop，客户端可以阻塞在那直到有消息到来，所有操作都是O(1)的好孩子，可以当Message Queue来用。当多个...

Posted by arganzheng | July 24, 2014

Spring MVC国际化和本地化

在你的mvc-dispatcher-servlet.xml中配置如下：  <bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource"> <property name="basename" value="classpath:i18n/messages" /> <property name="defaultEncoding" value="UTF-8" /> </bean> <bean ...

Posted by arganzheng | July 11, 2014

log4j详细介绍

log4j核心概念基本上所有的日志系统（库）对于日志记录的抽象都差不多，就是日志记录者（Loggers）将message以某种格式（Layouts）写到某些日志文件（Appenders）中。这里有三个关键的概念——Loggers，Layouts，Appenders，正是Log4J的三个核心概念。下面我们一一介绍一下。一、Loggers——The ability to selectively enable or disable logging requests based on their logger. 1. Loggers是树形继承关系的，这个关系将影响到下面的Appenders，因此掌握这个概念很重要。有且仅有一个root logger，...

Posted by arganzheng | June 19, 2014