Arganzheng's Blog

stay hungry, stay foolish

大数据平台学习笔记

数据接入 主要负责数据的收集,分发,预处理以及管理工作 Scribe/Flume, Kafka 离线计算平台 Hadoop 批处理 三种任务(Job) Map-Reduce Job Hive Job Pig J...

RAID学习

最近申请到两台机器,RMS系统上显示的配置信息如下: CPU: INTEL Xeon E5-2620 V2 6C 2.1GHZ:2 内存: HUAWEI PC3L-10600 16G:6 硬盘: HUAWEI SATA 500G 7.2K:2 Flash: SSD 480G MLC:5 可以看到有5块480G的SSD盘。我们知道使用合适的RAID可以提到读性能,增加数据的安全性。那么五...

自动化部署平台设计

我们一般通过jenkins做持续构建,在代码提交之后自动构建maven任务,输出jar包或者war包。但是我们还需要把jar/war包发布到线上机器。这个操作能不能自动化呢? 要实现自动化部署,我们需要解决下面三个问题: WHAT to deploy: jar/war/zip, etc. 如果要支持js/css/html,甚至class文件,还需要支持文件发布。 WHERE t...

keepalived实战

理论介绍 Keepalived uses the IP Virtual Server (IPVS) kernel module to provide transport layer (Layer 4) load balancing, redirecting requests for network-based services to individual members of a serv...

MySQL高可用性方案

一些基本概念和背景知识 Switchover, Failover和Failback 当一个系统宕掉之后,手动的切换到冗余或者备份系统,这个过程称之为Switchover。如果是自动切换,不需要人工干预,那么称之为failover。 When a manual process is used to switch from one system to a redundant or s...

logback学习笔记

一直使用log4j,虽然知道log4j有性能上的问题,logback和log4j2都已经流行很多年了,但是总是懒得升级。最近新项目使用了spring boot,默认是配置logback,刚好学习一下。 logback的配置很像log4j,而且起核心概念也是跟log4j一样。不外乎就是logger,appender和layout的关系,只不过appender多了一个filter组件。具体可以...

Spring Java-based配置

Spring目前为止支持如下三种配置方式: XML-based configuration: Spring 1.0 Annotation-based configuration (with component scanning): Spring 2.0 Java-based configuration Spring 3.0 这里探讨一下第三种方式:Java-based c...

如何实现一个配置中心

问题 服务一般有很多依赖配置,例如访问数据库有连接字符串配置,连接池大小和连接超时配置,这些配置在不同环境(开发/测试/生产)一般不同,比如生产环境需要配连接池,而开发测试环境可能不配,另外有些参数配置在运行期可能还要动态调整,例如,运行时根据流量状况动态调整限流和熔断阀值。 传统配置文件方式虽然把配置项分离到单独的配置文件,但是修改一个配置项,需要提交版本管理,发布,重启。整个过程比较...

如何单元测试二方库

问题 为了模块化,我们需要将通用的模块拆分出来,作为一个单独的二方库,在多个工程中引用。比如product-biz, product-dataaccess等。这些模块一般会使用到其他框架,比如Spring,mybatis,并且可能还有一些配置项根据不同的工程有不同的配置,所有这些依赖(配置文件和配置项)一般都是在引用方提供,然后整个工程才能够跑起来。这样会带来一个严重的问题,就是这些二方库...

JS跨域问题及解决方案

问题 Same-origin policy Same-origin policy(SOP): 只有当两个资源同源的时候,浏览器才允许他们之间的脚本互相访问,包括请求各自的服务端,修改DOM结构和读取cookies,localStorage等。 源(origin): 一个页面的源(origin)是由三部分(triple)组成的 {protocol, host, port}。 当且只当这个...