Arganzheng's Blog

stay hungry, stay foolish

创建Hadoop FileSystem报Provider org.apache.hadoop.fs.azure.NativeAzureFileSystem not a subtype异常

为了验证一个线上问题，写了一个简单的Spark任务，在提交节点上听过spark-submit命令提交任务，总是跑不起来。报如下错误： 18/12/26 16:37:24 ERROR study.Application: error java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider...

Posted by arganzheng | December 26, 2018

git分支与maven版本之间的联动

对于 java 开发，项目联合开发的时候往往是通过maven仓库而不是分支源码依赖进行，而且为了让变更立即可见，需要采用 maven 的 snapshot 版本机制；而对于稳定版本（release版本），为了能够拉取更新以及记录变更，也是需要升级版本号的。也就是说二方库有自己的（maven）版本管理机制，需要跟 git 的分支机制联动起来。为了方便说明，我们举一个具体的二方库作为例子。...

Posted by arganzheng | December 19, 2018

Git分支管理策略

在使用 Git 时通常会遇到的一个问题是采用何种分支管理实践，即如何管理仓库中作用不同的各类分支。 GitFlow 演进洪荒时代 —— 单主干开发 (Trunk-based development, TBD) 单主干的分支实践（Trunk-based development, TBD）在 SVN 中比较流行。trunk 是 SVN 中主干分支的名称，对应到 Git 中则是 maste...

Posted by arganzheng | December 18, 2018

Spark数据倾斜及其解决方案

什么是数据倾斜对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。如果一台机器处理一批大量数据需要120分钟，当机器数量增加到3台时，理想的耗时为120 / 3 = 40分钟。但是，想做到分布式情况下每台机器执行时间是单机时的1 / N，就必须保证每台机器的...

Posted by arganzheng | November 24, 2018

Spark Executor内存管理

我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。首先我们知道在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor...

Posted by arganzheng | November 20, 2018

Spark RDD

RDD核心抽象和概览 1. 什么是 RDD The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a fault-tolerant collection of elements partitioned across the nodes of the cluster ...

Posted by arganzheng | November 12, 2018

Design Pattern

设计模式分享开发模式 (OOP) 面向对象编程 (DDD) 领域驱动开发 (TDD) 测试驱动开发设计模式的8个基本原则单一职责原则（Single Responsibility Principle）: 一个类只负责一个功能领域中的相应职责（只做一类事情）里氏代换原则（Lisko...

Posted by arganzheng | October 30, 2018

log4j2如何动态的创建logger和appender

背景平台现在通过页面通过 SparkLauncher 提交Spark训练任务，随着而来的一个问题就是任务出错之后不知道哪里出问题，而日志在提交节点上，并且所有的任务混在一起打印日志，很不方便查看。能不能把 Spark 任务的日志分别打印在自己的日志文件呢？解决方案 Spark2.x 有 redirectToLog 方法可以把任务日志重定向，但是 Spark1.x 没有提供这个功能，...

Posted by arganzheng | October 24, 2018

Spark如何查看某个applicationId的executor日志

方法一：直接在界面上查看如果你运行在 YARN 模式，你可以在 ResourceManager 节点的 WEB UI 页面根据任务状态、用户名或者 applicationId Search 到你的应用。然后点击表格中 Tracking UI 列的History 链接；或者点击相关的 ApplicationId 链接，进入到详情页面点击上面的 Tracking URL:...

Posted by arganzheng | October 20, 2018

Spark任务读取HDFS文件报Filesystem closed异常

现象今天早上过来发现昨天晚上浏览器搜索样本生成任务出问题了。日志显示： [INFO ] 2018-10-18 22:03:41.443 [launcher-proc-1] spark-sample-generate - at com.argan.internt.ai.platform.datadriver.sample.plugin.DefaultPluginService...

Posted by arganzheng | October 19, 2018