最新消息:请随时分享你的乐趣!

2016年01月的内容

技术博客

spark streaming 优化方案

磊子 1年前 (2016-01-29) 2837浏览 0评论

接上篇 spark streaming driver内存泄露 spark streaming excutor 内存泄露分析 spark streaming突然挂掉-问题分析 使用环境 hadoop 2.7 spark 1.4.1 具体优化 两个优...

技术博客

spark streaming driver内存泄露

磊子 1年前 (2016-01-27) 3302浏览 0评论

症状 spark streaming driver内存一直增长,直到小心脏受不了,凝固在那里不死但是动不了内存爆满。块丢失 环境 amabri hdp 2.3 spark 1.4.1 hadoop/yarn 2.7 yarn-client模式,两个...

技术博客

【翻译】允许修改配置不用重启hadoop节点

磊子 1年前 (2016-01-05) 647浏览 0评论

允许修改配置不用重启hadoop节点 目前,改变一个节点上的配置(例如namenode)要求我们重新启动该节点。我们提出了一个变化,使我们可以进行配置更改,无需重新启动。支持在运行时要实现以下接口配置更改节点: interface Changeabl...