最新消息:请随时分享你的乐趣!

最新发布 第5页

印迹.- 总要留下些什么

技术博客

kafka consumer ulimit超过限制 报错

磊子 2年前 (2016-02-26) 1161浏览 0评论

如果发现以下错误,请查看你的kafka Consumer 客户端的 ulimit 是否超限。 使用命令查看当前限数 ulimit -n 查看你的进程是超过上面的限数。 lsof -p $appPID |wc -l 然后如果超限,那么你就赶紧修改你...

技术博客

spark streaming 优化方案

磊子 2年前 (2016-01-29) 4560浏览 0评论

接上篇 spark streaming driver内存泄露 spark streaming excutor 内存泄露分析 spark streaming突然挂掉-问题分析 使用环境 hadoop 2.7 spark 1.4.1 具体优化 两个优...

技术博客

spark streaming driver内存泄露

磊子 2年前 (2016-01-27) 5379浏览 0评论

症状 spark streaming driver内存一直增长,直到小心脏受不了,凝固在那里不死但是动不了内存爆满。块丢失 环境 amabri hdp 2.3 spark 1.4.1 hadoop/yarn 2.7 yarn-client模式,两个...

技术博客

【翻译】允许修改配置不用重启hadoop节点

磊子 2年前 (2016-01-05) 1056浏览 0评论

允许修改配置不用重启hadoop节点 目前,改变一个节点上的配置(例如namenode)要求我们重新启动该节点。我们提出了一个变化,使我们可以进行配置更改,无需重新启动。支持在运行时要实现以下接口配置更改节点: interface Changeabl...

热爱生活

关于记忆法

磊子 2年前 (2015-12-16) 987浏览 0评论

方法 死记硬背,不懂其理 理解背诵,理解他说什么,再去背诵,感受作者的感受。 使用技巧背诵,使用自己兴奋之余的记忆背诵。如:通过一个故事讲述一个道理,利用在领悟这个道理的一瞬间的高能状态,去记忆你需要的东西,而且你需要把这种高能状态刻录到你的脑子里...

技术博客

ambari 机架感知设置

磊子 2年前 (2015-12-14) 1259浏览 0评论

ambari 机架感知设置,这块ambari已经做得非常好了。不用在辛苦的修改配置文件了。 1. 选择需要设置的机器 2. 输入你的机架必须以 / 开头 3. 然后重启hdfs和mapreduce 转载请注明:印迹. » ambari...