最新消息:请随时分享你的乐趣!

2015年09月的内容

知识无边

spark streaming & kafka Receiver 突然挂了

磊子 2年前 (2015-09-30) 3781浏览 0评论

背景 Spark Streaming 1.3.1 Kakfa 0.8.2.2.3 这个问题困扰了好久好久,每天早上上班先检查spark streaming 是否在处理数据。结果很失望。 然后百度(坑)就不说了,Google了好久也没有找到问题。 原本...

技术博客

Amabri hdp2.3 spark1.3.1 升级问题

磊子 2年前 (2015-09-25) 1858浏览 0评论

我使用ambari 2.2.x.x 升级到2.3.0.0 以后, 出现spark不能启动错误not accepted any resources,起初以为内存不足,加了内存以后还是不管用。 在网上几经搜索没有答案(百度误人子弟),然后Google了把...

技术博客

挂载硬盘

磊子 2年前 (2015-09-06) 601浏览 0评论

查看加挂的硬盘 fdisk -l #格式化新加的空间 ,留意/dev/sdc 的名字,后面将会用到 #如果是其他的名字,我们在后续的操作中使用对应的名字 格式化 mkfs.ext4 /dev/sdc 创建挂载点,这里示例将新增的vo...