Spark Streaming分析
磊子 3年前 (2015-06-26) 1093浏览 0评论
问题导读: Example代码分析实例完成了什么功能? StreamingContext启动,都启动了什么功能? DStreamGraph是怎么生成的jobs? 这一章要讲Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《S...
磊子 3年前 (2015-06-26) 1093浏览 0评论
问题导读: Example代码分析实例完成了什么功能? StreamingContext启动,都启动了什么功能? DStreamGraph是怎么生成的jobs? 这一章要讲Spark Streaming,讲之前首先回顾下它的用法,具体用法请参照《S...
作者 李道兵 移动互联网、云计算和大数据的成熟和发展,让更多的好想法得以在很短的时间内实现为产品。 此时,如果用户需求抓得准,用户数量将很可能获得爆发式增长,而不需要像以往一样需要精 心运营几年的时间。然而用户数量的快速增长(尤其是短时间内的爆发式增...
现在各个公司都有自己的序列化框架,层出不穷,下面是各种序列化反序列化框架的性能比较和技术场景选型。 Java各种序列化性能比较 从上图可得出如下结论: XML 序列化( Xstream)无论在性能和简洁性上比较差; Thrift 与 Pr...
磊子 3年前 (2015-06-17) 1300浏览 0评论
该命令在SecureCRT/Xshell 这样的ssh软件里, 通过在Linux界面里输入rz/sz命令来上传/下载文件 linux下rz/sz的简单安装 sudo yum install lrzsz //或者自己下载 wget http://ww...
磊子 3年前 (2015-06-12) 1066浏览 0评论
一个网络媒体(网站)会包含有数十个甚至成千上万个页面,网络广告所投放的位置和价格 就牵涉到特定的页面以及浏览人数的多寡。这好比平面媒体(如报纸)的“版位”、“发行 量”,或者电波媒体(如电视)的“时段”、“收视率”的概念。 CPM(Cost Per ...
磊子 3年前 (2015-06-03) 1184浏览 0评论
目录: 无密钥登陆 配置 XXXX_HOME and PATH 配置hosts 关闭防火墙 启动ntpd服务 关闭hugepage 附加信息: ambari默认数据库设置 无密钥登陆 ssh-keygen –t rsa –P...
磊子 3年前 (2015-06-02) 1071浏览 0评论
最近做数据分析,好多东西不太懂,还是从书入手,读本数据分析的书。 就找了本易懂的《谁说菜鸟不会数据分析(.入门篇)].张文霖》 下载地址: http://pan.baidu.com/s/1dD3yBTZ 职业要求五懂 懂业务 管理 分析 工具...