大數據計算架構三國爭霸勝負未明

2019年05月03日 来源:

短短幾年時間,大數據這個詞便已家喻戶曉。但在大數據這個名詞被命名之前,人類對數據的搜集與分析已有著悠久的歷史。從人工統計分析到電腦/大型機再到今天的分布式計算平臺,數據處理速度飛速提高的背后則是整體架構的不斷演進。今天大數據架構火熱的莫過于Hadoop,Spark和Storm這三種,而Spark和Storm這兩個后起之秀更是搶了不少Hadoop的風頭,也讓上逐步開始有一種聲音說Hadoop的日子已經快到頭了。但究竟這三者之間是什么關系,未來大數據架構究竟該走向何方呢?

分布式计算架构鼻祖Hadoop

所谓分布式计算进程就像蚂蚁搬家一样,将一个大型任务分割成很多部分,每一台电脑相当于一个小蚂蚁将其中一部分搬走。Hadoop作为分布式系统的基础架构,其重要性不言而喻。Hadoop的数据处理工作在硬盘层面,借助HDFS(分布式文件系统),可以将架构下每台电脑中的硬盘资源聚集起来,不论是存储计算还是调用都可以视为一块硬盘使用,就像以前电脑中的C盘,D盘,之后使用集群管理和调度软件YARN,相当于Windows,毕竟我们要进行编程首先需要一个操作系统,利用Map/Reduce计算框架相当于Virtual Studio,就可以在这上面进行计算编程。从而大幅降低了整体计算平台的硬件投入成本。而这也就是基础的分布式计算架构。

流数据处理双雄Spark和Storm

所谓流数据处理其实不难理解,比如看上视频,都是下载一段看一段,然后快结束的时候自动下载下一段。由于Hadoop的计算过程放在硬盘,受制于硬件条件限制,数据的吞吐和处理速度明显不如使用内存来的快。于是Spark和Storm开始登上舞台。Spark和Storm两者的区别在于实时性:Spark是准实时,先收集一段时间的数据再进行统一处理,好比看页统计票数每隔几秒刷新一次,而Storm则是完全实时,来一条数据就处理一条。固然Storm实时处理方式所带来的缺点也是很明显的,不论离线批处理,高延迟批处理还是交互式查询都不如Spark框架。不同的机制决定了二者架构适用的场景不同,比如炒股,股价的变化不是按秒计算的(Spark实时计算延迟度是秒级),在高频交易中,高频获利与否往往就在1ms(0.001秒)之间,而这恰好就是Storm的实时计算延迟度。

混合架构,各显神通

今天大数据的混合架构就像目前云计算市场中风头劲的混合云一样,成为大多数公司的。每一种架构都有其自身的独特优缺点,就像Hadoop,尽管数据处理的速度和难易度都远比不过Spark和Storm。但是由于硬盘断电后数据可以长期保存,因此在处理需要长期存储的数据时还是需要借助Hadoop。不过Hadoop由于具有非常好的兼容性,因此非常容易的同Spark和Storm进行结合,从而满足公司的不同需求。

纵观技术的发展史,我们可以看到,每一项新技术的问世都有着之前技术的身影,伴随着大数据的需求增长,不同的架仍然会不断进化,并改进自身的缺点,从而使得本身架构得到进一步的完善。就目前来看Hadoop,Spark和Storm目前远谈不到谁取代谁。

前列腺炎为什么那么难治
前列腺囊肿有哪些不同类型
哪些因素会引发前列腺囊肿
相关文章
  • 张韶涵与母亲闹翻留装潢烂帐拒付400万被
    张韶涵与母亲闹翻留装潢烂帐拒付400万被

    张韶涵与母亲闹翻留装潢烂帐 拒付400万被起诉张韶涵位于民生东路的房子,遭装潢业者控告未付装潢尾款。昔日母女情深(资料图)。据台湾媒体报道,张韶涵去年与母亲闹翻,家丑事件未歇,爆发案外案,1名施姓装潢业者称替她装潢房屋后,因母女闹翻,2人都不愿...

  • 大数据是提升全球电能效的好帮手
    大数据是提升全球电能效的好帮手

    大数据是提升全球电能效的好帮手导读:英特尔能源与公共事业部市场总监Alan Rose正在研究如何利用电及楼宇中的数据分析来推动形成新的节能方式。英特尔能源与公共事业部市场总监Alan Rose正在研究如何利用电及楼宇中的数据分析来推动形成新的节能方式。人们总...

  • 舒城县城关镇孔集中心学校开展纪念九一八活动六安新闻
    舒城县城关镇孔集中心学校开展纪念九一八活动六安新闻

    六安讯 为警示、教育广大青少年居安思危,舒城县孔集中心学校开展以勿忘国耻,展望未来为主题的纪念九一八活动。学校各班级以勿忘国耻,展望未来为主题,长大报效祖国!(汪礼见)辽宁日报亚足联对国足恭维可信度不高女子经尴尬了维密T台上Gigi穿的内衣竟...

  • 国务院六招撑节能环保产业
    国务院六招撑节能环保产业

    近日,国务院正式出台《关于加快发展节能环保产业的意见》(下称意见),提出从扩大消费和引导社会资金投资等6方面,推动绿色产业;其中明确节能环保产业年产值,到2015年要达到4.5万亿元人民币,成为新支柱产业。当局又拟继续利用补贴政策,鼓励民众购买节能...

  • 看大片赏绝活品书香石家庄国庆文化地图出炉
    看大片赏绝活品书香石家庄国庆文化地图出炉

    09:47:46.0看大片赏绝活品书香 石家庄国庆“文化地图”出炉上映 文化地图 10月 港囧 麻花 演出 参赛 电影 徐峥 灰姑娘2112社会民生/enpproperty-->  是在景区数人头还是在去景区的路上数汽车?大家非得在一个固定日子里出游吗?其实我们还有另外的选择,身边也有很...

  • 二十年傻白甜妖艳贱货主角的春天到来1
    二十年傻白甜妖艳贱货主角的春天到来1

    二十年傻白甜 “妖艳贱货”主角的春天到来(1)《亲爱的,公主病》海报吴大哥娱乐讯 今年暑期档,一不缺明星与大IP,二不缺高X格精品剧,又如魔性回归的《又拐个皇帝回现代》,都在微博B站朋友圈引起一阵又一阵红红火火恍恍惚惚。细细算来,这两年在剧领域,...