基于Hadoop和HANA Cloud的健康软件的设计与实现文献综述

 2022-11-20 11:11
  1. 文献综述(或调研报告):
    1. 前言

随着近几年O2O的大力发展,乘着大数据和云计算的热潮,O2O持续发酵,在各个传统领域面前都创下了很多出名的产品。在医疗方面,移动医疗正在成为整个行业的共识,能够将医疗这块这么大的线下资源整合起来,是所有IT行业,甚至是整个人类的科幻梦 --- 医疗不需要出门,健康不需要医生。而大数据和疾病指标化模型的发展,让单纯利用监测数字诊断和预测疾病成为了可能。

    1. Cloud的发展和应用

随着Cloud发展越来越成熟,越来越多成熟稳定的云平台层出不穷,从最早的Amazon的AWS,Google Cloud,MS的Azure到SAP 的云平台HANA Cloud;国内的阿里云,百度云,新浪云都层出不穷。

对于云平台,各大云平台核心的东西都是一样的,但是具体到细节却有很大的不同,比如对于数据库的采用,HANA Cloud采用的是内存数据库,当然他的数据中心也是以内存为主的特殊机群,让传统的BI (Business Intelligence)分析变得快速精确。而HANA Cloud联合Hadoop的应用,将Hadoop的HDFS进行改造,能够更好的贴近目前对于大数据量的分析,却又弥补了Hadoop速度慢,数据量老旧,分析结果不实时的特点。结合HANA,能够很好地“清洗”Hadoop中老旧的数据。

    1. 大数据处理平台的发展和应用

自从Google公布了自己商用PC集群的文件处理算法MapReduce之后,整个分布式计算便发生了质一般的飞越,各项研究层出不穷,这种将代码送到目标机器上执行的思想,完全将传统的分布式计算的观点隔离开来,使它们变成了一个孤立的群体。

而随着Hadoop的横空出世,使得大数据处理变得异常简单。在Hadoop 出现之前,高性能计算和网格计算一直是处理大数据问题主要的使用方法和工具,它们主要采用消息传递接口(Message Passing Interface,MPI)提供的API 来处理大数据。高性能计算的思想是将计算作业分散到集群机器上,集群计算节点访问存储区域网络SAN 构成的共享文件系统获取数据,这种设计比较适合计算密集型作业。当需要访问像PB 级别的数据的时候,由于存储设备网络带宽的限制,很多集群计算节点只能空闲等待数据。

而Hadoop却不存在这种问题,由于Hadoop 使用专门为分布式计算设计的文件系统HDFS,计算的时候只需要将计算代码推送到存储节点上,即可在存储节点上完成数据本地化计算,Hadoop 中的集群存储节点也是计算节点。在分布式编程方面,MPI 是属于比较底层的开发库,它赋予了程序员极大的控制能力,但是却要程序员自己控制程序的执行流程,容错功能,甚至底层的套接字通信、数据分析算法等底层细节都需要自己编程实现。这种要求无疑对开发分布式程序的程序员提出了较高的要求。

相反,Hadoop 的MapReduce 却是一个高度抽象的并行编程模型,它将分布式并行编程抽象为两个原语操作,即map 操作和reduce 操作,开发人员只需要简单地实现相应的接口即可,完全不用考虑底层数据流、容错、程序的并行执行等细节。这种设计无疑大大降低了开发分布式并行程序的难度。

    1. 小结

通过对相关架构的调研,为接下来的架构设计创造了可能,能够很好地运用这些前沿的技术,用比较简单的方法来完成整个系统是接下来架构设计中需要重点考虑的因素。

    1. 参考文献:
  1. Jeffrey Dean and Sanjay Ghemawat. MapReduce: simplified data processing on large clusters. Communication of the ACM, 51(1):107-113, January 2008.
  2. Konstantin Shvachko, Hairong Kuang, Sanjay Radia, Robert Chansler. The Hadoop Distributed File System, Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on, pages 1-10, 3-7 May 2010.
  3. Franz Fauml;rber, Sang Kyun Cha, Juuml;rgen Primsch, Christof Bornhouml;vd, Stefan Sigg and Wolfgang Lehner. SAP HANA database: data management for modern business applications, ACM SIGMOD Record, 40(4):45-51, December 2011.
  4. Matthias Schur, Andreas Roth and Andreas Zeller. Mining behavior models from enterprise web applications, ESEC/FSE 2013 Proceedings of the 2013 9th Joint Meeting on Foundations of Software Engineering, pages 422-432, 2013.
  5. Lei Gao, Chunhong Zhang and Li Sun. RESTful Web of Things API in Sharing Sensor Data, Internet Technology and Applications (iTAP), 2011 International Conference on, pages 1-4, Aug. 2011

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。