深圳市泽云科技有限公司 深圳市泽云科技有限公司 深圳市泽云科技有限公司

0755-66609781

解决方案 Solutions

現在位置:首页 > 解决方案 > 大数据存储运营解决方案

应用背景

“大数据(Big data)”是时下最火热的IT行业的词汇,随着云时代的来临,大数据吸引了越来越多的关注。对于“大数据”,研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

泽云科技针对大数据领域的实际应用需求,以Hadoop应用为核心,围绕如何构建高效的存储平台,提出了一系列大数据存储解决方案。与传统采用Hadoop+服务器/廉价存储介质的互联网大数据模式不一样,泽云大数据存储解决方案以专业存储为核心,以提供高性能、高可靠、省空间、易管理的存储平台为目标,为行业用户提供更合理、更实用的解决方案。

泽云大数据解决方案融入了多项领先的存储技术和理念,具备鲜明的特点。

(1)通过可靠的硬件设备,提升存储平台的可靠性;

(2)通过CRAID技术,减少硬盘故障,减少数据副本(1或2份),节省30-50%的存储容量;

(3)通过对虚拟化的良好支持,为基于虚拟化的大数据应用进行优化提速;

(4)通过提供多协议支持,为传统应用和hadoop提供统一的存储平台;

(5)通过计算、存储分离,同时支持scaleout、scale-up扩展,使得方案部署、升级更加简单;

(6) 通过便捷的管理和整体解决方案,降低方案复杂度,提升可管理性。

泽云大数据存储解决方案

从应用角度来看,泽云基于Hadoop的大数据存储解决方案有多种部署模式,比较典型的包括如下四种:

(一)集中式存储+分布式服务器解决方案


部署方式:

Hadoop节点只配置系统盘,数据空间从存储上获取,通过标准iSCSI/FC/FCoE协议访问存储

采用高性能、高可靠存储阵列,提供Hadoop存储资源

方案特点:

计算与存储可分开采购,独立部署

设备可靠性高,提供RAID保护,可减少数据副本(只需1份,最多2份)

节省存储机架空间,节能降耗

可维护性强,管理简单

方案配置:

推荐MS3000/MS5000系列存储阵列,选配1台或多台组成存储资源池

优选1/10Gb IP SAN存储组网

存储与服务器数量比例参考1:20

(二)集中式存储+服务器虚拟化解决方案


部署方式:

采用多台高性能服务器,每台服务器可虚拟出10-20个虚拟机。Hadoop节点部署于虚拟机上,数据空间从存储上获取,通过标准iSCSI/FC/FCoE协议访问存储。

采用高性能、高可靠存储阵列,提供Hadoop存储资源

方案特点:

减少物理服务器故障率,计算资源按需分配

计算与存储可分开采购,独立部署

设备可靠性高,提供RAID保护,可减少数据副本(只需1份,最多2份)

节省服务器和存储的机架空间,节能降耗

可维护性强,管理简单

存储阵列对虚拟机的应用优化

方案配置:

推荐MS3000/MS5000系列存储阵列,选配1台或多台组成存储资源池

优选1/10Gb IP SAN存储组网

存储与虚拟机数量比例参考1:20

(三)统一存储平台+分布式计算解决方案


部署方式:

采用MP系列分布式存储构建存储资源池,提供NFS/CIFS/POSIX接口兼容传统应用,提供类HDFS协议接口兼容Hadoop应用

非结构化数据通过传统接口写入MP存储资源池,经过转换后,通过HDFS协议提供给Hadoop计算资源。

Hadoop计算资源可采用物理服务器或虚拟机,数据空间从MP存储资源池获取,通过标准HDFS协议访问存储。

方案特点:

MP分布式集群存储池,最大支持128个引擎,提供PB级统一命名空间

提供多种协议接口,同时兼容传统应用和Hadoop应用,无需格式转换

计算与存储可分开采购,独立部署

设备可靠性高,提供RAID保护,可减少数据副本(只需1份,最多2份)

可维护性强,管理简单

方案配置:

推荐MP3000/MP5000系列分布式存储产品(规格见后)

优选1/10Gb IP SAN存储组网

MP节点数量与Hadoop计算节点数量比例参考1:20

(四)大数据存储+计算一体化解决方案


部署方式:

存储阵列内置Hadoop软件模块,提供基于Hadoop编程接口,应用直接部署存储阵列上

方案特点:

设备可靠性高,提供RAID保护,可减少数据副本(只需1份,最多2份)

存储同时支持Scale out、Scale up扩展

可维护性强,管理简单

节省服务器和存储的机架空间,节能降耗

方案配置:

推荐MS5000系列存储阵列做为Hadoop载体

采用1/10Gb网络接口

提供基于Hadoop的应用开发API