数据湖的数据持久性和安全性是优先考虑的因素。许多选项可以提供合理的成本,但并非所有选项都能满足数据湖的长期存储需求。数据湖或数据中心的概念最初是由大数据供应商提出的。从表面上看,数据承载在基于可扩展HDFS的廉价存储硬件上。但是数据量越大,需要的存储种类就越多。最终,所有企业数据都可以被视为大数据,但并非所有企业数据都适合存储在廉价的HDFS集群上。
什么是“数据湖”?
什么是“数据湖”?宋征说,我们将其定义为新一代绿色低碳数字经济基础设施。他从五个方面详细介绍了“数据湖”。一是绿色安全的数据中心;第二,是颐华路和政府共建的。是地方政府数据要素一级开发整理的平台,也是地方政府搞数据的起点;三是把数据治理和开发作为数据开发的最终目标;第四是进入数据湖。通过数据银行平台,可以进行数据众筹、文化治理、应用众包、行业创造,促进数据要素的统筹和交易;第五,基于数据湖,建设数据经济产业园,不仅可以通过数据吸引投资,还可以带动当地数字经济的发展。
“我们打造的数据湖,可以有效解决当前数据面临的‘买不起、拿不到、用不上’的现实问题。”宋征表示:第一,以蓝光存储技术为代表的宜华录新存储技术,大大降低了存储能耗和存储成本。数据一旦写入,50年内不会丢失或坏,这样数据就可以保存。;二是在合法合规的前提下,通过“数据银行”,将所有公开的数据在政府的监督下公开,使数据得以获取;三是数据存入数据湖后,提供全面的数据应用场景和技术支持,使数据得到很好的利用。
一般来说,数据湖作为海量数据(603138)的存储和传输载体,不仅可以降低全社会数据存储的能耗成本,还有助于实现数据资源的产业化。宋征说,经过“十三五”期间的努力,目前,宜华录已建成36个“数据湖”,与当地政府一对一沟通,共建、共用地、共运营。同时,还有400多个生态建设伙伴共同推动数据湖和数据基础设施建设,从而推动数字经济发展。
如何将“水”引入“湖”?
据记者了解,数据湖的建设可分为三个阶段:建湖、引水和水资源开发利用。数据湖建成后如何将“水”引入“湖”?宋征说,数据不会无缘无故跳进数据湖,所以我们为数据入湖提供了一系列解决方案。
首先,通过场景方案和城市创建项目收集数据。我们提供政府全局数据的一揽子治理、管理和应用场景,包括打造城市的最新技术,将政府数据引入数据湖,得到了很多政府的认可。二是搭建超级存储云平台。存储平台是基于云的全国统一门户,方便用户使用存储服务。三是与运营商密切合作。目前,宜华录已与运营商签署战略合作伙伴协议,将蓝光存储技术完美融入运营商云端,提供冷数据、海量数据存储的光、磁电一体化基础方案。第四,每个数据湖都有专门的项目公司负责其运营。将宜华录的运营能力注入数据公司,帮助当地政府做好“引水”和运营工作。众所周知,一个成熟的数据湖系统具备大数据存储、大数据处理、机器学习和大数据分析的能力。
宋征说,存储是数据湖建设的关键环节,能耗惊人。目前,数据中心占全社会用电量的3%,到2025年将达到4.1%,而数据中心内的存储占用电量的35%。据机构分析,到2025年,全球数据量将达到175ZB,五年复合年增长率为31.8%。庞大的数据量对作为数字技术底层支撑的数据中心提出了更高的要求,数据存储面临着前所未有的压力。对此,宋征指出,宜华录的蓝光存储技术和光磁一体化技术可以有效降低IT设备的功耗,全面降低我们整体数据存储的能耗。
值得一提的是,随着数据时代的加速,也促进了数据的指数级增长。然而,数据湖里大量数据之间对资源互通、共享和协作的需求越来越强烈,而实现这一目标的核心是对数据的理解和分析。比如在企业生产经营过程中,对机器产生的海量数据进行分析,形成统一的标准、数据格式和表达方式,但现实是工业互联网数据仍然面临着信息孤岛、数据兼容、数据挖掘不足等诸多问题,而工业互联网标识分析系统是解决这些问题的关键。
对此,宋征表示,宜华录将加强与中国信息通信研究院的沟通,充分发挥央企资源和技术优势,加强与中国信息通信研究院的产学研联动,携手并进,积极参与国家链网协同基础设施“星火”的建设、应用和生态发展。链网”按照国家一体化大数据中心的总体布局,从而助力各地数字经济的发展。
推动数据中心绿色发展
2020年9月,中国明确提出了2030年“二氧化碳排放峰值”、2060年“碳中和”的目标。在国家“双碳”战略背景下,数据中心作为新型数字基础设施的重要组成部分,承担着经济发展的重任,也是数字经济中实现碳中和的关键环节。
近日,国富瑞数据系统有限公司总裁周福全在接受媒体专访时表示,未来数字经济发展趋势之一是绿色、低碳、节能。中国数据中心行业用电绝对值及其占全社会用电总量的比重逐年上升。因此,在数据中心规划、设计、建设、运营和维护中大规模应用节能技术,促进数据中心绿色发展,对全社会实施“二氧化碳峰值排放”和“碳中和”战略具有重要意义。
据了解,国富瑞定位为安全智能的大数据基础设施运营服务商,依托全国高等级云数据中心布局,打造了云计算、网络安全、云数据中心、大数据培训等业务板块,是国内知名的云数据中心和大数据服务商。十多年来,我们不断致力于绿色数据中心节能技术的研究、探索和实践,始终将低碳环保理念融入生产经营的每一个环节,以实际行动践行“双碳”国家战略。目前,已建成运营高等级数据中心近40个,形成了全国性的数据中心布局。
周福全告诉记者,目前,国富瑞积极与生态伙伴探讨绿色数字能源的路径,在国家级数据中心布局建设过程中提前考虑绿色能源,让数据中心每一个动力都能承载更多的数据,支持更多的计算能力。例如,通过推广绿色预制模块化数据中心的建设技术,可以减少80%的建筑用水和建筑垃圾,实现高可回收性,减少90%的碳排放;拥有1500个机柜的数据中心的PUE可降低14%,年节电接近1000万元。同时,周福全表示,国富瑞建设运营的数据中心,不仅是信息基础设施的“基地”,还发挥着“算力集群”的重要作用。
最后,周福全表示,国富瑞作为数据中心行业的资深运营商,经过十几年的发展,正处于“2.0”战略升级和快速发展阶段。“十四五”期间,国富瑞将积极响应国家新基建政策,抢抓市场机遇,继续落实“安全智能大数据基础设施运营服务商”的战略定位,继续依托母公司宜华录的数据湖战略,以部署在京津冀、长三角、粤港澳大湾区、成渝等地区的近40个高水平数据中心为基础,应用互联互通、云网融合和下一代互联网技术。打造高附加值、高技术含量的新型数据中心集群,为各行各业提供更好的IT基础设施服务,提供云计算、网络与安全、绿色智能运维、新基建咨询、大数据培训等服务,为国家数字经济建设贡献力量。
针对下一步发展规划,宋征在会上表示,“十四五”期间,宜华录将继续推进数据湖战略,加大研发投入,引领全公司在数字经济领域的发展,构建创新型、集团化、网络化、平台化战略,大力推动数据湖和数字经济发展,努力成为大数据和人工智能领域的国家级团队。租用服务器可咨询梦飞云idc了解。