了解人工智能和物联网产生的数据湖

行业正在寻求自动化流程以提高效率并增强最终用户体验。为此，各行业正在寻求人工智能和物联网等技术。许多行业现在已经在试验人工智能，而物联网是一个相对较旧的概念。换句话说，物联网已经成为更多行业的一部分。虽然自动化以及人工智能和物联网的集成促进了多个工业流程，但它们也产生了大数据和大数据湖。企业可以通过人工智能和物联网获得多少价值？这取决于公司如何处理这些数据湖。在本文中，我们探讨了全球人工智能和物联网的采用率，我们在数据生成方面讨论了什么，以及企业需要什么样的存储解决方案来有效地存储、管理和控制人工智能和物联网的大数据。

全球组织整合人工智能和物联网

人工智能 (AI) 正在帮助组织和行业实现流程自动化和分散化，同时消除人为错误。人工智能能够独立工作并几乎没有错误地完成任务，这使得它对所有行业都具有吸引力。

许多行业已经在以一种或另一种方式整合人工智能，许多行业正计划效仿。

物联网 (IoT) 是一个比人工智能稍早的概念，对于组织和行业同样重要。物联网使组织内的不同系统能够相互通信以执行特定任务，为智能网络、办公室和智能城市奠定了基础。

人工智能和物联网都在当今的数字商业模式中找到了独特且不可替代的位置。此外，世界各地的企业都在投资这两种技术。

AI Adoption Worldwide

Gartner 的调查显示，37% 的组织已经以某种形式实施了人工智能。

考虑到人工智能的好处和应用，这种采用率很可能在未来继续增长。

全球物联网采用

同样，2018 年物联网支出估计约为151B 美元。此外，据 IDC 称，预计 2022 年物联网支出将达到 1.2T 美元。可以肯定地说，来自各行各业的组织和国内用户都有望积极投资物联网。确实，人工智能和物联网的集成使组织和最终用户的生活变得轻松。然而，与所有伟大的事物一样，有一个问题：人工智能和物联网生成大数据和大数据湖。

人工智能和物联网技术的数字足迹：大数据和大数据湖

人工智能依赖于数据处理、分析和使用。物联网为了完成任务并与连接的设备进行通信，会生成大量数据。

这两种技术都依赖于数据并生成许多数据，这些数据组合成难以管理且几乎无法控制的巨大复杂池。这使得组织很难充分利用它们。

无论应用程序/用例如何，AI 的效率与其所提供的数据及其流程的数量和质量一样高。任务的复杂性越高，需要存储和处理的数据就越多，数据湖也就越大。

这可能是一个不利因素，但这里的一线希望是，由于这种能力，人工智能已经为医疗保健、金融、研究和许多其他行业做出了贡献。因此，这些广泛的数据位是“必要的邪恶”。

物联网产生多少数据？

物联网依赖于连接的设备数量和分配任务的复杂性。这在原理上类似于人工智能。思科估计，到 2019 年底，物联网每年将产生超过 500ZB (Zettabytes) 的数据。根据这些信息，很明显，希望集成或已经使用 AI 和 IoT 的组织会发现自己拥有大型数据湖。反过来，这些数据湖将需要能够有效存储、保留、管理和控制它们的存储介质。这意味着传统的存储基础设施不会削减它。

如何有效处理大数据和大数据湖？

大量数据需要高度可扩展、强大且冗余的存储基础架构。为了有效地存储、保留、管理和控制大型数据湖，数据存储解决方案必须具有以下属性：

• 高可扩展性
• 高可用性和冗余
• 混合存储 - 本地云原生设备
• 简化管理
• 自动存储分层

让我们简要介绍一下这些属性：

高可扩展性

我们谈论的是人工智能和物联网的结合；因此，这转化为 GB 的数据，这些数据增长为 TB，然后是 PB。指定的存储解决方案必须具有同等的可扩展性。它应该能够从 TB 开始，并且应该可以扩展到 PB。即使需要增加更多性能和存储容量，大多数组织也无法容忍中断。因此，这种扩展能力需要是动态的和无中断的。

高可用性和冗余

如前所述，不可用或中断不是大多数行业的选择。

医疗保健服务提供商不能等待数据的可用性，这可能意味着某人的生死。同样，最终用户现在正在养成快速处理和高性能的习惯。企业必须以类似方式发展。这就是为什么高可用性和冗余至关重要。

存储解决方案需要是冗余的，以便它具有容错性。即使发生硬件故障，它也应该能够继续运行。换句话说，存储系统不应该有单点故障。同样，它不应该依赖一个电源。它应该有冗余电源。它还应该具有RAID 和擦除编码，以便即使在驱动器发生故障的情况下，数据仍然可以无缝使用。

混合存储——本地云原生数据存储

“云”不仅仅是一个流行词，企业也不会仅仅因为它的便利性而转向云。云在塑造数据存储方面发挥着至关重要的作用，使其更适合大数据和大数据湖。云具有可扩展性、成本效益，并有助于减轻本地存储基础架构的负载。更不用说，云原生设备提供了更大的可访问性和数据移动性。这反过来又与大型企业设置和研究环境相得益彰。云也有利于存档目的。随着数据变旧，它会继续消耗空间，同时降低价值。通过将这些旧数据移动到云中，IT 环境可以将高端存储基础设施专用于频繁访问（热层）数据。从而提高存储性能并优化数据存储。

简化管理

即使有“正确的”存储基础设施和正确的功能，如果它不容易管理，它也几乎没有意义。如果您的 IT 人员在管理和控制大量数据方面遇到困难，并且需要花费时间，需要花费大量培训时间并且仍然效率低下，那么它会产生相反的效果。这就是简化管理的重要性。数据存储，特别是对于大型数据池，必须易于管理。管理取决于您选择使用的软件。有几种第三方软件使企业能够使用单个管理界面来管理所有存储资源。

自动存储分层

自动存储分层有助于简化管理，但值得单独提及。理想的存储基础架构应该能够支持混合安装，例如企业硬盘 (SAS) 和闪存 (SSD) 的组合，以及云的集成。这会在单个存储解决方案中创建具有各种使用情况的不同存储层。通过设置自动存储分层，您可以在存储层之间移动数据并优化数据存储，同时降低成本影响。自动数据传输提高了数据存储的效率，并帮助 IT 管理员专注于其他任务。这就是为什么对于希望使用人工智能和物联网技术的大数据的组织来说，自动化存储分层是必不可少的。组织还可以做些什么来为大数据和大型数据湖准备数据中心？我们已经撰写了有关数据中心设计的五种最佳实践来帮助实现这一点。

结论

人工智能和物联网是许多行业难题的重要组成部分，也是前进的一种方式。由人工智能和物联网产生的数据湖需要专用、高性能、冗余和可扩展的数据存储解决方案。这些数据存储解决方案必须强大且易于管理，这样它们才能补充运营并提高生产力和效率，这一点至关重要。行业推进人工智能和物联网的唯一途径是为两种技术产生的大数据选择最佳的存储解决方案。