大数据分析市场将迎来更多动荡

大数据分析一直是本十年的主要技术趋势之一，也是信息技术市场上最具活力和创新性的部分之一。但是，如今的大数据分析市场与几年前的行业已经大不相同，而且几乎可以肯定，几年后会有很大的不同。

在2018年，我们看到许多明显的迹象表明，在本十年开始之初迅速崛起的大数据市场正开始以一种截然不同的形式重新结晶。在未来几年中，这个市场可能甚至不会被称为“大数据”。这是因为它的大部分发展都朝着人工智能发展，尽管其核心是数据驱动的，但不一定要依赖大量数据才能在许多应用中有效。

随着Wikibon展望2019年，我们预见了大数据分析中的以下主要趋势：

公共云提供商正在吸收大多数新的大数据分析增长机会

企业正在将更多的大数据分析工作负载移至公共云，并为这些环境开发更多的全新应用程序。

在2019年，三个主要的公共云提供商-Amazon Web Services Inc.，Microsoft Azure和Google Cloud Platform-将加紧努力，以帮助企业帐户将其数据湖从本地平台迁移到其他地方。

其他公共云提供商将努力保持其大数据分析市场份额。在2018年，来自公共云领导者的挑战迫使IBM公司收购RedHat Inc.。 展望未来，IBM，Oracle Corp.和其他公共云提供商将强调混合云解决方案，以帮助客户集中管理私有云之间分布的大数据资产。和公共云。

此外，更多的大数据公共云提供商-将基础架构即服务和平台即服务细分授予AWS，Microsoft Corp.和Google LLC-将转向提供高级软件即服务。服务分析应用程序，以获取业务线和特定于行业的机会。例如，雪花云计算公司(Snowflake Computing Inc.)在云数据仓库市场上取得了显著成就， 在2018年获得了4.5亿美元的融资以维持其增长轨迹。

大数据分析生态系统正在深入云原生

Kubernetes是一种流行的开源软件，用于管理需要在云和本地数据中心之间轻松移动的应用程序的软件容器，它是新一代云原生大数据的基础。过去一年中，该市场中最值得注意的趋势是Kubernetes周围的数据生态系统的重新结晶。

云原生大数据架构的发展推动了2018年的大量融资和兼并与收购活动。这解释了为何Pivotal现在专注于在多个云中分布式存储数据，并 在首次公开发行中获得了5.55亿美元的收入库存。Talend收购Stitch的背后是需要用于将数据加载到云数据仓库中的更简单工具的需求。随着企业对可伸缩的基于云的文件和对象存储的需求不断增长，这也是Cloudian购买Infinity Storage的重要原因 。

在2019年，我们预计开放混合架构计划将实现其计划，以对HDFS，MapReduce，HBase，Hive，Pig，YARN和其他主要Hadoop组件进行模块化和容器化。我们还预测，主要赞助商-即将成为Cloudera Inc.的一部分的Hortonworks Inc.和IBM / Red Hat-将在2019年初提供将这种架构纳入其各自的混合云解决方案产品组合的下一代商业Hadoop平台，其他云解决方案提供商将在全年中保持领先地位。

Spark，TensorFlow，流，分布式对象存储和块存储等领域的类似容器化计划将在2019年占据一席之地，因为整个大数据堆栈将解耦，以便在基于Kubernetes的DevOps环境中进行更敏捷的部署和管理。

每个大数据分析平台提供商都在数据科学工具链上进行大量投资

大数据分析解决方案提供商正在为赢得从事AI项目的新一代开发人员的心血而战。在过去的几年中，新一代的数据科学工作台已经投放市场，其中包括Anaconda，Dataiku，DataKitchen，DataRobot，Dimensional Mechanics，Domino Data Lab，H2O.ai，Hydrosphere.io，Kogentix，Pipeline.ai和Seldon。此外，IBM，Oracle，Cloudera，Alteryx等成熟的大数据分析供应商以及所有三个主要的公共云供应商也都进入了这一领域。

2018年的DataRobot，Tarr和Immuta风险投资融资轮次表明，在过去几年中，似乎有数十家初创公司扎根于该数据科学工作台领域。在2018年，Wikibon遇到了越来越多的中国和远东地区的人。

在2019年，更多公司将强调其产品能够自动执行诸如功能工程，超参数优化和数据标记之类的传统手动任务。大数据分析解决方案提供商将大量投资于工具，以加速将经过训练的AI模型部署到生产应用程序中。随着大数据分析生态系统向云原生架构的转变，更多的数据科学工作台将具有通过Kubernetes编排结构自动化任务的能力，并能够将模型容器化以部署到公共云和私有云中。这种趋势将把新兴的标准(例如Kubeflow)带入迅速发展的数据科学DevOps工具链生态系统。

Hadoop和Spark成为旧技术

在过去的几年中，Hadoop在大数据分析领域的作用逐渐消失。Hadoop市场增长前景趋于平缓是Cloudera和Hortonworks达成2018年合并协议的主要因素 。

Hadoop越来越多地将其核心用例缩小到用于非结构化数据的分布式文件系统，用于批处理数据转换的平台，大数据治理存储库和可查询的大数据归档。

在2019年，Hadoop将努力将其应用范围扩展到在线分析处理，商业智能，数据仓库和其他开源项目可以解决的其他领域。到今年年底，Hadoop将开始在许多企业大数据环境中逐步淘汰，甚至以其核心数据湖角色开始支持分布式对象存储，流计算平台和可大规模扩展的内存集群。

甚至在本世纪中叶作为Hadoop替代品而开发的Apache Spark，在许多以TensorFlow为中心的AI商店中也越来越感觉像是一项遗留技术。从数据提取/转换/负载利基可以看出这一趋势，Spark越来越多地部署到该位置，随着读取模式架构的发展，这种重要性可能会下降。

大数据目录已成为数据管理DevOps的核心

用户快速搜索，发现，整理和管理数据资产的能力现在是数字业务成功的基础。在这方面，Looker Data Sciences Inc.获得了1亿美元的E轮融资，以应对大数据编目，治理，准备和可视化解决方案市场。

在2019年，我们预计将看到更多企业将其数据湖重新定位到应用程序基础架构中的大数据目录中，这些应用程序基础架构可提高知识工作者的生产力，支持正在构建和培训生产AI应用程序的新一代开发人员，并促进算法透明性和e -发现。

我们还期望IBM，Cloudera / Hortonworks，Informatica，Collibra等供应商加深其现有大数据目录平台的能力，以管理更多元数据，模型，图像，容器和其他工件，这些都是AI DevOps的命脉工作流程。借助新一代虚拟化工具，这些虚拟化工具将在单个云中提供更多的大数据目录，这些虚拟化工具将提供一个用于管理公共云和私有云中不同数据资产的控制面板。并且我们预测主要的公共云提供商-AWS，Microsoft和Google-将为选择在混合公共/私有云中部署这些服务的客户推出自己的大数据目录。

数据湖正在向云对象存储和流计算发展

在2018年，AWS S3和Microsoft Azure Data Lake Storage等云对象存储平台继续取代企业数据湖中的Hadoop。我们还看到，风险投资家优先考虑为多云数据访问，查询和可视化解决方案的既有提供商提供资金(例如Dremio，2500万美元的B轮融资);软件定义的多云存储(例如Scality，6000万美元E系列)和云对象存储(例如Cloudian，9400万美元E系列)。

展望未来，这种趋势将继续下去，但是在未来三到五年内，流计算骨干将使这一趋势黯然失色。与1970年代以来的关系数据架构一样，诸如Kafka，Flink和Spark Structured Streaming之类的低延迟流媒体平台对于企业数据基础结构也变得越来越重要。

商业智能将所有AI和所有内容都存储

人工智能正在由内而外地重塑商业智能市场。在过去的几年中，BI的核心趋势之一是该技术对历史分析的传统关注与新一代注入AI的预测分析，搜索和预测工具的融合，该工具使任何业务用户都可以做很多事需要训练有素的数据科学家。

在2019年，更多的BI供应商将集成大量AI，以自动从复杂数据中提取预测见解，同时在解决方案中提供这些复杂功能，以提供自助服务简便性和指导性的最佳行动方案。我们在2018年看到了这一趋势的指标，初创公司ThoughtSpot Inc. 为其创新的AI增强业务分析解决方案组合获得了1.45亿美元的D轮融资。

关于AI在大数据分析市场的几乎每个细分市场中日益重要的作用，请考虑我们在2018年看到的以下资金故事：

风险资本家向AI初创公司提供了惊人的资金，仅对的公司来说，就有望达到1000亿美元，其中很大一部分资金都来自创新型AI硬件加速提供商。

过去一年中，许多最大的种子轮融资都是针对成熟的AI解决方案提供商的，包括AI自动化工作台初创公司DataRobot Inc.(获得1亿美元的D轮融资)，自动化数据准备公司Tamr Inc.(获得1800万美元的D轮融资)和AI DevOps数据隐私控制公司Immuta Inc.进行了2000万美元的B轮融资。

企业对强大的AI驱动搜索技术的需求永不满足，他们希望通过不断增长的日志数据进行筛选，这解释了为什么Elasticsearch BV能够通过其IPO筹集2.52亿美元。

持续的行业向AI和业务分析中自助数据准备的转变说明了Infogix Inc.为何 收购LavaStorm Analytics Inc.。

用于构建自主AI驱动系统的强化学习工具的新兴市场是促使微软收购Bonsai AI Inc的一个因素。

越来越多的企业部署分布式内存云数据库以支持复杂的实时AI管道，这推动了MariaDB Corp. Ab对Clustrix Inc.的收购。

大数据分析的另一个主要趋势是内存架构。这解释了为什么在2018年，MemSQL Inc.在D轮融资中获得3000万美元的内存中事务分析功能，而InfluxData Inc.在C轮融资中获得3500万美元，用于使用时序数据库进行实时性能监控的原因，凭借其已建立的内存中混合交易/分析平台，Actian Corp.被股权公司HCL收购。

边缘计算从根本上改变了数据库架构

我们知道，正在对数据库进行解构和重组，以进行面向边缘的部署。

大数据分析市场的许多发展都朝着面向边缘，流传输，移动数据的架构发展，这些架构不一定依赖于庞大的存储架构。这就解释了为什么我们在2018年看到了可观的融资轮次，用于可扩展的机器数据存储，处理和分析(CrateDB，1100万美元A轮)以及流数据管道集成，监视和管理(StreamSets，2400万美元的C轮)。

在2019年，企业将部署流媒体平台来驱动低延迟的DevOps管道，以经过培训的，最适合的机器学习模型持续为移动，物联网，机器人技术和其他边缘应用注入注入动力。在线事务分析处理，数据转换和数据治理工作负载也越来越多地转向低延迟，有状态的流式骨干网。

在未来的几年中，具有破坏性的新数据平台将结合网格，流，内存和区块链功能进入市场。这些新的分布式数据平台中的许多将针对需要低延迟，可扩展和自动化的数据摄取，建模，培训以及为边缘设备提供服务的连续AI DevOps管道进行优化。这些分析流水线功能的无服务器接口将成为标准配置，并以有状态的流结构为补充，这些流结构将在新兴的5G宽带无线网络上的边缘设备中支持在线推荐引擎，次佳行动和其他事务性工作负载。

你的想法?

这些是Wikibon的年终回顾和大数据分析的前瞻性。我想听听我的读者认为这将是这个市场未来的主要趋势。