Dremio解锁云对象存储以用于高性能分析

自助分析技术的开发商Dremio Corp.说，它已经找到了如何解锁流行的云存储中的数据以用于对性能敏感的数据仓库应用程序的方法。

该公司用于Amazon Web Services，Azure和混​​合云系统的新Data Lake Engines使用户能够直接处理诸如AWS的S3和Microsoft Corp.的Azure Data Lake Storage等云对象存储中的数据。这些服务因其低成本和可伸缩性而广受欢迎，但云的固有延迟和对象存储的性能限制限制了它们在性能中的使用情况。

Dremio首席执行官Tomer Shiran表示：“过去，您唯一的选择是提取数据并将其放入[AWS] Redshift之类的仓库中，或者构建多维数据集和商业智能提取。” 该过程有时可能需要几天或几周的时间。

该公司认为它已经解决了称为“列云缓存”的技术问题，该技术是一种预读缓存，可自动将数据加载到物理上靠近处理器的非易失性内存Express或NVMe或固态存储中。该公司表示，该方法可将性能提高多达70倍，同时减少了网络流量，并且无需管理或设置。Shiran说：“您将两全其美：S3的可扩展性与NVMe的性能。”

另一个提高性能的功能是“预测流水线”，它可以提高对列数据的预读命中率，同时将读取吞吐量提高到网络允许的最大值。该软件还利用了针对Apache Arrow的Gandiva Initiative，这是一个针对Apache Arrow数据的高性能列式处理而优化的执行内核。

这是柱状的东西

Dremio对列处理了解一两件事。它的软件基于Apache Arrow，它是一种使用列式内存分析的列式内存处理加速器，这是一种将数据排列为列而不是行的内存映射技术。传统的关系引擎不必要地按行处理数据，但是列式处理至少快10倍，因此更适合分析。

Shiran说，Dremio技术已经开发了一年多，它期望客户需要的数据并将其加载到内存或闪存中，从而消除了在提交查询后检索数据的性能问题。

“我们对于必须使用哪些色谱柱有了一个很好的认识，” Shiran说。“我们可以提前一秒钟进行预测，因此您永远不必等待数据。”

预测数据需求并没有听起来那么复杂。在大多数情况下，用户会在定义的时间段内重复查询有限的一组最近数据。Shiran说：“他们通常会在同一组有限的客户记录中提出很多问题，”以邮轮运营商为例，该公司在海上不断查询乘客名单。

Dremio表示，其技术可以连接大多数或替代云数据仓库，并且与大多数商业智能前端兼容，包括Tableau Software Inc.，Microsoft Corp.和Looker Data Sciences Inc.的前端。它还支持开放数据库连接，Java数据库连接。 ，代表性状态转移和Apache Arrow Flight接口。该软件还支持跨平台联接，例如跨S3和Oracle Corp.关系引擎的查询。

该公司还推出了Dremio Hub，该中心实质上是连接器的应用程序市场。Shiran说，目前仅列出了五个连接器，但“我们希望从现在开始每年看到数十个连接器。” Dremio不会在市场上测试或认证软件，但会将其角色留给社区。

定价基于Dremio集群的大小，该集群完全在云中运行。首席执行官说，年度定价可以在“五到七个数字”之间。