Dremio扩大了范围并提高了基于ApacheArrow的分析引擎的速度

Dremio Corp. 将在今天宣布的主要版本中为其自助数据分析平台添加数据目录。

该公司还整合了用于多租户部署的新控件，增强了端到端数据加密，提供了在软件容器中运行的选项，并采用了Gandiva，这是Apache Arrow分布式查询引擎的开源性能增强库，该公司在同名产品基于。

Apache Arrow使用列式内存分析将查询速度提高到传统分析引擎的100倍。该技术类似于Google LLC用于为搜索查询提供亚秒级响应时间的技术，但是Dremio已针对分析操作进行了优化。

Dremio 3.0中的数据目录并不是公司要与许多现有的企业数据目录竞争，而是专注于捕获和组织要在Dremio中使用的数据。数据目录用于创建组织内数据资产的清单和描述。Dremio以共享Wiki页面的形式添加了一个众包元素，该页面附带可用于元标记和描述的每个数据集。

在此版本中，通过增加端到端传输层安全性(安全套接字层的后继协议)，安全性得到了提高。尽管Dremio在较早的版本中具有加密功能，但它们并未涵盖完整的数据访问范围。该平台现在还支持Amazon Web Services Inc. EC2实例配置文件，以安全访问AWS S3存储。与Apache Ranger的本机集成在此发行版中也是新的。

该公司表示，新的多租户功能使数据工程团队能够管理和优化跨各种工作负载和用户的群集资源。用SQL编写的工作负载管理策略可以应用于诸如资源分配，查询许可和超时之类的任务。

“大多数数据分析平台对所有用户都一视同仁，这意味着您必须为不同的用户提供不同的集群，”首席市场官Kelly Stirman说。他说，Dremio增加了一些功能，这些功能提供“对用户或资源获得优先权的细粒度控制”。例如，管理员可以指定实习生绝不应在工作时间之外优先访问集群。

此版本中的另一个新功能是通过Docker映像和模板与Kubernetes编排框架兼容。Kubernetes可用于部署和管理大型软件容器集合，这些软件容器是微型虚拟机，其中包含运行应用程序所需的所有服务。Dremio添加了与开放源代码Helm Kubernetes软件包管理器兼容的图表，以进行配置和缩放。斯特曼说：“头盔是这些天好孩子做的事情。”

由Dremio开发人员构建的Gandiva将LLVM运行时编译器与执行内核结合在一起，可以高效地评估Arrow上的任意SQL表达式。据称，它对某些类型的查询的速度提高了100倍。Stirman说：“总的来说，查询越复杂，它就越适合Gandiva。”但每个查询都会得到改善。

免费社区版和付费企业版均可立即使用Dremio 3.0 。