Hortonworks通过Kafka集成增强对流数据的支持

Hortonworks Inc.今天在Hortonworks DataPlane Service中增加了对Apache Kafka的支持，从而强调了流媒体对其大数据客户的重要性。

DPS大约一年前推出，是一种云产品，用于组合多个数据湖和其他数据存储库中的所有类型的数据。这样做的目的是使公司更容易看到整个数据结构流入其Hortonworks环境。

DPS不仅仅是应用程序，更是一种框架。该公司一直在为诸如生命周期管理，数据分析开发和数据治理之类的功能添加插件，并表示该服务的普及是其近期取得良好业绩的基础之一。

新的Streams Messaging Manager被描述为一种开放源代码的运行监视和管理工具，可在企业Kafka环境中提供端到端的可见性。它本质上是Kafka流的管理控制台。“如果您正在运行多个流，那么这是一个控制面板，您可以在其中查看这些流的运行方式，” Hortonworks的首席技术官Scott Gnau(如图)说。

他说，例如，管理工具可用于将Kafka流与Apache Atlas元数据管理和治理框架集成，以实现一致的数据元标记。这使Kafka数据与静态数据混合在一起，这是分析中的一项有用功能。“我们要启用边缘设备，这将使帮助客户更轻松地获得有关其基础架构的沿袭，” Gnau说。

Hortonworks表示，它正在解决流数据管理中最困难的方面之一，那就是了解流数据的来源和使用方式。Gnau说，应用Apache Atlas可以“在整个数据生命周期中保持一致的覆盖范围”。“元数据管理在过去还没有做得很好，并且随着来自设备的更多数据流流入，这种环境非常重要。”

Streams Messaging Manager还可以用于对Kafka环境进行故障排除，以识别瓶颈，生产者/消费者模式和流量。它使过滤器可用于分析生产者和消费者之间的流动态，并通过与Apache Atlas集成的数据流可视化为用户提供跨多个Kafka运营，生产者和消费者的完整数据沿袭。

该公司还宣布了Hortonworks DataFlow 流分析平台的定点发布，该 平台可提高性能并提供与旗舰Hortonworks Data Platform更好的集成。该公司表示，其结果是一个单一的开源平台，该平台集成了从边缘到分析的整个数据生命周期中的治理，安全性和管理。

Hortonworks对HDF的评价很高，他表示在第一财季完成的100万美元以上交易中，有一半都包含在HDF中。除了性能和稳定性方面的改进外，新版本还提供了对多租户环境的更精细控制，并支持Apache Hive 3.0。HDF和HDP实例之间的数据仓库以及一致的操作，安全性和数据治理。