Streamlio将实时数据流处理添加到ApachePulsar

初创公司Streamlio Inc. 今天宣布对Apache Pulsar发布和订阅消息传递平台进行重大更新，该平台将成为知名的Apache Kafka项目的主要竞争对手。

诸如Apache Pulsar之类的发布和订阅消息传递系统旨在为软件应用程序相互通信提供一种高度可扩展的方式。

Pulsar最初由该公司的前工程师Matteo Merli和Joe Francis在Yahoo Inc.上开发，并于2016年捐赠给开源社区。Merli和Francis当时解释说Pulsar的开发是为了满足几种Yahoo应用程序的要求，他们找不到任何现有的解决方案。

他们写道：“这些应用程序提供实时服务，平均发布等待时间为5毫秒，在第99个百分位数时不超过15毫秒。” “在开始时，我们找不到任何现有的开源消息传递解决方案可以提供Yahoo所需的规模，性能和功能，而Yahoo则需要将消息传递作为托管服务来支持一百万个主题。”

Merli随后离开Yahoo成立了初创公司Streamlio，旨在将Apache Pulsar商业化，并于9月推出了包含消息传递系统的实时分析套件。Streamlio的系统还合并了Heron和Apache BookKeeper等开源项目，它们共同创建了“针对流和存储进行了优化的企业级消息传递解决方案”。

现在，Apache Pulsar社区正在使用新的分析功能和增强功能对Pulsar进行更新，以增强其性能，可扩展性和耐用性。

标题是称为Pulsar Functions的新功能，它为Pulsar增加了流本机处理功能。它为开发人员提供了一种简单的方法，可以在数据流经Pulsar时直接将转换和分析直接应用于数据，而无需外部系统或附加组件。

Merli在接受SilconANGLE的采访时说，该公司已经看到许多案例，这些案例可能会有利于尽快对数据进行处理，而不是等待它通过提取，事务处理和加载管道或通过数据湖或数据仓库，这通常是分析的情况。通过增加Pulsar功能，Streamlio现在将Pulsar定位为一种“流消息系统”，该系统有助于将各种数据与用户和应用程序实时连接。

Merli说：“对于组织而言，大多数选择过于复杂和繁重，需要专门的编程技能，例如功能编程，并且需要部署和维护其他基础设施服务。” “我们发现像Pulsar Functions这样的流本地处理功能可以解决大多数用例，而不会给开发人员增加新的复杂性，也不会增加运营团队的管理负担。”

Pulsar 2.0中的其他新功能包括有助于简化数据驱动型应用程序开发的新架构注册表，以及称为Topic Compaction的新增强功能，该功能有助于提高使用Pulsar数据的应用程序的性能。

Merli说：“ Pulsar的优势使其成为需要将流数据源带入数据和分析管道的数据驱动型应用程序的绝佳解决方案。” “其中包括物联网和工业物联网分析，安全性，欺诈检测，系统监控和在线服务。”