LinkedIn大规模开源测试仪用于Hadoop性能测试

LinkedIn今天发布了一个 名为Dynamometer的开源项目 ，帮助企业在不使用大量基础设施的情况下对大规模Hadoop大数据处理系统进行压力测试。

该工具旨在防止企业社交网络在2015年初遇到的问题，该公司在其Hadoop分布式文件系统(HDFS)群集中添加了500台计算机以试图提高性能。相反，团队遇到了一个只能大规模出现并导致针对群集的工作超时的错误。

测力计以用于测试汽车的工具命名，模拟大规模集群，同时仅需要大约5%%的实际底层基础设施。这有助于开发人员解决大规模测试软件的一个关键问题：实际上，即使在公共云环境中，配置所有机器也可能成本很高。

相反，客户可以使用测功机测试他们在生产中看到的相同类型的工作负载，并确保系统能够经得起软件更改。LinkedIn使用该工具分析公司HDFS集群从Hadoop 2.3到2.6的迁移，这一变化需要调整集群的某些参数以避免性能问题。

Dynamometer的首席工程师Erik Krogen在一封电子邮件中告诉VentureBeat，该工具既适用于大规模Hadoop公司(如LinkedIn)，也适用于提议更改HDFS开源项目的小型商店，并希望确保它们不会影响大规模的性能。

从长远来看，Krogen希望测功机将成为HDFS发布测试的一部分，以及在发布之间定期持续集成新的代码更改。这就是LinkedIn将其作为开源项目向公众发布的原因。该公司已经使用Dynamometer来帮助发布Hadoop 2.7.4，这使它能够验证维护版本不会对性能产生负面影响。