评估机器学习代理认知能力的框架

在过去的十年左右的时间里，计算机科学家已经开发了机器学习(ML)技术，该技术在各种任务上的表现都非常出色。尽管这些算法是为人为地复制人类的认知技能而设计的，但仍然缺少将其能力与人类的能力进行比较的工具。

考虑到这一点，印度Savitribai Phule Pune大学(SPPU)的两名研究人员最近创建了一个框架来执行机器学习代理的认知评估。这种独特的框架在Elsevier的《认知系统研究》期刊上发表的一篇论文中概述，从心理学理论和机器认知所描述的人类认知中汲取了相似之处。

研究人员之一Suvarna Kadam表示：“当我开始进行有关少数射击学习(FSL)的核心研究时，我和我的顾问考虑了人类如何能够轻松地从视觉上学习对物体进行分类以及为何机器如此困难”告诉TechXplore进行了这项研究。“人类可以概括化，但是机器发现它具有很大的挑战性。对最新的FSL方法的快速分析使我们意识到，不仅很难用性能指标来评估“学到了多少”，而且我们常常还不知道机器是真正理解手头的任务还是仅仅模仿它。”

一旦他们意识到缺乏评估ML技术认知的可靠方法，Kadam和她的主管Vinay Vaidya就开始问自己有关机器认知以及如何对其进行有效评估的基本问题。最终，他们决定设计一种结构化的方法，以帮助研究人员了解机器如何获得新技能并评估他们实际学习了多少。他们创建的框架提供了一种思考机器认知的简单方法，与人类认知相提并论。

卡达姆解释说：“我们决定利用人类在人类如何学习以及他们如何衡量学习方面的集体智慧。” “我们的框架使用人类认知理论来提供逐步指导，以评估机器在任何领域的学习。它主张我们列出一个领域的任务，并检查它们是简单还是具有挑战性的实施，然后允许我们按照分类法安排任务他们的认知困难。”

Kadam和Vaidya创建的框架旨在促使人们反思使任务比其他任务更难或更容易解决的问题。通常根据学习者在特定任务上的表现来评估人类学习。研究人员提出的框架可以利用一种称为任务分类法的概念来评估机器对特定任务的认知。

卡丹说：“由于人类非常擅长概括并快速适应新任务，因此我们也展示了如何量化机器的概括潜力。” “我们的研究首次强调了机器显示出更高智能的事实，我们必须超越性能指标来对其进行测量。”

Kadam和Vaidya在最近的论文中使用他们的框架比较了两种最新的ML技术。因此，对于试图确定“最佳” ML模型以完成不同选择中的特定任务的其他研究团队而言，它也可能会有用。

将来，相同的框架还可以帮助更好地了解机器的预测或动作背后的过程。这最终可以提高AI系统的可靠性，使开发人员可以对其认知能力有更深入的了解。

卡达姆说：“在这个框架下，我们探索了认知和学习是如何交织在一起的，并且学习在很大程度上受到认知的影响。” “但是，学习也受到学习者所拥有的技能和态度的极大影响。如果能够将我们的工作扩展到评估机器的身体和情感技能，那将非常有趣。尽管机器的情感技能看起来遥不可及尚未实现的机器已经在紧密的人际互动中使用(例如，聊天机器人，护理或陪伴机器人等)，因此我们认为也应该对它们的情绪商进行测试。