剥头皮交易的协作多智能体强化学习框架

股票市场的长期投资是指在股票市场上买入内在价值高于其现值的股票。这种投资风格需要根据公司定期发布的报告进行公司分析。

另一方面，所谓的剥头皮策略是一种相反的方法。这是一种交易风格，专门从小幅价格变化中获利并从转售中快速获利。剥头皮是一种优先在日内交易中获得大量小额收益的方法。机器学习研究也在积极分析在该领域应用算法原理的可能性。

Uk Jo、Taehyun Jo、Wanjun Kim、Iljoo Yoon、Dongseok Lee 和 Seungho Lee 在他们的研究论文中讨论了用于剥头皮交易的多智能体强化学习。该研究论文的标题为“Cooperative Multi-Agent Reinforcement Learning Framework for Scalping Trading”，并构成了下文的基础。

研究的重要性

交易者根据买/卖订单和蜡烛图进行日内交易。由于这些数据很容易获得，强化学习可以捕捉交易者的愿望和习惯，以最大化他们的投资回报。机器学习可以利用对交易者的这种理解;为此，必须开发一种使利润最大化的模型。

如果强化学习代理能够以可接受的准确度预测和执行买卖决策，则可以从股票市场赚取大量资金。

研究方法论

在这项研究中，研究人员使用了 2018 年 4 月至 2018 年 7 月在韩国股市的数据。所提出的强化学习代理包括四个具有特定角色和与其功能相关的主要奖励的子代理。基于整个智能体的表现(回报)，在整体奖励函数中也加入了二级奖励。引入了四个子代理：

买入信号代理 (BSA)：BSA 预测股票何时有望稳定上涨 2 分钟。

买单代理(BOA)：此时，代理将以尽可能低的价格购买股票。

卖出信号代理 (SSA)：SSA 预测股票预计何时下跌 2 分钟。

卖出订单代理 (SOA)：SOA 预测代理何时可以以最高价格卖出股票。