直接投资与项目投资的内涵简介（投资学的定义和内涵）

投资学的定义和内涵

文章来源：微信公众号“大金融思想”(djr_ruc)

原始信息

林威廉丛、

通过强化学习和可解释人工智能直接构建

2021年6月，SSRN

摘要

本文提出了一种通过强化学习和可解释人工智能直接构建投资组合的方法——alpha portfolio。基于监督学习的传统范式需要估计收益分布、定价内核或风险溢价，强化学习是这种范式的替代。在人工智能的基础上，提出了一种多序列神经网络模型来区分经济和金融数据的特征，并允许无标签数据的训练和潜在的市场交互。在各种经济约束和市场条件下(例如，不包括小盘股和卖空)，alphaPortfolio表现强劲，在样本外表现良好(例如，夏普比率高于2，风险调整后的Alpha超过13%)。此外，通过将AlphaPortfolio投影到更简单的建模空间(例如，使用多项式特征敏感度)，揭示了投资业绩的关键驱动因素，包括旋转特性和非线性。本文强调了深度强化学习在金融领域的效用，提出了“经济蒸馏”工具来解释人工智能和大数据模型。

以下为正文内容：

1

引言

学术界和工业界的投资组合管理通常需要最小化定价误差，估计风险溢价，或者从历史样本中恢复稳定的定价核心，然后组合资产以实现投资目标

。但是这种方法有严重的缺陷，因为第一步中有很大的估计错误的风险，而且两个步骤中的目标不一定是一致的。此外，金融数据或社会科学领域的数据通常具有高维、噪声、非线性、复杂的交互效应和快速、非平稳的动态特性，传统计量工具的效率低下。最近，研究人员采用机器学习(ML)来应对这些挑战。尽管如此，大多数投资者还是遵循传统的两步法，而不是直接构建投资组合。许多应用程序还使用为其他学科设计的、具有不同数据生成过程的统计软件包，而没有为金融应用程序量身定制AI或ML工具。

为了克服上述挑战，本文采用了一种新颖的、数据驱动的直接优化方法来进行投资组合管理，利用了深度强化学习(RL)的优势。该方法考虑到现实世界的复杂性，在一个灵活的建模空间中使用试错法搜索，以最大限度地提高投资组合构建的绩效指标，这比估计所有资产收益分布或准确定价，而不考虑与投资者的投资组合构建的相关性更有效。但是，由于历史最优投资组合数据没有标记，交易可能与市场状态相互作用，因此本文使用强化学习，而不是传统的监督学习。本文采用了多臂赌博机问题和大规模马尔可夫决策过程的近似解导出的方法，这些方法在计算机视觉，互动游戏和自动驾驶领域已被证明是有效的。

尽管人工智能模型在社会科学领域具有适用性，但高级人工智能工具的黑箱性质可能会阻碍它们在金融和经济学领域的广泛应用，因为在金融和经济学领域，解释是不可或缺的。与许多其他模型一样，本文的深度强化学习方法也受到算法复杂性和缺乏透明度的批评。与此同时，在一个被歧视和不公正划分的世界里，把人工智能的所有偏见都归咎于训练数据缺失，并且算法的可解释性也是一个亟待解决的问题。本文的第二个目标是了解本文模型中的各种创新是如何促进输出样本性能的，并引入“经济蒸馏”方法，通过将它们投射到线性建模或自然语言空间，为复杂的AI模型提供更大的可解释性和透明度。多项式敏感性和文本因子分析不仅为人工智能模型提供了初步的见解，而且还可以用于社会科学的其他应用。

2

主要内容

图1说明了整个AlphaPortfolio的体系结构，它由三个组件组成。第一个组件需要使用SREM从其状态历史中提取每个资产的表示，SREM可以是任何类型的深度序列模型，如RNN、LSTM等。接下来，本文将引入一个跨资产注意力网络(Cross Asset Attention Network, CAAN)，它将所有资产的表示作为输入来提取捕获资产之间相互关系的表示。第三部分是投资组合生成器，它从CAAN中获取每种资产的标量赢家得分，从而得到最优投资组合权重。将AlphaPortfolio策略嵌入到强化学习框架中，以训练模型参数，以最大化评估标准，如样本外夏普比率。

图1 AlphaPortfolio整体架构

投资组合直接构建步骤如下：

1.提取序列表示

资产的收益分布与其历史状态有着密切的关系。资产的历史状态是作为序列观察自然形成的。本文用向量表示资产i在t时刻的状态历史，它由资产特征/企业特征组成。回顾窗口中资产的历史状态表示为一个序列

其中

对于每个资产i, SREM从它的状态历史X(i)中学习表示r(i)。在本文中，本文关注两个最先进的深度序列模型之一：变压器编码器(Transformer Encoder, TE)。TE和LSTM- HA都是专门为处理顺序信息而设计的，擅长提取时间序列数据中的复杂信息。

本文提出的递归神经网络(RNNs)和基于TE的SREM，最近都被用于机器翻译。与RNN不同的是，TE通过减少网络路径长度使序列的长期依赖更容易学习，并通过减少对输入的禁止顺序本质的依赖，允许更多的并行化。图2说明了普通TE的体系结构。这里的编码器是由几个相同层组成的堆栈。每一层都有两个子层。第一种是多头自注意力机制，在AlphaPortfolio中采用并修改了这种机制。第二种是简单的位置式全连通前馈网络。此外，对每个子层采用了剩余连接和层归一化 。

图2 普通TE的体系结构

2.跨资产注意力网络赢家分数估计

本文提出一个CAAN来描述资产之间的相互关系，CAAN模型设计部分是受到机器翻译中的自注意力机制的启发。图3说明了CAAN的体系结构。

图3 跨资产注意力网络(CAAN)体系结构

具体给定资产表示r(i)(在不失一般性的情况下省略时间t)，按照下式计算资产i的查询向量q（i）、关键向量k(i)和值向量v(i)：

3.投资组合生成

在一组资产中给出一个胜者的评分[s(1),....s(i)]，接下来，AP构建了一个多空投资组合，在高赢家得分的资产中持有多头寸，在低赢家得分的资产中持有空头寸。具体来说，首先根据获胜者的得分降序对资产进行排序，并获得每个资产的序列号。设G为组合中长空部分的预设规模。投资比例给定为下式：

在完全训练模型之前，因为TE和CAAN的参数都是随机初始化的，所以AlphaPortfolio在一开始可能表现得很差。在进行适当的训练之前，高分并不意味着它是一个更好的投资资产。在训练之后，基于胜利者的分数构建投资组合可以生成导致高绩效指标的投资组合。

4.通过强化学习优化

RL模型优化的目标是找到最优参数

本文利用梯度上升法迭代优化θ在τ轮的θ。在对模型进行经验训练时，将一个周期定义为一年，包含12个交易周期，利用深度学习框架自动计算出投资组合结果。

5.实证绩效:美国股票研究

本文将AlphaPortfolio模型应用于美国的公开股票。基线样本周期是1965年7月至2016年6月，共有176万月度资产观察数据。月度股票回报数据来自证券价格研究中心(CRSP)。遵循已有文献标准，重点关注在美国注册并在美国证券交易所、纳斯达克或纽约证券交易所交易的公司的普通股。公司的资产负债表数据来自标准普尔公司的Compustat数据库。为了减轻回填导致的生存偏差，要求一家公司至少在数据集中出现两年，以便对模型进行训练。对于样本外测试，只要求一个公司在数据集中停留一年。

与Freyberger、Neuhierl和Weber(2020)类似，将公司特征和市场信号作为原始输入特征构建为六大类:基于价格的信号，如每月回报;与投资相关的特征，如存货对总资产的变化;与盈利能力相关的特征，如经营资产收益率;以及交易摩擦，如日均买卖价差。考虑到滞后特征在投资组合构建月的12个月之前，每个输入变量只在公开后一个月才被视为可用，这是一个滞后于报告日期的日期。如果一个变量没有以每月的频率报告，将其视为与前一个月相同。

表1报告了主要结果。列(1)-(3)显示AP回报的各种时刻以及指标，如换手率。AP在完整的测试集上夏普比率为2.0，当我们把训练和测试限制在大型和流动性强的股票时，甚至更高（在列(2)和列(3)中，我们要求股票基于市值的排名在前90%或80%）。显然，AP的表现不是由微型股票驱动的，可以在没有流动性担忧的情况下实施。如果把注意力集中在市值最高的90%的股票上(这样它们就具有流动性和可交易性)，1990年初投资的1000美元到2016年底将变成91140美元。

表1：AlphaPortfolio的输出样本性能

表2进一步证明了RL和AI对投资的有效性。面板A比较了Freyberger、Neuhierl和Weber(2020)的非参数(NP)模型和投资组合策略。AP优于文献中大多数其他基于机器学习的策略。本文选择NP作为基准，是因为使用了相似的企业特征作为输入，并且NP可能是资产定价中表现最好的3-5种机器学习模型之一。1991-2014年，NP的测试样本夏普比率较高。一旦本文排除非流动性和小型股票，AP的表现显著优于NP，这与Avramov、Cheng和Metzker(2019)的研究结果一致，即最近的机器学习策略的表现往往来自微盘和非流动性股票。这里的优异表现并不会使其他模型(如NP)失效，因为它们关注的是最小化定价错误或估计定价核，而不是直接优化投资组合的表现。

表2：与替代模型对比的输出样本性能

3

结论

本文提出了基于强化学习（RL）的投资组合管理方法AlphaPortfolio，改进了传统间接投资组合构建框架。提出一种多序列学习模型，以便有效地捕捉经济数据和市场环境的高维、非线性、噪声、交互和动态特性。AlphaPortfolio在各种经济和贸易限制以及管理目标下产生了卓越的样本外性能，可用于贸易和投资咨询。

AlphaPortfolio框架和实证研究结果对强化学习在社会科学中的应用以及可解释人工智能的重要性具有广泛的意义。与监督学习不同的是，监督学习需要通过理想行为的例子来了解环境，强化学习代表了一种在未知环境或复杂行动空间中进行目标导向学习的新方法。深度强化学习通常用于语音识别、自然语言处理、计算机视觉、交互式游戏等应用领域，并取得了巨大的商业成功（Amazon-Alexa、Apple-Siri、AlphaGo和Google-Android就是主要的例子）。此外，大多数使用回归、支持向量机和神经网络的模型都有基于强化学习的实现。资产组合管理只是强化学习的一个潜在应用，它可以解决复杂的社会科学问题，具有明确的目标，但是有限的已有知识或标记数据可以得到完整的解决方案。

此外，本文的“经济提炼”不仅揭示了推动AlphaPortfolio绩效的关键企业特征（包括它们的轮换和非线性），而且还为机器学习和人工智能在商业实践和社会科学中的应用提供了具体的解释。编码人员、服务提供商和企业家可能会发现，经济升华有助于在消费者、投资者和监管者之间建立信任。本文的多项式灵敏度分析是对当前计算机科学实践的创新，具有很大的灵活性。例如，如果一个人认为某个特征很重要，他可以将其分为三阶和四阶。文本因素分析源于主题建模和单词嵌入，是使用自然语言更好地解释模型行为的多种可能性之一，这两个过程都是将复杂模型投影到透明和可解释的空间中。

ABSTRACT

We directly optimize the objectives of portfolio management via reinforcement learning---an alternative to conventional supervised-learning-based paradigms that entail first-step estimations of return distributions, pricing kernels, or risk premia. Building upon breakthroughs in AI, we develop multi-sequence neural network models tailored to distinguishing features of economic and financial data, while allowing training without labels and potential market interactions. The resulting AlphaPortfolio yields stellar out-of-sample performances (e.g., Sharpe ratio above two and over 13% risk-adjusted alpha with monthly re-balancing) that are robust under various economic restrictions and market conditions (e.g., exclusion of small stocks and short-selling). Moreover, we project AlphaPortfolio onto simpler modeling spaces (e.g., using polynomial-feature-sensitivity) to uncover key drivers of investment performance, including their rotation and nonlinearity. More generally, we highlight the utility of deep reinforcement learning in finance and invent "economic distillation" tools for interpreting AI and big data models..

阅读原文，获取更多文章信息

---

整理 张沁楠

编辑 陈婷

来源 《SSRN》

监制 安然

更多前沿学术资讯，请关注微信公众号：大金融思想（djr_ruc）

---

关于我们

“大金融”概念，在学理上源于黄达教授所倡导的宏微观金融理论相结合的基本思路，在理念上源于金融和实体经济作为一个不可分割的有机整体的系统思维。中国人民银行副行长陈雨露在《大金融论纲》中系统论证了“大金融”命题的基本内涵和方法论思想，为全面构建有利于促进长期经济增长和增强国家竞争力的“大金融”体系框架奠定了理论和实证基础。

本公众号由中国人民大学国际货币研究所（IMI）负责维护及推送，围绕大金融理念，专注传播优秀学术研究成果，加强大金融学术研究交流。

中国人民大学国际货币研究所（IMI）成立于2009年12月20日，是专注于货币金融理论、政策与战略研究的非营利性学术研究机构和新型专业智库。研究所聘请了来自国内外科研院所、政府部门或金融机构的90余位著名专家学者担任顾问委员、学术委员和国际委员，80余位中青年专家担任研究员。

研究所长期聚焦国际金融、货币银行、宏观经济、金融监管、金融科技、地方金融等领域，定期举办国际货币论坛、货币金融（青年）圆桌会议、大金融思想沙龙、麦金农大讲坛、陶湘国际金融讲堂、IMF经济展望报告发布会、金融科技公开课等高层次系列论坛或讲座，形成了《人民币国际化报告》《天府金融指数报告》《金融机构国际化报告》《宏观经济月度分析报告》等一大批具有重要理论和政策影响力的学术成果。

2018年，研究所荣获中国人民大学优秀院属研究机构奖，在182家参评机构中排名第一。在《智库大数据报告（2018）》中获评A等级，在参评的1065个中国智库中排名前5%。2019年，入选智库头条号指数（前50名），成为第一象限28家智库之一。

直接投资与项目投资的内涵