机器学习（非传统统计方法如回归）在量化金融方面有哪些应用？ - 知乎4601被浏览141308分享邀请回答jmlr.org/papers/v15/delgado14a.html)，文章测试了179种分类模型在UCI所有的121个数据上的性能，发现Random Forests 和 SVM 性能最好。2.训练集样本数制约了预测结果的准确性，理想情况下我希望每次做预测的样本数越多越好，但你知道理想很骨感的，训练集样本数一方面受实际总数据量限制，另外，计算资源与时间也是制约因素。我们最终要形成某种程度的妥协，即保证相当程度预测效果下选择最小的训练集样本数量。于是我们计算样本数从1~300范围内的胜率，结果如下：可以看出，控制其它条件不变，随着样本数增多，胜率逐步提高结果更为稳定并且最后维持在0.52~0.53左右波动，为了节约计算资源及考虑到历史数据总量，我们可以选择100个作为训练样本数。3.涨跌时间窗口选择，它实际上反映了交易日历史的涨跌对下一个交易日的影响，这个动量是否客观存在，我认为从交易心理上说还是有一定依据的，比如作为交易者如果过去一连10个交易日全部飘红，对于后一天的走势我更愿意谨慎看空。当然，这是个极端的臆想，归根结底的表现怎么样，还是要看数据给的答案：这样的结果让人抓狂，有点看乱码的感觉。后来我改变了每次回测的起点发现，基本每次结果都差不多，一个共同点是：每次曲线的开端都会存在倒塌式下滑，而后稳定震荡于0.5扔硬币的概率左右。也就是说，动量是存在的，只不过很小（结合前面两节的试验结果其期望处于0.53这个位置），且时间窗口很短，超出这个时间窗口，预测问题就转化为扔硬币问题。---------------------------------------上面就是我对机器学习在金融市场的预测应用做的一个小试验，综合三张图的结果来看，其实概率还能勉强说比纯抛硬币好那么丢丢（低于0.5的情况并不多见，调试程序的时候发现0.53是个神奇的数字），但这毕竟是我快速自己实现的一个小Demo，可以想像，如果有更优秀的算法，更丰富的数据，更合理的特征选择，意想不到的结果也会是情理之中。经过自己的尝试后我想机器学习在金融市场的预测应用既不会那么神，也不能说它无卵用，我相信圣杯的存在，在某一你未发现的细节之中。最后丢下包含讨论内容细节的链接，包含整个实现过程的Python代码。希望有前辈更多的指点，我会再继续学习下去。10720 条评论分享收藏感谢收起与世界分享知识、经验和见解2477人阅读
金融（14）
http://sanwen.net/a/csioaoo.html
在移动银行，熟练的聊天机器人或搜索引擎出现之前，机器学习在金融领域就有广泛应用。由于交易量比较大，交易历史数据精确完备，以及金融领域的量化分析特点，金融领域是比较适合人工智能技术应用的领域。现在，金融领域出现了很多机器学习的应用场景，这主要是由计算能力的提高以及机器学习技术方法的普及推动的（比如谷歌的Tensorflow）。
今天，机器学习已经成为金融生态中不可或缺的组成部分，从贷款审批到资产管理，到风险评估。但是，很少有专业人士能够准确地知道机器学习在每天的日常金融应用中有多少应用模式。
TechEmergence非常荣幸能够和数百位人工智能领域和机器学习领域的专家和高管进行深入沟通，能够获悉现在的应用场景和应用模式。
在本文中，我们探讨了以下内容：
目前人工智能在金融领域的应用模式
未来人工智能在金融领域中的潜在应用模式
金融领域中应用人工智能技术比较知名的企业
机器学习在金融领域中的应用—目前的主要应用模式
以下是目前机器学习应用的主要领域。记住很多应用模式使用了多种人工智能方法—不仅仅是机器学习。
投资组合管理
术语“智能投顾”在5年前基本上还不为人所知，但是现在在金融领域已经很普遍了。该术语有点误导性，并不涉及到机器人。相反，智能投顾（比如Betterment，Wealthfront及其他类似的公司）都是一些算法，根据用户的目标和风险承受能力对投资组合提出相关建议。用户输入其目标（比如，65岁退休的时候有25万美元存款），年龄，收入，以及现在的金融资产状况。智能投顾将会根据用户输入的目标在各类资产和金融工具中进行搜索匹配。整个系统会根据用户目标的变化做出调整，并且会根据市场的变化进行实时调整，一切以满足用户投资目标为核心。智能投顾已经获得了千禧一代客户的青睐，这一代人并不需要传统的投资顾问提出投资建议，而且他们对人工投顾收取的费用也存在不满。
回溯到1970年代，算法交易（有时候被称作是自动化交易系统，这是更加准确的描述）涉及到复杂的人工智能系统实施快速交易决策。算法交易系统通常每天会操作数千次或百万次交易，因此“高频交易”（HFT），通常被认为是算法交易的子类。很多对冲基金和金融机构并不会公开披露其交易所采用的人工智能模式，但是机器学习和深度学习在实时交易决策中正发挥愈加重要的作用。
随着计算能力的增强以及互联网的普及，很多有价值的公司数据都存储在网络上，这就会存在数据安全风险。此前的金融欺诈识别系统主要依赖复杂且严格的规章制度，但是现在的欺诈识别不仅仅是风险因素清单，其能够积极地学习并且根据潜在的安全威胁进行调整。这就是机器学习在金融欺诈应用中的作用—但是在其他数据安全问题中也存在同样的原理。使用机器学习，系统能够识别特殊行为或异常行为，并且对其进行标注识别。这些系统存在的挑战是避免误报问题—在这种情况下风险被标注出来，但是却从来没有出现风险。几乎我们所有采访的人工智能领域的专业人士都认为在安全问题非常重要，在未来5到10年里真正自主学习系统是必须的。
贷款保险承保
核保是金融业中机器学习最适合承担的工作，实际上金融业很多人都在担心机器将会代替现在绝大多数的核保岗位。尤其是在大型机构中（大银行和公开上市的保险公司），机器学习算法能够根据数百万消费者案例数据（年龄，工作，市场情况等）以及借贷或保险结果进行开发和培训（这个人是否违约，是否按时归还贷款，是否发生过车祸？）。利用算法可以评估未来的发展趋势，分析和判断能够影响未来借贷和保险状况的趋势（会有越来越多的年轻在某种状况下遭遇车祸？在过去15年中特定人群中是否违约率在上升）。这些结果都对公司产生重要影响—但是目前那些有资源和实力聘用数据科学家，并且拥有大量交易数据的大企业才能获取这些信息。
未来机器学习在金融领域中的价值
以下的应用模式是我们感觉比较有前景的。有些应用现在已经比较多了，其他的应用还处于初期阶段。
聊天机器人和交互界面是风险投资重点关注的领域，也是企业资金预算投入比较多的领域之一（2016年人工智能高管调查中将该领域作为短期人工智能消费应用最具潜力的方向）。像Kasisto这类公司已经在开发金融领域的聊天机器人，帮助客户解答某些问题，比如“我上个月购物花了多少钱？”，或者“60天前我个人账户里的余额是多少钱？”。这种辅助功能必须通过自然语言处理引擎进行开发，也需要和金融领域的客户频繁交流才能完成。银行和金融机构需要这种聊天机器人，他们能够从传统银行机构那里获得更多客户，这些传统且古板的银行还要求客户登陆到在线银行端口，自己去寻找有用的信息。这种聊天体验（未来可能只有声音）在今天的银行业或金融业还不是标准配置，但是在未来5年可能会成为标准选择。这种应用将超越金融领域的机器学习范畴，可能会在各个领域各个行业成为专业化的聊天机器人。
用户名，密码，和安全问题在未来5年将不再是保障用户安全的标准模式。银行和金融领域的用户安全是非常重要的（你可能在登陆脸谱的时候就向一部分陌生人泄露了你的银行账户信息）。现在在欺诈领域正在开发和应用很多异常现象识别技术，除此以外未来的安全措施可能会要求进行面部识别，声音识别，或其他生物识别方式。
情绪/新闻分析
对冲基金一直在保守自己的秘密，关于情绪分析在投资过程中如何运用我们基本上看不到任何信息。但是，据称机器学习在未来将广泛应用于分析社交媒体，新闻趋势，和其他数据—不能仅仅是股票价格和交易数据。股票市场对人类很多方面做出反应，这些因素和股票代码没有任何关系，未来的希望在于机器学习能够复制，并优化人类对金融活动的“直觉”，这也是通过分析新的趋势和相关信息做出的。Ben&Goertzel最近在《连线》杂志发表了一篇文章，分析了人工智能技术在对冲基金领域应用。Goertzel表示很多人认为机器学习在金融领域中的应用远不止股票和商品数据—人工智能对冲基金需要做的不仅仅是研究股票代码，还有更多。
销售/推荐金融产品
今天，自动化金融产品销售已经得到应用，其中一些可能不涉及机器学习。智能投顾可能会建议改变投资组合，而且也有很多保险推荐模式在某种程度上使用了人工智能技术，对车辆或居家保险计划提出建议。未来，更加个性化和标准化的应用和个人助手会出现，比人类投资顾问更值得信任，更客观，更可靠。就像亚马逊和Netflix能够比任何一个人类“专家”推荐更好的书籍和电影，个人金融助手能够根据个人的情况推荐合适的金融产品，就像我们将在保险行业看到的那样。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：69343次
积分：1740
积分：1740
排名：千里之外
原创：89篇
转载：141篇
(7)(17)(7)(9)(12)(17)(20)(18)(20)(10)(7)(13)(9)(20)(42)机器学习在量化投资中的应用：从技术分析谈起
作者：Weicong Liu
前言：最近特别忙，写毕业论文，找工作，忙得不亦乐乎。硕士两年来做的一些工作，导师没有让我往毕业论文里面写，我感觉到，这两年的一些经验以及所思所想，可能没有办法写成正式的文章了，特别可惜。所以我决定开一个知乎专栏，把自己的一些思考拿出来与大家分享。我从来没有将机器学习应用在量化投资的实战经验(其实我神马实战经验也没有。。)，但是读过相当数量的相关论文。很多论文，如许多网友所喷，“这玩意儿根本不work”。说实话，我也知道这些论文不work。但是“不work”并不代表“没用”。一篇文章里，能有一个闪光的思想，对真实投资有一些借鉴价值，我觉得这篇文章就是“有用”的。而所谓的“不work”，是指把这篇文章的方法应用于真实投资，没法赚钱。这是废话，能赚钱，我发出来给你看?我始终认为，看出一篇文章“不work”，并不需要什么水平，而能从这篇“不work”的文章中，找到有用的信息的人，才是真大神。所以我希望大家能以一个欣赏的眼光去看待这个专栏里的文章(好吧，其实我只是想少挨点儿喷。。)。我将把我在这个问题 机器学习(非传统统计方法如回归)到底在量化金融里哪些方面有应用? - Weicong Liu 的回答下的回答 ，一条条拓展出来，细致地写。水平有限，错误难免。废话到此为止，希望我能把这个专栏坚持下去：)
在这篇文章里，我想讲的，是那些将技术分析和机器学习算法相结合的论文。首先，我会简要介绍一个最常用的技术分析方法：双移动平均线法。然后，我将简要介绍一下相关的论文。本文的重头戏是，我想跟大家一起，发现这些方法的问题，逐步把这些方法变成一个“看起来还蛮像样”的投资策略。我首先声明，这个方法是否work我也不知道，因为我没有细致地尝试。我想展示的，是一个思考问题的思路。
1 移动平均线法
下图展示了一个双移动平均线的例子。
双移动平均线的用法是：
(1)用两个长度不同的窗口，计算价格数据的移动平均值;
(2)当短的移动平均值穿过长移动平均值时，一个买入信号就诞生了。随着时间的推移，当短的移动平均值小于长的移动平均值时，就产生了一个卖出信号。
这个方法是如此的简单方便，很多散户都会或多或少地使用该方法。学术界对这个方法亦有很大的兴趣。文献[1]首先从假设检验的角度，去验证这个方法在实际数据上的盈利能力。而后有很多论文利用这篇文章中提供的方法，在不同的数据集上验证。他们的结果都表明，长期来看，如果不考虑交易费的话，这个方法貌似还有一点点的盈利能力，但是如果一点考虑交易费，这个能力就基本为0了。
2 移动平均与机器学习算法
那么，这样一个简单的移动平均的方法，是怎么被应用在机器学习算法中，进行投资的呢?千万不要小看研究人员的脑洞(不过这似乎也不需要太大的脑洞)。
让我们随手从机器学习的武器库里面挑个武器吧。恩，就神经网络好了，这玩意儿最近很火。要很深吗?咱们先用个浅的玩玩吧。我们需要给自己设定一个目标，这个目标是，我希望通过历史数据值，预测第二天的股价涨跌。有了这个目标，我们干脆把神经网络当成一个分类器用。在每一天t，我都基于历史数据，建立一个输入向量x_t。看，机会来了，我们可以把移动平均线产生的信号，当成这个特征向量的某个维度。如果移动平均线让我们在某天持有该股票，那么我们可以把这个维度设为1;而在其他的天数，我们则把它设为0。
除了移动平均线，股票的技术分析手段中还有好多可以产生类似信号的东西，比如MACD，RSI之类。所以，我们可以利用这些信号，把它们安放在不同的维度，构成我们输入向量x_t。标签y_t就容易了，如果t+1天收益率为正，则设为1，否则为0。至此，一个二分类问题的训练集构建，就搞定了。
这个方法看起来很简单，也确实没啥难想的。相关的文献不少，可以看参考文献[2, 3, 4]。在那个年代，这些文章都取得了相当的引用量。
3 问题与改进
显然，这样的方法是存在问题的。而且看起来图样图森破，甚至有点儿naive。在这一节，我们将一步一步，把这个方法变的“看起来还蛮像样”。
3.1 趋势的表示
使用技术分析手段的人，被认为是趋势跟随型的投资者(可能有误。。)。这些论文里面也声称，他们希望通过神经网络来预测趋势。但是，趋势就是明天股票收益的正负吗?让我们来看个例子。下图是我截取的苹果公司从日，到日的股价。这是一个非常明显的上升趋势。但是，在这个趋势中，日收益率为正的比率是多大?答案是只有55%。所以你看，把第二天股票收益率的正负当成趋势的表征，并不靠谱。
那么，能不能换一个靠谱一点儿的方式来表达趋势?也就是表达y_t?当然可以。一个简单的方法是，我们可以把计算t+1,t+2,…,t+N，这些天收益的平均值，观察其正负，构建新的y_t(正则1，否则置0)。当然，N是一个可以由你设置的量。
3.2 更进一步
经过上一步的改进，这个方法好像似乎有点儿像样了。我们来理一下思路。我们是怎么来解决这个问题的呢?步骤如下：(1)大喊一声“我要做趋势投资者”，(2)找到那些声称表征趋势的技术指标，构成输入向量x_t，(3)为这些向量配备一个表征趋势正负的y_t，(4)扔进一个神经网络训练，(5)利用训练好的神经网络预测。
还是有点儿naive，我们甚至都没用到神马金融上的概念。在3.1节的结尾，我们说要用t+1,t+2,…,t+N，这些天的收益的平均值，观其正负，来构建y_t。这似乎比较靠谱了。但是细细一想，假如这些天收益的平均值为0.02，但是标准差达到了0.04，我们这么做似乎有点儿慌。而如果这些天的收益平均值是0.01，但是标准差只有0.005，似乎这么做还是靠谱的。这就提醒我们，作为一个趋势投资者，在动荡里，我们如浮萍一般无依(当然，动荡则是另外一些交易者发家致富的机会)。我们构建y_t的时候，不能只去想收益的平均值，还要考虑它的波动。
有了这个概念，我们就可以重新思考下y_t的设定。我们将t+1,t+2,…,t+N这些天收益的平均值记为r_t，而标准差记为sigma_t。我们考虑这样一个量r_t – lambda * sigma_t的正负。这里，lambda是一个事先设定的常量，它有一个比较好的金融角度的意义：它体现了投资者对风险的厌恶程度。Lambda越大，厌恶性越强。
当然，你可能觉得这个波动率估计的太不准了。不是有个拿诺奖的工作，(G)ARCH，用来估算波动率的嘛。你也许也可以用它替代sigma_t。
3.3 再进一步
到此为止，我知道，你肯定还不满足。现在这个方法看起来还是有点儿naive，一个分类问题，有啥了不起?好吧，那我们跳出分类问题的框框吧。
我们已经有了x_t，也知道，对于每一天，我们有两种选择，即持有这只股票还是不持有(在我们之前的讨论里，并不允许做空，所以只有这两种)。让我们给x_t换个名字，叫它“状态”(state)，而把两种投资的选择，叫做动作(action)。你大概已经看出来了，我在往增强学习的框架里面靠。既然是增强学习，那么我们还得定义一个回报(reward)，恩，这是现成的嘛，r_t – lambda * sigma_t。
于是，我们就这样慢慢YY出了一个基于增强学习的量化投资方法。很巧，以前已经有人做过很类似的工作了，请参看[5]。
在这篇文章里，我们从前人看似naive的方法，一步一步地推进，搞出了一个“看起来还蛮像样”的投资策略。这个方法直接去用，估计是要失败的。如果你够细致，会发现我一直在做y_t的文章。也许y_t的文章已经做得差不多了，但是x_t怎么办?就用那些技术指标?或许，只有那些真正在实践中成功运用了机器学习方法的人，才拥有好的x_t吧。
[1] Brock, William, Josef Lakonishok, and Blake LeBaron. "Simple technical trading rules and the stochastic properties of stock returns." Journal of finance (1992): .
[2] Gencay, Ramazan. "Non-linear prediction of security returns with moving average rules." Journal of Forecasting 15.3 (1996): 165-174.
[3] Franses, Philip Hans, and Kasper van Griensven. "Forecasting exchange rates using neural networks for technical trading rules." Studies in Nonlinear Dynamics & Econometrics 2.4 (1998).
[4] Shambora, William E., and Rosemary Rossiter. "Are there exploitable inefficiencies in the futures market for oil?." Energy Economics 29.1 (2007): 18-27.
[5] Li, Jian, and Laiwan Chan. "Reward Adjustment Reinforcement Learning for Risk-averse Asset Allocation." Neural Networks, 2006. IJCNN'06. International Joint Conference on. IEEE, 2006.
同系列之：机器学习在量化投资中的应用(二)：那些年我犯过的错误
机器学习在量化投资中的应用（三）——再谈增强学习
文章来源36大数据， ，微信号dashuju36 ，36大数据是一个专注大数据创业、大数据技术与分析、大数据商业与应用的网站。分享大数据的干货教程和大数据应用案例，提供大数据分析工具和资料下载，解决大数据产业链上的创业、技术、分析、商业、应用等问题，为大数据产业链上的公司和数据行业从业人员提供支持与服务。
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。