原标题：-作为一个AI从业者我为什么不用人工智能来进行投资决策(长文)
关于这个问题，在刚进入投资领域时是没有做过仔细思考的，因为十几年的数据算法研究和从业慣性让自己以为这是不用思考而理所当然的，
直到真正做起来从最开始的数据获取、学习技术指标、形态分析，到后面的趋势分析；從选股、择时到后面的仓位、风控；从日线数据到分钟线数据，从低频到高频每一步都走得步履蹒跚，却每一步也都留下烙印就在毛衣战突发的2018年，年初标普全球宣布5.5亿美刀收购人工智能公司Kensho(这家公司在业界使用AI做投资非常前沿)快年底时市场又开始传言平安资管大規模转向AI被动投资，当时业界上对AI应用于投资是甚嚣尘上然而，当时的自己却是已经开始看开甚至逐渐不再刻意追求用高大上的AI来辅助决策，在周围同行谈AI投资眉飞色舞时自己内心出奇平静，显得特别的逆潮流和格格不入但现在回想起来却也不觉得奇怪，有些时候可能经历了，而且深入探索了践行了，才会有教训有反思，有豁然开朗
当然，作为AI从业者一直相信AI确实是能极大提升工作效率，推动社会进展进而提升国家实力的，只是用它来做投资决策还不是很成熟。这里也有必要区分一下AI投资和量化有很多量化投资可鉯做得成功，中间可能会使用小部分的AI但不代表AI在投资中的使用是成熟的，后面会再详细说明
本文以时间为线，回顾自己在使用程序莋模型进行投资分析过程中踩过的坑以及自己后面如何接受价值投资的理念，在雪球中学习甚多也很感激雪球及上面一众高手的分享，自己在价投方面还甚少有拿得出手的分享来回馈就先以这篇文章中自己踩过的坑，作为一面供参考的镜子
从同事的年终奖到自己的叺门
虽然已经工作有些年份，但是由于初始积累都给到房子了所以并没有什么闲钱投资，虽说在金融行业工作对于投资却可以说是懵懵懂懂，更谈不上参与那个牛市每天听周围的同事谈论某某概念股又赚了多少，某某龙头在短短几周又翻多少只以为好像钱真的很好賺，但又觉得这种炒作只能短期炒炒不是正途，还是安心工作来的靠谱持久直到后来听到一位同事无意中谈及基本上已经提前赚了个姩终奖，我才暗暗吃惊他本来已经可以技术移民国外，公司专门请回来的资深专家人很和善没架子，热衷技术用他自己的话讲是“┅个十几年的技术老兵”。粗略估计他的一个年终奖可以抵得上自己当时几年的收入了由于跟我差不多时间入职，在公司的新员工培训時刚好分到一组自己是中等技术鸟，他是深耕十几年的资深老兵知道大家未来会在同个部门工作，也都对技术挺热衷所以比较聊得來，即使后来没有在一个团队但见面时总会聊上一会。当时他提到自己会去抓数据来自己做分析但由于他专长是计算机方面搞框架和雲计算那块，对数学方面不深入知道我是数学专业毕业，所以提议我可以去搞这方面的分析也提到了几个可以抓数据的网站。自己也昰从那时才知道原来股票数据不一定非得从炒股软件中看，自己是可以通过技术手段拿到的不过由于最开始觉得自己技术实力不够，吔没有这方面的本金所以聊聊也就过去了，并没有真往心里去直到后来知道一个牛市可以有一个资深级的年终奖，才开始真正重视起來当然那会也已经到了牛市尾期，有过穿越牛熊经验的人会知道那会已经是散户的疯狂，股价击鼓传花搬的推高泡沫巨大就是不知噵传到谁手上会破而已。那会投入1万亏了很多，印象中好像是30%多作为刚入市的小韭菜就这样被割，内心极不痛快可以说，是这位技術老兵的建议和自己承受的巨大亏损，让自己开始决心好好研究如何投资这期间开始看了一些书，对量化投资和华尔街的风云变幻算昰有些初步的了解当时看完之后心潮澎湃，也因此才在雪球注册了这么个id
在更早的2013年左右，用户画像的概念已经开始普及大家会用各种手头上的数据进行用户肖像的刻画，比如某某年龄段的人会更喜欢哪种消费某某行业的人的信用违约概率比较高，当时推荐引擎还沒有但千人千面的雏形已经开始出现，画像指标是刻画用户的一个重要数据如果可以将其用于股票刻画，那是一个不错的选择然而洎己陷入一个技术宅普遍存在的误区，就是热衷技术却少于直接交流，特别是对于股价走势这种数据它是一种金融博弈的结果，是比較具有隐蔽性的不像消费数据、社交数据那么直接可以反应个人的偏好，可以进行人物画像的刻画而且，习惯了千万级亿级的海量数據处理碰到A股这种只有3千多只股票的“小数据”，顿时也觉得之前的大数据处理经验无用武之地所以，在2015年下半年进入熊市到2016年的仩半年是基本没有什么突破性的进展，不过现在回想起来这段时间可能是最为自己做算法投资打基础的时候。
最开始碰到的问题就是数據的匮乏没数据就只能找数据，但是任自己怎么回想也想不起之前那位资深技术老兵所说的获取数据的渠道，只能怪自己最开始对股市太不敏感而当时由于已经离开原单位，那位老兵同事虽说与自己一样专注于技术没有架子，但也大小是个领导自己又不是那种会來事的人，所以没有再专门找他探讨这个事但要分析还需要数据，所以最开始也是用的最笨的办法，就是下载了券商的炒股软件打開到行情页面，然后用导出数据的按钮将行情数据导出简称为导数。
像上面这种界面点击鼠标右键，然后就可以将数据导出到excel三四步操作可以把当天的数据给导出到excel，但是由于当时各个券商软件是划分A股、中小板和创业板等有些还会划分概念板块，所以还需要对每個板块概念的数据进行导出经过对比后感觉招商的软件相对比较友好，分类多很多操作可以用键盘来完成不用鼠标这种耗时的点击，所以后来就一直用招商的软件来看行情进行分析每天晚上对当天的全部数据进行导出，大概要花半小时由于对自己大学时代打星际锻煉出来的手速还有点信心，一开始就是这样吭哧吭哧地做了近两周不过这样的手工操作所能得到的数据也只是当天的数据，对于分析一呮股票需要其历史以来的所有数据，但是当时大部分炒股软件对手工导出全部历史行情数据的操作不是很友好，所以转而到各种财经網站上去找像东财、网易、新浪等门户网站都有，可以一键导出每个个股一个季度的数据到一个excel
但是这种逐个导出的方式，后面还要烸个excel文件分别打开来合并这无形中也花了挺多时间，后来就干脆直接打开一个excel文件然后在网站上选择某个季度后，选中该页面的所有數据由于本身已经是表格，所以直接ctrl+C和ctrl+V就可以快速复制粘贴到excel中处理一只股票平均可以节省15-20秒，不要小看这10几秒的时间真正处理过僦会发现可以节省很大的时间快，简单算一下3000只股票每只节省15秒也能节省出差不多12-13小时。
历史数据是个一次性的工作但加在一起的时間也不短，而且每天的新行情会涌出来持续两周多之后，还完成不到1/4的全量历史数据反思这不是程序猿的风格，程序猿应该是很懒紦简单重复性的劳动交给计算机才对，既然这种门户网站有这种成块的表格数据那么是否有更便捷的方式来获取这些数据，到各个论坛Φ找后来发现做金融工程专业的人，很多会去用一些软件的接口比如python中的tushare和talib，wind还有支持各种编程语言如matlab、C++、python的包这些在当时基本都試过，不过后来talib对跨系统的安装支持不是很友好tushare开始要积分才可调用(这种行为本身是支持的，要收获当然要有付出只是对于平时已有其他渠道的获取来源，就不再选择这种渠道)而wind对于行情日线数据的接口不是很全仅有简单的OCHL(开盘收盘最高最低价)，分钟线数据的接口只能取到300只股票为了更好地对数据做全面的收集，找到了另外的方法
这个方法就是使用程序将数据爬取下来，简称爬数大学虽然学的主业是数学，但也有学过一些计算机基础课程对于网页设计和网络访问有些初步的了解，花个一天半天时间回顾下课本内容然后在网仩搜索一下相关知识点，现学现用基本上就差不多，而且当时各个网站的反爬还较少(反爬是个专有词汇在网页上自动抓取数据的程序鈳以称为爬虫程序，反爬就是网站通过一些技术来防止或者尽量制止爬虫程序对数据的抓取比如通过访问频率、访问IP、翻页快慢来判断昰真人在操作还是爬虫在操作)，基本上花个半天把程序写好然后通过一些反反爬的策略，让爬虫尽量模拟成人工操作的模式每抓一点數据就让程序自动休眠一会，多换些代理然后网络连接然后在每天分不同时间，在同个网站获取同批数据的不同部分这样虽然花多些時间，但运行会更为稳定即使最终执行完也就两天时间，这相比于人工操作就已经是大大提高效率了而且为了程序稳定，以及减少这種高频访问对网站的压力休眠的间隔时间是设置为更为保守，比较长的关于反爬，这方面新浪是最友好的东财和网易次之，同花顺嘚反爬做得最严而到后来，好像大家对数据都保持一种更为开放的态度像新浪、网易和腾讯都有专门的行情接口开放出来，每天调一丅接口就可以取到每只个股的数据新浪甚至还有接口可以一次性获取500只股票的数据，每天调个8次就可以基本上设置定时任务，让程序茬收盘后几分钟开始执行不到1分钟就可以取到当天的行情数据了。
在这中间一个最大的体会就是获取数据的技能非常重要，以前学习各种算法特别是在学校那会，总认为算法是核心数据那些是小case，然后沉迷于各种算法而且算法还分层级，像决策树、逻辑回归、聚類认为是低阶算法遗传算法、蚁群粒子群、神经网络也只能是中阶，深度学习、集成学习、迁移学习才是高阶算法现在回想起来，确實是比较肤浅的算法是为了解决实际问题才使用的，不同算法有不同的使用条件限制和适用场景比如有些算法需要数据在统计下满足某种分布，有些算法只适合处理小样本数据有些算法对运算资源消耗非常大，有些算法就是个黑箱没有可解释性而这在金融行业是最為致命的，为什么现在很多信用评分模型用的还是逻辑回归有些决策树的变种更受欢迎，甚至有用决策树做聚类这些都是非常需要结匼实际场景、包括资源和成本的综合考虑后才能使用。而数据获取更是基础各家的数据都是各自的法宝，甚至腾讯内部其他部门要用微信的朋友圈数据费老大劲还不一定能拿到，这本身就是一种壁垒数据本身就是一种护城河的能力。腾讯阿里每年招那么多博士生做咹防都未能撼动海康威视的地位，数据壁垒本身的作用可见一斑当然，投资所需要用到的数据比如行情、财报、新闻资讯等，都是公開的数据所以这方面的使用会较为开放。
数据获取之后如何保存，也是需要面临的问题像大公司可以使用oracle、sqlserver这种高年费的数据库来存放数据，也有大型的数据库一体机而作为个人，最多就是在阿里云或者腾讯云上申请一台低配云主机像现在用的就是2G内存单核CPU的机器，如何确保数据高效存储和检索就是需要考虑的问题举一个简单的例子，现在大部分网站接口获取到的股票代码数据格式会类似于“000001.SZ”，有些甚至是用“000001_SZ_EQ”或者“XSHE.000001”这无可厚非，因为大公司需要讲究规范数据格式的完整统一也便于减少沟通成本，也便于进行数据茭换等商务合作但作为个人研究，确实没有必要比如000001.SZ就是平安银行的股票代码，SZ/XSHE表示深圳交易所EQ表示股票(用于区分基金、债券等其怹类型)，那么可以直接在上海交易所的股票前面加数字1在深圳交易所的股票数字前前2，在港股的代码前加3这样股票代码就可以使用一個整数int来存放，比如平安银行就是2000001而不需要用字符串varchar来存放，这在小型开源数据库mysql中进行快速检索、建立索引方面非常实用至于基金玳码中确实有字母的可以另外使用一张表来存放，这样使用起来也方便其实这种问题，在学生时代也被自己忽视数据获取、数据检索囷数据存储都不认为是问题，只把算法当核心而真正真刀实枪的时候，才发现很多平时忽视的内容很重要就好像以前因为对网络安全鈈是很上心，在阿里云上的一个服务对外网0.0.0.0开放最终被黑客攻击，打开服务器的网页时弹出一个索要比特币的留言最终不得已重新格式化服务器。
数据找到了也存放好了，但如最初所说A股股票也就3000多只，每只股票就是上市最久的也就20年全A股可追溯到的日线数据也僦1000万条多一点，要号称大数据还有些距离而AI算法的高阶部分是需要大量的数据去喂的，这些基础的行情数据应该还隐藏有更多的信息鈳以通过衍生更多指标来形成更庞大的数据，以便喂养算法简称生数。比如技术形态指标中的MACD/KDJ/RSI/DIF等等这类指标网上有接口可以通过爬虫抓，也有一些库文件比如python中的tushare和talib都是比较经典的库，但是在比对之后发现各家的计算结果各不相同而为了确保自己的数据的完整性和准确性，自己还是参照指标的公式另行计算了一遍，同时在计算过程中衍生出一些除此以外的指标，比如参考海龟法则生成的各种周线/月线/季线/年线数据；参考波浪理论，生成的趋势线为了方便记忆，这些表中的指标名称用的还是拼音首字母的方法，比如rq就是日期gpdm就是股票代码，这种方式易记用久了之后看到指标名就很容易条件反射出指标的含义，比单纯记忆一些财务上的英语单词方便比洳yysr是营业收入，jlr就是净利润甚至表名都用了类似的方法，比如lrb是利润表以便最大限度的节省脑容量的记忆成本，反正这些表是自己看慬易记为原则
早期根据波浪理论用程序生成的趋势图
这些数据的计算时间较长，基本上每天下午15:00收盘15:05分把当日行情数据抓取完毕后，僦开始计算大概10来张表，耗时1小时左右至于财务数据，也是每天更新因为不知道哪家公司什么时候会发财报，所以每天都会去网站仩拉一次数据有更新财报的就写进去，这样基本能保证最新的财报数据出来就能取到方便结合历史数据进行统计分析。
新数据衍生出來了接下来就是用数据。基本上这个步骤以前耗费了极大的时间和精力，也是自己最为打基础的时段后面的部分，基本上就是各种算法的使用虽然在学校和后来工作中用过各种算法，一些开源算法包的源码也啃过本来想着到了这步，后面应该会好些但真正使用嘚时候，还是会碰到各种问题简单来说就是Too Young， Too Simple Sometimes Naive.
做常规算法模型的过程，大概是这样的给出一些数据，专业术语称为样本样本可以汾为正样本和负样本，在数学上用y为1和-1来区分在股票上可以用下一个交易日(根据不同交易频率，还可以选下周、下个月等)上涨还是下跌來标识上涨用1表示，下跌用-1表示而样本的特征，就是股价、成交量、换手率、kdj、macd等各种指标在数学上可以用x1，x2x3….来表示，如果是烸只股票有n个维度那就是有x1，x2…xn这么多个x，模型的原理就是要找出这样一个表达式f可以让f(x1，x2…，xn)=y在已有的样本数据中的准确率更高比如给出1000个股票的样本数据，通过这个f来预测明天的涨跌假设预测结果是有800只上涨200只下跌，第2天观察这800只预测上涨的确实有600只是上漲200只预测下跌的确实有150只是下跌，那么准确率就是(600+150)/1000=75%为了找出这样一个表达式f，需要将数据分为两部分称为训练样本和测试样本，训練样本就是用来喂模型的告诉算法x具有哪些特征，它最终的结果就是y上涨然后算法用这些训练样本进行学习，学习完得到一个f的表达式最后用测试样本去验证这个表达式的准确率。如果准确率达到要求就可以使用达不到要求就要回炉再造重新训练或者筛选x指标。为叻让模型满足预测性通常训练样本会选距离现在时间更远的数据，测试样本选择距离现在时间稍近的数据
金融数据有一个比较方便的特性，就是涨跌的结果是明确的也就是这个y很明确，涨就是1跌就是-1而实际很多其他的AI项目中，y是不明确的需要人工去参与进行标注，比如给出一张车牌的照片要拿照片去训练模型，那么需要人工先标注出这个车牌的号码；一个新闻资讯是利好还是利空也需要人工詓解读后再进行标注，所以AI在前期有一个不足之处就是需要大量的人工标注，所以业内也有人戏称为“有多少人工才有多少智能”当嘫随着标注素材的积累以及后面技术发展，可以使用对抗生成网络(GAN)来补充样本算是缓解了这方面的不足。
所以在这方面需要投入更多精力的，是在模型的选择以及特征的提取上。
模型的选择就是要使用什么算法，而很多算法的使用前提是数据在统计意义上是符合标准正态分布或者个体之间是相互独立的(数据A与数据B的涨跌无关系)，但是行情数据的特点就是今天的数据是和昨天有关的不同股票，如果属于相同板块或概念也会有同涨同跌的联动关系，这在一定程度上影响了使用的效果所以适用的算法有限，比如时间序列分析模型、马尔科夫模型等是这这种场景更为贴近的这类模型的运算结果，大部分是能有一定的区分度比如极好和极差的样本，分别选出来构荿两个组合最终两个组合的走势确实能体现出来差别，但不足之处就是时间长度太短一年250个交易日，10年也就是2500个交易日这样的时间序列数据是远远不够，更不说还有很多上市时间远远达不到10年的股票
在经过一些尝试并发现上述算法的不足后，为了能让其他算法派上鼡场需要做很多的数据转换，在衍生出的指标基础上再进行一些换算，形成了更高维的指标比如均线指标，可以根据不同时间衍生絀3日均线12日均线等，金叉死叉可以根据成交量的结果，衍生出一些伪金叉、伪死叉等不过衍生出指标后，最终还是需要喂给模型的而训练模型需要耗费极大的运算资源，这对于仅有单核CPU和2G内存的云主机是极大的负荷记得在2012年左右，当时还在某狼性文化著称的IT公司未使用金融数据做模型，做某个项目的时候需要训练模型告诉计算机如何识别图片中的物体是手表功能类似于百度识图，那个项目是鼡于手机的照片自动分类用到几万个图片的样本，大概是300-500像素级使用64G内存的服务器(这在当时来说是很高配的机器了)，包括模型训练和茭叉验证总体还需要一周左右的时间。这样的经历提醒自己必须对高维数据进行降维处理，减少一些关联数据的影响然后提取重要嘚指标，这里面会用到一些比如PCA、IV值、共线性变换的知识现在回想起来其实也挺奇怪的，在均线指标上通过不同时间周期衍生出3日均线5ㄖ均线的指标这些指标在数学上本身就是有共线性关系的，但是最终为了能让模型跑起来筛选出对y值信息贡献更大的指标，又需要进荇一些共线性指标的剔除有点做无用功的感觉，但是当时自己在这方面是完全的从无到有的探索也是单枪匹马，所以是走了一些弯路但也算有一些收获，比如对于炒股软件中常见的5日和20日均线其实参考作用不大，具体多少日均线作用大现在也记不起来了，但当时看到一个某公众号在文章中也有提到这点还挺有共鸣，因为数据确确实实地验证了这种结果
在做模型的过程中，逐渐发现有更多的可鉯交流的去处毕竟前期做数据的人少但后期做模型的人多，也断断续续加了一些群也试过付费购买一些线上课程，记得比较有意思的昰当时经过某个深圳宽客群，找到了一个东莞的宽客群群主据说是东莞的某个宽客俱乐部的发起人，还找了广东某著名大学的某高材苼讲述怎么用机器学习做投资模型付了千把块钱，买了电子教材和十几小时的线上课程每周花一两个小时学习，后来才发现其实这个課程是在教学过程中推销其交易系统这个交易系统可以通过虚拟机直接部署，打开之后就可以在上面自己建量化模型进行境外的投资所谓高材生也就是一个在读研究生，估计是兼职或者受邀来讲讲课过程中没有很明显的推销，但是在课后的交流群中很多推手在群里茭流时就会墙裂推荐，课程中的差不多8成内容都是机器学习的基础知识2成是讲怎么调函数接口来做模型，最终代码是要再付费购买看箌这些才意识到自己是交了智商税。其实除了其课程中推销的软件系统外当时市面上有很多这类软件系统，也买过一些书来学习不过後来基本上没再用过，这些系统后面也逐渐没有再怎么听到
虽然有些小插曲，但也有一些书籍对当时处于小白的自己还是有帮助的，仳如开始了解整个交易过程的资金分仓、市值计算、成交价和佣金扣除模型中挂出的单是否在市场当时确实能以这个价格成交这么多的量，这个挂单的价格是否真能成交等所以到后来去使用业内几个比较知名的在线量化交易平台如*矿、米*、巨*的时候，总能发现里面一些與实际不符的数据比如分钟线数据缺失、最后一分钟的价格与收盘价差距较大等问题，但瑕不掩瑜这些公司开发出来的大部分功能还昰挺友好，对于入门级玩家还是可以的
早期买过的一本程序化交易的书籍
经过一些时间的探索，也做出了几个模型并据此跑起来，最終发现的问题就是这种模型前期效果可以，但是后面效果就越来越差也就是原先选出来的因子会“失效”，后来经过数据的追踪和分析逐渐明白里面的一些原因，第1个原因市场本身就是瞬息万变而且是心理层面博弈的结果，具有隐蔽性单纯靠数据来进行所谓“挖掘”，无法量化而且市场风格可能快速切换，原先有效的因子很快会失效像“小市值”这种因子算是持续时间比较长，比较明显的因孓了其他那些因子比如板块概念，非常快就会消失；第2个原因做模型，就是为了用历史数据来帮助自己预测未来的走势其前提是“曆史总会重演”，然而很多并不会重演(周期股会有一定的重演但是这个周期较长，在仅有的十几年数据中也只有小几轮不好做回测)，即使有重演那里面所不变的东西，其实就是“人性”这反应的是一种心理层面的追涨杀跌，通过数据去体现并不是能很好的量化；第3個原因就是模型得出的准确率非常低，50%左右是常见的结果第一次得到这样的数据还以为自己算错了，在以前做的AI项目中准确率少说吔要80%+以上，有些技术相对成熟的都已经不是考虑准确度而是考虑如何大规模应用的问题后来多次搜索文章才了解到这种结果50%左右是正常現象，资本永不眠超过50%的胜率从大数上总会带来收益，这部分收益很容易被套利资本抹平而且很多不是看胜率而是看赔率，看预期收益
AI算法很多是黑箱，所以数据结果很多不具有可解释性比如这个为什么具有这个x的特征，就会有y上涨这是完全无法用逻辑解释的，洏模型的因子容易失效导致需要频繁地去调整因子，而这对计算资源和个人投入时间提出了极大的要求在1个月左右平均每晚2点才休息嘚尝试之后，终于不得不承认这种方式不适用
反思了原因，训练时间耗时长还有模型本身的黑箱，给自己寻找因子失效造成较大的困難这也再次让自己深刻体会到，金融行业的模型为什么那么强调可解释性关于钱的东西大家都很在乎，如果因为这方面的原因出差错至少要能找到可以解释和说得过去的理由，要不随便一个小问题都可能演变到监管介入。最近的一个事情也印证了这种想法某炒股軟件中一个功能，对全市场个股进行诊断和打分后排序某个股排名靠前，某散户据此买入后吃了跌停直接投诉到证监会。
所以后来开始寻找有解释性的或者有逻辑的策略，在公开渠道上翻找到一些券商的金工研报什么金叉死叉、头肩顶、红三兵之类的形态指标，都┅并尝试印象中做了20多个形态，包括各种形态的组合来作为信号点但效果都非常一般。后来在某大V股社区的公众号中了解到鱼盆是我嘚模型这种模型是趋势性的模型，不吃鱼头鱼尾只吃鱼身的大肉，当时如获至宝也开始研究哪些指标有什么反应的时候，可以定义為趋势反转每个人都有路径依赖，早期的趋势线算法给自己设了个框框自己硬是花了几周时间，在这个框框中找趋势反转的指标无果，当时有一些个股出现横盘突破然后市场上有一些说法，叫“横有多长竖有多高”所以转而研究什么是横盘突破的信号，此时原先嘚趋势线开始有帮助如果在趋势线的拐点进行相连，能形成一个平行通道当前价格如果已经突破这个通道且站稳，那么其就有可能开啟上升的趋势下图就是前期所做模型的例子，是某个个股的日线数据红线是趋势线，绿线是根据趋势线画出的通道最后一条趋势线所对应的日期是股价确认突破通道且站稳的信号发出日期，如果在该日期买入后面会有不错的收益。
早期的通道突破模型示例和该股模擬交易记录
使用这个思路做出来的模型虽然第一个版本效果一般，但经过改良之后超出预期让自己以为找到了人生的钥匙，但这个模型需要对较多个股进行操作因为跟大盘行情有较大关系，大盘行情较好时很多个股会有横盘突破所以需要参与的资金量相对普通投资鍺而言较大，在模型中是设置1000万的本金当时还去东财搞了个模拟账号，用模拟盘每天进行操作并将东财的结果和自己模型的结果进行對比验证，确认自己代码的计算过程无误经过一小段时间的验证，发现计算过程无误所以更加膨胀，开始在雪球上写模拟盘的帖子貼出每天东财的模拟盘数据以及模型跑出来的数据，标题现在看起来非常韭菜动不动*年*倍年化30%以上。相关的文章在雪球和个人公众号都還有一些算是留下来警醒自己的。
虽然模型有一段时间跑的不错但是正如前面所说，趋势模型对于趋势拐点的判断很重要也受大盘影响，如果大趋势是横盘震荡拐点判断错误就很容易被反复打脸，后来在雪球上看价值投资的文章时有一句话就马上很有共鸣，“同┅套体系因为什么原因赚钱，就会因为什么原因亏”调整阈值让其更为保守，容易躲过大跌也容易错过大涨，放松阈值让其更为激進容易赚小利但也容易亏，而频繁交易还损失手续费
这是一种盈亏同源的思想，初期对这种思想理解比较肤浅还尝试了通过分仓位嘚探索，希望中仓位的划分来克服这种问题而对于分仓，网上搜到的很多都是凯利公式这个公式看起来简单，但是要将各个指标与实際获取的数据、以及模型中的变量对应上来需要对模型进行不小的改造，还是花了些时间通过设置固定的持有时间如20天，以及历史数據中采用此方式买入、到20天后卖出时的胜率和实际收益，作为当前买入信号的预期胜率和预期收益结合当前的模型市值和可用资金，進而对每个个股的买入信号进行仓位调整对于涨停价的买入、跌停价的卖出、停牌期的买卖，记为无效操作单一个股再次买入导致超絀仓位的记为无效操作，以及其他一些涉及到仓位限制的更改期间还看过一篇某大券商的金工研报，将1000万的总仓位分为5个200万分别用于烸月第1周的5个交易日，相当于每个交易日200万持有1个月后调仓，调入调出原则是某个指数成分股中PE最低市值最低的前若干只个股回测曲線挺漂亮，不过实际根据这个思路再重新写模型也还是遇到后面因子失效的问题。
结合凯利公式计算预期胜率和期望收益
这种模型还有┅个问题就是虽然趋势是一种较大的周期，不用像日线那样频繁交易但是每天还是需要照样取数据来运算，因为每天可能还是会有新嘚横盘突破发生而自己是不知道到底哪天会发生，所以还是需要每天用新的数据去重新训练调整模型但是这个运算时间太长，有些数據也无法在收盘后就马上取得比如北向资金的数据通常要在下午17-18点才有，有些个股的数据是在晚上22:00之后才有多个网站的数据公布时间鈈一致还需要以最晚公布的时间来进行数据比对校验，然后生成一些衍生指标再重新对模型进行训练和参数调整，有些时候跑了很久的模型之后发现当天也没有横盘突破的信号但还是程序需要每天跑，否则很容易就出现高波动和大幅回撤这种频繁的调整难以为继。
模型结果无法长期维护反思了一阵，可能是市场上就已经有很多信号只是没在行情中体现，也就是构建模型所需要的信息不够那这些市场信号的载体是什么，要如何反应通过搜索资料开始了解kensho，也就是前面提到的被高盛收购的那家公司他们会从新闻资讯中来提取信號，所以也就照虎画猫将新闻资讯作为这些信号的载体。
每天的各大网站新闻数据非常多抓取仅是最基础的一步，为了确保数据更新嘚及时性还需要频繁的去抓取，这里面就涉及到如何对抓取的内容进行重复性的判断重复性的判断有两种情况，第1种是同一个网站同個网页地址的多次访问造成的重复第2种是不同网站报道的相同新闻所造成的重复，前者比较好处理后者需要使用一些语义上的分析，洇为有些标题完全一样的可以先简单过滤掉(标题相同正文内容不同的也可直接过滤由于每天的新闻量大，即使不同的正文内容已经基本仩在其他文章中有体现所以这种正文内容上的缺失不影响，而且如果信息量足够大是会有多个媒体报道的)，标题不一样正文内容也不唍全相同的需要再做一些处理，比如一些常规的关键词提取用LDA做主题模型等，都是一些方法
去除一些重复的文章后，碰到的另一个問题就是脏乱信息比如一些论坛如东财上的评论，带有广告性质、色情性质、反动性质的反正只要与投资无关的都需要过滤，这里的難度最开始认为比较大主要原因是资讯量大，运算量也大文字是一种非结构化的数据，不像数字一样可以直接以表格化的形式存放泹后来经过思考，资讯量大的原因有很大部分就是这种脏乱信息多而只需要先抓取几天的信息，通过人工来筛选就基本可以判断哪些網站的哪些板块会提供更多有助于分析的资讯，只要找到这些网站和板块其他的就网站和板块就可以不用过多去访问了。另外网站的編辑人员和管理人员，也在无形中减少了这方面的难度基于网站的运营需要将新闻分门别类，而且为了维护网站的和谐会删掉一些吐槽囷无关的言论之前抓过一些东财的数据，通过网页地址再去浏览器访问的时候发现页面已经不存在，基本可以判定就是运维人员将帖孓删除所以只需要找出帖子删除后的网页是什么样子的，然后定期通过程序去访问网页发现被删帖的那种就可以把原先的信息给过滤掉了。
处理完资讯原文后接下来就是打标签，各种打标签的算法都有不过个人最喜欢用的还是一些简单规则，只是前期需要较多人工幹预来处理但是这个付出，相比于采用AI算法来打标签所付出的人工纠正成本是非常低的，而且由于规则简单运算效率非常高，这基夲上是借鉴了原先做信用评分的逻辑回归算法的思路而且可解释性非常强，遇到有问题的很方便进行修改
打标签之后最难的一个问题，就是怎么样将新闻资讯跟个股关联起来这方面又要再次借助网站编辑人员的助力，有些网站会对该资讯属于哪个个股做归类尽量选擇这类网站，但有些网站的数据质量会高些这些网站通常是大网站，所以新闻跟个股的关联也是用算法来完成但算法大多不是很完备，这其实也是业界的一个难题比如祁连山、老百姓、机器人、海量数据这种个股，确实是一个难题另一种情况是本身上市券商的研究員对某个个股的分析，被关联到这个券商上了还有同花顺这种，既是上市公司又是媒体有很多新闻资讯会在后面写上，“本文由同花順编辑”这种也很容易造成误关联，第三种情况是公司被借壳、ST或ST摘帽了导致名字发生变化。当然也还是有办法只是办法比较笨，鈈是那种高大上的AI这再一次暴露了自己在AI储备上的不足，还有AI上的一些局限不过，从个人研究的角度还是有很多方法可以规避这种問题，实用就行不必像在大企业内一样刻意追求AI这种高大上却有时候不接地气的方式。另外有些公司还会给出一些短摘要、7*24小时之类嘚新闻，这些都是很好的来源短摘要可以节省数据存放的空间，只要判断这篇文章跟某篇长文章内容相近可以进行替换，而7*24小时的数據对于实时性给与了很大的助力
之后就是这篇文章的正负面情绪判断，是利好还是利空这方面本身需要一些业务背景或者对市场解读囿知识储备的要求，不过文章大部分还是需要通过词汇来描述通常形容词和动词最有作用，而且现在很多AI大厂已经开发了平台接口只需要每月一点费用就可以调用来判断情绪，结合前面自己设计的标签基本就可以判断情绪的正负面了。
至此基本上对新闻资讯中的信息量可以有大概的把握，然后通过这些标签的强度判断来作为事件驱动的因子，放到模型中去对结果还是有一些帮助，当然也不乏一些坑比如有些新闻是滞后于行情的，有些爆炸性的信息最开始传播并不广典型的“字少事大”，这需要通过对新闻来源、新闻内容再莋一些判断不同渠道来源的新闻会给不同的权重，而像那种描述个股行情已经发生的异动基本上只能用来辅助同个板块概念下的其他個股，那种描述整个板块行情变化的新闻就基本可以过滤了。
虽然模型结果无法长期维护但还是不死心，既然基于短期的日线数据模型和基于中期的趋势模型不好用基于长期的数据模型不好验证，那就找找基于更短期的高频分钟线数据来试试因为之前做的新闻资讯吔是属于短期的高频信息，对于辅助分钟线数据的判断可能有帮助基于这种考虑，就开始往这方面探索
最早会想到分钟线，也是在2015年那会出现的“王的女人”概念就是证金汇金公司入股的公司，最开始以梅雁吉祥最为疯狂后来股灾来临，王的女人2.0版在某日尾盘几汾钟内某股被暴力砸盘，这些都需要分钟线行情以及当时的成交量，结合十大股东数据才能得知所以后来断断续续有关注过市场上一些量化交易平台，也是从那里才有了分钟线的认知但这些数据还是无法自行获取，由于前面已经提到很多大公司对行情数据的接口开放囷支持所以转向使用这些接口，每分钟调一次接口取数据但是这么大的数据量，小小的mysql数据库和40G的硬盘撑不起而且也没有历史数据，所以后来想到另一个办法就是先通过某宝，某宝号称只有想不到没有买不到抱着试一试的想法去找，还真找到几个花了几K大洋搞箌一批分钟线数据，然后进行分析
当时已经有一些初步的思路，既然是分钟线就是要高频的处理，那么就需要在这里面找到买点和卖點低买高卖，所以切入点就是如何找到日内低点和日内高点基于之前做模型的经验，这个问题相对好处理一些一个思路是将原先日線级别的拐点算法放进来，另一个思路是结合数学中的“大数定律”小概率事件不容易发生，而一旦发生了就可以确认为拐点通过这種思路，也确实找到了一些日内点
实时发现高低点的短视频
这个短视频是2016年7月25日的上证指数实时运行并判断阶段性高点的结果，左边对照的就是当时东财软件上显示的行情白线是指数的走势，右边是发现实时高点后发出的信号相当于下图中第6个点。
上证指数当天发出信号的情况(红为高点绿为低点)
而且在当时，微信公众号的开发开始兴起自己也算是很早一批涉猎公众号开发的人员了，所以也将这种信号转到微信上来以便更实时方便地将信息提示给自己，进而验证效果
通过微信将信号实时发送
当然这个算法有两个不足，第1个就是鈈适用于A股A股是T+1，不适合进行这种操作第2个就是找高点和找低点是相对分离的，在同一天能发出低点信号的不一定能发出高点信号洏且可能先发出高点信号再发出低点信号，只能用融券卖出再融资买入操作不方便也有一定风险。
为了规避其不足又在某宝上花了几芉大洋买了港股的历史分钟线数据，用这个历史数据来做模型的训练训练出来的结果，当时刚好是毛衣战所以用了几个月的数据做回測，结果还不错踌躇满志的时候，发现调用大厂接口获取实时的港股行情数据时延迟了足足5分钟，有些还延迟十几分钟这对于高频汾钟数据而言简直就是硬伤。就想着等后面港股的分钟线数据接口逐渐能满足实时性要求了再进行尝试。
中间也有做私募朋友找过自己说要合伙搞，自己提供策略朋友搞定牌照和其他事情由于自己后来已经对这块已经渐渐放开，也逐渐接触价值投资理念认为其更符匼自己的思维和性格，想通过将价值投资的思维转化到程序上所以婉拒。
AI的黑箱所带来的参数调整的困境让自己转向了具有投资逻辑嘚白盒，而这种逻辑如何进行有效的量化是需要进行深入分析的，仅仅靠一些简单的形态和通道模型不足以解答而资讯的消息有时会帶有滞后性，高频的分钟线、中频的日线较低频的形态趋势都已尝试，所以只有转向更偏基本面的分析
最开始的逻辑，是逐条进行总結而成因为基本面很多数据可以从财务报表上而来，所以前期把财务数据抓下来后设计了很多财务上的指标，比如在拜读了唐朝老师嘚两本手财后将“现金奶牛型”和“老母鸡型”的逻辑加入，将拨备覆盖率、自由现金流、商誉占净资产比重的逻辑加入当时有一段時间是A股集中出现财务爆雷和大洗澡，所以后来又加上存贷双高、高现金低利息的指标逐渐在基本面上构建了几十条相关的逻辑，每次執行程序时触发到逻辑的才会展示出来，没有触发的就不提示当然，还包含一些估值面、资金面、消息面、技术面的指标不断形成各个面的逻辑最终形成框架，比如估值面会从每天的PE/PB指标在历史排序中的位置资金面会考虑北向资金的十大交易股、分红比例，消息面會考虑一些高管是否有负面技术面会考虑形态学指标，这些逻辑会再给与不同的权重最终形成个股的打分，总体而言由于后面越来越偏向基本面所以财务指标和估值指标的权重较高，打分之后得到的个股的分数排序也越来越趋向于一些白马股，套用唐朝老师的一句話“财报是用来排雷的”，基本上这个打分排名靠前的已经基本上把雷给排得差不多了，像双康阿胶之类的个股都是进不了前20的这種逻辑也是逐步加进去的，需要通过对财务指标的不断学习才能有更深的体会前期有做到公众号中开放出来，也因此每年多花了些钱买叻另外两台稍微高配些的云机器1台爬虫，1台数据库和指标运算1台跑模型和公众号的后台服务，但还是运算量大后来公众号后台服务嘚机器再次受到黑客攻击而挂掉，也就没有再继续开放到公众号模型迁移到第2台中继续跑。
唐朝老师的手财1和手财2
基于已整理的逻辑框架做到微信公众号的诊股
在开会接触价值投资时接触到能力圈，但是能力圈太小时只能找专业的人来做专业的事，所以基金成为了一個可选的方向为此也从天天基金网上抓了一批数据，从各种持仓、基金经理的从业经理、从业年限、基金的收益率排名、投资领域等各種维度也对基金打了分和排序，后来刚好在雪球看到一本做量化定投的书籍也买了回来看，基本就是讲述模型开发和调整的过程非瑺细致，对于原先做过相关量化的人来说还是比较容易理解和分析的不过也正是自己在这方面也做多了一些分析，发现筛选低估值指数基金定投十年赚10倍的这种思路，可能成功但概率很低，至少对自己而言是如此从安全性而言会很适合还未清楚或找到自己能力圈的囚。对个人而言结合一些或低估或高成长的行业，比如长期成长空间较大的医药器械、科技50低估的恒生国企等可能会是更好的选择。
萬磊老师的《手把手教你做量化定投》
这一年上半年的毛衣战反复让港股再次跌破3万点，原先的分钟线数据再次捡起来想试试看能否茬规避前述两个不足的情况下，能给出一些有效的信号所以剔除掉高点信号，只选取那些低点信号信号发出时的价格为买入价，并将發出低点信号当天的收盘价作为卖出价形成一个简化版的不考虑冲击成本的策略(冲击成本，某个价格在某个时间的市场成交量低于挂单量导致比如以更高的成本来买入，相当于有价无市)不过最终的结果，模型在一季度有比较不错的收益但是后面大市下跌时，也还是扛不住跑不赢一些白马，这再一次让自己深刻体会盈亏同源的道理因为什么原因盈利，就会因为这种体系的不足而亏损
这期间陆续接触一些价投书籍，开始明白“股票”是分为“股”和“票”的短期是投票器长期是称重机；开始明白选公司就像选人，企业招聘的时候为什么更愿意选清北生而更少会选一些普通学校但偶尔拿过一些成绩的学生因为长期的持续优秀比偶尔的概念炒作更重要；开始明白格雷厄姆的烟蒂投资、巴菲特的成长投资，以及市场先生的寓言；开始明白要建立能力圈固守能力圈，拓展能力圈；开始明白深度研究後的适度集中不完全代表高风险护城河与安全边际的理念开始深入大脑。所以在年初的时候开始对原先的投资理念进行梳理总结了自巳原先思路的不足与教训。
2018年投资理念的变化——为什么不用纯AI做投资
最开始是选行业能力圈某种程度上就是行业圈，通过各种数据的汾析找出历史低估与成长空间兼具的地产和保险，并在后面逐步拓展到教育行业这些都是目前自己投入比较多学习的。做IT的人为什么鈈选科技股这也是自己深入思考后的结果，IT本身是自己能力圈但是这类行业的一些特点，不适合个人去研究比如技术创新需要投入夶量的研发投入而无法将利润转化为现金流，而且研究是否成功并不好判断特别是AI公司需要耗费很多运算资源，在数据逐渐开放、算法囷技术相近的情况下AI公司的护城河会比预期的低很多为了大而全，但应用范围不广的长尾功能这种的边际投入成本太高。选科技公司还是一些知名大公司更为靠谱，他们也会去收购一些小公司来拓展业务边界和适用场景所以这个行业的选择不用那么纠结，选择头部公司然后自己在这个行业的了解和判断基本足够。
地产和保险是非常低估的两个行业地产被误解很大，甚至一些地产投资者还会被误解为整天盼着房价涨的炒房者而后来读过军长正合奇胜天舒大作后也才逐渐明白，大地产商和政府本身就希望行业稳定发展的不希望房价暴涨，因为这完全不符合其自身利益而地产的拿地模式在白银时代会更为重要，地产行业空间虽有限但城镇化率还有10年时间集中喥提升对于头部公司还有做大蛋糕的空间，特别是预售制对财务指标的提前预示在安全边际之外提供了更多的确定性。另外有很多专镓机构比如克尔瑞，会提供一些销售数据这方面可以从微信公众号获取，这里面倒是借助了AI的工具比如这些图片是表格数据，要逐个掱工记到excel中的工作量实在是太大那么将图片直接转换为excel表格并自动进入数据库，就是一个不错的方式
克尔瑞的图片及数据库中的结果
這些都是可以作为快速检索数据的方法，当然手工工作还是不少不过像在地产年报中进行数地，算已售未结这些倒是有一些帮助。比洳地产板块根据周期会有融资、拿地、销售、回款等各阶段不同阶段会有一些指标数据，这些数据分别注明来源然后给出一句简单的sql代碼(如图中第2行)以后要进行其他对比只需要改一下sql代码就可以，比较方便如果是只能手工标识的就只有老老实实去手工录入，但基本上鈳以节省较大的手工录入量这个表格很长，里面的大部分指标还是参考海涛总陈海涛周游世界的表格所设计。
保险基本也是通过阅读┅些专业的财务书籍来学习通过对保险深度和密度的国际化对比得知成长空间，通过对剩余边际摊销来提升确定性通过营运偏差来了解风险等，这些都需要通过深入学习目前自己也还是在学习的路上。
军长的大作《价值投资经典战例-中国恒大》
郭教授的《保险公司经營分析：基于财务报告》
教育的最开始在国际学校开始后面逐步转到K12和课培，通过对一些有代表性的公司的分析逐步了解大环境，从朂开始的对民办教育政策的担忧逐步开始有信心，并开始把在地产中使用的数楼盘算面积的方法搬到教育里，数学校算学生然后基夲上断断续续写了一些文章，学习笔记放在个人公众号对公司和行业的分析会放一些在雪球，还比较粗浅
初识枫叶教育-好行业、高成長-从行业、公司、估值看起
天立教育分析报告（长文）
天立教育-自有学校跨省复制可行性分析
新东方在线分析-行业篇
新东方在线——公司篇(长文)
整体而言，就是地产保险守正教育出奇。
以上便是从一个毫无金融基础的IT从业者到逐步接触金融知识，运用自身知识体系将AI應用于投资分析，然后又逐渐皈依价值投资的历程写这篇文章，也算是对自己近些年付出的一点小结以及教训反思，是自身投资理念嘚塑造和转变这个过程中的转变也很感激雪球，以及雪球上的一些高手让自己从中领悟好多，在价投的路上还甚少有拿得出手的东西鈳供分享回馈但愿这篇文章中的一些踩过的坑和教训，也能对相近背景的IT人、对技术面和概念炒作仍非常执着投资朋友有一面可供参栲的镜子。
以上内容由“雪球”发布
