之前有一些机器学习相关的概念基础但从未实践过,看的知识也不系统这次刚好工作中有应用需求,就以NLP的文本分类为切入点进行相关知识的学习和模型实践。
研究了两周完成文本预处理、word embedding、TextCnn模型训练、API封装等代码工作,模型效果调优、验证中计划以笔记的形式记录几篇博客。
首篇主要是个人對NLP及文本分类的理解、一些基础知识的学习及参考资料记录下一篇计划关于TextCnn算法学习和代码实践等。
卷积运算(一个卷积核只能提取一種特征);
参数共享(模型中不同模块共享同一套参数);
等变表示(平移变换不影响结果即一部分特征换了一个位置,识别结果应该昰一致的对于图片,一只猫在图片中的任何位置都是一只猫)
一维卷积主要用于NLP、序列模型等;二维用于计算视觉、图片处理;三维用於医学影像、视频处理等
池化:数据降维采样,分为均值池化(窗口内平均)、最大池化(窗口内最大值)等
这个是实践的算法,再後续篇幅还会展开说其它的几类算法感兴趣的自己扩展学习把,Bert是这两年比较火的
适用于输出长度不确定的情况。例如翻译、人机对話等场景
也是encoder-decoder的编解码结构。它使用cnn或者rnn作为子结构训练出来的模型结构
得到那种特别深,好几十层的神经网络用来学习那种高阶特征。
位置编码是transformer中应用的一种编码形式能将语句中的词语的位置信息编码进去。
1. 知乎大神们对于NLP入门的解答其中文本分类部分的值嘚详读。
2. 复旦大学NLP实验室的入门课程任务: