尝试理解强化学习

强化学习就是评价学习，这个和深度学习有啥区别？

我个人理解就是深度学习需要对一个一组特征设置标签， 然后反复训练模型，是这个模型尽量接近  一坨特征数据等于标签。

而强化学习是对一坨特征，模型刚开始不知道标签是具体是啥，随便输出一个值y就行，然后我们实现一个奖励函数，对这个输出值打一个分， 分数越高，说明这个随便输出的值可以认为是临时的标签数据。 相当于在训练过程中动态设置标签数据。

也就是说强化学习核心是需要一个打分系统，不需要预先设置标签。 

深度学习模型刚开始可以认为是随机生成一个值的，然后这个值和标签进行比较，这个值越小表示模型越好

强化学习模型刚开始可以认为是随机生成一个值的，然后对这个值进行打分， 这个分值越大表示模型越好。 

 

===============================

深度学习应用在买基金上：

比如给前30天的涨幅作为特征，今天的涨幅作为标签。 让模型去训练，训练好后去预测每日涨幅。

这里预测的准不准，其实和特征有很大关系，光涨幅这维度的特征去训练，计算训练完也很难达到好的预测效果， 因为基金涨幅的影响因素太多了

 

强化学习应用在买基金上：

首先得设计一个基金交易环境， 这个环境的输出是近30天的涨幅。输入是买入，卖出，观望。假定本金1万， 打分系统就设计成收益率

然后给前30天的涨幅作为特征， 输出值定义域y[-1, 0, 1],    0表示观望， 

我们人为的可以设计一个输出值y的含义：

y>0 表示买入， y=0.2    表示买入2000.     

y=0. 表示观望，不买也不卖

y<0 表示卖出， y=-0.5  表示卖出持有份额的一半。

在买基金的问题上，强化学习和深度学习是一样的，都不太准确，好处就是比较理性。还有一个缺点训练数据集太小，因为一支基金10年才2500条左右的数据。

很简单的例子，一个疫情的出现，会让医疗相关基金保障，而人工智能预测不了疫情会出现。 

但是这并不意味这个不能应用在买基金这件事上， 因为它会有一个策略， 什么时候止盈， 什么时候买入，什么时候加仓。这个策略不是简单的定投。

 

强化学习应用在游戏上

强化学习在非常擅长应用在游戏领域，因为游戏本身就是环境， 游戏画面就是输出， 基本上所有的游戏基本都有一个分数或者胜利的东西，即打分系统。

比如说玩消灭星星

消灭星星游戏本身就是一个环境，这个环境的输入就是点击位置， 输出就是游戏画面。 消灭的分数就是打分系统。

gym 里有很多基于物理引擎的游戏， 非常适合来练手，学习。