上市公司股票价格（达安基因股吧）
2023-12-25 16:40:46 来源：倾延资
项目地址：github/wangshub/RL-Stock
初衷最近一段时间，遭到新冠疫情的影响，股市接连跌落，作为一棵小白菜兼小韭菜，居然产生了抄底的斗胆主意，拿出仅存的一点私房钱梭哈了一把。
第二天，暴降，俺加仓
第三天，又跌，俺加仓
第三天，又跌，俺又加仓...
一番过错操作后，成果不忍目睹，第一次买股票就被股市一段毒打，遭到了媳妇无情的嘲讽。痛定思痛，俺决议换一个思路：如何用深度强化学习来主动模仿炒股？试验验证一下能否取得收益。
监督学习与强化学习的差异监督学习（如LSTM）能够依据各种历史数据来猜测未来的股票的价格，判别股票是涨仍是跌，帮助人做决议计划。
而强化学习是机器学习的另一个分支，在决议计划的时分采纳适宜的举动(Action)使终究的奖赏最大化。与监督学习猜测未来的数值不同，强化学习依据输入的状况（如当日开盘价、收盘价等），输出系列动作（例如：买进、持有、卖出），使得终究的收益最大化，完成主动买卖。
OpenAIGym股票买卖环境观测Observation
战略网络观测的便是一只股票的各项参数，比方开盘价、收盘价、成交数量等。部分数值会是一个很大的数值，比方成交金额或许成交量，有或许百万、千万甚至更大，为了练习时网络收敛，观测的状况数据输入时，必需要进行归一化，变换到[-1,1]的区间内。
动作Action
假定买卖共有买入、卖出和坚持3种操作，界说动作(action)为长度为2的数组
action[0]为操作类型；action[1]表明买入或卖出百分比；留意，当动作类型action[0]=3时，表明不买也不兜售股票，此刻action[1]的值无实际意义，网络在练习过程中，Agent会渐渐学习到这一信息。
奖赏Reward
奖赏函数的规划，对强化学习的方针至关重要。在股票买卖的环境下，最应该关怀的便是当时的盈余状况，故用当时的赢利作为奖赏函数。即当时本金+股票价值-初始本金=赢利。
#profits\nreward=self.net_worth-INITIAL_ACCOUNT_BALANCE\nreward=1ifreward>0elsereward=-100
为了使网络更快学习到盈余的战略，当赢利为负值时，给予网络一个较大的赏罚(-100)。
战略梯度
由于动作输出的数值是接连，因而运用根据战略梯度的优化算法，其间比较闻名的是PPO算法，OpenAI和许多文献已把PPO作为强化学习研讨中首选的算法。PPO优化算法Python完成参阅stable-baselines。
模仿试验环境装置
#虚拟环境
virtualenv-ppython3.6venv\nsource./venv/bin/activate\n#装置库依靠\npipinstall-rrequirements.txt
股票数据获取
股票证券数据集来自于baostock，一个免费、开源的证券数据渠道，供给PythonAPI。
>>pipinstallbaostock-ipypi.tuna.tsinghua.edu/simple/--trusted-hostpypi.tuna.tsinghua.edu
数据获取代码参阅get_stock_data.py
>>pythonget_stock_data.py
将过去20多年的股票数据区分为练习集，和结尾1个月数据作为测验集，来验证强化学习战略的有效性。区分如下
验证成果
单只股票
初始本金10000股票代码：sh.600036(招商银行)练习集：stockdata/train/sh.600036.招商银行.csv测验集：stockdata/test/sh.600036.招商银行.csv模仿操作20天，终究盈余约400多只股票
选取1002只股票，进行练习，合计盈余：44.5%不亏不赚：46.5%亏本：9.0%终究股票Gym环境首要参阅Stock-Trading-Environment，对观测状况、奖赏函数和练习集做了修正。
俺完全是股票没入门的新手，不免存在过错，欢迎纠正！
数据和办法皆来源于网络，无法确保有效性，JustForFun！
books参阅资料
Y.Deng,F.Bao,Y.Kong,Z.RenandQ.Dai,"DeepDirectReinforcementLearningforFinancialSignalRepresentationandTrading,"inIEEETransactionsonNeuralNetworksandLearningSystems,vol.28,no.3,pp.653-664,March2017.YuqinDai,ChrisWang,IrisWang,YilunXu,"ReinforcementLearningforFXtrading"（stanford.edu/class/msande448/2019/Final_reports/gr2.pdf）ChienYiHuang.Financialtradingasagame:Adeepreinforcementlearningapproach.arXivpreprintarXiv:1807.02787,2018.Createcustomgymenvironmentsfromscratch—Astockmarketexample（towardsdatascience/creating-a-custom-openai-gym-environment-for-stock-trading-be532be3910e）notadamking/Stock-Trading-Environment（github/notadamking/Stock-Trading-Environment）WelcometoStableBaselinesdocs!-RLBaselinesMadeEasy（stable-baselines.readthedocs.io/en/master）“走马消息,分享精选全球有价值的财经新闻”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题，请与
我们联系删除或处理，客服邮箱，稿件内容仅为传递更多信息之目的，不代表本网观点，亦不代表本网站赞同
其观点或证实其内容的真实性。
- 声音提醒
- 60秒后自动更新
中国8月CPI年率2.3%，预期2.1%，前值2.1%。中国8月PPI年率4.1%，预期4.0%，前值4.6%。
08:00【统计局解读8月CPI：主要受食品价格上涨较多影响】从环比看，CPI上涨0.7%，涨幅比上月扩大0.4个百分点，主要受食品价格上涨较多影响。食品价格上涨2.4%，涨幅比上月扩大2.3个百分点，影响CPI上涨约0.46个百分点。从同比看，CPI上涨2.3%，涨幅比上月扩大0.2个百分点。1-8月平均，CPI上涨2.0%，与1-7月平均涨幅相同，表现出稳定态势。
08:00【 统计局：从调查的40个行业大类看，8月价格上涨的有30个 】统计局：从环比看，PPI上涨0.4%，涨幅比上月扩大0.3个百分点。生产资料价格上涨0.5%，涨幅比上月扩大0.4个百分点；生活资料价格上涨0.3%，扩大0.1个百分点。从调查的40个行业大类看，价格上涨的有30个，持平的有4个，下降的有6个。 在主要行业中，涨幅扩大的有黑色金属冶炼和压延加工业，上涨2.1%，比上月扩大1.6个百分点；石油、煤炭及其他燃料加工业，上涨1.7%，扩大0.8个百分点。化学原料和化学制品制造业价格由降转升，上涨0.6%。
08:00【日本经济已重回增长轨道】日本政府公布的数据显示，第二季度经济扩张速度明显快于最初估值，因企业在劳动力严重短缺的情况下支出超预期。第二季度日本经济折合成年率增长3.0%，高于1.9%的初步估计。经济数据证实，该全球第三大经济体已重回增长轨道。（华尔街日报）
08:00工信部：1-7月我国规模以上互联网和相关服务企业完成业务收入4965亿元，同比增长25.9%。
08:00【华泰宏观：通胀短期快速上行风险因素主要在猪价】华泰宏观李超团队点评8月通胀数据称，今年二、三季度全国部分地区的异常天气（霜冻、降雨等）因素触发了粮食、鲜菜和鲜果价格的波动预期，但这些因素对整体通胀影响有限，未来重点关注的通胀风险因素仍然是猪价和油价，短期尤其需要关注生猪疫情的传播情况。中性预测下半年通胀高点可能在+2.5%附近，年底前有望从高点小幅回落。
08:00【中国信通院：8月国内市场手机出货量同比环比均下降】中国信通院公布数据显示：2018年8月，国内手机市场出货量3259.5万部，同比下降20.9%，环比下降11.8%，其中智能手机出货量为3044.8万部，同比下降 17.4%； 2018年1-8月，国内手机市场出货量2.66亿部，同比下降17.7%。
08:00土耳其第二季度经济同比增长5.2%。
08:00乘联会：中国8月份广义乘用车零售销量176万辆，同比减少7.4%。
08:00央行连续第十四个交易日不开展逆回购操作，今日无逆回购到期。
08:00【黑田东彦：日本央行需要维持宽松政策一段时间】日本央行已经做出调整，以灵活地解决副作用和长期收益率的变化。央行在7月政策会议的决定中明确承诺将利率在更长时间内维持在低水平。（日本静冈新闻）
08:00澳洲联储助理主席Bullock：广泛的家庭财务压力并非迫在眉睫，只有少数借贷者发现难以偿还本金和利息贷款。大部分家庭能够偿还债务。
08:00【 美联储罗森格伦：9月很可能加息 】美联储罗森格伦：经济表现强劲，未来或需采取“温和紧缩”的政策。美联储若调高对中性利率的预估，从而调升对利率路径的预估，并不会感到意外。
08:00美联储罗森格伦：经济表现强劲，未来或需采取“温和紧缩”的政策。美联储若调高对中性利率的预估，从而调升对利率路径的预估，并不会感到意外。
08:00美联储罗森格伦：鉴于经济表现强劲，未来或需采取“温和紧缩的”政策。
08:00
