只要4秒钟!用Python 获取上证指数34年的历史日线数据!

本文介绍了如何使用Python在腾讯财经网站上快速爬取上证指数的历史日线数据,只需4秒钟即可获取34年的全部数据。通过分析网站请求,找到关键URL,构建简单的Python代码实现数据抓取。文章还提到,其他股票的历史数据也可类似方法获取,并提及作者的量化投资小册,提供更详细的教程和代码。

大家好,我是菜哥,这是我们量化系列教程的内容,如果已经订阅了我们小册的同学,可以不用看了。

我的小册:(小白零基础用Python量化股票分析小册) ,原价199,限时特价39,满100人涨10元。

做量化就是要研究数据,数据是量化的基石,没有数据就好比巧媳妇无米之炊,市场有很多第三方的工具获取,但是都是要钱,如何才能不花钱直接拿到某一支股票的历史的所有数据呢,而且很快。最近发现腾讯的财经网站可以获取,比如上证指数只要4秒钟就可以获取34年的历史数据,还是非常爽的。

我们看一下效果,下面是上涨指数的历史数据,一共有8079个交易日的数据

3226af8321b827a0d13537b07ed6c5e9.png

下面给大家讲一下,我是如何爬取这个数据的!首先打开腾讯证券首页,然后选一个股票,比如我们这里选择00001 上证指数来看一下行情,这里有分时,日线,周k,月k ,以及分钟级别的数据。

cc6176ade0fbf94ee8fb8d3beed8564c.png

接着我们点击日k数据,因为我们主要是研究日线级别的行情,然后用chrome浏览器打开查看,进行网站内容的深入分析,我们对里面的请求进行一一分析,找到关键的url 请求,最后被我发现了,原来是在这里:

26f59db220d6f5cda798b77db8b7aed2.png

上面的红色框就是关键的url 请求,它会拿到所有的历史的日线级别的数据,我们看一下它的payload请求结果就知道了。

78b1e33b2c93cf8239f3eaaa3d1a18ea.png

可以看到这里列出了很多日期,里面都是日线级别的K线数据,我们点进去看一下

fecf1c32fa7a8196efca764be736cb58.png

这些其实就是对应我们的 股票k线里面的  '交易日期', '开盘价', '收盘价', '最高价', '最低价', '成交量', '成交额' 这些关键的值。分析完毕之后,我们只要构建一个简单的python代码就能轻松获取数据。

f776a4a035f8514ba646dc4b06524ee0.png

我们通过urlopen去简单的爬取这个网页上的k线数据,然后把这个content喂给一个handle_content去数据清洗一下,就可以得到这个df。

6c6df50ae0c7c67355407029b44bfeb7.png

上面是2023年的数据,获取100根,以此类推,我们可以获取200,300根数据,然后循环爬取1990-2024每一个年份的数据就可以搞定所有的数据,然后把每一年的数据拼接起来就是整个的数据了。

其他的股票数据也是类似的,比如茅台的20几年历史数据也是分分钟就可以获取了。

9c917e06aa2c252a551fa1327f0d8bc7.png

拿到数据之后,我们可以分分钟画出k线图来(具体怎么画,我们的量化小册都有详细的介绍)

571cb2a526f7c4ca9f86fb9fa1cc7db1.png

上图显示茅台的日线历史数据从1990年到2024年。如果想看某一段时间的也可以通过x轴放大功能来看一下,比如我们看一年的数据:

237a10660af84715c8bb4c6589982e38.png

这个是近1年的k线数据,跟券商软件上的k线都是一样的,限于篇幅就不具体展开了,有兴趣的可以自己研究一下。

我们小册里面会有完整的代码和详细的教程,目前已经写了37章了,有兴趣的也可以加入我们(详细wx:coder_v5) 务必备注来意。

另外今晚还有一个福利抽奖(包邮送书3本,都是精品好书!),有兴趣的赶紧来

1c9967f57fcc7b5786e26958fad790d1.jpeg

最后推荐一下我们团队写的量化小册的内容,38篇内容!从Python安装,入门,数据分析,爬取股票基金的历史+实时数据,以及如何写一个简单量化策略,策略回测,如何看资金曲线统统都有介绍!非常超值!

欢迎订阅:原价199 早鸟价39(满100人涨10元)。现在的价格非常非常低,只要2杯奶茶,就可以终身订阅+全套课程源码,还有永久陪伴群。48小时无理由退款,放心食用!

9d8421125227ea11796592b38d07fc42.png

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径

干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影

趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!

AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影

小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值