前39篇你已经能让程序上网拿数据了,但至今走的都是”官方点餐窗口”(API)。可世上不是每家网站都开窗口——窗口不开的时候,就得自己看懂网页的骨架,才谈得上从里面取东西。今天不写爬虫、不装任何新库,只干一件事:像”看懂房间布局”一样看懂网页的结构——标签、层级、class 和 id。骨架看懂了,下一篇的爬虫就是顺手的事。
一、从”我想把这张表搬下来”说起
上一篇的天气工具做完,你大概正得意:程序能自己上网了!然后你遇到这么一件事——
你们单位的公告栏网页上挂着一张排班表,领导说:”把这张表整理成 Excel 存档,每周一次。”你心想:这不就是上一篇的活儿吗?发请求、拿数据、存文件。于是你打开那个网页,右键”查看网页源代码”,准备找那个”官方点餐窗口”(API)——
没有窗口。人家网站压根没提供 API。