如何自己做一个自定义热榜？python爬取各大主流网站的热榜数据

1.起因

一为赠送的热榜api到期了，续费一年要98。。还是太贵了，于是萌生了自己动手写一个接口出来的想法。现在接口已经写完，本着独乐乐不如众乐乐的理念，打算做一个教程，也算是记录一下我是如何一步步实现这个功能的。下面就让我们开始吧

2.准备阶段

使用的语言：python的Flask框架

运维工具：宝塔面板

数据库：mysql

我们需要导入两个模块requests、BeautifulSoup

import requests
from bs4 import BeautifulSoup

 

3.尝试爬取知乎的热榜信息

知乎热榜的网址为https://www.zhihu.com/hot，首先我们用浏览器打开这个网址，然后按F12打开调试工具。

这里我们一共需要两个信息，一个是访问这个网址的Cookie，另一个就是User-Agent

在调试工具里查看这两个信息，cookie大家用自己的就行了，这里我打码了

把这两个关键信息复制到代码中