首先准备环境模块

环境使用

• Python   3.8或以上版本即可

• Pycharm 任意版本

模块使用

import requests 

以上三个模块都需要安装，直接pip install 加上模块名安装即可。

爬虫基本流程

一. 数据来源分析

1. 明确需求: 明确采集的网站以及数据内容
   – 网址: https://weibo.com/2803301701/NxcPMvW2l
   – 数据: 评论内容

2. 抓包分析: 通过开发者工具进行抓包
   – 打开开发者工具: F12
   – 刷新网页
   – 通过关键字查找对应的数据
   关键字: 评论的内容
   数据包地址: https://weibo.com/ajax/statuses/buildComments?is\_reload=1&id=4979141627611265&is\_show\_bulletin=2&is\_mix=0&count=10&uid=2803301701&fetch\_level=0&locale=zh-CN

二. 代码实现步骤

1. 发送请求 -> 模拟浏览器对于url地址发送请求

2. 获取数据 -> 获取服务器返回响应数据

3. 解析数据 -> 提取评论内容

4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)

代码展示

数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求

# 模拟浏览器

2、获取数据 -> 获取服务器返回响应数据

json_data = response.json()

3、解析数据 -> 提取评论内容

# 提取评论所在列表

4、保存数据

保存文本

with open('data.txt', mode='a', encoding='utf-8') as f:

保存表格

    with open('data.txt', mode='a', encoding='utf-8') as f: