# cookie_test

**Repository Path**: plasticine9750/cookie_test

## Basic Information

- **Project Name**: cookie_test
- **Description**: selenium+mitmproxy爬取网站的cookie
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2021-04-01
- **Last Updated**: 2022-03-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# mitmproxy + selenium实现抓取网站的cookies



# 环境配置



## 创建&激活虚拟环境

- 首先在python3真实环境下安装virtualenv

    ```
    pip3 install virtualenv
    ```

- 然后在终端创建虚拟环境并激活虚拟环境

    ```
    virtualenv <虚拟环境名>
    ```

    ```
    cd 虚拟环境名/Scripts/
    ./activate
    ```

- 命令行前面有(虚拟环境名)则代表已激活

    <img src=".\assets\image-20210401232337899.png" alt="image-20210401232337899" style="zoom: 67%;" />

- 切换到项目根目录，安装requirements.txt中的python模块(要在激活了虚拟环境的情况下安装！)

    ```
    cd <requirements.txt所在目录>
    pip3 install -r requirements.txt
    ```

- 可输入`pip3 list`查看是否安装成功

    ![image-20210401232927833](.\assets\image-20210401232927833.png)

    

## mitmproxy配置

> 官网安装教程

```
https://docs.mitmproxy.org/stable/overview-installation/
```

- 安装好后可以在命令行中输入mitmweb看看抓包工具是否可以正常运行，若不能请检查环境变量

- 可以正常运行后则开始安装抓包工具的证书

    ```
    https://docs.mitmproxy.org/stable/concepts-certificates/
    ```

    

# 数据库表设计

> 网站cookie表：

| ID   | 网站的域名     | cookie的key | cookie的value |
| ---- | -------------- | ----------- | ------------- |
| 1    | www.baidu.com  | BAIDUID     | 123           |
| 2    | www.baidu.com  | BDUID       | 456           |
| 3    | www.taobao.com | sca         | 789           |



# 使用

> 运行utils中的initDatabase.py初始化数据库和表

- 这里为了使用方便采用了sqlite3数据库，若想用其他数据库如mysql、oracle的可以自行更换

> 在激活虚拟环境的情况下切换到项目根目录执行下面的命令运行抓包工具

```
mitmweb -s addons.py
```

> 新开一个终端，同样是在激活虚拟环境的情况下运行seleniumDriver.py脚本即可完成cookie的抓取

- 默认是抓取百度的cookie，若要抓取其他网站可修改`seleniumDriver.py`的url即可

- 爬取的cookie数据保存在项目根目录的cookie.db数据库文件中，使用SQLiteStudio打开数据库即可查看数据



# 最终效果

![image-20210401234819346](.\assets\image-20210401234819346.png)