# JsSpider

**Repository Path**: hejinjin/JsSpider

## Basic Information

- **Project Name**: JsSpider
- **Description**: 简书爬虫，分类爬取内容
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2017-11-23
- **Last Updated**: 2022-06-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# JsSpider

- 简书爬虫，分类爬取内容
- 暂不使用scrapy框架
- 获取评论
- 去重

- 使用hset netty管道概念
- 可以从获取到url对的地方判断


- 多进程爬取
- 添加变量是否签约作者