.py
import pymysql.cursorsclass ZhihuspiderPipeline(object):def __init__(self):self.connect=pymysql.connect(host='127.0.0.1',port=3306,database='scrapymysql',user='root',password='password',charset='utf8')self.cursor=self.connect.cursor()def process_item(self, item, spider):self.cursor.execute("""insert into zhihu_hot(tag)values(%s)""",(item['hot_topic']))self.connect.commit()return item
.py
BOT_NAME = 'zhihuSpider'SPIDER_MODULES = ['zhihuSpider.spiders']NEWSPIDER_MODULE = 'zhihuSpider.spiders'ITEM_PIPELINES = {'zhihuSpider.pipelines.ZhihuspiderPipeline': 300,}ROBOTSTXT_OBEY = False
【Scrapy+Mysql爬虫 知乎热榜】全部编写完成之后,编译下 。就可以在cmd(工程项目文件夹下)输入: crawl zhihu,就可以运行爬虫了 。
- Python怎么去抓取公众号的文章?Python爬虫爬取微信公众号方法
- python爬虫---爬取知乎热榜内容并进行图片爬取
- 知乎热榜:国家何时整治程序员高薪现象?
- 九 爬虫实战系列:知乎热榜全爬取及词云制作
- 30行代码完成对知乎热榜的抓取!
- 爬虫遇到字体动态加密?这样来解决
- 简单爬虫项目总结_01
- 【Python爬虫】CSDN热榜文章热门词汇分析
- python:爬虫-selenium,BeautifulSoup,urllib
- spa系列1-3 爬虫学习-Scrape Center闯关