kotodian / scrapystudy Goto Github PK

scrapy start project [projectname]

scrapy genspider example example.com

#response是一个'scrapy.http.response.html.HtmlResponse'对象,可执行'xpath'和'css'方法获取数据。
response.xpath()#返回selectorList
response.xpath().xpath()#返回selector
#getall获取全部文本返回一个列表

from scrapy import cmdline
cmdline.execute(""scrapy crawl qsbk_spider".split()")

#yleid 返回数据提交到pipline处理
#pipline获得数据将其转换成json数据格式。