Scrapy的Sublime Text代码片段

此软件包提供方便的代码片段，用于与scrapy（用于制作网络爬虫的Python工具）一起工作。它还提供了一系列用于解析来自Postman的请求参数的命令。

安装

将此软件包克隆到您的 Packages/ 目录中。尚未支持包管理工具 :)

代码片段

代码片段假设您的爬虫具有一个 BASE_URL 属性。这防止了代码重复，并使得代码在网站更改基础URL时易于移植。

提供了最常见请求的代码片段：- 获取（Get）：用于发送带有URL请求参数的请求，例如 mysite.com?parameter=value - POST：用于 X-www-Form-Urlencoded 请求 - JSON：用于 application/json 内容类型的POST请求 - 一个 'redirect' 方法，用于在没有参数的情况下发送GET请求。 - 一个 'last' 方法，在浏览器中打开接收到的响应并启动ipdb外壳，用于调试响应或与xpath进行交互。 - 一个ASP参数提取器，用于轻松地从响应中获取 __VIEWSTATE、__VIEWSTATEGENERATOR 和 __EVENTVALIDATION。

命令

从Postman格式化

如果您正在使用Postman检查您对网站的请求，您可以在 'bulk-edit' 模式下复制粘贴参数，然后粘贴到您的爬虫中。然后，选择您刚才粘贴的所有行，并从命令调色板中执行 Scrapy: Format from Postman。参数将被格式化为Python字典的键和值。

实例项

在您的爬虫中复制一个项目类定义。然后，选择类定义的所有行，并执行 Scrapy: Yield Item。定义将被格式化为一个 yield ClassInstance() 语句。