前几天给大家分享了关于Scrapy爬虫项目运行和调试的小技巧上篇，没来得及上车的小伙伴可以戳超链接看一下。今天小编继续沿着上篇的思路往下延伸，给大家分享更为实用的Scrapy项目调试技巧。
三、设置网站robots．txt规则为False
一般的，我们在运用Scrapy框架抓取数据之前，需要提前到settings．py文件中，将“ROBOTSTXT＿OBEY ＝ True”改为ROBOTSTXT＿OBEY ＝ False。
在未改动之后settings．py文件中默认爬虫是遵守网站的robots．txt规则的，如下图所示。
如果遵守robots．txt规则的话，那么爬取的结果会自动过滤掉很多我们想要的目标信息，因此有必要将该参数设置为False，如下图所示。
设置好robots．txt规则之后，我们便可以抓到更多网页的信息。
四、利用Scrapy shell进行调试
通常我们要运行Scrapy爬虫程序的时候会在命令行中输入“scrapy crawl crawler＿name”，细心的小伙伴应该知道上篇文章中创建的main．py文件也是可以提高调试效率的，不过这两种方法都是需要从头到尾运行Scrapy爬虫项目，每次都需要请求一次URL，效率十分低。运行过Scrapy爬虫项目的小伙伴都知道Scrapy运行的时候相对较慢，有时候因为网速不稳定，根部就无法动弹。针对每次都需要运行Scrapy爬虫的问题，这里介绍Scrapy shell调试方法给大家，可以事半功倍噢。
Scrapy给我们提供了一种shell模式，让我们可以在shell脚本之下获取整个URL对应的网页源码。在命令行中进行运行，其语法命令是“scrapy shell URL”，URL是指你需要抓取的网页网址或者链接，如下图所示。
该命令代表的意思是对该URL进行调试，当命令执行之后，我们就已经获取到了该URL所对应的网页内容，之后我们就可以在该shell下进行调试，再也不用每次都执行Scrapy爬虫程序，发起URL请求了。
通过shell脚本这种方式可以极大的提高调试的效率，具体的调试方法同爬虫主体文件中的表达式语法一致。举个栗子，如下图所示。
将两个Xpath表达式所对应的选择器放到scrapy shell调试的脚本下，我们可以很清楚的看到提取的目标信息，而且省去了每次运行Scrapy爬虫程序的重复步骤，提高了开发效率。这种方式在Scrapy爬虫过程中十分常用，而且也十分的实用，希望小伙伴们都可以掌握，并且积极主动的为自己所用。
关于Scrapy爬虫项目运行和调试的部分小技巧先分享到这里，尤其是Debug调试和Scrapy shell调试极为常用，希望小伙伴们可以多多利用起来，让其为自己的项目服务，可以事半功倍噢～～
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
