本篇文章给大家谈谈scrapy框架的优点，以及scrapy框架缺点对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。
为什么不建议用scrapy
scrapy提高了自己的并发能力，但是这对于一般的爬虫工作是无效的，你的并发量上去，人家的网站服务压力暴增服务挂掉，要不你拿不到任何数据，要不就是拿不到数据。而且现在的反爬机制也让这些高并发特性显得不那么突出。
听说过这个框架的人都有了解，这个框架对于开发人员来说是没有主动权的，引擎自动的帮开发者调用着一切，再给我们便利的同时也给我们带上了一条枷锁，让我们收到限制。
scrapy是chrome插件吗
不是。
Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
创建一个scrapy项目步骤
创建一个Scrapy项目的步骤如下：
1.确保已经安装好了Python和Scrapy：首先，确保您的计算机上已经安装了Python。然后，在命令行中运行以下命令来安装Scrapy：
```
pipinstallscrapy
```
2.创建Scrapy项目：在命令行中，切换到您想要创建项目的目录，并运行以下命令来创建Scrapy项目：
```
scrapystartprojectproject_name
```
其中，`project_name`是您给项目起的名字，可以根据自己的需要进行修改。
3.进入项目目录：使用`cd`命令进入刚刚创建的项目目录：
```
cdproject_name
```
4.创建爬虫：运行以下命令来创建一个爬虫：
```
scrapygenspiderspider_namewebsite.com
```
其中，`spider_name`是您给爬虫起的名字，`website.com`是您要爬取的网站域名。
5.编写爬虫代码：打开项目目录中的`spiders`文件夹，找到刚刚创建的爬虫文件`spider_name.py`，使用文本编辑器打开并编写您的爬虫代码。在该文件中，您可以定义需要爬取的网页、提取数据的规则等。
6.运行爬虫：使用以下命令来运行您的爬虫：
```
scrapycrawlspider_name
```
其中，`spider_name`是您之前创建的爬虫的名字。
通过以上步骤，您就成功创建了一个Scrapy项目，并编写了一个简单的爬虫来爬取数据。您可以根据自己的需求和具体网站的结构进一步完善爬虫代码，并使用Scrapy提供的丰富功能来处理和存储爬取到的数据。
爬虫是什么为什么Python使用的比较多
首先您应该明确，不止Python这一种语言可以做爬虫，诸如PHP、Java、C/C++都可以用来写爬虫程序，但是相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比：
PHP：对多线程、异步支持不是很好，并发处理能力较弱；Java也经常用来写爬虫程序，但是Java语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高；C/C++运行效率虽然很高，但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。而Python语言，其语法优美、代码简洁、开发效率高、支持多个爬虫模块，比如urllib、requests、Bs4等。Python的请求模块和解析模块丰富成熟，并且还提供了强大的Scrapy框架，让编写爬虫程序变得更为简单。因此使用Python编写爬虫程序是个非常不错的选择。
编写爬虫的流程
爬虫程序与其他程序不同，它的的思维逻辑一般都是相似的，所以无需我们在逻辑方面花费大量的时间。下面对Python编写爬虫程序的流程做简单地说明：
先由urllib模块的request方法打开URL得到网页HTML对象。使用浏览器打开网页源代码分析网页结构以及元素节点。通过BeautifulSoup或则正则表达式提取数据。存储数据到本地磁盘或数据库。当然也不局限于上述一种流程。编写爬虫程序，需要您具备较好的Python编程功底，这样在编写的过程中您才会得心应手。爬虫程序需要尽量伪装成人访问网站的样子，而非机器访问，否则就会被网站的反爬策略限制，甚至直接封杀IP，相关知识会在后续内容介绍。
pythonscrapy是什么意思
python和scrapy是俩事，python是一门计算机语言，scrapy是用python语言编写的爬虫框架。
开源爬虫框架各有什么优缺点
首先爬虫框架有三种
分布式爬虫：Nutch
JAVA单机爬虫：Crawler4j，WebMagic，WebCollector
非JAVA单机爬虫：scrapy
第一类:分布式爬虫优点：
海量URL管理
网速快
缺点：
Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。
用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。
Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。
Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。
Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)
用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
第二类:JAVA单机爬虫优点：
支持多线程。
支持代理。
能过滤重复URL的。
负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。
缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：
先说python爬虫，python可以用30行代码，完成JAVA
50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。
使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
缺点：
bug较多，不稳定。
爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
爬虫怎么抽取网页的信息？
开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。
网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
scrapy框架的优点的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于scrapy框架缺点、scrapy框架的优点的信息别忘了在本站进行查找哦。
