python爬虫的论坛有哪些
由于互联网上的论坛数量很多，而且不断变化，所以列举所有的Python爬虫论坛是比较困难的。不过，以下是一些比较知名的Python爬虫论坛：
1.爬虫开发者社区：http://www.python-spider.com/
2.伯乐在线爬虫专栏：https://python.jobbole.com/category/data-mining/
3.数据分析与挖掘：https://www.datafountain.cn/forum/category/1
4.机器学习博客：https://www.jiqizhixin.com/
5.Python官方论坛：https://www.python.org/community/
当然还有其他的一些论坛，您可以根据自己的需求去寻找合适的论坛。需要注意的是，在爬虫论坛上发帖、回复时，要遵守相关法律法规和论坛规则，不得进行恶意攻击、侵犯他人隐私等行为。
python的爬虫究竟有多强大
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
什么是爬虫?
网络爬虫通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。
爬虫可以做什么?
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
什么是Python?
Python(大蟒蛇)是一门解释型、面向对象、带有动态语义的高级程序设计语言。
Python具有强大而丰富的类库，也经常被别人说是胶水语言，可以跟其它语言写的模块结合在一起。
优点
1.简单：Python是一种代表简单主义思想的语言。
2.易用：Python简单容易上手，因为有简单容易看懂的文档。
3.速度快：运行速度快，因为Python中的标准库和第三方库都是C语言编写的，所以很快。
4.免费、开源：Python是一款FLOSS(自由/源代码软件)之一，使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。
5.高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。
6.可移植性：由于它的开源本质，Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。
7.解释性：Python语言写的程序不需要编译成二进制代码。你可以直接从源代码运行程序。在计算机内部，Python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。这使得使用Python更加简单。也使得Python程序更加易于移植。
8.面向对象：Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。
9.可扩展性：如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序用C或C++编写，然后在Python程序中使用它们。
10.可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。
11.丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作。
12.规范的代码：Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。
Python程序员用的是同样是爬虫框架，为何Scrapy深受程序猿们喜爱
用的久了，就习惯了。用的人越来越多了，就慢慢就有很多blog出来。厉害点的把英文翻译成中文，发布出来，慢慢的文章越来越多。所以scrapy就慢慢火起来了。
当然，还有另外的原因，就是他确实好用。只要脑子浆糊不多，都可以把玩一把。
祝你用的开心，能帮你达到目的。
想学习python的网络爬虫算法，有什么好的书籍和学习方法推荐吗
1.先打好基础，学习python基础知识我推荐《Python编程从入门到实践》一书。
2.第二步可以学习一些例子，然后自己上机实践。推荐看《Python3网络爬虫开发实战》，《Python爬虫开发与项目实战》
3.第三步可以再深入一些，看《Python数据处理》，《精通Python爬虫框架Scrapy》
书只是基础知识，重要的是在看书的过程中实践才能融会贯通。除了书本之外，还要学习一些网络编程的知识，正则表达式等等。
python爬虫框架哪个好用
本来是写在推荐那片下边的评论里，还是觉得应该简单写个回答。
scrapy
适合大型、多站点爬取，支持异步，通过配置资源池，可以非常快速的爬取大量数据。同时学习成本相对也高，文档很完善，上手不难，但是大型项目里的各种规则、正则表达式啥的，就需要额外学习了。
requests+bs
适合个人娱乐，针对单一站点，量不是很大，同时对效率要求不高的小型项目。如果有些it背景，requests库基本一看就懂，bs库主要是记住那些规则即可，两个库的文档都很完善，中文翻译也有。
另外再说一句，虽然爬虫库有了，但是爬虫最关键的还是初期对于目标网站的网络分析，这个不是很容易，需要配合浏览器插件或者抓包工具，对于head头里的字段要有深刻的了解，不然爬虫第一步：get返回200状态都搞不出来。然后还要考虑访问频率，不然很快你就被封ip，还有很多其他的注意事项，祝爬虫学习一切顺利。
用python爬虫做毕业设计，应该爬哪个网站比较好
诚邀！很荣幸能够回答你的问题，我认为除了思考目标网站，还有几点也同样重要，下面来说说我的看法。
爬虫玩的好,监狱进的早。最近很流行这句话，结合当前的环境来看，很多大数据公司的爬虫业务都暂停，说明这是一个问题所在，所以对于你使用Python爬虫来做毕业设计，选择题材、目标网站、数据隐私方面都要做更多的考量。
尽管思考过程会比较头疼，但是会帮助你，理清思路，为之后做出优秀的毕业设计是非常有必要的。
你的毕业设计的目的？首先你要明确自己的目的，如果只是完成爬取一个网站的过程，是完全不能做为毕业设计的，所以需要你能想的更多一点，比如通过爬取公共数据，用来作数据分析，而得到符合你观点的报告，爬取过程只是其中的一部份，这样才能是一套完整的毕业设计。
创造一份属于你的独一无二的毕业设计，才应该是你对划上一个句号，最完美的诠释。
哪些网站能爬？确定了毕业设计目的后，你就需要找寻对应的目标网站，也就是数据来源。这里建议你多找一些目标网站，例如你想做电商市场的有关题材，你就需要对淘宝、京东、拼多多等目标网站做分析，看是否能满足你的题材。
其实很多网站并不是什么都不让爬取，这时就需要你去分析每家网站的
robots.txt
，里面会说明你被允许爬取的范围，是否还需要增加新的目标网站，做为更多数据的补充。数据的隐私性这里指的是你获取到的数据是否会涉及到他人的隐私性，如果该数据涉及到隐私，记得将其删掉。做爬虫的第一要素就是不要动他人的隐私，这也是对自己的一种保护，以及职业素养的锻炼。
大多数情况下，我们并不需要用隐私数据，同样也能做出符合预期的分析，比如我们做年龄、地区分析的时候，人名、联系方式、详细地址，这些隐私信息，是完全可以不使用的。
对目标网站好一点很多人使用爬虫都是很暴力的，不管有用没用的，狠不能一秒钟就把所有数据都爬下来，这是非常不道德的，同时也会对目标网站造成了特别不好的影响，所以提前做好数据规划、设置合理的爬取速度，都是非常必要的。
最后也希望你能做出优秀的毕业设计，获得导师们的认可。
以上就是我个人的一点经验，我希望我分享的这个问题的解答能够帮助到大家。在这里同时也希望大家喜欢我的分享，大家如果有更好的关于这个问题的解答，还望分享评论，加关注一起讨论。谢谢。
