爬虫爬电影网站

『壹』 使用爬虫抓取网站,对方会察觉吗

如果对方没有特意去检测的话，是不会察觉的。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。像一只虫子在一幢楼里不知疲倦地爬来爬去。我们每天使用的网络其实就是利用了这种爬虫技术。

每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。再比如抢票软件，就相当于撒出去无数个分身，每一个分身都在帮助你不断刷新12306网站的火车余票。一旦发现有票。

就马上拍下来，然后对你喊：土豪快来付款。九道门丨关于“爬虫”，你知道多少？爬虫也分善恶善意爬虫：像搜索引擎的爬虫，被爬过的网站获得了免费的曝光机会，给网站带去了流量，而被爬虫方也很愿意并高兴数据被发现。

因此，这种爬虫是善意的，并且严格遵守Robots协议规范爬取网页数据（如URL）。

『贰』 爬虫电影院信息违法吗

违法。非法获取计算机系统数据罪
根据《中华人民共和国刑法》第二百八十五条规定，非法获取计算机信息系统数据、非法控制计算机信息系统罪，是指违反国家规定，侵入国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，情节严重的行为。刑法第285条第2款明确规定，犯本罪的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
侵犯商业秘密罪
《反不正当竞争法》第九条，以不正当手段获取他人商业秘密的行为即已经构成侵犯商业秘密。而后续如果进一步利用，或者公开该等信息，则构成对他人商业秘密的披露和使用，同样构成对权利人的商业秘密的侵犯。
《中华人民共和国刑法》第二百八十五条非法获取计算机信息系统数据、非法控制计算机信息系统罪，是指违反国家规定，侵入国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，情节严重的行为。刑法第285条第2款明确规定，犯本罪的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
《反不正当竞争法》第九条以不正当手段获取他人商业秘密的行为即已经构成侵犯商业秘密。而后续如果进一步利用，或者公开该等信息，则构成对他人商业秘密的披露和使用，同样构成对权利人的商业秘密的侵犯。

『叁』 python scrapy爬虫豆瓣的“加载更多” 应该怎么爬到所有的电影

不说具体，说思路。
你要分析 当你点击 加载更多 时，浏览器都做了什么（他是怎么取回 "更多数据"的）
然后在scrapy中模拟这一过程！

『肆』 python爬虫可以爬哪些网站

理论上可以爬任何网站。

但是爬取内容时一定要慎重，有些底线不能触碰，否则很有可能真的爬进去！

『伍』 python爬虫抓取电影top20排名怎么写

初步接触python爬虫(其实python也是才起步)，发现一段代码研究了一下，觉得还比较有用处，Mark下。
上代码：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一个简单的Python爬虫, 用于抓取豆瓣电影Top前100的电影的名称
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""类的简要说明
主要用于抓取豆瓣Top100的电影名称

Attributes:
page: 用于表示当前所处的抓取页面
cur_url: 用于表示当前争取抓取页面的url
datas: 存储处理好的抓取到的电影名称
_top_num: 用于记录当前的top号码
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."

def get_page(self, cur_page):
"""
根据当前页码爬取网页HTML
Args:
cur_page: 表示当前所抓取的网站页码
Returns:
返回抓取到整个页面的HTML(unicode编码)
Raises:
URLError:url引发的异常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通过返回的整个网页HTML, 正则匹配前100的电影名称

Args:
my_page: 传入页面的HTML文本用于正则匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬虫入口, 并控制爬虫抓取页面的范围
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一个简单的豆瓣电影前100爬虫
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬虫爬取完成"if __name__ == '__main__':
main()

运行结果：

『陆』 爬虫可以爬的网站

所见即所得，爬虫理论上可以采集所有站点，前提是可以访问到...

『柒』 python爬虫如何分析一个将要爬取的网站

首先，你去爬取一个网站，

你会清楚这个网站是属于什么类型的网站（新闻，论坛，贴吧等等）。

你会清楚你需要哪部分的数据。

你需要去想需要的数据你将如何编写表达式去解析。

你会碰到各种反爬措施，无非就是各种网络各种解决。当爬取成本高于数据成本，你会选择放弃。

你会利用你所学各种语言去解决你将要碰到的问题，利用各种语言的client组件去请求你想要爬取的URL，获取到HTML，利用正则，XPATH去解析你想要的数据，然后利用sql存储各类数据库。

『捌』 python爬取vip电影违法吗

法律分析：我们生活中几乎每天都在爬虫应用，如网络，你在网络中搜索到的内容几乎都是爬虫采集下来的(网络自营的产品除外，如网络知道、网络等)，所以网络爬虫作为一门技术，技术本身是不违法的。

法律依据：《中华人民共和国网络安全法》 第四条 国家制定并不断完善网络安全战略，明确保障网络安全的基本要求和主要目标，提出重点领域的网络安全政策、工作任务和措施。

『玖』 用Python爬虫爬取爱奇艺上的VIP电影视频，是违法行为吗

属于违法行为，情节严重者，爱奇艺将有权对您追究法律责任

『拾』 谁能给我个python定向爬虫，就是可以爬电影视频的

只是一个视角问题。其实电电视的屏幕是一个透明的。相当于窗户一样，所以你才能看见有人爬出来。