爬蟲爬電影網站

『壹』 使用爬蟲抓取網站,對方會察覺嗎

如果對方沒有特意去檢測的話，是不會察覺的。

簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息背回來。像一隻蟲子在一幢樓里不知疲倦地爬來爬去。我們每天使用的網路其實就是利用了這種爬蟲技術。

每天放出無數爬蟲到各個網站，把他們的信息抓回來，然後化好淡妝排著小隊等你來檢索。再比如搶票軟體，就相當於撒出去無數個分身，每一個分身都在幫助你不斷刷新12306網站的火車余票。一旦發現有票。

就馬上拍下來，然後對你喊：土豪快來付款。九道門丨關於「爬蟲」，你知道多少？爬蟲也分善惡善意爬蟲：像搜索引擎的爬蟲，被爬過的網站獲得了免費的曝光機會，給網站帶去了流量，而被爬蟲方也很願意並高興數據被發現。

因此，這種爬蟲是善意的，並且嚴格遵守Robots協議規范爬取網頁數據（如URL）。

『貳』 爬蟲電影院信息違法嗎

違法。非法獲取計算機系統數據罪
根據《中華人民共和國刑法》第二百八十五條規定，非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
侵犯商業秘密罪
《反不正當競爭法》第九條，以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。
《中華人民共和國刑法》第二百八十五條非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
《反不正當競爭法》第九條以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。

『叄』 python scrapy爬蟲豆瓣的「載入更多」 應該怎麼爬到所有的電影

不說具體，說思路。
你要分析 當你點擊 載入更多 時，瀏覽器都做了什麼（他是怎麼取回 "更多數據"的）
然後在scrapy中模擬這一過程！

『肆』 python爬蟲可以爬哪些網站

理論上可以爬任何網站。

但是爬取內容時一定要慎重，有些底線不能觸碰，否則很有可能真的爬進去！

『伍』 python爬蟲抓取電影top20排名怎麼寫

初步接觸python爬蟲(其實python也是才起步)，發現一段代碼研究了一下，覺得還比較有用處，Mark下。
上代碼：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一個簡單的Python爬蟲, 用於抓取豆瓣電影Top前100的電影的名稱
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""類的簡要說明
主要用於抓取豆瓣Top100的電影名稱

Attributes:
page: 用於表示當前所處的抓取頁面
cur_url: 用於表示當前爭取抓取頁面的url
datas: 存儲處理好的抓取到的電影名稱
_top_num: 用於記錄當前的top號碼
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣電影爬蟲准備就緒, 准備爬取數據..."

def get_page(self, cur_page):
"""
根據當前頁碼爬取網頁HTML
Args:
cur_page: 表示當前所抓取的網站頁碼
Returns:
返回抓取到整個頁面的HTML(unicode編碼)
Raises:
URLError:url引發的異常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通過返回的整個網頁HTML, 正則匹配前100的電影名稱

Args:
my_page: 傳入頁面的HTML文本用於正則匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬蟲入口, 並控制爬蟲抓取頁面的范圍
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一個簡單的豆瓣電影前100爬蟲
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬蟲爬取完成"if __name__ == '__main__':
main()

運行結果：

『陸』 爬蟲可以爬的網站

所見即所得，爬蟲理論上可以採集所有站點，前提是可以訪問到...

『柒』 python爬蟲如何分析一個將要爬取的網站

首先，你去爬取一個網站，

你會清楚這個網站是屬於什麼類型的網站（新聞，論壇，貼吧等等）。

你會清楚你需要哪部分的數據。

你需要去想需要的數據你將如何編寫表達式去解析。

你會碰到各種反爬措施，無非就是各種網路各種解決。當爬取成本高於數據成本，你會選擇放棄。

你會利用你所學各種語言去解決你將要碰到的問題，利用各種語言的client組件去請求你想要爬取的URL，獲取到HTML，利用正則，XPATH去解析你想要的數據，然後利用sql存儲各類資料庫。

『捌』 python爬取vip電影違法嗎

法律分析：我們生活中幾乎每天都在爬蟲應用，如網路，你在網路中搜索到的內容幾乎都是爬蟲採集下來的(網路自營的產品除外，如網路知道、網路等)，所以網路爬蟲作為一門技術，技術本身是不違法的。

法律依據：《中華人民共和國網路安全法》 第四條 國家制定並不斷完善網路安全戰略，明確保障網路安全的基本要求和主要目標，提出重點領域的網路安全政策、工作任務和措施。

『玖』 用Python爬蟲爬取愛奇藝上的VIP電影視頻，是違法行為嗎

屬於違法行為，情節嚴重者，愛奇藝將有權對您追究法律責任

『拾』 誰能給我個python定向爬蟲，就是可以爬電影視頻的

只是一個視角問題。其實電電視的屏幕是一個透明的。相當於窗戶一樣，所以你才能看見有人爬出來。