python电影网站采集

1. 基于Python的电影网开发模式是什么

基于Python的电影网开发需要Flask框架。
1、使用整形，浮点型，路径型，字符串型下正则表达式路由转化器；
2、使用GET与POST请求，上传文件，cookie获取与响应，404处理；
3、使用模板自动转义，定义过滤器，定义全局上下文处理器，Jinja2语法，包含，继承，定义宏；
4、使用flask-wtf定义表单模型，字段类型，字段验证，视图处理表单，模板使用表单；
5、使用flask-sqlachemy定义数据库模型，对数据进行增删查改，数据迁移；
6、使用蓝图优化项目结构，实现微电影网站前台与后台业务逻辑；
7、flask部署，安装编译Nginx，安装Mysql服务以及通过Nginx反向代理对视频流媒体限制下载速率，限制单个IP能发起的播放连接数。

2. python可以用来干嘛

·Web应用开发
Python常被用于Web开发，随着Python的Web开发框架逐渐成熟，如Django、flask等等，开发者们可以更轻松地开发和管理复杂的Web程序。通过mod_wsgi模块，Apache可以运行Python编写的Web程序，举个最直观的例子，全球最大的搜索引擎
Google，在其网络搜索系统中就广泛使用 Python 语言。另外，我们经常访问的集电影、读书、音乐于一体的豆瓣网(如图 1 所示)，也是使用 Python
实现的。不仅如此，全球最大的视频网站 Youtube 以及 Dropbox(一款网络文件同步工具)也都是用 Python 开发的。
·自动化运维
Python 是标准的系统组件，可以在终端下直接运行 Python。有一些 Linux 发行版的安装器使用 Python 语言编写，例如 Ubuntu 的
Ubiquity 安装器、Red Hat Linux 和 Fedora 的 Anaconda 安装器等等。另外，Python
标准库中包含了多个可用来调用操作系统功能的库。例如，通过 pywin32 这个软件包，我们能访问 Windows 的 COM 服务以及其他 Windows
API;使用 IronPython，我们能够直接调用 .Net Framework。
·人工智能领域
人工智能是现如今非常火的一个方向， Python
在人工智能领域内的机器学习、神经网络、深度学习等方面，都是主流的编程语言。可以这么说，基于大数据分析和深度学习发展而来的人工智能，其本质上已经无法离开
Python 的支持了。
·网络爬虫
Python语言很早就用来编写网络爬虫。Google 等搜索引擎公司大量地使用 Python 语言编写网络爬虫。从技术层面上将，Python
提供有很多服务于编写网络爬虫的工具，例如 urllib、Selenium 和 BeautifulSoup 等，还提供了一个网络爬虫框架 Scrapy。
·游戏开发
很多游戏都是使用C++编写图形显示等高性能的模块，使用Python或Lua编写游戏的逻辑，相比Python，Lua的功能更简单，体积也更小，但Python支持更多的特性和数据类型。除此之外，Python
可以直接调用 Open GL 实现 3D 绘制，这是高性能游戏引擎的技术基础。事实上，有很多 Python 语言实现的游戏引擎，例如 Pygame、Pyglet
以及 Cocos 2d 等。

3. Python能用来做什么

python的用途

1、Web开发

Python的诞生历史比Web还要早，由于Python是一种解释型的脚本语言，开发效率高，所以非常适合用来做Web开发。

Python有上百种Web开发框架，有很多成熟的模板技术，选择Python开发Web应用，不但开发效率高，而且运行速度快。

常用的web开发框架有：Django、Flask、Tornado 等。

许多知名的互联网企业将python作为主要开发语言：豆瓣、知乎、果壳网、Google、NASA、YouTube、Facebook……

由于后台服务器的通用性，除了狭义的网站之外，很多App和游戏的服务器端也同样用 Python实现。

2、网络爬虫

许多人对编程的热情始于好奇，终于停滞。

距离真枪实干做开发有技术差距，也无人指点提带，也不知当下水平能干嘛？就在这样的疑惑循环中，编程技能止步不前，而爬虫是最好的进阶方向之一。

网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了，如：

从各大网站爬取商品折扣信息，比较获取最优选择；

对社交网络上发言进行收集分类，生成情绪地图，分析语言习惯；

爬取网易云音乐某一类歌曲的所有评论，生成词云；

按条件筛选获得豆瓣的电影书籍信息并生成表格……

应用实在太多，几乎每个人学习爬虫之后都能够通过爬虫去做一些好玩有趣有用的事。

3、人工智能

人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？

因为Python有很多库很方便做人工智能，比如numpy, scipy做数值计算的，sklearn做机器学习的，pybrain做神经网络的，matplotlib将数据可视化的。在人工智能大范畴领域内的数据挖掘、机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。

人工智能的核心算法大部分还是依赖于C/C++的，因为是计算密集型，需要非常精细的优化，还需要GPU、专用硬件之类的接口，这些都只有C/C++能做到。

而Python是这些库的API binding，使用Python是因为CPython的胶水语言特性，要开发一个其他语言到C/C++的跨语言接口，Python是最容易的，比其他语言的门槛要低不少，尤其是使用Cython的时候。

4、数据分析

数据分析处理方面，Python有很完备的生态环境。“大数据”分析中涉及到的分布式计算、数据可视化、数据库操作等，Python中都有成熟的模块可以选择完成其功能。对于Hadoop-MapRece和Spark，都可以直接使用Python完成计算逻辑，这无论对于数据科学家还是对于数据工程师而言都是十分便利的。

5、自动化运维

Python对于服务器运维而言也有十分重要的用途。由于目前几乎所有Linux发行版中都自带了Python解释器，使用Python脚本进行批量化的文件部署和运行调整都成了Linux服务器上很不错的选择。Python中也包含许多方便的工具，从调控ssh/sftp用的paramiko，到监控服务用的supervisor，再到bazel等构建工具，甚至conan等用于C++的包管理工具，Python提供了全方位的工具集合，而在这基础上，结合Web，开发方便运维的工具会变得十分简单。

4. 使用python采集网页内容时那登录那个网站，否则采集不了！请问怎么实现python登录后采集网页

有些网页需要你登录之后才可以访问,你需要提供账户和密码。
只要在发送http请求时，带上含有正常登陆的cookie就可以了。
1.首先我们要先了解cookie的工作原理。
Cookie是由服务器端生成，发送给User-Agent（一般是浏览器），浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。Cookie名称和值可以由服务器端开发自己定义，对于JSP而言也可以直接写入jsessionid，这样服务器可以知道该用户是否合法用户以及是否需要重新登录等。
2.之后我们要获取到用户正常登录的cookie.
python提供了cookieJar的库，只要把cookieJar的实例作为参数传到urllib2的一个opener里面。
然后访问一次登录的页面，cookie就已经保存下来了。之后通过这个实例访问所有的页面都带有正常登陆的cookie了。
以人人网为例子。
#encoding=utf-8
import urllib2
import urllib
import cookielib
def renrenBrower(url,user,password):
#登陆页面，可以通过抓包工具分析获得，如fiddler，wireshark
login_page = "http://www.renren.com/PLogin.do"
try:
#获得一个cookieJar实例
cj = cookielib.CookieJar()
#cookieJar作为参数，获得一个opener的实例
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#伪装成一个正常的浏览器，避免有些web服务器拒绝访问。
opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')]
#生成Post数据，含有登陆用户名密码。
data = urllib.urlencode({"email":user,"password":password})
#以post的方法访问登陆页面，访问之后cookieJar会自定保存cookie
opener.open(login_page,data)
#以带cookie的方式访问页面
op=opener.open(url)
#读取页面源码
data= op.read()
return data
except Exception,e:
print str(e)
#访问某用户的个人主页，其实这已经实现了人人网的签到功能。
print renrenBrower("http://www.renren.com/home","用户名","密码")

5. 如何用python爬取视频网站的数据

1.模拟客户端数据采集，分析http返回结果，清洗需要的数据，入库。
2.根据已有数据进行计算，实现增长率之类的数据计算。
3.实时性很难做，你当然可以不停的采数据回来，做个伪实时系统，但需要考虑这些网站是否做了客户端访问次数的限制，你需要考虑在采集器达到访问次数上限之前所采集的数据能否满足你的要求，否则就要被封IP了。

6. 怎样用python获取电影

实验室这段时间要采集电影的信息，给出了一个很大的数据集，数据集包含了4000多个电影名，需要我写一个爬虫来爬取电影名对应的电影信息。

其实在实际运作中，根本就不需要爬虫，只需要一点简单的Python基础就可以了。

前置需求：

Python3语法基础

HTTP网络基础

===================================

第一步，确定API的提供方。IMDb是最大的电影数据库，与其相对的，有一个OMDb的网站提供了API供使用。这家网站的API非常友好，易于使用。

第二步，确定网址的格式。

第三步，了解基本的Requests库的使用方法。

7. 如何用最简单的Python爬虫采集整个网站

采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。

8. 如何用python抓取网页上的数据

使用内置的包来抓取，就是在模仿浏览器访问页面，再把页面的数据给解析出来，也可以看做是一次请求。

9. 如何利用python对网页的数据进行实时采集并输出

这让我想到了一个应用场景，在实时网络征信系统中，通过即时网络爬虫从多个信用数据源获取数据。并且将数据即时注入到信用评估系统中，形成一个集成化的数据流。

可以通过下面的代码生成一个提取器将标准的HTML DOM对象输出为结构化内容。

图片来自集搜客网络爬虫官网，侵删。

10. 如何用python 爬取豆瓣电影的预告片地址

在开发者工具中观察到该请求的Status Code是302，Response Headers中Location是该预告片的真正地址（该地址是时间的函数，不唯一！但测试表明不同时间生成的不同的地址都能下载该预告片！唉，不细究了）。