Selenium获取网页数据（1）——环境配置及入门

获取网页数据环境配置及入门

【内容简介】

1. 介绍

2. +环境搭建

3.使用获取网页数据

【知识点讲解】

1. 介绍

是一个 web 的自动化测试工具。的核心 Core基于，完全由编写，因此可以用于任何支持的浏览器上。

可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决渲染问题。

官方文档：

with — 2

— 4.6

2.+环境搭建 2.1安装库

和一般第三方库安装方法一样

pip

2.2安装特定浏览器的插件

需要通过浏览器的驱动程序（）来连接和启动一个浏览器。支持谷歌、火狐、edge、欧朋等浏览器，这里以谷歌浏览器（）为例进行讲解。

（1）查看浏览器版本

点击浏览器右上方的三个小圆点，如图1。

点击“帮助”

点击“关于 ”，如图2所示。

图1 点击浏览器右上方的三个小圆点

图2 查看浏览器版本

（2） 下载 插件

登录网站下载对应版本的，如果没有相同的版本号，可以选择近似的版本，如下图所示。

目前可以下载的的地址：

选择系统，64位也可以选择32位，如下图所示：

2.3 配置环境变量

将.exe文件放置到.exe解释器所在的文件夹内。

（1）找到你的.exe解释器所在的文件夹

菜单：“文件”-“设置（）”，打开设置窗口

（2）复制“.exe”到文件夹

2.4测试

新建文件，输入代码：

from

= .()

显示下面浏览器窗口，模拟浏览器，说明环境配置成功

3.使用获取网页数据

可以读取所有看得到的所有数据（与.get不同）

示例代码：

from

= .() # 打开浏览器

.get('#39;)

# print(.)

with open('tmp/.txt','w',='utf-8') as f:

f.write(.)