首页 Python爬虫0 - 环境准备
文章
取消

Python爬虫0 - 环境准备

Python环境

版本:3.7.9

下载地址:点我进入Python官网下载

请选择对应的操作系统和框架选择需要的Python版本,例如:

  • Windows 64位:Windows x86-64 executable installler
  • macOS: macOS 64-bit installer

编辑器

一个好的编辑器能提升我们开发Python的效率,这里我推荐使用JetBrains的PyCharm,社区版的功能就能满足大部分人的使用需求了。

下载地址:点我进入JetBrains官网下载

注意,是选择下方的PyCharm Community Edition.

image-20230703102304964

创建虚拟环境

什么是虚拟环境?

虚拟环境是一个Python 环境,安装到其中的Python 解释器、库和脚本与其他虚拟环境中的内容是隔离的,且(默认)与“系统级” Python(操作系统的一部分)中安装的库是隔离的。 虚拟环境是一个目录树,其中包含Python 可执行文件和其他文件,其他文件指示了这是一个是虚拟环境。

简单来说,就是为某个项目提供了一个隔离的环境,避免影响到其他项目已经配置好的环境。

为什么要虚拟环境?

不同项目使用的不同模块可能会有不同的版本,而不同的版本的模块对Python的版本要求是不一样的。比如说,在深度学习TensorFlow的项目中,我使用的Python版本3.9,但一般项目中我用的是3.7版本。

如何创建虚拟环境?

创建虚拟环境主要有两种方式,一种是在CMD中使用命令行进行创建,另一种是在PyCharm的项目创建中创建。本教程的目的是尽可能的简介,因此仅介绍如何在PyCharm中创建虚拟环境。

操作步骤

  1. 调整PyCharm为中文。

    默认情况下,PyCharm是英文界面,这对很多初学者来说并不友好,因此我们可以在Plugins中搜索Chinese,并点击install进行安装。

    image-20230703103802631

    安装过程可能会有点小久,请耐心等待。当出现Restart IDE的时候,请点击此重启PyCharm,重启后PyCharm界面即可转换为中文。

    image-20230703104053987

    点击Restart确认重启。image-20230703104141191重启后,我们就能看到界面已经成功更改为中文界面。image-20230703104531949

  2. 创建虚拟环境

    点击右上角的新建项目

    image-20230703105049836

    名词解释:

    • 位置:你以后Python脚本文件的存放位置
    • Python解释器:
      • 新Virtualenv环境,请务必选择使用此工具新建环境,并选择Virtualenv。
      • 位置:该python虚拟环境的包和配置的存放位置,默认是和你的项目位置是一起的,这里保持默认即可。
      • 继承全局站点软件包:把在全局环境下安装的软件包都继承过来
      • 可用于所有项目:将该虚拟环境开放给其他项目使用,不用勾选。
      • 基础解释器:要使用的Python版本,装了啥就用啥。
    • 创建main.py欢迎脚本:生成一个能输出hello world的py脚本。建议第一次使用python可以把这个勾上,确保python解释器能够正确工作。

    完成后点击右下角的创建即可。

  3. 完成创建

    当我们进入到该界面的时候,证明已经成功创建好虚拟环境,左侧区域是我们的项目目录,右侧是代码编辑区。

    image-20230703110056828

    此时,我们可以使用SHIFT + F10的组合键来运行第一个HelloWord脚本。也可以CTRL+SHIFT + F10来运行当前显示的脚本。当下方出现Hi, PyCharm时,表明我们一切正常。

    image-20230703110423890

安装需要用到的软件包

安装软件包同样有两种方法,一种是在虚拟环境对应的环境的终端使用pip指令进行安装,另一种是使用PyCharm进行可视化安装。这里考虑到初学者,仅介绍使用PyCharm可视化安装。

  1. 在左上角文件 - 设置中打开设置面板,并调整到Python 解释器的选项中。

    image-20230703111242374

    image-20230703111509153

  2. 点击软件包上方的 + 号,搜索并安装以下软件包:requests,beautifulsoup4,selenium

    image-20230703111807117

    image-20230703112003048

    image-20230703112334690

  3. 测试环境是否正确安装

    对着项目右键 - 新建 - Python软件包,并命名为test,然后对着test文件夹右键 - 新建 - Python文件,并命名为test_env。

    image-20230703112833586

    在test_env.py中输入以下代码:

    1
    2
    3
    4
    5
    
    import requests
    from bs4 import BeautifulSoup
    import selenium
       
    print("Environment test passed!")
    

    使用CTRL+SHIFT + F10来运行当前脚本,输出区域显示有Environment test passed即表明环境配置正常。

至此,环境准备完成。

附录

参考资料:python爬虫入门实战案例教程-入门到精通(收藏版)

Python入门:黑马程序员Python教程_600集Python从入门到精通教程(懂中文就能学会)

Python网络爬虫部分源代码(不定期更新):Web-Crawler Repository - GitHub

本文由作者按照 CC BY 4.0 进行授权