深度学习入门1 - 手搓BP神经网络 1. BP神经网络简介 简介 BP（Back Propagation）神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络模型之一。1 1989年Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用...

计算机视觉1 - 数元素数目 0. 任务目标 统计每幅图中各化学元素的数目； 统计AI和Fe元素、Fe和P元素、AI和P元素重叠的数目，并且以图像的形式展示出两两元素的重叠情况； 统计AI、Fe和P元素三者重叠的数目，并以图像的形式展示出三种元素重叠情况。 无论原始图像中的化学元素是何种颜色，均可实现本目标。 1. 实现任务 计算机视觉常用的方法是使用OpenCV...

深度学习入门0 - PyTorch环境配置 Python环境 版本：3.10 本教程使用Conda环境进行配置，Conda环境安装好后可以指定Python版本，因此本教程并不需要像之前的爬虫教程那样手动下载安装需要的Python版本。 安装Anaconda Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Py...

爬虫实战2 - 爬取使用WordPress生成的Blog 实际上，爬虫网站都回比较复杂，这次我们尝试爬取另一个使用WordPress生成的Blog。爬取前的探索部分在此处略过。 在Blog文件夹内新建一个名为craw_all_passages的Python脚本。 下面是爬虫的源代码 from utils import url_manager from bs4 import Beaut...

爬虫实战1 - 爬取自己的Blog 前面我们学习了很多关于Python爬虫的基础知识，现在我们就来实战一下，以我个人的blog作为第一个爬虫网站爬取。 爬取目标 我们这次的爬取的目标是blog上每篇文章的链接以及对应的标题，我们可以先探索一下我们的blog。 可以看到，我们的标题是在一个h1的标签下的，并带有一个超链接。 开始爬取 打开PyCharm，然后在我们的项目根目录下...

探索待爬取的网页 为什么需要探索？ 对于一个网页，我们只有事先了解过，我们才能得知我们需要的信息在网页的什么位置，从而在爬虫时能够有针对性抓取内容，提高爬虫效率。 如何探索？ 此处以我的个人blog为例子进行探索。 待爬取网址：standardl.github.io 样式如下： 直接查看网页源代码 以Chrome浏览器（包括基于Chromium的浏览器，常见的如新版Mic...

Beautiful Soup的使用 实例HTML页面 此处使用之前我们抓取到的百度的HTML文本进行抓取，内容如图： 当然，为了格式好看，我们可以将这段代码复制出来，在test文件夹下新建一个名为bs4_test的Python软件包，并右键新建一个名为test.html的文件，将这段代码粘贴。然后在代码 - 重新格式化代码即可。 使用实例 我们在bs4_test文件夹内，新...

URL管理器的实现 新建一个python软件包文件夹，名为utils，意为一些常用的工具，并在该文件夹下新建一个名为url_manager的python脚本。 输入以下代码： class Url_Manager(): """ URL管理器的实现 """ def __init__(self): self.new_urls = set() ...

Requests的使用 在test的目录下我们新建一个名为“requests的使用”的python脚本，并输入以下代码： import requests url = "https://www.baidu.com" r = requests.get(url) print(r.status_code) print(r.headers) print(r.encoding) print(r....

Requests 功能 Python requests 是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。 requests 模块比 urllib 模块更简洁。 使用 requests 发送 HTTP 请求需要先导入 requests 模块. 使用 发送请求 requests中发送请求的代码段为： request.get/post(ur...