公开标签 #Python
python爬虫开发会用到selenium，如果处理不当会导致firefox/chrome等大量进程积累没有释放，会占用大量内存。 如果使用了 drive.close()，该问题会依然存在。原因是 drive.close() 只会关闭当前窗口。 需要用 drive.quit() 方法。 推荐的做法是将 drive 设置为单例，当整个抓取开始时初始化，整个抓取结束时使用 drive.quit() 统一销毁。
在Python中需要获取网页的状态码，用来判断网页请求是否成功。 获取正在抓取网页的状态码只需要使用到Python自带的 requests 库。 示例代码 import requests #url是正在抓取的页面网址 response = requests.get(url) code = response.status_code 当 code == 200 是，当前网页请求成功。
1. random.random(): 返回随机生成的一个浮点数，范围在[0,1)之间 2. random.uniform(a, b): 返回随机生成的一个浮点数，范围在[a, b)之间 3. random.randint(a,b)：生成指定范围内的整数 4. random.randrange([start],stop[,step])：用于从指定范围内按指定基数递增的集合中获取一个随机数。 5. random.choice()：从指定的序列中获取一个随机元素 6. random.shuffle(x[,r
Python中获取随机值的模块是 random，利用该模块，我们来看看如何从给定的列表中随机获取多个值。 1，给定一个指定的列表 l = ["A", "B", "C", "D", "E", "F", "G", "H"] 2，设定要获取的随机值个数 num = 6 3，利用 random 模块的 sample 方法获取随机值 random_result = random.sample(range(0, len(l)), num) 4，最后返回获取到的 random_result 即可 下面是完整的代码 i
Python匹配字符串时，可以使用re.match和re.search两种方法。re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。 re.match 方法 re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。 函数语法： re.match(pattern, string, flags=0) 函数参数说明 pattern：匹配的正则表达式
capitalize() 返回将原字符串的首字母大写的字符串 casefold() 返回将原字符串中所有字符改为小写的字符串 swapcase() 翻转字符串中的大小写 count(sub[,start[,end]]) 从 start 位置开始搜索到 end 位置结束，返回子字符串 sub 在字符串该指定范围内出现的次数，start参数默认为首字符的位置，end参数默认为字符串的最后一个位置 encode(encoding='utf-8',errors='strict') 以 encoding 指定的编
报这个错的原因是获取到的网页内容是经过压缩了的。浏览F12查看ua头，找一下 Accept-Encoding 的值是否包含 gzip，例如： Accept-Encoding: gzip, deflate, br 将 Accept-Encoding 的设置为空，然后再运行，问题就没有了
在使用Python的requests库发送POST请求时，有时候需要设置请求头。 使用Python的requests库发送POST请求的基本方法是使用requests.post(url, data)函数，其中url是请求的目标网址，data是要发送的数据。但是如果需要设置请求头，可以使用headers参数来设置。 以下是一个示例： import requests url = ' data = {'key1': 'value1', 'key2': 'value2'} headers = {'Content
我们使用postman进行接口测试的时候，发现POST请求方式的编码有3种，具体的编码方式如下： - application/x-www-form-urlencoded：最常见的post提交数据的方式，以form表单形式提交数据 - application/json：以json格式提交数据 - multipart/form-data：一般使用来上传文件（较少用） Requests以form表单形式发送post请求 import requests import json url = 'http://htt
在HTML文档中，meta标签用于提供关于文档的元数据 <head> <title>这是TITLE</title> <meta name="keywords" content="这是keywords"/> <meta name="description" content="这是description"/> </head> 抓取到网页内容后，如何通过 BeautifulSoup 来获取页面里的 meta 信息呢？ 使用BeautifulSoup对抓取到html内容进行解析，使用find_all方法查找所有
crcmod 是一个用于计算循环冗余检验 (CRC) 的 Python 模块，它可以用于数据完整性验证和错误检测。 1. 安装 crcmod 模块 打开终端或命令提示符，并执行以下命令： pip install crcmod 2. 导入 crcmod 模块 使用 import 语句导入 crcmod 模块： import crcmod 3. 创建 crcmod 实例 使用 crcmod.predefined.Crc 类创建一个 crcmod 实例。这个类接受两个参数：polynomial 和 initC
Python urllib.request.urlopen函数语法 urlopen(url, data=None,[timeout], cafile=None, capath=None, cadefault=False, context=None) 参数说明 url：参数是str类型的 data：默认值为None。参数值为None，请求方式为GET；反之，为POST。（发送POST请求，data参数以字典形式存储数据，并将字典类型转换成字节类型才能完成） 函数返回 一个http.client.HTTPR
运行老版的python代码时报错：The distutils package is deprecated and slated for removal in Python 3.12 原因是源文件所使用的python库已被弃用。 解决方案：所有使用了该库的地方全部替换。