快速入门 — 请求文档
快速入门
急于开始? 这个页面很好地介绍了如何开始使用 Requests。
首先,请确保:
- 请求已安装 [[Requests/docs/latest/user/install#install|]]
- 请求是 最新
让我们从一些简单的例子开始。
提出请求
使用 Requests 发出请求非常简单。
首先导入 Requests 模块:
>>> import requests
现在,让我们尝试获取一个网页。 对于这个例子,让我们获取 GitHub 的公共时间线:
>>> r = requests.get('https://api.github.com/events')
现在,我们有一个名为 r
的 Response 对象。 我们可以从这个对象中获取我们需要的所有信息。
Requests 的简单 API 意味着所有形式的 HTTP 请求都是显而易见的。 例如,这是您发出 HTTP POST 请求的方式:
>>> r = requests.post('https://httpbin.org/post', data = {'key':'value'})
不错,对吧? 其他 HTTP 请求类型如何:PUT、DELETE、HEAD 和 OPTIONS? 这些都一样简单:
>>> r = requests.put('https://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('https://httpbin.org/delete')
>>> r = requests.head('https://httpbin.org/get')
>>> r = requests.options('https://httpbin.org/get')
这一切都很好,但这也只是 Requests 可以做的事情的开始。
在 URL 中传递参数
您通常希望在 URL 的查询字符串中发送某种数据。 如果您手动构建 URL,则此数据将作为 URL 中问号后的键/值对给出,例如 httpbin.org/get?key=val
。 Requests 允许您使用 params
关键字参数将这些参数作为字符串字典提供。 例如,如果您想将 key1=value1
和 key2=value2
传递给 httpbin.org/get
,您可以使用以下代码:
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)
通过打印 URL 可以看到 URL 已正确编码:
>>> print(r.url)
https://httpbin.org/get?key2=value2&key1=value1
请注意,任何值为 None
的字典键都不会添加到 URL 的查询字符串中。
您还可以将项目列表作为值传递:
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get('https://httpbin.org/get', params=payload)
>>> print(r.url)
https://httpbin.org/get?key1=value1&key2=value2&key2=value3
回复内容
我们可以读取服务器响应的内容。 再次考虑 GitHub 时间线:
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.text
'[{"repository":{"open_issues":0,"url":"https://github.com/...
请求将自动解码来自服务器的内容。 大多数 unicode 字符集都是无缝解码的。
当您发出请求时,Requests 会根据 HTTP 标头对响应的编码进行有根据的猜测。 访问r.text
时使用Requests猜测的文本编码。 您可以使用 r.encoding
属性找出请求正在使用的编码并对其进行更改:
>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'
如果您更改编码,则每当您调用 r.text
时,请求将使用新值 r.encoding
。 您可能希望在任何可以应用特殊逻辑来计算内容编码的情况下执行此操作。 例如,HTML 和 XML 能够在它们的正文中指定它们的编码。 在这种情况下,您应该使用 r.content
查找编码,然后设置 r.encoding
。 这将让您使用具有正确编码的 r.text
。
如果您需要,请求还将使用自定义编码。 如果您创建了自己的编码并将其注册到 codecs
模块,您可以简单地使用编解码器名称作为 r.encoding
的值,请求将为您处理解码。
二进制响应内容
对于非文本请求,您还可以以字节形式访问响应正文:
>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...
gzip
和 deflate
传输编码会自动为您解码。
如果安装了 brotli 或 brotlicffi 等 Brotli 库,则会自动为您解码 br
传输编码。
例如,要从请求返回的二进制数据创建图像,可以使用以下代码:
>>> from PIL import Image
>>> from io import BytesIO
>>> i = Image.open(BytesIO(r.content))
JSON 响应内容
还有一个内置的 JSON 解码器,以防您处理 JSON 数据:
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{'repository': {'open_issues': 0, 'url': 'https://github.com/...
如果 JSON 解码失败,r.json()
会引发异常。 例如,如果响应得到 204(无内容),或者如果响应包含无效的 JSON,尝试 r.json()
会引发 requests.exceptions.JSONDecodeError
。 这个包装器异常为不同 python 版本和 json 序列化库可能抛出的多个异常提供了互操作性。
需要注意的是,调用r.json()
成功并不表示not响应成功。 一些服务器可能会在失败的响应中返回一个 JSON 对象(例如 HTTP 500 的错误详细信息)。 这样的 JSON 将被解码并返回。 要检查请求是否成功,请使用 r.raise_for_status()
或检查 r.status_code
是否符合您的预期。
原始响应内容
在极少数情况下,您希望从服务器获取原始套接字响应,您可以访问 r.raw
。 如果您想这样做,请确保您在初始请求中设置了 stream=True
。 完成后,您可以执行以下操作:
>>> r = requests.get('https://api.github.com/events', stream=True)
>>> r.raw
<urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
但是,一般来说,您应该使用这样的模式来保存流式传输到文件的内容:
with open(filename, 'wb') as fd:
for chunk in r.iter_content(chunk_size=128):
fd.write(chunk)
使用 Response.iter_content
将处理很多你在直接使用 Response.raw
时必须处理的事情。 流式下载时,以上是检索内容的首选和推荐方式。 请注意,chunk_size
可以自由调整为更适合您的用例的数字。
注意
关于使用 Response.iter_content
与 Response.raw
的重要说明。 Response.iter_content
将自动解码 gzip
和 deflate
传输编码。 Response.raw
是原始字节流——它不会转换响应内容。 如果您确实需要访问返回的字节,请使用 Response.raw
。
自定义标题
如果您想向请求添加 HTTP 标头,只需将 dict
传递给 headers
参数。
例如,我们没有在前面的例子中指定我们的用户代理:
>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> r = requests.get(url, headers=headers)
注意:自定义标题的优先级低于更具体的信息源。 例如:
- 如果凭据在
.netrc
中指定,则使用 headers= 设置的授权标头将被覆盖,而后者又将被auth=
参数覆盖。 请求将在 ~/.netrc、~/_netrc 或 NETRC 环境变量指定的路径中搜索 netrc 文件。 - 如果您被重定向到主机外,授权标头将被删除。
- 代理授权标头将被 URL 中提供的代理凭据覆盖。
- 当我们可以确定内容的长度时,Content-Length 标头将被覆盖。
此外,Requests 根本不会根据指定的自定义标头更改其行为。 标头只是简单地传递到最终请求中。
注意:所有标头值必须是 string
、字节串或 unicode。 虽然允许,但建议避免传递 unicode 标头值。
更复杂的 POST 请求
通常,您希望发送一些表单编码的数据 — 很像 HTML 表单。 为此,只需将字典传递给 data
参数。 发出请求时,您的数据字典将自动进行表单编码:
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("https://httpbin.org/post", data=payload)
>>> print(r.text)
{
...
"form": {
"key2": "value2",
"key1": "value1"
},
...
}
data
参数对于每个键也可以有多个值。 这可以通过使 data
成为元组列表或以列表作为值的字典来完成。 当表单有多个使用相同键的元素时,这特别有用:
>>> payload_tuples = [('key1', 'value1'), ('key1', 'value2')]
>>> r1 = requests.post('https://httpbin.org/post', data=payload_tuples)
>>> payload_dict = {'key1': ['value1', 'value2']}
>>> r2 = requests.post('https://httpbin.org/post', data=payload_dict)
>>> print(r1.text)
{
...
"form": {
"key1": [
"value1",
"value2"
]
},
...
}
>>> r1.text == r2.text
True
有时您可能想要发送非表单编码的数据。 如果您传入 string
而不是 dict
,该数据将直接发布。
例如,GitHub API v3 接受 JSON 编码的 POST/PATCH 数据:
>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> r = requests.post(url, data=json.dumps(payload))
除了自己编码 dict
,你也可以直接使用 json
参数(在 2.4.2 版本中添加)传递它,它会自动编码:
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> r = requests.post(url, json=payload)
请注意,如果传递了 data
或 files
,则会忽略 json
参数。
在请求中使用 json
参数会将标头中的 Content-Type
更改为 application/json
。
POST 一个多部分编码的文件
请求使上传多部分编码文件变得简单:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}
您可以明确设置文件名、内容类型和标题:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "<censored...binary...data>"
},
...
}
如果需要,您可以发送要作为文件接收的字符串:
>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}
>>> r = requests.post(url, files=files)
>>> r.text
{
...
"files": {
"file": "some,data,to,send\\nanother,row,to,send\\n"
},
...
}
如果您将非常大的文件作为 multipart/form-data
请求发布,您可能需要流式传输请求。 默认情况下,requests
不支持此功能,但有一个单独的包支持 - requests-toolbelt
。 您应该阅读 工具带的文档 以获取有关如何使用它的更多详细信息。
要在一个请求中发送多个文件,请参阅 高级 部分。
警告
强烈建议您以 二进制模式 打开文件。 这是因为 Requests 可能会尝试为您提供 Content-Length
标头,如果这样做,此值将设置为文件中 字节 的数量。 如果以 文本模式 打开文件,可能会出现错误。
响应状态代码
我们可以查看响应状态码:
>>> r = requests.get('https://httpbin.org/get')
>>> r.status_code
200
Requests 还带有一个内置的状态代码查找对象,以便于参考:
>>> r.status_code == requests.codes.ok
True
如果我们提出了一个错误的请求(4XX 客户端错误或 5XX 服务器错误响应),我们可以用 Response.raise_for_status() 提出它:
>>> bad_r = requests.get('https://httpbin.org/status/404')
>>> bad_r.status_code
404
>>> bad_r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error
但是,由于 r
的 status_code
是 200
,当我们调用 raise_for_status()
时,我们得到:
>>> r.raise_for_status()
None
一切都很好。
响应头
我们可以使用 Python 字典查看服务器的响应头:
>>> r.headers
{
'content-encoding': 'gzip',
'transfer-encoding': 'chunked',
'connection': 'close',
'server': 'nginx/1.0.4',
'x-runtime': '148ms',
'etag': '"e1ca502697e5c9317743dc078f67693f"',
'content-type': 'application/json'
}
不过,这本字典很特别:它只是为 HTTP 标头而制作的。 根据 RFC 7230,HTTP 标头名称不区分大小写。
因此,我们可以使用任何我们想要的大小写来访问标题:
>>> r.headers['Content-Type']
'application/json'
>>> r.headers.get('content-type')
'application/json'
它的特殊之处还在于服务器可以多次发送具有不同值的相同标头,但请求将它们组合在一起,以便它们可以在单个映射中的字典中表示,根据 RFC 7230 :
接收者可以将具有相同字段名称的多个头字段组合成一个“字段-名称:字段-值”对,而不会改变消息的语义,通过将每个后续字段值按顺序附加到组合字段值中,由逗号。
重定向和历史
默认情况下,请求将对除 HEAD 之外的所有动词执行位置重定向。
我们可以使用 Response 对象的 history
属性来跟踪重定向。
Response.history 列表包含为完成请求而创建的 Response 对象。 该列表按从最早到最近的响应排序。
例如,GitHub 将所有 HTTP 请求重定向到 HTTPS:
>>> r = requests.get('http://github.com/')
>>> r.url
'https://github.com/'
>>> r.status_code
200
>>> r.history
[<Response [301]>]
如果您使用 GET、OPTIONS、POST、PUT、PATCH 或 DELETE,您可以使用 allow_redirects
参数禁用重定向处理:
>>> r = requests.get('http://github.com/', allow_redirects=False)
>>> r.status_code
301
>>> r.history
[]
如果您使用 HEAD,您也可以启用重定向:
>>> r = requests.head('http://github.com/', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]
超时
您可以使用 timeout
参数告诉请求在给定秒数后停止等待响应。 几乎所有的生产代码都应该在几乎所有的请求中使用这个参数。 不这样做可能会导致您的程序无限期挂起:
>>> requests.get('https://github.com/', timeout=0.001)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
注意
timeout
不是整个响应下载的时间限制; 相反,如果服务器在 timeout
秒内没有发出响应(更准确地说,如果底层套接字在 timeout
秒内没有收到任何字节),则会引发异常。 如果未明确指定超时,则请求不会超时。
错误和异常
如果出现网络问题(例如 DNS 失败、拒绝连接等),请求将引发 ConnectionError 异常。
Response.raise_for_status() 如果 HTTP 请求返回不成功的状态代码,将引发 HTTPError。
如果请求超时,则会引发 Timeout 异常。
如果请求超过配置的最大重定向数,则会引发 TooManyRedirects 异常。
Requests 显式引发的所有异常都继承自 requests.exceptions.RequestException。
准备好了吗? 查看 高级 部分。
如果您在求职市场上,请考虑参加 这个编程测验 。 如果您通过此平台找到工作,我们将为此项目提供大量捐款。