+ 我要发布
我发布的 我的标签 发现
浏览器扩展
斑点象@Edge

阿里云对象存储 OSS Python 断点续传上传

通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。 **注意事项** + 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见访问域名和数据中心。 + 本文以从环境变量读取访问凭证为例。如何配置访问凭证,请参见Python配置访问凭证。 + 本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient,请参见Python初始化。 + 要断点续传上传,您必须有oss:PutObject权限。具体操作,请参见为RAM用户授权自定义的权限策略。 + 断点续传内部使用了多线程,调用时无需在外部封装多线程,否则可能导致数据重复传输。 + 网络情况较好时,建议增加分片大小。反之,减小分片大小。 **示例代码** ``` #-*- coding: utf-8 -*- import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider #从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。 auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider()) #yourEndpoint填写Bucket所在地域对应的Endpoint。以华东1(杭州)为例,Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。 #填写Bucket名称,例如examplebucket。 bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'examplebucket') #yourObjectName填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。 #yourLocalFile填写本地文件的完整路径,例如D:\\localpath\\examplefile.txt。如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件。 oss2.resumable_upload(bucket, 'exampledir/exampleobject.txt', 'D:\\localpath\\examplefile.txt') #如未使用参数store指定目录,则会在HOME目录下建立.py-oss-upload目录来保存断点信息。 #Python SDK 2.1.0以上版本支持断点续传上传时设置以下可选参数。 import sys #当无法确定待上传的数据长度时,total_bytes的值为None。 def percentage(consumed_bytes, total_bytes): if total_bytes: rate = int(100 * (float(consumed_bytes) / float(total_bytes))) print('\r{0}% '.format(rate), end='') sys.stdout.flush() #如果使用store指定了目录,则断点信息将保存在指定目录中。如果使用num_threads设置并发上传线程数,请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。 oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>', store=oss2.ResumableStore(root='/tmp'), #指定当文件长度大于或等于可选参数multipart_threshold(默认值为10 MB)时,则使用分片上传。 multipart_threshold=100*1024, #设置分片大小,单位为字节,取值范围为100 KB~5 GB。默认值为100 KB。 part_size=100*1024, #设置上传回调进度函数。 progress_callback=percentage, #如果使用num_threads设置并发上传线程数,请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。 num_threads=4) ```
我的笔记