存储(一):阿里云对象存储OSS2,python_SDK

本文分享了使用阿里云OSS Python SDK的过程与心得,包括安装问题、存储空间管理及大量图片上传的解决方案,如利用数据库ID和时间戳解决命名难题,采用多进程提升上传效率。

有多种开发语言SDK,先上SDK连接:
https://help.aliyun.com/document_detail/52834.html?spm=a2c4g.11186623.4.4.1efe585eCLlXR5

前提:
已开通OSS服务,已创建Accesskey。

其他的就不多说了,连接文档里面的介绍和使用比我说的肯定要好太多了,我就分享一下我使用过程中遇到的一些坑和思想吧。

首先说下安装问题,OSS Python SDK适用于Python 2.6、2.7、3.3、3.4、3.5、3.6版本,但是我服务器上面使用的是python3.9的也没啥问题。反倒是我自己的电脑上python3.6版本有问题,验证crcmod的C扩展模式安装失败,SDK安装成功,但是上传、下载等操作的效率非常低下,根据文档提示稍微处理一下没有效果,但是我自己是不在自己电脑上操作的所有就没有去管了,后续有时间自己去处理一下这个问题吧。
linux服务器:
CentOS系统安装依赖库:yum install python-devel
安装SDK:pip3.9 install oss2

然后说一下存储空间,这个模块其实开发者不需要去二次实现了,因为服务器拥有者可以在阿里云的平台可视化操作了,感觉再实现就有点浪费时间了,而且没有意义。我觉得只要把上传文件,下载文件,遍历文件,删除文件的接口看一下应该就OK了,如果要再深入一点就数据加密也看一看就OK了。

最后说下我实现存储过程遇到的问题:
1、之前从某网站上面爬取到的信息中大概有10亿张图片,是一个非常大的数据量,因为爬虫把这样的数据保存到本地或者我手上现有的服务器里面根本放不下,只能暂时保图片链接存到数据库后期再做处理
2、保存在OSS服务器上面是根据阿里云定义域名请求规则进行请求的,然后数据量如此庞大而域名后面要跟上存储文件路径和文件名称,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值