对象存储凭什么横扫存储市场?三大传统架构面临挑战!
嘿,各位技术探索者!还记得小枣君之前揭秘的数据存储基石吗?我们深入对比了DAS、SAN和NAS三大技术。
长期以来,这三巨头几乎统治了整个存储领域,企业用户的选择也局限于此。

数字浪潮席卷全球,一种全新存储形态横空出世,正强势挑战传统垄断!
没错,它就是云计算时代的存储新宠——对象存储!

(笑)说不定钻研存储技术,真能帮你找到“对象”呢!
对象存储,即“面向对象的存储”(Object-based Storage),如今常被云厂商直接称为“云存储”。
各云厂商命名五花八门:阿里云叫OSS,华为云叫OBS,腾讯云叫COS,七牛叫Kodo,百度叫BOS,网易叫NOS……但万变不离其宗,核心都是同一技术。
回顾一下:DAS和SAN属于块存储,NAS则是文件存储。

块存储中,资源像硬盘直接挂载主机,操作对象是磁盘块。
文件存储呈现为目录树结构,包含层层文件夹与文件,便于层级访问。
文件存储的核心特点是通过多级路径访问资源,例如:
C:\Program Files (x86)\Tencent\WeChat\WeChat.exe
\\NJUST-Server\学习资料\通信原理\第一章作业.doc
20世纪末,互联网爆发催生存储需求两大剧变:
第一,数据量爆炸式增长。
原因不言而喻!看看你硬盘里存了什么?
Web应用崛起与社交需求刺激了多媒体内容创作分享,照片、音乐、视频上传激增。企业数字化也产生海量数据,吞噬存储资源。
第二,非结构化数据占比飙升。
什么是非结构化数据?
举例来说,Excel表格中姓名、身高、体重等可用二维表表达的数据,即结构化数据。

结构化数据
而图像、音频、视频、Word文档等,即非结构化数据。
据预测,到2020年,全球非结构化数据占比将达80%。
面对两大趋势,DAS、SAN和NAS因架构限制无力应对。
于是,对象存储应运而生!

虽称对象存储为新网红,但其诞生可追溯至1996年卡内基梅隆大学的研究项目。随后加州大学伯克利分校也有类似探索。
2002年,Filepool公司推出基于内容可寻址的Centera系统,堪称早期对象存储雏形。
2006年,Amazon发布AWS S3服务,将对象存储引入云计算领域,开启黄金时代!

S3几乎成为对象存储事实标准,各厂商均兼容S3协议。
▉ 对象存储和块存储、文件存储的区别对象存储究竟是什么?与块存储、文件存储有何不同?
千万别死磕百度百科的定义,否则绝对怀疑人生!
了解对象存储,最直接的方式是从使用体验对比。
对象存储的底层硬件仍是硬盘,与块存储、文件存储无异。
但架构在硬件之上的系统截然不同。(下文详解架构)
不同软件带来迥异体验:
块存储,操作对象是磁盘。存储协议为SCSI、iSCSI、FC。
以SCSI为例,主要接口命令包括Read/Write/Read Capacity/Inquiry等。
文件存储,操作对象是文件和文件夹。存储协议为NFS、SAMBA(SMB)、POSIX等。
以NFS为例,文件接口命令如:READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS等;文件夹命令如:MKDIR/RMDIR/READDIR等。
对象存储,操作对象是对象(Object)。存储协议为S3、Swift等。
以S3为例,主要接口命令仅PUT/GET/DELETE等。
看出关键了吗?接口极其简洁,彻底抛弃目录树概念!
在对象存储系统中,你无法直接打开或修改文件,只能下载后修改再上传。(类似百度网盘或FTP,秒懂!)

对象存储呈现为一个“桶”(bucket),你可向桶中放入“对象(Object)”。对象包含三部分:Key、Data、Metadata。

Key
可理解为文件名,是对象的全局唯一标识符(UID)。
Key用于检索对象,用户无需知道物理地址即可定位。这种方式极大简化数据存储。
以下是一个对象地址范例:

它形似URL网址。若对象设为“公开”,全球用户皆可访问。
Data
即用户数据本体,无需赘述。
Metadata
元数据是对象存储的独特概念。
它类似数据标签,条目类型与数量无限制,可涵盖各种描述信息。
例如,若对象是一张人物照片,元数据可包括姓名、性别、国籍、年龄、拍摄地点与时间等。

元数据可无限扩展
传统文件存储中,这类信息封装在文件内部。对象存储则独立元数据,不内嵌于数据。
元数据优势明显:大幅加速对象排序、分类与检索!
▉ 对象存储的架构对象存储架构如何?如下图所示,分为三大核心部分:

对象存储简化架构图
OSD对象存储设备
这是对象存储核心,自带CPU、内存、网络和磁盘系统。核心功能是存储数据,同时利用算力优化数据分布,支持预读取以提升性能。
MDS元数据服务器
它控制Client与OSD交互,管理配额、目录与文件的创建删除,以及访问权限。
Client客户端
提供文件系统接口,方便外部访问。
由此可见,对象存储系统能提供海量存储服务的分布式架构。
▉ 对象存储的优点对象存储优点众多,简要归纳如下:
容量无限大
对象存储容量达EB级以上。EB有多大?1EB约等于1TB的百万倍,请自行脑补……
对象存储所有业务与节点均采用分布式集群,各功能节点可独立扩容。理论上,单个桶或系统无总容量与对象数量限制。
换言之,只要资金充足,服务商可无限增加资源,存储空间近乎无限!
你可按需购买存储空间,并支持弹性伸缩,无需数据迁移与人工干预。
数据安全可靠
对象存储采用分布式架构,数据多设备冗余存储(至少三个节点),实现异地容灾与资源隔离。
云服务商承诺数据可靠性达99.999999999%(11个9)。这意味着,千亿文件中每月最多丢失1个文件,概率比被陨石击中低143000倍!
访问控制方面,所有桶与对象均设ACL策略,连接支持SSL加密,系统进行身份鉴权。数据分片存储于不同硬盘,即便硬盘被盗也无法还原完整数据。
使用方便
对用户而言,对象存储极其便捷。
有人比喻为“代客泊车”:你只需交车拿凭证,凭凭证取车,无需知晓车库布局或亲自停放。
数据存取方式灵活多样。除直接网页(基于http)访问外,多数云商提供图形化客户端工具,操作似网盘般简单。

腾讯云对象存储工具界面
实际上,对象存储需求多来自企业或政府用户,用于存储网站、App的静态图片、音视频及归档数据。
此类数据通过程序接口调用。对象存储提供开放REST API接口,开发者直接将存储参数写入代码,即可调用数据。相比文件存储的复杂路径,对象存储简洁高效!
▉ 对象存储的应用场景目前,国内众多云服务商将对象存储作为云存储销售。
他们通常将存储业务分为三级:标准型、低频型、归档型。对应场景如下:
标准类型:移动应用 | 大型网站 | 图片分享 | 热点音视频
低频访问类型:移动设备 | 应用与企业备份 | 监控数据 | 网盘应用
归档类型:长期保存档案 | 医疗影像 | 影视素材
据估算,全球互联网超70%的热点数据存于对象存储系统。
对象存储虽强大,亦有短板。其最大缺点源于工作模式。
它需整体取出、修改、放回,不支持原地修改,哪怕仅加一行数据。不适用频繁擦写数据(如关系型数据库)。
数据一致性保障上,对象存储也有先天不足,但据说技术已大幅改进。
以上就是对象存储的全貌。感谢你的耐心阅读!若有所获,请务必点赞转发,让更多人看见存储技术的未来!欢迎在评论区分享你的见解或疑问,小枣君期待与你互动!
相关问答