对象存储爆火之谜:为何它成为海量数据存储的终极选择?

mysmile 5 0
对象存储爆火之谜:为何它成为海量数据存储的终极选择?

对象存储凭什么横扫存储市场?三大传统架构面临挑战!

嘿,各位技术探索者!还记得小枣君之前揭秘的数据存储基石吗?我们深入对比了DAS、SAN和NAS三大技术。

长期以来,这三巨头几乎统治了整个存储领域,企业用户的选择也局限于此。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

数字浪潮席卷全球,一种全新存储形态横空出世,正强势挑战传统垄断!

没错,它就是云计算时代的存储新宠——对象存储!

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

(笑)说不定钻研存储技术,真能帮你找到“对象”呢!

对象存储,即“面向对象的存储”(Object-based Storage),如今常被云厂商直接称为“云存储”。

各云厂商命名五花八门:阿里云叫OSS,华为云叫OBS,腾讯云叫COS,七牛叫Kodo,百度叫BOS,网易叫NOS……但万变不离其宗,核心都是同一技术。

回顾一下:DAS和SAN属于块存储,NAS则是文件存储。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

块存储中,资源像硬盘直接挂载主机,操作对象是磁盘块。

文件存储呈现为目录树结构,包含层层文件夹与文件,便于层级访问。

文件存储的核心特点是通过多级路径访问资源,例如:

C:\Program Files (x86)\Tencent\WeChat\WeChat.exe

\\NJUST-Server\学习资料\通信原理\第一章作业.doc

20世纪末,互联网爆发催生存储需求两大剧变:

第一,数据量爆炸式增长。

原因不言而喻!看看你硬盘里存了什么?

Web应用崛起与社交需求刺激了多媒体内容创作分享,照片、音乐、视频上传激增。企业数字化也产生海量数据,吞噬存储资源。

第二,非结构化数据占比飙升。

什么是非结构化数据?

举例来说,Excel表格中姓名、身高、体重等可用二维表表达的数据,即结构化数据。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

结构化数据

而图像、音频、视频、Word文档等,即非结构化数据。

据预测,到2020年,全球非结构化数据占比将达80%。

面对两大趋势,DAS、SAN和NAS因架构限制无力应对。

于是,对象存储应运而生!

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

虽称对象存储为新网红,但其诞生可追溯至1996年卡内基梅隆大学的研究项目。随后加州大学伯克利分校也有类似探索。

2002年,Filepool公司推出基于内容可寻址的Centera系统,堪称早期对象存储雏形。

2006年,Amazon发布AWS S3服务,将对象存储引入云计算领域,开启黄金时代!

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

S3几乎成为对象存储事实标准,各厂商均兼容S3协议。

▉ 对象存储和块存储、文件存储的区别

对象存储究竟是什么?与块存储、文件存储有何不同?

千万别死磕百度百科的定义,否则绝对怀疑人生!

了解对象存储,最直接的方式是从使用体验对比。

对象存储的底层硬件仍是硬盘,与块存储、文件存储无异。

但架构在硬件之上的系统截然不同。(下文详解架构)

不同软件带来迥异体验:

块存储,操作对象是磁盘。存储协议为SCSI、iSCSI、FC。

以SCSI为例,主要接口命令包括Read/Write/Read Capacity/Inquiry等。

文件存储,操作对象是文件和文件夹。存储协议为NFS、SAMBA(SMB)、POSIX等。

以NFS为例,文件接口命令如:READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS等;文件夹命令如:MKDIR/RMDIR/READDIR等。

对象存储,操作对象是对象(Object)。存储协议为S3、Swift等。

以S3为例,主要接口命令仅PUT/GET/DELETE等。

看出关键了吗?接口极其简洁,彻底抛弃目录树概念!

在对象存储系统中,你无法直接打开或修改文件,只能下载后修改再上传。(类似百度网盘或FTP,秒懂!)

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

▉ 对象存储中的数据组成

对象存储呈现为一个“桶”(bucket),你可向桶中放入“对象(Object)”。对象包含三部分:Key、Data、Metadata。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

Key

可理解为文件名,是对象的全局唯一标识符(UID)。

Key用于检索对象,用户无需知道物理地址即可定位。这种方式极大简化数据存储。

以下是一个对象地址范例:

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

它形似URL网址。若对象设为“公开”,全球用户皆可访问。

Data

即用户数据本体,无需赘述。

Metadata

元数据是对象存储的独特概念。

它类似数据标签,条目类型与数量无限制,可涵盖各种描述信息。

例如,若对象是一张人物照片,元数据可包括姓名、性别、国籍、年龄、拍摄地点与时间等。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

元数据可无限扩展

传统文件存储中,这类信息封装在文件内部。对象存储则独立元数据,不内嵌于数据。

元数据优势明显:大幅加速对象排序、分类与检索!

▉ 对象存储的架构

对象存储架构如何?如下图所示,分为三大核心部分:

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

对象存储简化架构图

OSD对象存储设备

这是对象存储核心,自带CPU、内存、网络和磁盘系统。核心功能是存储数据,同时利用算力优化数据分布,支持预读取以提升性能。

MDS元数据服务器

它控制Client与OSD交互,管理配额、目录与文件的创建删除,以及访问权限。

Client客户端

提供文件系统接口,方便外部访问。

由此可见,对象存储系统能提供海量存储服务的分布式架构。

▉ 对象存储的优点

对象存储优点众多,简要归纳如下:

容量无限大

对象存储容量达EB级以上。EB有多大?1EB约等于1TB的百万倍,请自行脑补……

对象存储所有业务与节点均采用分布式集群,各功能节点可独立扩容。理论上,单个桶或系统无总容量与对象数量限制。

换言之,只要资金充足,服务商可无限增加资源,存储空间近乎无限!

你可按需购买存储空间,并支持弹性伸缩,无需数据迁移与人工干预。

数据安全可靠

对象存储采用分布式架构,数据多设备冗余存储(至少三个节点),实现异地容灾与资源隔离。

云服务商承诺数据可靠性达99.999999999%(11个9)。这意味着,千亿文件中每月最多丢失1个文件,概率比被陨石击中低143000倍!

访问控制方面,所有桶与对象均设ACL策略,连接支持SSL加密,系统进行身份鉴权。数据分片存储于不同硬盘,即便硬盘被盗也无法还原完整数据。

使用方便

对用户而言,对象存储极其便捷。

有人比喻为“代客泊车”:你只需交车拿凭证,凭凭证取车,无需知晓车库布局或亲自停放。

数据存取方式灵活多样。除直接网页(基于http)访问外,多数云商提供图形化客户端工具,操作似网盘般简单。

对象存储爆火之谜:为何它成为海量数据存储的终极选择?

腾讯云对象存储工具界面

实际上,对象存储需求多来自企业或政府用户,用于存储网站、App的静态图片、音视频及归档数据。

此类数据通过程序接口调用。对象存储提供开放REST API接口,开发者直接将存储参数写入代码,即可调用数据。相比文件存储的复杂路径,对象存储简洁高效!

▉ 对象存储的应用场景

目前,国内众多云服务商将对象存储作为云存储销售。

他们通常将存储业务分为三级:标准型、低频型、归档型。对应场景如下:

标准类型:移动应用 | 大型网站 | 图片分享 | 热点音视频

低频访问类型:移动设备 | 应用与企业备份 | 监控数据 | 网盘应用

归档类型:长期保存档案 | 医疗影像 | 影视素材

据估算,全球互联网超70%的热点数据存于对象存储系统。

对象存储虽强大,亦有短板。其最大缺点源于工作模式。

它需整体取出、修改、放回,不支持原地修改,哪怕仅加一行数据。不适用频繁擦写数据(如关系型数据库)。

数据一致性保障上,对象存储也有先天不足,但据说技术已大幅改进。

以上就是对象存储的全貌。感谢你的耐心阅读!若有所获,请务必点赞转发,让更多人看见存储技术的未来!欢迎在评论区分享你的见解或疑问,小枣君期待与你互动!

相关问答