存储技术详解
你是否曾好奇,海量数据如何被安全存储并随时调用?今天,我们就一起揭开存储技术的神秘面纱!
一、云存储
当下,云计算、云存储和云备份等技术席卷各行各业,但其中不乏“伪云”产品——它们仅借云之名炒作,缺乏实质。
市场对“云”并无明确界定,因为云本身尚无统一标准。
云的起源
国外常用“Cluster”指代设备集群,中文译为“簇”或“集群”。“云”一词来源已不可考,或许源自某次演讲中“The Servers in the cloud”的随口一提,从此“Cloud”成为代名词。
对云的四种认知
目前主流观点将云分为四类:设备即云、集群即云、IT系统即云、服务即云。
设备即云:最基础的观点,强调硬件设备是云的基石。无设备,无云可言。
集群即云:设备需有机联动,形成协同集群,这是对“设备即云”的升级。
IT系统即云:集群需结合软件灵魂,如企业IT系统,实现功能整合。
服务即云:IT系统支撑业务,并可通过商业模式盈利。例如:直接售卖(受众窄)、租赁(受众更广)、运营服务(如邮箱、网页,覆盖全民)。可见,能提供IT服务的整套系统皆可称为云,互联网运营商实为云服务商。
定义云
当前主流定义融合上述观点:云是可运营的智能IT系统,需具备快速部署、灵活回收资源的核心能力。云的本质是:
可运营、可快速部署、可弹性回收资源的智能IT系统。
云的特性包括:
提供商拥有大规模硬件基础(计算、存储、网络);服务以租赁形式交易,非实物买卖。
可见,云更是一种商业模式,而非单纯技术堆砌。

云的推动力
需求催生云!智能终端普及导致信息爆炸,传统IT架构濒临饱和。
传统IT运维流程繁琐:业务增长需扩容,采购周期长,无法匹配业务变化速度。而部门间资源孤立,如视频业务余量无法快速调配给网游部门,手动操作效率低、风险高。
传统IT三大痛点:
业务部署慢、资源利用率低、手动运维滞后。
云实为商业模式与技术的结合,二者相辅相成。

系统架构演进
虚拟化成为破解传统IT困局的关键。服务器虚拟化(如VMware)整合资源,结合Vmotion、DRS等技术,提升部署灵活性与资源均衡。
虚拟化层为数据中心注入弹性,实现自动化部署、度量化和服务化,迈向云数据中心。
云系统核心角色:
虚拟化、集群化、自动化(资源调度)、可度量(成本控制)。云的发展是技术与商业双轮驱动。
存储技术演进:从单纯数据存储,到数据管理(快照、容灾),再到数据运营(贴近业务)。

公有云与私有云
云数据中心按服务对象分为私有云(内部服务)和公有云(对外服务)。
私有云提升IT部门地位,通过资源度量实现成本可控,变被动支撑为主动服务。
公有云受限于网络带宽,低速网络更适合SaaS(如网页、视频),IaaS(如虚拟机)体验不佳。
当前,私有云与混合云是落地主流。

云系统架构
云架构分层如下:

物理架构层:供电、散热等基础。
IT架构层:网络、存储、服务器集群。
虚拟化层:增加系统弹性。
资源部署层:集群管理驱动。
中间件层:应用与资源适配。
应用引擎层:业务开发平台。
业务展现层:用户交互界面。
云服务出租层次:
IaaS(基础设施即服务):提供硬件平台,用户自部署计算任务。如Amazon EC2和S3。
PaaS(平台即服务):出租软件平台,用户定制应用。
SaaS(软件即服务):直接提供业务,如Web服务。

案例:3Tera Applogic
Applogic作为IaaS平台,底层架构分四层:
硬件层:服务器、存储、网络。
分布式虚拟化层:计算(Xen虚拟机)、存储(自研文件系统)、网络虚拟化。
一次性基础设施层:按需创建虚拟机。
网络控制层:图形化拖拽管理。
Applogic革命性在于简化硬件,实现可视化架构部署。

云的优缺点
优点:资源高效利用、节能、IT角色转型。
缺点:稳定性与安全性挑战、平台迁移复杂、厂商兼容性问题。
云的未来
云本质是服务,而非实体。它依托硬件与软件,实现资源低成本高效管理。技术轮回中,云是“分久必合”的集中计算体现。
弹性数据中心(Micro至Grid级)将按需交付,实现资源敏捷响应。
二、数据容灾
备份仅保障数据复制,容灾确保故障后快速恢复业务。容灾分四级:
数据级、应用级、业务级容灾。

概述
容灾需远程同步数据,支持无缝切换。类比手机:备份如数据同步到电脑,容灾如双机实时同步。但容灾不替代备份,防误删需备份还原。
企业IT四组件容灾:
生产资料(数据)、生产工具(服务器)、生产者(应用)、产品(服务)。
生产资料容灾
数据是核心,容灾需实时同步变化,保留多副本,结合备份防逻辑错误。
同步路径分前端网络与后端网络:
前端同步:经IP网络,文件级同步,成本低但实时性弱。
案例:DB2 HADR组件通过日志同步,故障时自动切换。

后端同步:经SAN网络,块级同步,实时性强但要求高带宽。

设备直同步:存储设备自主同步,路径短但需同型号设备。

总结:前端同步适合低成本场景,后端同步重实时性,设备直同步需兼容性。

同步与异步复制
同步复制:需备站点确认,IO等待严格一致。

异步复制:本地成功即返回,存在数据延迟。

应用容灾
应用容灾需备站点预装应用,通过高可用集群监控状态,故障时切换。异地容灾需解决IP切换(路由或DNS调整)、卷切换(同步关系断开)、应用启动。

三、数据保护与备份技术
备份分文件级与块级:
文件级备份:调用文件接口,备份至介质,忽略元数据。
块级备份:复制所有块,速度快但含冗余数据。

远程文件复制
如rsync工具,异步同步文件变化,实现增量备份。
远程卷镜像
块级远程备份,分同步/异步模式,异步响应快但一致性弱。

快照技术
快照捕捉卷某一时刻数据,分CoFW(写时复制)和RoFW(写时重定向)。CoFW需复制旧数据,RoFW直接重定向,读性能影响不同。

快照意义:快速恢复、防逻辑错误、缩小备份窗口。需代理程序保障一致性。

卷Clone
虚拟Clone依赖源卷,实Clone独立存在,支持瞬时镜像生成。
数据备份系统要件备份对象、目的、通路、引擎、策略为核心。
备份目的
本地磁盘:简单但影响性能。
SAN磁盘:占用网络带宽,对主体影响小。
NAS目录:廉价,基于以太网。
磁带库:虚拟磁带库提升速度与管理便利。
分级存储:一线磁盘、二线磁带、三线光盘,实现生命周期管理。

备份通路
本地备份:数据流经本地总线。
前端网络备份:经以太网,占前端带宽。
后端网络备份:经SAN,不扰前端。
LAN Free备份:避免前端网络拥堵。
Server Free备份:专用设备或服务器移动数据,解放主机。
备份策略
备份服务器制定策略,通过代理程序指挥待备份节点。介质服务器协调备份目标。
备份方式:
完全备份:全量数据复制。
差量备份:基于上次全备的变化数据。
增量备份:基于上次任何备份的变化数据。

四、DAS, SAN和NAS
NAS详解NAS将文件系统迁移至盘阵,用户通过网络存取文件,无需关心LBA地址。与SAN(网络磁盘)相比,NAS是网络文件系统,成本低、扩展强,支持多协议访问。

FC SAN性能高,但成本昂贵;NAS适合高并发随机小块IO,SAN擅长大块顺序IO。按场景选择:CPU密集选NAS,IO密集选SAN。

SAN通信经文件系统计算LBA,FC网络传输;NAS直接通过路径访问文件,TCP/IP传输。NAS网关可分离文件逻辑与存储硬件。

DAS(直连存储)到SAN(存储网络)再到NAS(文件服务),是存储外包化的进程。FC SAN习惯指代光纤网络,IP SAN基于iSCSI协议,扩展性极佳。
NetApp NAS设计
NetApp借鉴数据库日志机制,利用NVRAM保存操作日志,写请求批量写入硬盘,提升效率。WAFL永不覆写数据,通过Checkpoint保证一致性。

iSCSI协议基于TCP/IP,扩展性强、成本低,兼容性佳。IP SAN本质是块存储,NAS为文件存储。
五、Fibre Channel协议
FC网络专用于主机连接存储,高速度、远距离、高可靠。协议栈包含物理层(光纤介质)、链路层(帧结构)、网络层(寻址与路由)。
FC网络核心拓扑分FC-AL(仲裁环)和Fabric(交换矩阵),后者效率更高。寻址通过WWPN映射24位Fabric ID,自动管理。

FC适配器(HBA卡)含独立CPU与内存,处理协议逻辑。

FC承载SCSI指令,突破并行SCSI限制,实现多主机共享盘阵。通过LUN Masking和ZONE技术保障安全。

多HBA卡需多路径软件整合LUN,避免单点故障。

存储技术博大精深,从云到容灾,每一步都关乎数据安全与效率。你是否在项目中应用过这些技术?欢迎分享你的经验,共同探讨存储未来!
相关问答
“英特尔快速存储技术”有用吗?-ZOL问答
该技术适用于SSD+机械盘组合,将SSD部分空间作为缓存提升机械盘性能,显著加速程序启动。
存储空间的主要技术指标有哪些?-ZOL问答
关键指标包括存储速度、容量、CAS延迟、带宽等,直接影响性能。
存储技术的重要性?
存储技术至关重要,保障关键数据安全,手法不佳可能导致存取失败。
液态存储技术?
液态储能通过空气液化实现高压存储,具高密度、低成本优势。
网络存储技术是什么?
将文件传输至网络保存的技术统称。
电是如何存储的?
电容储存少量电荷,大规模电能目前难以直接存储。
信息技术就是存储信息的技术?
信息技术涵盖信息处理与管理,远超存储范畴。
光盘存储技术的研究始于哪一年?
1968年启动研究,1971年出现晶态转换技术。
冷冻保鲜的正确方法?
冰柜保鲜分冷冻与冷藏,控制温度是关键。
英特尔快速存储技术关闭还是开启?
系统位于SSD时可关闭,该技术主要用于优化机械盘。