在数据爆炸的时代，你是否想了解大数据如何从海量信息中提炼价值，赋能业务决策？本文将带你深入解析大数据平台的整体架构，从基础特征到实战应用，一探究竟。
大数据整体架构概述
大数据5V特征Volume（体量）：数据规模庞大，采集、存储、计算均达TB/PB级，海量处理成为常态。Variety（多样）：数据类型与来源多样化，涵盖结构化、半结构化及非结构化数据，如日志、图片、音频、视频。Value（价值）：信息海量但价值密度低，需通过机器学习与深度挖掘提取洞察。Velocity（速度）：数据增长、获取与处理均追求高速，支持实时响应与流式计算。Veracity（真实性）：数据质量至关重要，强调准确性、一致性与可信赖度。
企业数据分析方向核心在于从海量数据中萃取洞察，揭示业务规律，赋能管理者精准决策。
数据分析在企业日常经营中主要聚焦三大方向：
现状分析：解析当下数据，实时监控业务状态、构成占比及动态变化，支持秒级或毫秒级实时响应。原因分析：追溯历史数据，定位问题根源，驱动业务优化与调整，通常以批处理方式（如T+1）进行。预测分析：融合历史与实时数据，运用机器学习算法（如分类、聚类、预测）预见未来趋势，制定前瞻策略。
数仓的主要特征
分布式存储、分布式资源调度与分布式计算协同，支撑海量数据高效处理。
分布式和集群的概念分布式：多台机器部署不同组件，实现功能解耦与协同。
集群：多台机器部署相同组件，提升系统冗余与高可用性。
数据分析模型 星型模型
星型模型的组合体，支持复杂多主题分析场景。
功能
数据库
数据仓库
数据范围
当前状态数据
存储历史、完整、反应变化数据
数据变化
支持频繁增删改查
仅支持增加与查询，无更新删除
应用场景
面向业务交易流程
面向分析，支撑决策
处理数据量
频繁、小批次、高并发、低延迟
非频繁、大批量、高吞吐、有延迟
设计理论
遵循数据库三范式，避免冗余
违范式，适当冗余
建模方式
ER实体关系建模（范式建模）
范式建模与维度建模结合
OLTP
OLAP
数据源
仅当前业务数据
整合多源数据，包括OLTP与外部
目的
面向应用，支撑事务
面向主题，支撑分析决策
焦点
当下
主要面向过去与历史，实时数仓除外
任务
读写操作频繁
大量读，很少写
响应时间
毫秒级
秒到天级，依赖数据量与查询复杂度
数据量
小数据，MB/GB级
大数据，TP/PB级
主要应用
数据库
数据仓库
OLAP引擎分类OLAP按存储数据格式分为MOLAP（多维OLAP）、ROLAP（关系OLAP）和HOLAP（混合OLAP）。
MOLAP：基于多维数组存储，预计算以空间换效率，适合高性能查询，如Kylin、Druid。ROLAP：基于关系模型，按需即时查询，灵活但性能依赖优化。HOLAP：混合模型，细节数据ROLAP存放，聚合数据MOLAP存放，平衡灵活性与效率。
开源OLAP引擎
优点
缺点
技术融合成本
易用性
使用场景
运维成本
引擎类型
ClickHouse
1.列式存储<br />2.单机性能彪悍<br />3.保留明细数据<br />4.向量化引擎
1.分布式扩展支持不佳<br />2.运维成本极高
高
非标协议接口
全面
高
纯列存OLAP
Druid
1.实时数据摄入<br />2.列式存储和位图索引<br />3.多租户和高并发
1.OLAP性能分场景差异大<br />2.使用门槛高3.仅支持聚合查询
高
非标协议接口
局限
高
MOLAP
TiDB
1.HTAP混合数据库<br />2.支持明细和聚合查询<br />3.高度兼容MySQL
1.非列存储<br />2.OLAP能力不足
低
SQL标准
全面
低
纯列存OLAP
Kylin
1.预计算引擎，一次聚合多次查询<br />2.支持超大数据规模<br />3.易用性强，支持标准SQL<br />4.查询性能强（预聚合结果）
1.依赖Hadoop生态<br />2.仅支持聚合查询<br />3.不支持ad-hoc查询<br />4.不支持join与数据更新
高
SQL标准
局限
高
MOLAP
Doris
1.GoogleMesa+ApacheImpa+ORCFlle/Parquet<br />2.主键更新<br />3.支持RollupTable<br />4.高并发Ad-hoc查询<br />5.支持聚合+明细查询<br />6.无外部系统依赖
成熟度不足
低
兼容MySQL协议
全面
低
ROLAP
大数据架构演变 传统离线大数据架构
Lambda架构缺点：需开发两套代码，资源消耗大，离线与实时结果可能不一致，批量计算延迟高，存储需求大。
Kappa架构
Kappa架构缺点：Kafka存储有限，OLAP效率低，数据血缘管理难复用，不支持更新操作。
湖仓一体实时数仓架构
湖仓一体解决方案：统一存储，克服Kafka限制，支持任意分层OLAP分析，复用数据血缘体系，实现实时数据更新。
公司架构选择
对比项
传统离线大数据架构
Lambda架构
Kappa架构
实时性
离线（无法处理实时业务）
离线+实时
实时（批流一体）
计算资源
只有批处理
批和流同时运行，资源消耗大
只有流处理，资源开销小
重新计算时吞吐量
批处理全量处理，吞吐量大
批处理全量处理，吞吐量大
流式全量处理，吞吐较批处理全量要低一些
开发、测试难度
批处理一套代码，开发、测试、上线难度小
批处理和流处理相同逻辑两条代码，开发、测试、上线难度大
只需实现一套代码，开发、测试、上线难度相对较小
运维成本
维护一套引擎，运维成本小
维护两套引擎，运维成本大
维护一套引擎，运维成本小
架构选择需根据业务场景灵活权衡，3、4情况待进一步探讨。
网易实时数仓实践
批式模型使用MapReduce、Hive、Spark等引擎，以小时或天任务进行数据计算，适用于离线场景。
延迟：小时或天级，实际延迟受任务依赖与计算时间影响。数据完成度：较高，能处理完整批次数据，但难应对事件时间延迟。成本：资源占用周期性，但全量重计算成本高。
流式模型基于Flink等引擎，实现实时数据计算，适合秒级或毫秒级响应场景。
延迟：极低，近实时。数据完整度：较低，依赖watermark机制，可能丢弃延迟数据。成本：高，需常驻资源与状态存储，多流join开销大。
增量模型以mini batch形式跑准实时任务，Hudi等工具支持Upsert与增量查询，平衡成本与效率。
Upsert：解决批处理中数据更新问题，支持增量写入。增量查询：减少计算数据量，提升效率，如Uber司机-乘客数据流Join案例。
相关问答
大数据专业学什么技术_瑞文网
大数据专业涵盖数学分析、数据结构、数据科学导论、程序设计、概率统计及算法等核心课程，构建数据分析与处理能力。
大数据架构思维?
大数据架构思维是处理海量数据时的设计理念，强调可扩展、高可用与高效计算，以应对数据增长与复杂分析挑战。
云南省大数据有限公司组织架构?
通常包括董事会、总经理办公室、技术研发部、数据运营部等，支撑大数据业务规划与执行。
传统大数据存储系统的三种架构?
包括集中式、分布式与多层存储架构，后者结合快慢存储层，平衡性能与成本。
要成为一名大数据开发工程师必备哪些技能?-ZOL问答
需掌握数据库技术、分布式系统、编程语言（如Java/Scala）、大数据框架（如Hadoop/Spark）及数据管道构建等技能。
大数据开发跟大数据平台开发有区别吗?-幸福里问答
大数据开发聚焦应用与算法，大数据平台开发侧重底层架构与工具链构建，两者互补。
大数据开发跟大数据平台开发有区别吗?-幸福里问答
大数据开发聚焦应用与算法，大数据平台开发侧重底层架构与工具链构建，两者互补。
数据科学界有哪些中国大牛们，他们分享过什么?申请方
如杨滔（桃树科技创始人）专注于机器学习研发与应用，分享AI产品商业化见解。
江苏南京:以“大数据”审计为核心高质量推进审计信息化建设_...
通过构建主题数据库与深度挖掘，提升审计数据易用性与分析效率。
学架构师好还是大数据好?
互联网架构师侧重系统设计，大数据方向聚焦数据处理，选择需结合个人兴趣与行业需求。
探索大数据架构的无限可能，立即实践这些策略，提升你的数据驱动能力！分享你的见解或挑战，我们一起探讨解决方案。