数据仓库体系架构
2020-11-09
来源：筏尚旅游网
简介 数据仓库架构，是IT架构的一个分支，随着数据在企业的核心作用的增强，数据仓库的架构日益重要。数据仓库架构由于其技术选择非常广泛，看上去复杂，不过背后有一套比较稳定的思路，这也是数据仓库架构设计的一个要点，稳定中蕴含变化，变化中蕴含稳定。
简介
数据仓库架构，是IT架构的一个分支，随着数据在企业的核心作用的增强，数据仓库的架构日益重要。数据仓库架构由于其技术选择非常广泛，看上去复杂，不过背后有一套比较稳定的思路，这也是数据仓库架构设计的一个要点，稳定中蕴含变化，变化中蕴含稳定。
总体来说，数据仓库架构分成两大块，一是硬件架构，二是软件架构。硬软架构又可以分成封闭式和开放式。封闭式硬件架构代表厂商有teradata，其硬件是专属的，必须使用特殊的硬件才能运行。开放式硬件架构的代表有oracle，可以运行在各种硬件上，不过开放和封闭之间的界限也逐步的融合，oracle也开始打包hp的专属硬件来推广其dw的方案，而teradata也开始用基于suse的os可运行的硬件上提供其dw产品。封闭式硬件好处是开箱即用，经过厂商的严格测试，保障性比较高，开放式硬件则需要企业具备很强大的技术实力，能够有一支具备硬件，存储，操作系统综合知识和能力的团队，在组合成一套可以运行dw软件的基础平台，并且在发现问题的时候要能很快速的定位问题的原因并解决。
数据仓库的软件架构选择更加丰富。从数据库软件，etl软件，展现软件，数据挖掘软件，每一种类型里面都具备非常多的选择。这些软件的选择是架构设计的一部分，架构设计的重要核心一部分是综合这些软件的一套思路，在一套dw架构设计的思路下，软件可以很灵活的进行选择。
软件物理架构主要特征区别就是行存储和列存储。这个也是曾经很多厂商津津乐道的地方，根据需求的不同，2种方式可以灵活采用。大部分db软件都是采用行存储，而列存储的特征在于高效的单列值压缩，在选择列比较少的时候需要io要求很低，速度很快，不过行存储的db目前在压缩效率上也在迅速提升，大部分需求还是选择行数据进行观察，行存储也更加便于表的按记录拆分进行并行化。
Yahoo数据仓库
Yahoo数据仓库在基础架构上由hadoop集群和Oracle集群组成，hadoop集群是一个计算平台，完成所有ETL数据处理过程；Oracle集群只是一个查询环境。
数据通过Data highway从源系统加载进入数据仓库的ODS层，ODS层数据保持与源系统数据结构一样。EDW数据层并没有严格意义的数据层次的逻辑细分，它可能有 多层的ETL加工过程；多层的数据存储。这一个层数据主要采用维度建模的方法，根据应用需求建立数据模型。数据采用列式存储的数据结构存储。 数据经过加工处理完成后，数据将会同步到Oracle的集群中用做数据查询。
Yahoo用Oracle做查询环境，他们的大量采用了基于时间RANGE分区和HASH子分区的方式来提升查询响应性能（类似与Greenplum的方式）。数据采用了压缩技术，同时基于压缩和读取的方式上ORACLE官方为他们定制了一些改进，从而获取更好的读取IO和压缩能力。 MSTR报表工具连接ORALCE完成大部分报表查询功能，同时，如果要查询最明细的数据，工具会连接到HADOOP集群上，通过创建一些临时表来满足查询功能。 同时，Yahoo的仓库配备了一个功能强大的元数据管理系统，他们的元数据是通过SQL解析，直接将ETL mapping的元数据解析进入元数据库，做到了字段级别的MAPPING。同时他们的PM会维护最新的业务元数据（业务规则，指标定义）进入的元数据库系统。
显示全文