五、数据模型
目录
一、什么是？
二、适用场景
OLAP 多维分析：
实时数据仓库：
高并发查询：
统一分析 ：
三、系统架构
系统架构图
数据管理
四、表设计
列式存储
稀疏索引
加速数据处理
五、数据模型
明细模型
聚合模型
更新模型
主键模型
一、什么是？
是一款高性能分析型数据仓库，使用向量化、MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。
二、适用场景
可以满足企业级用户的多种分析需求，包括 OLAP 多维分析、定制报表、实时数据分析和 Ad-hoc 数据分析等。
OLAP 多维分析： 实时数据仓库： 高并发查询： 统一分析 ： 三、系统架构 系统架构图
的架构简洁，整个系统的核心只有FE（）、BE（）两类进程，不依赖任何外部组件，方便部署与维护。同时，FE和BE模块都可以在线水平扩展，元数据和数据都有副本机制，确保整个系统无单点。
FE（）是的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。FE根据配置会有两种角色：和。
BE（）是的后端节点，负责数据存储以及SQL执行等工作。
数据存储方面，的BE节点都是完全对等的，FE按照一定策略将数据分配到对应的BE节点。在数据导入时，数据会直接写入到BE节点，不会通过FE中转，BE负责将导入数据写成对应的格式以及生成相关索引。
在执行SQL计算时，一条SQL语句首先会按照具体的语义规划成逻辑执行单元，然后再按照数据的分布情况拆分成具体的物理执行单元。物理执行单元会在数据存储的节点上进行执行，这样可以避免数据的传输与拷贝，从而能够得到极致的查询性能。
整体对外暴露的是一个MySQL协议接口，支持标准SQL语法。用户通过已有的MySQL客户端能够方便地对里的数据进行查询和分析。
数据管理
在里，一张表的数据会被拆分成多个，而每个都会以多副本的形式存储在BE节点中。通过分区、分桶两种划分方式将Table划分成。通过分区机制（），一张表可以被划分成多个分区，如将一张表按照时间来进行分区，粒度可以是一天，或者一周等。一个分区内的数据可以根据一列、或者多列进行分桶，将数据切分成多个。用户可以自行指定分桶的大小。会管理好每个副本的分布信息。
由于一张表被切分成了多个，在执行SQL语句时，可以对所有实现并发处理，从而充分的利用多机、多核提供的计算能力。此外，由于每个表可以有不同的表数据切分方式，根据每个表数据量的不同，切分成的数也可以不同。这样就能够实现在一个大规模集群内，对于不同的表使用不同的资源来进行服务。用户也可以利用数据的切分方式，将高并发请求压力分摊到多个物理节点，从而可以通过增加物理节点的方式来扩展系统支持高并发的能力。
的分布方式与具体的物理节点没有相关性。在BE节点规模发生变化时，比如在扩容、缩容时，可以做到无需停止服务，直接完成节点的增减。节点的变化会触发的自动迁移。当节点增加时，一部分会在后台自动被均衡到新增的节点，从而使得数据能够在集群内分布的更加均衡。在节点减少时，下线机器上的会被自动均衡到其他节点，从而自动保证数据的副本数不变。所以，管理员能够非常容易的实现的弹性伸缩的操作，不需要手工进行任何数据重分布的操作。
支持多副本存储，默认副本数为三个。多副本够保证数据存储的高可靠，以及服务的高可用。在使用三副本的情况下，一个节点的异常不会影响服务的可用性，集群的读、写服务仍然能够正常进行。另外，增加副本数还有助于提高系统支持高并发查询的能力。
四、表设计 列式存储
的表和关系型数据相同, 由行和列构成，每行数据对应用户一条记录, 每列数据有相同数据类型。一张表的列可以分为维度列(也成为key列)和指标列(value列), 维度列用于分组和排序, 指标列可通过聚合函数SUM, COUNT, MIN, MAX, , , 等累加起来。 的表也可以认为是多维的key到多维指标的映射。
查询时, 如果指定了维度列的等值条件或者范围条件, 并且这些条件中维度列可构成表维度列的前缀, 则可以利用数据的有序性, 使用range-scan快速锁定目标行. 例如: 对于表: (, , , )➜(pv); 当查询条件为 > 2020-09-18 and = 2, 则可以使用范围查找; 如果指定条件为 = 4 and in["Andy", "Boby", "", ""], 则无法使用范围查找。
稀疏索引
表中数据组织有主要由三部分构成:
index表: 表中数据每1024行, 构成一个逻辑block. 每个逻辑block在 index表中存储一项索引, 内容为表的维度列的前缀, 并且不超过36字节. index为稀疏索引, 用数据行的维度列的前缀查找索引表, 可以确定该行数据所在逻辑块的起始行号。Per- data block: 表中每一列数据按64KB分块存储, 数据块作为一个单位单独编码压缩, 也作为IO单位, 整体写回设备或者读出。Per- index: 表中的每列数据有各自的行号索引表, 列的数据块和行号索引项一一对应, 索引项由数据块的起始行号和数据块的位置和长度信息构成, 用数据行的行号查找行号索引表, 可以获取包含该行号的数据块所在位置, 读取目标数据块后, 可以进一步查找数据。
由此可见, 查找维度列的前缀的查找过程为: 先查找 index, 获得逻辑块的起始行号, 查找维度列的行号索引, 获得目标列的数据块, 读取数据块, 然后解压解码, 从数据块中找到维度列前缀对应的数据项。
加速数据处理 预先聚合: 支持聚合模型, 维度列取值相同数据行可合并一行, 合并后数据行的维度列取值不变, 指标列的取值为这些数据行的聚合结果, 用户需要给指标列指定聚合函数. 通过预先聚合, 可以加速聚合操作。分区分桶: 事实上的表被划分成, 每个多副本冗余存储在BE上, BE和的数量可以根据计算资源和数据规模而弹性伸缩. 查询时, 多台BE可并行地查找快速获取数据. 此外, 的副本可复制和迁移, 增强了数据的可靠性, 避免了数据倾斜. 总之, 分区分桶保证了数据访问的高效性和稳定性。表索引: index可加速数据查找, 然后 index依赖维度列排列次序. 如果使用非前缀的维度列构造查找谓词, 则无法使用 index. 用户可以为数据表创建若干表索引, 表索引的数据组织和存储和数据表相同, 但表拥有自身的 index. 用户创建表索引时, 可选择聚合的粒度, 列的数量, 维度列的次序; 使频繁使用的查询条件能够命中相应的表索引。列级别的索引技术: 可快速判断数据块中不含所查找值, 通过数据范围快速过滤待查找值, 索引可快速计算出枚举类型的列满足一定条件的行。 五、数据模型
数据模型分为四类：明细模型（ Key）、聚合模型（ Key）、更新模型（ Key）、主键模型（ Key）
明细模型
关键字 KEY
CREATE TABLE IF NOT EXISTS table1 (event_time DATETIME NOT NULL COMMENT "datetime of event",event_type INT NOT NULL COMMENT "type of event",user_id INT COMMENT "id of user",device_code INT COMMENT "device of ",channel INT COMMENT ""
)
DUPLICATE KEY(event_time, event_type)
DISTRIBUTED BY HASH(user_id) BUCKETS 8聚合模型
关键字 KEY （默认全表排序，一般可省略）
CREATE TABLE IF NOT EXISTS table2 (site_id LARGEINT NOT NULL COMMENT "id of site",date DATE NOT NULL COMMENT "time of event",city_code VARCHAR(20) COMMENT "city_code of user",pv BIGINT SUM DEFAULT "0" COMMENT "total page views"
)
DISTRIBUTED BY HASH(site_id) BUCKETS 8;更新模型
关键字 KEY
CREATE TABLE IF NOT EXISTS table3 (create_time DATE NOT NULL COMMENT "create time of an order",order_id BIGINT NOT NULL COMMENT "id of an order",order_state INT COMMENT "state of an order",total_price BIGINT COMMENT "price of an order"
)
UNIQUE KEY(create_time, order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 8存储内部会给每一个批次导入数据分配一个版本号, 同一主键的数据可能有多个版本, 查询时最大(最新)版本的数据胜出。
主键模型
目前主键存储在内存中，为防止滥用造成内存占满，限制主键字段长度全部加起来编码后不能超过127字节。
主要适用场景有：
1.实时对接 TP 数据至 。
2.利用部分列更新轻松实现多流 JOIN
关键字 KEY
create table table4 (dt date NOT NULL,order_id bigint NOT NULL,user_id int NOT NULL,merchant_id int NOT NULL,good_id int NOT NULL,good_name string NOT NULL,price int NOT NULL,cnt int NOT NULL,revenue int NOT NULL,state tinyint NOT NULL
) PRIMARY KEY (dt, order_id)
PARTITION BY RANGE(`dt`) (PARTITION p20210820 VALUES [('2021-08-20'), ('2021-08-21')),PARTITION p20210821 VALUES [('2021-08-21'), ('2021-08-22')),...PARTITION p20210929 VALUES [('2021-09-29'), ('2021-09-30')),PARTITION p20210930 VALUES [('2021-09-30'), ('2021-10-01'))
) DISTRIBUTED BY HASH(order_id) BUCKETS 4
PROPERTIES("replication_num" = "3");注意:
主键列仅支持类型: , , , int, , , /, date, , 不允许NULL。分区列()、分桶列()必须在主键列中。和更新模型不同，主键模型允许为非主键列创建等索引，注意需要建表时指定。由于其列值可能会更新，主键模型目前还不支持 index和物化视图。暂不支持使用ALTER TABLE修改列类型。ALTER TABLE的相关语法说明和示例，请参见ALTER TABLE。在设计表时应尽量减少主键的列数和大小以节约内存，建议使用int/等占用空间少的类型。暂时不建议使用。建议提前根据表的行数和主键列类型来预估内存使用量，避免出现OOM。内存估算举例：
a. 假设表的主键为:dt date (4byte), id (8byte) =
b. 假设热数据有1000W行, 存储3副本
c. 则内存占用:(12 + 9(每行固定开销) ) * 1000W * 3 * 1.5(hash表平均额外开销) = 945M
官方文档： @ @ Docs
