AnalyticDB for PostgreSQL 6.0 新版本技术解析

  • 时间:
  • 浏览:1

AnalyticDB for PostgreSQL (简称: ADB PG;中文名称:分析型数据库PostgreSQL版)为基于PostgreSQL内核的MPP数据仓库服务。其具备完备的SQL语法功能,广泛支持主流的BI、ETL工具,还须要同阿里云RDS及大数据MaxCompute 无缝集成,实现快速构建云上数据仓库服务。同时广泛兼容PostgreSQL扩展生态,支持基于PostGIS 的地理空间数据分析,通过MADLib 机器学习库实现 Machine Learning in MPP。

ADB PG 还须要实现分布式下的高并发事务解决性能,这有赖于有另一个 多关键机制,MVCC及全局死锁检测。MVCC为单机数据库经典的事务并行机制,通过数据的多版本管理,还须要实现对十根数据进行并发的读和写操作。将会对十根数据进行并发更新操作时,单机引擎会通过行级锁LOCK机制来保证其执行的串行性和事务一致性。然而在分布式场景下,单节点下的行级锁将会会原应分布式死锁,为解决你这俩问题图片报告 ,6.0版本实现了高性能的分布式死锁检测机制,保证分布式条件下,也还须要支持高并发的事务操作。

qq克隆好友 表支持:既有AnalyticDB for PG版本支持数据按有一种法子在MPP节点间分布,即按HASH分布,将会RANDOM随机均分。在 6.0版本中,对于数据仓库中小数据量的维度表,引入了新的数据分布法子,即qq克隆好友 表(REPLICATED)。从而对于什么都繁复分析和多表关联解决时,通过对小表指定为qq克隆好友 分布,减少节点间的数据传输,即减少执行计划中的数据MOTION算子。

阿里云DTS服务支持 RDS MySQL/PostgreSQL等数据源秒级别延迟同步到ADB PG内。ADB PG 6.0版本的DTS写入性能较4.3版本有3倍提升,还须要支持每秒同步记录RPS 8万条。同时 ADB PG 通太满种存储机制(列存表,行存表),多种索引机制(B-Tree,BitMap,Hash),多种表分区机制(Range Table Parition,List Table Partition),实现即支持繁复的 ETL 任务,也支持高性能即时查询,同时广泛支持第三方的BI报表或ETL调度工具。

2020年1月1日 AnalyticDB for PostgreSQL 6.0版本正式商用化。6.0版本较以前 4.3 版本在引擎内核及高吞吐事务能力上有质的提升,全面支持在线实时数仓服务,否则提供HTAP混合负载能力。

通过内核引擎的优化,以及分布式下并发执行的优化,ADB PG 6.0版本的 OLTP 性能有质的提升,标准TPC-C Benchmark 在保证分布式一致性下,还须要支持 80k tpmC。TPC-B SELECT 达到 80k QPS,INSERT 80k tps,UPDATE,80k tps;DELETE 800 tps。从而实现有另一个 多实例,一份数据,即还须要执行高性能查询,也支持高吞吐事务解决。

同时通过上述优化,实时高并发数据写入更新能力全是大幅提升,DTS 实时同步性能 RPS 指标提升 3倍

ADB PG 支持分布式事务及标准数据库隔离级别 (RC、RR、SI)。在share-nothing场景下,还须要保证全局一致的节点间数据可见性,即对MPP有全局的更新将会写入操作时,并发查询看得人的是一致的数据版本。下图展示是要怎样实现。

Gartner在2014年正式提出HTAP场景概念,当前主流数据库中,真正具备HTAP能力的只能Oracle,其支持对TB级别数据,进行高性能事务解决和数据分析查询的混合负载。如后面 介绍AnalyticDB for PostgreSQL,还须要同时支持OLTP和OLAP有一种业务操作,同时采用分布式架构,还须要将HTAP能力水平扩展,支持大数据量下的混合负载。

除OLTP和OLAP性能外,为保证混合负载的稳定性,ADB PG支持完备的负载管理能力,如下所示,通过资源队列,还须要支持在线交易每项,和在线查询每项得到高优先级的CPU响应。

传统大数据方案,往往将ETL作业和交互查询部署在两套异构系统里,数据须要同步,且无法做到实时分析。在线数据仓库较传统的 T+1数据仓库,还须要更好的体现数据的实时性。这里须要具备有另一个 多能力:第一,生产系统数据还须要在一分钟内实时同步进入分析数仓;第二,数仓同时具备ETL批解决能力和高性能交互分析能力。

阿里云数据库团队持续投入ADB PG的内核竞争力构建,全新的向量化引擎将在 2020年Q1发布,较标准PostgreSQL引擎,计算性能提升5倍。同时为了实现更好的高吞吐能力,将在Q2发布多协调节点能力,OLTP的高并发吞吐能力将实现线性扩展,支持百万级别的 TPS 吞吐。

其它分析新形态:除qq克隆好友 表外,6.0版本还引入了多项对分析性能有显著提升的形态,包支持ZSTD高性能压缩,支持列级别的权限控制,支持SCHEMA的权限控制;支持高性能的JSONB数据格式等

ADB PG在11月份信通院举行的分析型数据库测试认证上,通过了80TB TPC-DS大规模性能测试认证,同时共计640个MPP并行计算节点,超过以前MPP认证最高800节点记录。证明了 MPP 你这俩集群数据库产品,具备更优秀的“大”数据解决能力。