YMatrix 文档
关于 YMatrix
标准集群部署
数据写入
数据迁移
数据查询
运维监控
参考指南
- MPP 架构
- 镜像分布策略
- 持续聚集
- 滑动窗口
- 全文搜索
- Grafana 监控指标解读
- Prometheus 监控指标解读
- 术语表
-
工具指南
- mxaddmirrors
- mxbackup
- mxbench
- mxdeletesystem
- mxgate
- mxinitstandby
- mxmoveseg
- mxpacklogs
- mxrecover
- mxrestore
- mxshift
- mxstart
- mxstate
- mxstop
- gpconfig
- pgvector
-
数据类型
-
存储引擎
-
执行引擎
-
流计算引擎
-
灾难恢复
-
系统配置参数
- 使用说明(必读)
- 参数目录
- 文件位置参数
- 连接与认证参数
- 客户端连接默认值参数
- 错误报告和日志参数
- 资源消耗参数
- 查询调优参数
- 运行中的统计信息参数
- 自动清理参数
- 数据表参数
- 锁管理参数
- 资源管理参数
- YMatrix 数据库集群参数
- 预写式日志参数
- 复制参数
- PL/JAVA 参数
- 版本和平台兼容性参数
-
索引
-
扩展
SQL 参考
- ABORT
- ALTER_DATABASE
- ALTER_EXTENSION
- ALTER_EXTERNAL_TABLE
- ALTER_FOREIGN_DATA_WRAPPER
- ALTER_FOREIGN_TABLE
- ALTER_FUNCTION
- ALTER_INDEX
- ALTER_RESOURCE_GROUP
- ALTER_RESOURCE_QUEUE
- ALTER_ROLE
- ALTER_RULE
- ALTER_SCHEMA
- ALTER_SEQUENCE
- ALTER_SERVER
- ALTER_TABLE
- ALTER_TABLESPACE
- ALTER_TYPE
- ALTER_USER_MAPPING
- ALTER_VIEW
- ANALYZE
- BEGIN
- CHECKPOINT
- COMMIT
- COPY
- CREATE_DATABASE
- CREATE_EXTENSION
- CREATE_EXTERNAL_TABLE
- CREATE_FOREIGN_DATA_WRAPPER
- CREATE_FOREIGN_TABLE
- CREATE_FUNCTION
- CREATE_INDEX
- CREATE_RESOURCE_GROUP
- CREATE_RESOURCE_QUEUE
- CREATE_ROLE
- CREATE_RULE
- CREATE_SCHEMA
- CREATE_SEGMENT_SET
- CREATE_SEQUENCE
- CREATE_SERVER
- CREATE_STREAM
- CREATE_TABLE
- CREATE_TABLE_AS
- CREATE_TABLESPACE
- CREATE_TYPE
- CREATE_USER_MAPPING
- CREATE_VIEW
- DELETE
- DROP_DATABASE
- DROP_EXTENSION
- DROP_EXTERNAL_TABLE
- DROP_FOREIGN_DATA_WRAPPER
- DROP_FOREIGN_TABLE
- DROP_FUNCTION
- DROP_INDEX
- DROP_RESOURCE_GROUP
- DROP_RESOURCE_QUEUE
- DROP_ROLE
- DROP_RULE
- DROP_SCHEMA
- DROP_SEGMENT_SET
- DROP_SEQUENCE
- DROP_SERVER
- DROP_TABLE
- DROP_TABLESPACE
- DROP_TYPE
- DROP_USER_MAPPING
- DROP_VIEW
- END
- EXPLAIN
- GRANT
- INSERT
- LOAD
- LOCK
- REINDEX
- RELEASE_SAVEPOINT
- RESET
- REVOKE
- ROLLBACK_TO_SAVEPOINT
- ROLLBACK
- SAVEPOINT
- SELECT INTO
- SET ROLE
- SET TRANSACTION
- SET
- SHOW
- START TRANSACTION
- TRUNCATE
- UPDATE
- VACUUM
常见问题(FAQ)
YMatrix - 超融合数据库
基本特性
YMatrix 是基于 PostgreSQL/Greenplum 系开源数据库开发的分布式数据库产品,具有以下基本特点:
- 集群支持多达 100 节点,可完成多节点、多核并行计算。
- 集群支持在线扩容。
- 集群具备金融级高可用性,3 秒内可完成故障自动转移。
- 适用于 TB 至 PB 级数据处理。
- 融合分析、事务、时序能力,广泛应用于智能制造、金融、车联网场景。
除商业版外,YMatrix 也提供免费的社区版本,欢迎你的体验与反馈。https://ymatrix.cn/download
“超融合”理念
超融合数据库指集事务型数据库(OLTP)、分析型数据库(OLAP)、时序数据库 (Time-series)和数据湖能力为一体的数据库产品。
YMatrix 的超融合理念,即拒绝数据处理的碎片化,而将计算、存储和网络资源整合在一套系统中。通过结合业务场景的原数据库种类、版本、集群拓扑、业务特性等方面,在数据库公共基础组件之上,为不同业务场景需求提供不同的存储、执行引擎组合,实现不同的微内核,以得到针对性的写入、存储、查询性能提升。
融合能力
YMatrix 认为数据库更应关注全场景功能、性能表现,包括写入、查询、分析、机器学习等。通过将各类能力融入至一个数据库产品,来应对多种复杂场景,从而多方位实现业务应用的多模(Multi-Model)、扩展能力(Scalability)以及成本控制。
· 分析能力
· 事务能力
· 时序能力
- 专研时序场景,提供强大高并发写入能力
- 针对复杂网络环境支持乱序、分批写入
- 支持不中断业务进行集群水平扩容 ...
统一接口
YMatrix 在上层以 SQL 作为所有数据的统一接口来提供服务。
开放架构
YMatrix 具有较强的可扩展性。
一方面,YMatrix 在迭代过程开拓了越来越多的业务场景,包括车联网、智能制造、金融、向量等场景;另一方面,我们通过提供机器学习,数据联邦等能力,让更多的异构、异源业务能通过数据库扩展(Extension)直接在 YMatrix 上高效运行。
YMatrix 超融合数据库通过帮助用户简化基础设施架构,可明显降低技术栈复杂度,提升不同场景下的数据基础设施的性能表现,减少多系统并存和交互带来的风险,进而帮助企业构建一套完善的数据治理机制,充分释放数据时代的数字潜能。
自研核心技术
YMatrix 通过多项关键自研技术来驱动“超融合”理念在产品中的实现。
存储引擎:MARS3
以同时适应分析、事务、时序场景为目标,MARS3 提供了 列存和行列混存 两种模式供用户择其一。行列混存模式除提供良好的存储性能(包括压缩、状态诊断等)外,还能同时保证高性能写入。两种模式均实现了 MVCC 机制,对于分区表支持自动分区管理和自动降级存储。
执行引擎:向量化
向量化执行引擎是专门为面向列的存储引擎(如 MARS3,MARS2,AOCO)打造的高性能执行引擎。对于常见查询,相比面向行处理的传统执行引擎有一到两个数量级的性能提升。
流计算引擎:Domino
Domino 流计算引擎在无需额外的辅助软件的前提下,可实现数据在库内的实时流转和快速处理,可提供秒级、实时和增量的数据分析能力,根据数据变化动态展示分析结果。
高可用架构:ALOHA
ALOHA(Advanced Least Operation High Availability) 是集群状态数据管理服务。它独立于集群运行,可单独配置磁盘,可单独配置监控,在严苛环境中依然能够保证低延迟节点状态的探测和管理,3 秒内完成故障自动转移(Failover)。
平台能力
MatrixUI:可视化安装运维
- 图形化安装:10 分钟完成集群部署;3 分钟模拟时序场景的查询与写入。
- 图形化运维监控:一键自助巡检,一键秒级扩容。
MatrixGate:高并发写入
- 低延时、高并发:支持海量数据并行写入,充分利用带宽压缩数据,可提升百倍写入速度。
- 支持接入不同数据源/类型。
- 支持数据批量写入、流式写入。
- 支持 UPSERT 能力:用以应对数据分批合并场景下数据乱序、分批等复杂的写入问题。
MatrixShift:点对点迁移
- 点对点高效迁移:实现了由 Segment 到 Segment 的数据传输,消除通常迁移操作中可能出现的单点瓶颈。
- 全场景迁移:支持全量、增量、条件过滤等多种迁移场景。
- 替换 Greenplum:支持从 Greenplum 迁移集群数据到 YMatrix。
企业级安全
- 认证:丰富的认证方法。信任认证、口令认证、PAM 证等多种认证方式。
- 权限控制:采用基于角色的访问控制机制,通过角色机制,简化了用户和权限的关联性。
- 加密:提供不同级别的加密。口令存储加密;为指定字段加密;SSL 主机认证;客户端加密;透过网络加密数据;跨网络加密口令;数据库分区加密。
- 审计:记录用户的登录退出以及登录后在数据库里的行为操作,根据安全等级不一样设置不一样级别的审计。
- 资源控制:有严格的地址访问限制,确保用户来源可信;可配置用户最大并发连接数;具有默认的连接超时策略。
更佳兼容性
- 完全兼容 PostgreSQL/Greenplum 生态上下游工具链。
支持多种业务场景
超级数仓场景
强大的分析计算能力
数仓场景主要查询场景为历史数据分析,传统方式是使用 Hadoop 生态完成数据生产及消费:先在 Hadoop 平台储存历史数据,再使用 Spark 计算报表指标,过程复杂。
YMatrix 不仅可以利用超融合能力解决复杂生态的问题,还对分析性能进行了针对性提升:通过融合结构化、非结构化数据类型、数据联邦访问等方式,完成金融、电信、政府、能源、制造等经典 OLAP 场景下的商务智能(BI,Business Intelligence)和报表分析任务。通过向量化、 Runtime Filter、滑动窗口,持续聚集等查询优化技术,实现了强大的分析计算能力。
复杂时序分析场景
平衡高速写入、低成本存储和实时查询
时序场景由于时序数据的实时特性,对数据库写入、存储、查询能力均要求很高。
YMatrix 针对时间进行了优化。得益于 MARS 系列存储引擎物理排序、异频上传、分批上传数据及 MatrixGate 高并发、高性能批量写入数据的能力,YMatrix 可以超越期待地满足企业时序场景下的实时入库,实时查询,事务保证等需求。
YMatrix 支持图形化扩容,操作简洁,轻松秒级扩容;支持平滑扩容,无需中断业务,保障业务安全、流畅,减少停机损失,降低风险。
融合技术栈场景
利用超融合能力打通数据链路
数据孤岛的现象,在传统工业企业中普遍存在。数据之间无法流通,也无法被利用,制约着企业的管理、经营、发展,严重影响了企业经营中对竞争优势的获取,是企业数字化转型必须打破的难关。
目前,YMatrix 的超融合架构已成功应用于工厂数据基座、大型公司集团数仓、智能网联汽车、物联设备智能运营等真实生产场景,大幅降低企业选型、采购、使用及运维时的技术门槛,得到良好反馈。如在智能制造场景中,一库即可完成对企业资源计划系统(ERP)数据、制造执行系统(MES)数据、设备数据等的采集、存储、计算、建模、查询、分析。