Product Preview
产品界面预览
以下截图均来自平台实际运行环境，展示核心功能模块的真实界面
业务应用开发流程总览
覆盖数据交换、数据开发、数据质量、数据可视化、数据发送五大业务环节，从原始数据到业务应用的一站式流水线
落地应用案例
平台已在省级政府部门和国有企业项目中部署应用，经过实际数据治理场景验证
省级政府数据中台
政府机关为某省级政府部门构建统一数据支撑平台，实现跨部门数据汇聚共享，支撑政务协同与决策分析
跨部门多源数据汇聚共享
大型国企数据治理
国有企业为某央企下属单位部署大数据治理平台，统一管控集团多业务线数据资产，提升数据质量与利用率
集团多业务线数据资产管控
市级智慧水利平台
政府机关为大型灌区信息化工程构建数据底座，汇聚多源异构监测数据，支撑四预业务应用
多源异构监测数据汇聚
政企
实际项目验证
全源码
交付可二开
8 大
大数据组件集成
6 大
功能域全覆盖
平台技术架构
自下而上涵盖基础设施、大数据组件、数据汇聚、数据治理、数据管理、数据应用全层次
基础设施层
服务器/存储/网络/安全
大数据组件层
HDFS/Spark/Hive/HBase
数据汇聚层
DB/文件/接口/消息
数据治理层
清洗/转换/标准化
数据管理层
元数据/主数据/目录
数据应用层
分析/共享/推送
大数据底座组件
集成主流大数据生态组件，各司其职、协同配合，构建完整的大数据处理体系
HDFS
分布式文件存储
高容错、高吞吐，适配海量非结构化数据
YARN
资源调度
统一管控集群资源，提升利用率
Spark
内存计算
规避磁盘 IO 瓶颈，适配迭代挖掘
Flink
流批一体
毫秒级低延迟，精准状态容错
Hive
数据仓库
SQL 查询引擎，兼容 Hadoop 生态
HBase
列式存储
海量结构化数据高效读写
Impala
低延迟查询
秒级处理 TB 级数据
Kafka
消息队列
高吞吐实时数据传输管道
功能模块详解
平台涵盖数据汇聚、数据开发、数据管理、数据安全、数据应用五大核心模块
一、数据汇聚
数据库汇聚
- 数据源汇聚配置：自定义汇聚任务名称、时效类型、目标表
- 数据表汇聚配置：单表配置时效、调度方式、增量字段
- 汇聚加密规则：指定字段加密汇聚，保障数据安全
- 汇聚任务管理：任务清单、条件查询、手动运行
- 汇聚历史查询：执行记录、数据量、运行状态溯源
- 汇聚态势统计：可视化展示汇聚总量、趋势、执行态势
文件汇聚
- 文件源管理：录入文件源信息、连接参数、有效性测试
- 文件源汇聚任务：文件上传、搜索、下载、解析、删除
- 文件源解析：自定义解析任务、解析方式、目标库配置
- 解析任务管理：手动触发、自动运行、历史日志查询
- 文件汇聚统计：总汇聚量、今日汇聚量、异常任务数
接口汇聚
- 接口汇聚任务：任务创建、分组、运行、删除
- 汇聚规则配置：接口规则、解析规则、存储目标位置
- 任务日志管理：多维度条件筛选、详细执行日志
二、数据开发（数据治理）
任务开发平台
- 工作空间：新建 Hive/Scala/Python/Shell 脚本、目录管理
- 数据库管理：Hive 表查询、表结构查看、在线 SQL 编写
- UDF 函数：上传 Jar 包、自定义函数管理
- 方法函数：自定义方法函数新增与管理
- HDFS 管理：分布式文件与目录统一管控
治理任务管理
- 工作流编排：治理工作流创建、可视化编排、在线调试
- 项目全流程管理：新建、编辑、修改、删除治理项目
- 数据交换节点：数据汇聚节点 + 数据发布节点
- 数据开发节点：Hive SQL、Spark SQL、Scala 多类型支持
治理任务调度
- 调度项目列表：分组展示、执行流与节点详情
- 调度安排：cron 表达式配置调度周期、SLA 规则
- 调度执行记录：实时监控运行状态、执行详情查看
- 调度历史记录：历次调度数据汇总、下钻查询
数据质量管理
- 数据质量首页：任务通过率、排行榜、问题数据分布
- 规则模板管理：自定义质量规则、质量 SQL、参数配置
- 质量任务管理：任务配置、字段关联、启停管控
三、数据管理
数据源管理
- 数据连接管理：连接创建、修改、连通性测试、模板复用
- 数据源管理：数据源新增、编辑、删除、台账展示
- 连接参数配置：IP/端口/用户名/密码/数据库/模式名
元数据管理
- 元数据管理：新增/修改/删除、版本化管理、血缘配置
- 分层目录：ODS/DWD/DWS/ADS 四层架构
- 数据目录：可视化目录树、在线检索查阅
- 血缘地图：字段级血缘追溯、全链路关联关系图
- 数据码表：码表新增/编辑/导入/导出全流程
- 元数据监控日志：操作行为全程记录、多维度筛选
- 数据规范文件：规范文档统一上传、管理、更新
主数据管理
- 主数据模型：可视化模型定义、版本迭代管理
- 主数据治理：治理清单配置、清洗工作流绑定、血缘标注
- 主数据资产：目录树展示、精准查询、服务统计分析
- 规范文件管理：关联规范上传、下载、在线展示
- 血缘追溯：表级/字段级血缘、分类筛选、高亮展示
四、数据安全
敏感数据管理
- 敏感类型配置：分类查询、新增、编辑、删除
- 识别规则配置：批量编辑识别规则、命中方式配置
- 脱敏规则配置：差异化脱敏策略、合规脱敏处理
使用情况监测
- 敏感数据清单：全平台敏感数据应用流转情况
- 脱敏执行监测：共享输出过程脱敏状态追踪
- 安全审计：全流程使用态势可查、可控、可追溯
五、数据应用
数据推送
- 推送任务管理：新增、修改、删除、运行状态展示
- 推送历史追溯：推送数据量、执行状态、起止时间
- 推送任务配置：源库表、目标库、调度方式自定义
数据接口服务
- 服务首页：服务总数、访问量、数据获取量统计
- 应用管理：应用新增/编辑/删除、Token 生成、接口文档
- 服务管理：服务创建、SQL 绑定、字段配置、调用日志
- 服务统计：调用频次、调用排名、运行活跃度分析
数据成果目录
- 数据资源目录：树形架构展示、多视图切换、资源收藏
- 资源目录管理：自定义多级目录搭建、按需迭代
- 资产详情：基本信息、对象信息、属性信息、关联服务
六、平台运维
运维管理
- 仪表盘管理：可视化监控图表、运行指标展示
- 主机管理：集群主机信息、服务清单集中展示
- 告警规则：告警规则管理、异常及时发现处理
- 集群管理：组件/服务清单/账户统一展示
多类型数据库支持
关系数据库
结构化、高关联、强一致性核心业务数据存储，保障事务完整、查询稳定
向量数据库
承载文本/图像/特征向量数据，支持相似度检索、智能分析、精准匹配
图数据库
聚焦数据关联关系存储与分析，适配关系溯源、知识图谱构建
时序数据库
海量时序监测数据、日志数据存储，支持高频采集与趋势统计
适用场景与用户
建设单位
总包单位
设计单位
施工单位
检测单位
信息化单位
政府监管部门
企业数据中心