人工智能 · 2024年2月7日 0

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性

随着大数据趋势的迅速增长,数据的重要性与日俱增,企业内看数据、用数据的诉求越来越强烈,其中最常见的就是各种经营报表数据:

老板早晨9点准时需要看到企业核心的经营数据,以便进行企业战略及方向决策
业务负责人不定期进行个性化的项目筹划,需要多维、及时效果数据以优化项目安排
运营需要和高层一致但粒度不同的经营分析数据,并进行活动策略调整
……
举个经营报表的例子:

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性

这个例子并不复杂,但是对于分析师或者业务开发者,实际执行的复杂度和工作量并不小,而且类似的工作每日都在重复……业务发展越快,带来的问题就越来越多:

加工时间长、人工成本高,招再多的分析师也难以满足需求
代码可读性差,数据可维护性差,类似需求需要反复、重复开发
代码开发不规范,加工过程中难以避免的计算存储浪费
得到的数据指标,复用性差导致重复建设,数据越来越不标准规范
这种情况下,对业务的直接影响就是:决策周期长(数据需求满足慢),决策易出错(数据指标口径不一致)。

既要保证数据生产时效性——及时产出数据并满足需求,又要支持数据多样性——企业自下而上不同业务分析场景,最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况,怎么才能做到呢?

企业的发展加速,离不开20世纪的文档管理转到21世纪的信息管理。同样的,如果繁复的指标代码编写工作,也可以如计算器一般,界面可视化点选,复杂的代码研发过程由计算器自行处理完成就好了。

而Dataphin的自动化建模功能,就可以很好实现这个能力。

1

选择组合条件

如下图,确定需要统计计算的值,Dataphin里称为“原子指标”——最小的数据值统计单元,比如用户数这样的统计值等,然后组合如下内容:

A. 统计计算值需要应用的分析对象,Dataphin里称为“统计粒度”——维度或维度的组合,比如用户星级、用户状态等

B. 数据统计计算的时间周期,Dataphin里称为“统计周期”——统计数据需要跨越的时间长度,比如最近1天、最近30天、自然周、自然月的等

C. 数据统计的其他个性化限定条件,Dataphin里称为“业务限定”——数据记录的筛选过滤条件,比如生鲜业务类型、PC端、女性等

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性 用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性

2

预览指标

选择完毕组合条件后,可以预览组合出来的派生指标:
1)组合的指标,默认名取“原子指标+时间周期+业务限定”组合名,保证命名标准规范.
2)历史已生成的组合,不再生成,保证指标建设统一,无重复

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性

3

一键自动化生成

确认需要提交的指标后,一键【提交】,分钟级指标生成:
1)自动汇聚至以“统计粒度为主题”的汇总逻辑表表下,保证管理标准规范;
2)代码和调度依赖关系,系统自动生成;
3)派生指标基于汇总逻辑表,可快速雪花模型查询使用指标、分析对象的属性信息.

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性

①派生指标自动汇聚至汇总逻辑表

②派生指标所在汇总表节点,代码及调度关系自动生成

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性
③汇总表及派生指标可查询消费

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性
4
复杂需求实现

上面主要是基于简单统计指标实现,实际上,报表需求还有类似 比率型、乘积型等复合统计方式,比如“客单价=销售额/客户数”,这类也可以通过Dataphin的衍生原子指标实现:

1)衍生原子指标是基于原子指标的再组合;

2)基于衍生原子指标新建派生指标时,需要保证拆解到最细粒度的原子指标,有相同的分析维度、时间周期,允许维度的计算路径不同、设置的业务限定不同.

①新建衍生原子指标

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性
②基于衍生原子指标新建派生指标

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性
D
总结

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性
上面步骤可以看到,派生指标的计算生成,离不开原子指标、业务限定、统计粒度的协助,这其中有什么奥秘呢?

其实很简单,用Dataphin高效创建派生指标,掌握这1张图就够了:

1)原子指标为核心,原子指标的来源表为中心

2)统计粒度取自来源表的关联维度,以及关联维度上的关联维度

3)业务限定基于来源表为中心的雪花模型做定义

4)统计周期可任意搭配使用

用Dataphin实现报表数据的自动化建模,确保数据的实效性、多样性和准确性