数据存算场景

予早 2026-04-30 23:53:31
Categories: Tags:

1.咸鱼特定用户信息推送

场景

用户规模:数据级别

用户维度数据指标:上百

业务需求:

从数亿级别用户数据中快速筛选出符合期望的用户人群进行进行精细化运营

方案

OLAP场景

构建人群圈选系统

离线数据层:用户维度数据,分散在各个业务系统的离线表中。我们通过离线 T+1 定时任务,把数据汇总导入到实时计算层的用户大宽表中。

实时计算层:根据人群的筛选条件,从用户大宽表中,查询符合的用户数量和用户 ID 列表,为应用系统提供服务。

人群圈选前台系统:提供可视化的操作界面。运营同学选择筛选条件,保存为人群,用于分析或者发送 PUSH。

每一个人群,对应一个 SQL 存储,类似于:

同时,SQL 可以支持任意字段的多层 and/or 嵌套组合。用 SQL 保存人群的方式,当用户表中的数据变更时,可以随时执行 SQL,获取最新的人群用户,来更新人群。

闲鱼 PUSH 系统:从人群圈选前台系统中获取人群对应的 where 条件,再从实时计算层,分页获取用户列表,给用户发送 PUSH。在实现过程中,我们重点解决了分页查询的性能问题

相关产品

OpenSourse

Clickhouse

Aliyun

OLTP,PolarDB-X(DRDS)

OLAP,AnalyticDB for MySQL

AWS

OLTP

RedShift