0%

最近更新

按时间写下的文章

263 每页 10 2 / 27 页 本页 10 当前 11-20

数仓分层不是把表名改成 ODS、DWD、DWS、ADS,而是把原始数据、明细事实、公共汇总、应用指标和维度数据放在不同责任边界里。本文用订单分析链路讲清 ODS、DWD、DWS、ADS、DIM、STG、TMP 等层的含义、粒度、命名方式、适用场景和常见误区。

物化就是把本来需要现场计算的结果提前算好并存起来,用存储成本和更新复杂度换查询速度、稳定性和低延迟。本文从订单统计、物化视图、Feature Store 特征物化、缓存和中间表讲起,解释物化解决什么问题、带来哪些代价,以及什么时候应该物化。

模型系统最危险的故障常常不是接口报错,而是输入特征悄悄变了。本文从缺失率、默认值比例、新鲜度、分布漂移、PSI/KS、枚举异常、线上离线差异和告警治理讲起,说明特征监控和普通服务监控的区别,以及 Feature Store 在模型上线后应该承担什么监控责任。

Point-in-Time Join 不是一个普通 SQL Join,而是训练样本构造里防止数据穿越的关键机制。本文从 event_time、feature_time、process_time、visible_time 四个时间讲起,结合错误 Join、ASOF Join、特征快照、迟到数据、回填和校验规则,讲清楚 Point-in-Time Join 怎么真正落地。

Feature Store 不是 Redis,也不是一堆离线宽表,而是一套管理模型输入的工程体系。它解决训练和线上特征不一致、特征重复建设、数据穿越、在线低延迟取数、特征监控和治理问题,让模型训练时吃到的东西和上线后看到的东西一致、可信、可复用。

Presto 是一个分布式 SQL 查询引擎,适合交互式分析、跨源联合查询、数据湖查询、BI 探索和数据校验;它不适合强事务写入、毫秒级在线点查、复杂长链路 ETL 或无治理的大查询平台。本文用一条 SQL 的执行过程讲清楚它是什么、怎么执行、为什么快、什么时候会慢,以及该在什么场景里使用。

算法工程师和后端工程师都在写代码,但优化目标完全不同:前者处理数据分布、模型效果和不确定性,后者处理接口契约、系统稳定性和确定性。本文从输入输出、正确性、调试方式、上线风险、协作边界和成长路径,系统讲清楚两类工程工作的差异。

Bosun 的核心是用表达式语言把时间序列压缩成 warn/crit 判断,再用 template 和 notification 把机器信号变成人能处理的告警。本文从 RuleConf、q()、group、归约函数、Unknown、lookup、depends 到模板通知,讲清楚 Bosun 语句怎么写。

报警规则不是简单阈值判断,而是把时间窗口、聚合维度、动态阈值、缺失数据、依赖抑制和处理动作组合成低噪声故障信号。本文用规则模板讲清楚错误率、延迟、流量骤降和容量耗尽该怎么设计。