沉睡十年数据,一招激活智能决策
|
去年十月,凌晨三点十七分,机房空调坏了,不是整个系统宕机那种坏——是右后角三台精密空调里有一台在漏冷凝水,滴答、滴答,掉在UPS散热格栅上,声音不大,但像用指甲刮黑板边缘。老陶蹲在机柜后面查日志,他手抖得厉害,不是因为累,是他刚撕开第三包榨菜肉丝方便面,塑料袋没撕利索,半截还粘在手指上,甩都甩不掉。我看见他左手无名指上那道陈年烫疤,就是十年前在IDC烧保险丝时留的。 事情起因是“沉睡十年数据,一招激活智能决策”这句PPT标题,上周五下午三点四十,产品总监带着市场部的人来DBA室过方案,西装袖口沾了两粒芝麻,估计是从楼下包子铺顺路买的。他说“历史数据全沉底了,这次AI模型要唤醒它”,我问沉在哪?他指着TAPD里一个叫“Legacy_ODS_2013”的库表前缀笑了下:“你们自己看着办。”我没接话,但心里已经知道:这玩意儿连字段注释都没更新过,create_time 是 varchar(20),存的是‘2013-08-29 16:05:07.0’,可2016年后所有ETL脚本默认截断毫秒位,后来加了个函数强制补零——结果就是‘2016-03-11 09:12:44.000’跟‘2013-08-29 16:05:07.0’在JOIN时被MySQL当不同时间处理,而我们整整八年没跑过跨年度维度聚合……
文章配图,仅供参考 我原以为开发至少会测个日期字段兼容性,结果他们连explain都没看,直接拿Spring Batch跑了一轮全量同步。上线前QA发来截图:测试环境全绿。我就坐在工位上盯着那个绿色对勾看了十八秒——不是因为信,是因为当时桌角放着昨天剩的半杯凉咖啡,我怕端起来泼到键盘上,就硬撑着不动。直到老陶把鼠标挪过去,悬停在“断言结果”那一栏,发现所有case都只校验了返回码200,没校验response.body.data.length。他说“这个我敢打包票”,声音压得很低,因为隔壁运维小李正对着电话吼:“你让DBA先看慢查!别再问我Redis是不是挂了!”——他左手捏着耳机线,右手在微信里回老板:“已协调”。 凌晨四点零三分,线上订单履约率曲线猛地往下栽,不是跳变,是斜着滑下去的,像有人用尺子从左上往右下一划。监控报警音不是常规蜂鸣,是那种老式服务器风扇异响后的继电器咔哒声——三年前我们换过一批电源模块,但机房二楼西侧的旧配电箱从来没动过,它还在用2009年版的固件,触发阈值写死在0.78A,比当前负载低三百七十二毫安。我一边改SQL加CAST,一边听见产品经理在钉钉语音里说“要不要先切回v2.3.7?”——他说话时背景有地铁报站,大概是刚下末班线,在回公司路上。 回归崩得特别荒谬。就为修复那个毫秒截断,我们重写了ODS层六张宽表的抽取逻辑,结果下游二十一个自动化用例全红。其中十五个红在“弹窗文案一致性”校验上——不是接口崩了,是前端自动截取title字符串时用了substr(0,32),而老数据里混着三条2004年的POS小票原始记录,含GB2312乱码,导致length()和substr()在Node.js v14里算出的字节数不一致。最绝的是第十八个case,它根本不该执行:触发条件是用户城市=‘北京’且设备类型=‘POS机’,但数据库里‘POS机’字段当年是ENUM('PC','MOBILE','POS'),现在改成VARCHAR(32)之后,所有迁移脚本全漏了UPDATE SET device_type = 'POS机' WHERE device_type = 'POS';所以这十五条case永远拿不到数据——可它的断言居然是assert.equal(res.status, 200),等于永远绿。老陶那天把茶杯盖拧下来又扣回去三次,每次间隔刚好是咖啡渣沉底的时间。 我其实不想骂“沉睡十年数据,一招激活智能决策”这句话。它站得住的地方真是“优胜劣汰”——不是模型淘汰人,是人自己淘汰了那些不敢动、不愿理、假装看不见的数据。但问题来了:谁定的“劣”?是DBA翻日志发现字段空值率72%就算劣?还是算法同学说“特征稀疏”就判死刑?上周三我看到数仓同事在删表,delete from legacy_fact_order_2014 where dt < '2014-03-01',他删完还顺手update了comment字段:“清理完成(实为误操作,未备份)”。这行comment现在躺在information_schema里,像一块没人认领的墓碑。 刚才窗外打雷了,不是闷雷,是劈在隔壁楼顶避雷针上的那种,整栋楼的照明灯闪了半秒。我抬头一看,老陶手机屏保换成了他女儿幼儿园运动会照片,她举着个歪歪扭扭的纸板,上面写着“爸爸修好数据库我就考满分”。我点了根烟,发现打火机盖子卡住了,抠了四次才撬开——火苗刚窜上来,监控大屏突然弹出一条新告警:‘legacy_fact_order_2008’表被某个定时任务select 了。我还没点进去看执行计划,小李又拨通我电话:“喂?你那边能不能先把ODS的read_only关了?算法团队说他们模型缺三个月训练样本……” 算了,先去机房看看那台漏水的空调。顺便把老陶桌上那包没撕开的榨菜面拿走——再放下去,明天早上蚂蚁该进机柜了。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


沉睡数据十年?一招激活服务器智能开发新范式

