百工四柱 · 真教智爬 广东技术师范大学(715实验室) × 师融百工 · 四大真教育支柱 12h 周期智爬与 PG17+JSONL 双写去重总控
专属域名：https://edu.liuzengyu.top/ · 统合母站：https://pulse.liuzengyu.top/ · Gitea 仓库：liuzengyu/srbg-four-pillars-edu-crawler.git
🏛️ 返回百工脉搏总控 (pulse.liuzengyu.top) 🏛️ 师融百工监测台 📊 产教数据底座 (EIDS)
⚡ 12h 周期守护进程在线 唯一性契约：剥离动态表头与时间计算 content_body_hash (UNIQUE) · 重复爬取若正文哈希不变，仅更新 PG last_updated_at (更新时间)，first_crawled_at (初抓时间) 100% 锁死不变，JSONL 零重复追加！

🎓 四大真教育支柱实时入库分布 (PG17 + JSONL 双写同源)纯度硬门禁 ≥ 0.7000

教育支柱标识PG17 唯一记录数平均纯度得分最低得分复爬更新核验数总字符规模

🔒 重复爬取「表头/时间变化 vs 正文哈希不变」实测核验台账500/500 零重复通过

文档 ID / 标题正文 Hash (恒定不变)原始载荷 Hash (随表头变)初抓时间 (锁死不变)更新时间 (刷新)命中次数

⏱️ 12 小时周期批次运行遥测台账 (edu_crawler_batch_runs)增量分片游标 + 304短路

批次编号 (Batch ID)运行模式扫描数新增入库正文未变仅更新时间戳低纯度拦截(<0.70)304短路平均纯度

🛡️ 十大周期性网页爬取工程最佳实践实装矩阵 (BP-01 ~ BP-10)10/10 已实装

编号最佳实践名称HP 生产实装机制与核验状态

📚 四大真教育支柱 PG17 实时入库抽样明细 (edu_four_pillars_records)

文档 ID所属支柱标题摘要纯度分正文 Hash (content_body_hash)初抓时间 (first_crawled_at)更新时间 (last_updated_at)复爬次数