附录 D · 一条完整管线:腾讯中报端到端
待办(2026-10-14)· 待写:这是册子相对连载的真正增量——博客是分篇的,册子可以承载一条从头到尾的连续案例。需要作者从自己的流水线里导出,不由整理生成。
待收编内容
从 119 页腾讯 2025 中报到最终答案,一条能跑的链路:
pdftotext -layout出 raw.txt(正文约 80%)- 清洗:页眉页脚 / 目录页 / 纯页码 / 分页断句 → cleaned.txt,保留
===== PAGE n =====标记 - pdfplumber 提取规则表格;MinerU 或多模态截图啃竖向合并与跨页表格
- 结构识别 → TextBlock(paragraph / table / header / list)
- TextBlock 层打 metadata → 合并为 chunk(period_type 切换强制 flush)
- 建索引:向量 + BM25 双写
- 在线:约束提取 → metadata 硬过滤 → hybrid 召回 → rerank → prompt 组装 → 生成
建议附的三样
- 四层产物的实际数字(正文各篇给过 282KB / 190KB / 327KB / 345 个 chunk,标注为待核实)
- 一份可复制的配置文件或脚本骨架
- 一条「换一份新报告要改哪些地方」的清单——这是读者真正会用的东西
备注
正文里这条管线的每一段都已分别讲过(原 #02–#05、#09、#10),本篇不重复讲原理,只把它们拼成一条能跑的线。