← 日志列表 / All journal entries

两晋十六国史料整理手记 02

Historical Source Notes 02

从网络资料到结构化研究

新的尝试

上一阶段从历史原典出发,尝试建立一套完整的史料处理流水线。经过多轮调整,虽然积累了不少技术经验与人物资料,但复杂的处理流程和反复出现的问题,也让我开始重新考虑整个项目的工作方式。


我需要了解大量历史人物的生平、关系及其所处的时代背景。直接从原典出发逐条整理,虽然能够保留细致的历史依据,却需要投入大量时间与计算资源。而此前通过网络研究形成的长篇人物资料,在内容组织、人物理解和现代研究观点方面,也有其优势。

因此,我开始尝试一条不同的路线:先通过网络检索广泛收集人物资料,再将这些信息交给后续流程,结合历史原典进行核验。

这一阶段需要解决的问题,是如何把丰富的研究材料整理成便于程序处理的数据,同时尽可能保留重要的历史细节与解释。


从人物资料卡到结构化记录

最初的方案相对简单:让 LLM 通过联网检索研究历史人物,并直接输出结构化的 JSONL 文件。

每个人物的资料分成两部分:“生平事迹”记录人物经历、重要事件及其发展过程;“人物画像”则补充身份背景、社会关系、政治地位、思想文化及后世评价等内容。


与此前连续叙述的人物资料卡不同,新的格式要求每条记录包含相对独立、可以理解和核验的陈述,并附上来源链接。脚本负责检查数据格式、字段与编号,为后续检索和逐条核验做好准备。

这样设计,是为了避免先生成大篇幅的人物介绍,再将其重新拆分成零散事实的重复工作。

初期,我并没有为网络研究设置过于复杂的步骤,而是先通过实际试验观察效果,再决定是否需要进一步约束。


结构完整,内容却不够丰富

实验依然主要是使用刘渊与石勒这两个人物进行的。问题很快出现在石勒的人物资料中。


我使用不同模型和执行环境,按照相同的规范进行试写。生成的资料都能通过基本结构检查,各个类别也有相应内容,但与此前的长篇资料卡相比,研究深度存在明显差距。

战役、官职、亲属关系等信息相对容易被收集,而人物经历中的重要转折、制度与社会背景、历史解释及人物关系的变化,则常常不够充分。

这让我开始怀疑,问题是否出在 JSONL 这种结构化形式本身。

将复杂历史研究拆分成一条条独立记录,固然便于后续处理,但是否也会使模型倾向于罗列事实,而忽略事件之间的联系与解释?


为了进一步判断,我重新对照早期的人物资料和研究方法,比较不同模型在同类任务中的表现,尝试找出内容变浅的原因。

逐渐发现,问题并不主要来自结构化格式,而是新的流程虽然保留了分类和字段,却没有完整继承此前支持深入研究的方法。

一份人物资料的价值,不只是包含了多少条事实,还取决于研究过程中是否追踪了人物生涯的重大变化、重要关系与事件因果,是否查找了不同类型的史料与现代研究,以及是否对遗漏和争议进行了进一步追问。

这些要求没有得到明确保留,模型便容易满足于完成分类和填充字段。


重新调整研究方法

明确这一点之后,我没有继续增加复杂的数据结构,而是将调整重点放回研究过程本身。

原有的“生平事迹”和“人物画像”两份 JSONL 得以保留,同时补充时间轴检查、人物关系梳理、来源类型要求、专题检索和研究停止条件。

对于重大事件,不能只记录结果,还应尽可能保留行动的起因、经过、转折及影响;对于制度、社会背景和历史评价,则需要主动寻找相关研究,而不是仅摘录古籍中的事件记载。

现代学者的解释也可以进入资料,但必须注明观点的归属,不能直接将其写成确定的历史事实。


调整后的石勒资料明显丰富了,原先欠缺的仕宦经历、制度解释与社会背景得到了补充。

不过,后续试验又暴露了另一个问题:新版本即使在某些方面有所改善,也可能丢失旧版本已经包含的细节。增加记录数量、修改研究规范,并不能保证每次重新生成都比上一次更好。

因此,我逐渐放弃了依靠反复完整重写来提升质量的方式。

在研究要求基本稳定后,工作重点转向具体资料的审查与修订:先检查重大事件、人物关系、来源及解释是否存在缺口,再针对确认的问题补充或修改,尽可能保留已有内容和记录编号。

对于存在异说的事件,也不应为了统一资料而抹去分歧。传说、神异故事及后世文学形象同样可能具有创作价值,关键在于明确它们的来源、性质与可信程度,而不是将其全部视为确定史实,或提前排除在资料之外。

这一阶段,我开始更明确地区分资料的结构要求与研究本身的质量要求。脚本能够检查格式,LLM 可以参与搜集、整理和审查,但人物研究是否充分、哪些信息值得保留,仍然需要针对具体内容作出判断。


阶段成果与认识

经过多轮试验、规范调整和批量审查,这一阶段最终形成了30位历史人物的结构化资料,

包括:石勒、刘渊、刘曜、李特、李雄、刘琨、司马睿、张宾、羊献容 、王导、晋惠帝、贾后、石虎、张轨、王敦、刘聪、祖逖、慕容廆、罗尚、陶侃、司马越 、晋怀帝、晋愍帝 、段匹磾、拓跋猗卢、李流、周访、温峤、苟晞、佛图澄

分别记录生平事迹和人物画像,并保留相应的网络来源与修订依据。

这些资料不仅包含人物经历中的重要事件,也逐渐扩展到政治制度、社会关系、史源争议、传统评价和后世文化形象,为后续的人物理解和剧本创作提供了更丰富的素材。


所以,结构化与研究深度并不矛盾,真正需要保留的不仅是研究结果,还有产生这些结果的方法。


格式、类别和记录数量有助于发现问题,却不能代替对内容的判断。相同的规范交给不同模型,也可能产生质量差异很大的结果。研究流程可以通过反复试验逐步完善,但最终仍需要回到具体资料,检查重要信息是否完整、解释是否有据、不同来源是否真正支持相应陈述。

另一方面,结构化带来的优势也逐渐显现。与连续叙述的人物资料相比,独立记录更便于检索、补充和局部修订,也为下一阶段的史料核验提供了明确的处理对象。


不过,这一阶段完成的仍然只是候选资料的收集与整理。网络来源是否可靠、引文能否支持具体陈述、不同史料的记载是否存在冲突,都还需要进一步核实。

接下来的工作,将转向本地历史原典的检索与匹配,为这些候选信息寻找可追溯的史料依据,并区分明确记载、部分支持、存在争议及尚无法确认的内容。