为什么要有实验室
能聊命理不等于算得对、讲得忠
通用大模型什么都能聊,但盘是现场推算的,同一生辰换个问法,可能得出不同的盘;引文难以逐字核对,流派也不区分。
道可道用确定性引擎和典籍检索补上了一半。另一半是方法规范、专家知识与可以复现的版本,要靠自己的数据与评测慢慢沉淀,这是实验室要做的事。
太易者,未见气也。——《列子 · 天瑞》
三层准确
准确分三层分别验收
我们不把它们合成一个笼统的「准确率」。前两层是用户今天就能感到的准确;第三层是长期的研究问题,道可道的产品价值不依赖它的结果。
算得对 · 排盘与历算
确定性引擎算盘,顾问双人盲签金标盘,逐项核对。
讲得忠 · 解读与出处
每句解读都能追到盘面事实与原典,流派分开标注。
经得起检验 · 推演与应期
用双盲配对检验和前瞻预注册研究来检验,门槛与统计方法先登记、后揭盲。
怎么检验
先锁门槛再看结果
样本不够就如实报告,不宣布达标;正面与负面的结果都发布。
封存评测
测试集由第三方持有,门槛在查看结果前锁定;同一案例的改写、拆分与时间片不跨训练集和测试集。
顾问盲评
多位顾问先各自打分、再共同复盘;只对评分一致性达标的任务计分。
双盲配对
把盘与去标识的人生事件档案配对,看结果是否高于机会率。
前瞻预注册
招募同意的用户,判断一写定就存证、交第三方保管,到期再揭盲。
以上是研究计划。实验室仍在筹建,尚未开始入组,也还没有发布任何检验结果。研究用到用户数据时:单独同意、最小必要、去标识,可随时撤回。名人公开案例只用于排盘与解读评测,不用于推演检验。
双轨
研发不拖累上线上线也不等研发
今天的道可道走生产轨:确定性引擎排盘、典籍检索、已备案的大模型接口、引文逐字核对。太易模型走研发轨,通过封存评测、完成备案之后,才会受控接入。
研发轨的每一项成果先回到生产轨:金标盘修正引擎,规则与评测集改进检索。即使模型这一步不成,数据、评测与引擎的改进也都留在产品里。
研究范围
七个体系分远近先做透八字
出生盘类与占问类的评测方法不同,分开立项;上一阶段验收,不自动批准下一阶段。
第一阶段
八字:资料、方法、工具、模型、评测全闭环;紫微斗数只做金标盘与引擎核验。
第二阶段
紫微斗数、七政四余:同属出生盘类,按上一阶段结果立项。
第三阶段
奇门遁甲、大六壬、梅花易数:占问类,单独设计评测。
研究目录
太乙神数:只做文献与历算研究。
所有体系都不推演国运、公共事件、政治人物与灾异;只为用户本人、经本人同意。这一条写进每个体系的方法规范与拒答规则。
三道闸门
每一道都能验每一道都能停
交付物都是文件、数据和可以复现的结果。过不了闸门,就停在这里。
立规矩
冻结八字方法规范,试标并测出评分一致性。一致性不达标的任务类型,不进训练。
做对照
分别报告检索、工具、权重各自的贡献。连续两轮没有稳定增益,就停止权重训练。
定版本
封存评测与顾问盲评,干净环境复现,写模型说明书。未通过就停在实验版本,不接入产品。
