冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性

05-08 03:22

阅读原文→
Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的"暗模式",从而无需重新训练即可显著提升模型性能。例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。相关设计论文已公开

原文内容

冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性

作者:Rohan Paul / @rohanpaul_ai
发布时间:2026-05-07T19:22:58.000Z

Frozen LLMs still carry readable behavior signals deep inside their hidden states.

And Proprioceptive AI has created Cygnus, that lets LLMs sense their own internal thinking patterns and dramatically improve accuracy.

This pushes Qwen-32B from 82.2% to 94.97% on ARC-Challenge https://t.co/5InmNuUMpV

原文图片

原文图片