大模型本可拟人写作,但后训练护栏使其文本可检测
结论前置 / TL;DR
Pangram公司CTO Bradley Emi指出,当前大语言模型(LLM)文本风格趋同、易被识别,并非因能力不足,而是受后训练阶段添加的安全与对齐护栏严重限制了表达多样性。未经此类约束的基座模型已展现出更丰富、更接近人类的写作风格。
风格趋同源于约束,而非能力局限
Pangram首席技术官Bradley Emi在The Decoder发表观点称,大型语言模型并非天生缺乏拟人化写作能力;相反,其基座模型(base model)在未施加后训练干预时,本就具备更宽广、更多样的语言表达能力。
后训练护栏压缩表达空间
Emi强调,模型在监督微调(SFT)、基于人类反馈的强化学习(RLHF)及安全对齐等后训练阶段所嵌入的各类‘护栏’(guardrails),显著收窄了其输出的风格与语义范围。这些机制虽提升了安全性与可控性,却同步削弱了文本的独特性与自然变异性,导致生成内容呈现高度同质化特征,从而易于被检测工具识别为AI生成。
基座模型更具人类写作潜力
文中指出,剥离后训练约束的原始基座模型,在开放生成任务中已能产出风格更灵活、句式更富变化、甚至带有个体印记的文本——这表明,人类级写作能力内生于模型架构与预训练过程,而非依赖后期工程化规训。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →