Hugging Face · 每日论文· 媒体 / 作者来源·精选
TenetBench: 评估语言模型遵守专业伦理准则的俄语语料库
原文标题
TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
AI 导读
研究团队创建了TenetBench语料库，包含3,433条与15种俄语专业伦理准则条款相冲突的请求及其良性变体。自动化流程可从准则文本生成任务，支持随准则增加而扩展。在人类验证中，99.5%的冲突任务被认为合理，模型判断与人工标签一致性达0.894。测试显示14种模型组合中有11种在大多数冲突请求中生成违规内容，且多数不附带警告。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提供首个针对专业伦理准则的评估框架，可自动扩展并量化语言模型违反伦理准则的具体行为。
导读由模型辅助整理，非独立核验。完整信息见原文。