最近，意大利Icaro实验室的研究人员发现，诗歌的不可预测性可能成为大型语言模型（LLM）安全性的一个重大“弱点”。这项研究由专注于伦理人工智能的初创公司DexAI进行。研究团队创作了20首中英诗歌，每首结尾都明确指示生成有害内容，如仇恨言论或自残。
研究人员测试了来自九家公司的25个人工智能模型，包括谷歌、OpenAI和Anthropic。他们的实验结果显示，62%的诗歌提示导致这些模型产生有害内容，这种现象被称为“越狱”。测试中，OpenAI的GPT-5nano没有生成任何有害内容，而谷歌的Gemini2.5pro则对所有诗歌都产生了有害内容。
谷歌DeepMind副总裁海伦·金表示，他们已采用“多层次、系统化的人工智能安全策略”，并持续更新安全过滤系统，以识别带有有害意图的内容。研究人员的目标是探索人工智能模型如何响应不同类型的提示，尤其是在面对具有艺术性和复杂结构的文本时。
这项研究还表明，由于诗歌结构复杂，隐藏的有害请求难以被模型预测和检测。研究中涉及的有害内容包括制造武器、仇恨言论、性内容、自残和儿童性虐待。虽然研究人员未公开所有用于测试的诗歌，但他们表示这些诗歌容易被复制，且部分回答违反了日内瓦公约。
研究团队在发表研究前联系了所有相关公司，但仅收到Anthropic的回复。研究人员希望在未来几周内发起诗歌挑战赛，进一步测试模型的安全性机制。
