最近，网络安全公司SentinelOne和Censys联合发布了一项深入研究，揭示了开源大型语言模型面临的严重安全挑战。研究指出，当这些模型独立运行在外部私人计算机上，不受主流托管平台的“护栏”和安全限制时，极有可能成为黑客和犯罪分子的目标，从而带来严重的安全风险。
这项历时近300天的研究发现，互联网上存在成千上万个未受保护的开源AI实例，包括许多基于主流模型的衍生版本，如Meta的Llama和谷歌的Gemma。尽管一些开源模型内置了安全防御，研究人员仍发现数百起安全保护被恶意移除的案例。
安全专家将这一现象描述为行业视野之外的“冰山”：开源计算能力被用于犯罪活动，同时支持合法用途。攻击者可以劫持这些实例，强迫模型生成大量垃圾邮件，撰写精准的钓鱼邮件，甚至发起大规模虚假信息活动。
研究团队专注于通过 Ollama 工具部署的开源实例。令人担忧的是，在大约25%的观察到案例中，黑客能够直接读取模型的“系统提示”——决定模型行为的核心底层指令。进一步分析显示，7.5%的指令被修改以支持有害行为。
这种风险情景影响范围广泛，包括但不限于仇恨言论的传播、暴力内容的生成、个人数据盗窃、金融欺诈，甚至涉及儿童安全的内容。由于这些模型绕过了大型平台的监控机制，传统的安全措施往往无法有效运作。
