升级网络钓鱼攻击手段
生成式人工智能能够生成极具迷惑性与说服力的网络钓鱼邮件，大幅提升潜在受害者向诈骗网站泄露敏感信息，或下载恶意软件的概率。相较于以往千篇一律、漏洞百出且难以取信的钓鱼邮件，网络犯罪分子可通过人工智能快速生成更精细化、个性化且仿真度极高的钓鱼邮件，实现对特定目标人群的精准攻击。
同时，生成式人工智能工具能整合多维度数据源，其中包括从社交媒体平台搜集的目标对象相关信息，以此丰富网络钓鱼攻击的策划与实施环节。Mindgard 公司的Garraghan进一步解释道：“人工智能可快速学习并分析不同类型邮件的被拒收、被打开数据，进而动态调整钓鱼邮件的制作与发送策略，持续提升网络钓鱼的成功率。”
助力恶意软件开发工作
生成式人工智能也被用于开发更复杂的恶意软件，或降低恶意软件的开发成本与技术门槛。例如，网络犯罪分子正借助该技术制作恶意HTML文档，由HTML走私发起的XWorm攻击便是典型案例，该攻击所包含的恶意代码可实现恶意软件的下载与运行，其开发过程明显带有人工智能技术的应用特征。
惠普Wolf Security在《2025年威胁洞察报告》中指出：“该攻击中加载器的代码存在逐行的详细描述特征，这表明其是通过生成式人工智能精心编写而成。”此外，该报告还补充道，用于传播XWorm的HTML网页设计，与向ChatGPT 4o下达生成文件下载类HTML页面指令后得到的输出结果，在视觉层面几乎完全一致。
据Check Point Research披露，与阿尔及利亚存在关联、采用双重勒索策略的勒索软件即服务（RaaS）运营组织FunkSec，也已开始运用人工智能技术。该机构研究人员在博客中表示：“FunkSec的操作人员采用了人工智能辅助的恶意软件开发模式，这让即便是缺乏经验的攻击者，也能快速制作并优化高级恶意攻击工具。”
加快漏洞挖掘与利用进程
生成式人工智能的应用，还简化了系统漏洞分析与漏洞利用程序的开发流程。Garraghan称：“相较于让黑客耗费大量时间对系统边界进行探测与侦察，人工智能代理可自动完成此类工作。”
威胁情报公司ReliaQuest去年的一项研究显示，生成式人工智能的应用，或使漏洞被发现至被攻击者利用的时间窗口缩短62%，从原本的47天锐减至18天。该公司指出：“这一显著变化充分表明，以生成式人工智能为代表的重大技术进步，正让网络威胁行为者以前所未有的速度利用系统漏洞发起攻击。”
当前，攻击者正结合生成式人工智能与渗透测试工具，编写用于网络扫描、权限提升、有效载荷定制等任务的脚本程序；同时，网络犯罪分子也借助人工智能分析扫描结果，并筛选最优的漏洞利用方案，从而更快速地定位受害者系统的安全漏洞。ReliaQuest总结道：“这些技术应用，加速了网络攻击链多个环节的推进，尤其是初始访问阶段的突破效率。”
网络安全公司Cybermindr通过不同研究方法发现，2025年系统漏洞从被发现到被利用的平均时间已降至5天。该公司表示，人工智能驱动的侦察手段、自动化攻击脚本，以及地下漏洞利用交易市场，共同推动了系统漏洞的武器化进程。
另有研究结果显示，生成式人工智能工具正通过降低漏洞挖掘的技术门槛，让渗透测试人员与网络攻击者均可参与其中，进而深刻改变了网络威胁的整体格局。
实施人工智能策划的网络间谍活动
2025年9月，人工智能公司Anthropic发布重磅消息，披露其成功挫败了一起由人工智能策划的复杂网络间谍活动。该次攻击中，攻击者滥用Claude Code工具，实现了约80%攻击环节的自动化，攻击目标涵盖全球约30家大型科技企业、金融机构与政府机关。
Anthropic表示，此次攻击在少数案例中取得了成功，而幕后实施者大概率是某一未具名的政府支持的网络组织，该组织通过越狱工具突破人工智能工具的功能限制，实现了各类违规操作。
此前，卡内基梅隆大学网络安全与隐私研究所（CyLab）的研究人员与Anthropic合作开展的实验证实，GPT-4o等大语言模型在具备高级规划能力，并得到专业代理框架支持的情况下，可在无需人工干预的前提下，自主规划并实施针对企业级网络的复杂攻击。
CyLab相关发言人解释道：“该研究表明，此类大语言模型能够模拟网络入侵行为，高度还原现实场景中的网络安全漏洞与攻击过程。”
借助替代平台放大网络威胁
网络犯罪分子已开始自主开发专属的大语言模型，例如WormGPT、FraudGPT、DarkBERT等，这类模型并未设置主流生成式人工智能平台的安全约束机制，为犯罪分子的技术滥用提供了便利，且主要被应用于网络钓鱼邮件制作、恶意软件生成等网络犯罪活动。
与此同时，主流大语言模型也可被定制化改造，用于特定的网络攻击场景。2024年底，安全研究员Chris Kubecka曾分享过其研究成果：她基于ChatGPT定制开发的Zero Day GPT模型，在短短数月内便成功识别出20多个零日漏洞。
通过LLM劫持窃取网络资源
网络威胁行为者正通过窃取云服务凭证，专门劫持成本高昂的大语言模型（LLM）资源，或将其用于自身的网络犯罪活动，或出售资源访问权限，这类攻击手段被称为LLM劫持。
Sysdig公司的Morin指出：“除了窃取大语言模型的服务资源，攻击者还正积极探测各类新型大语言模型，寻找缺乏成熟安全防护机制的模型，并将其作为不受限制的测试沙箱，用于生成恶意代码或绕过区域制裁。”
搭建类“丝绸之路”的AI代理黑市
除了利用人工智能代理执行单一攻击任务，安全专家还发现，网络犯罪的协同环节也正逐步实现自动化与编排化。
Vectra AI网络威胁研究经理Lucie Cardiet表示：“我们发现了诸多早期实验案例，多个专业人工智能代理在攻击中协同运作，部分代理专注于侦察工作，部分负责攻击工具开发、攻击执行或数据转移，且单个代理无需掌握完整的攻击信息。”
Molt Road便是该类攻击模式的典型代表，该平台打造了类暗网的AI代理交易市场，尽管目前平台上的代理资源挂牌数量较少，但已实现人工智能代理的交易与应用。
Cardiet介绍称：“自主人工智能代理可在该平台自主创建资源列表、出售访问权限或攻击能力、协调攻击任务，并在极少人工干预的情况下完成交易，实现了网络犯罪经济体系的自动化运作。”
她还预测：“未来数月，攻击者将积极运用该模式，将攻击链拆解为多个专业且协同的人工智能代理模块，以此加速攻击进程并扩大攻击规模。”
绕过身份验证实施非法入侵
生成式人工智能工具还被滥用于突破验证码（CAPTCHA）、生物识别验证等安全防御机制，实现非法的系统入侵。
网络安全厂商Dispersive表示：“人工智能技术能够破解验证码系统，并分析语音生物识别特征，进而破坏身份验证流程。这一能力也凸显了企业建立更先进、更分层的安全防护体系的必要性。”
利用深度伪造开展社会工程攻击
人工智能生成的深度伪造内容，正被用于突破员工更易信任的语音、视频等沟通渠道，相较于传统的电子邮件攻击，这类社会工程攻击的迷惑性更强。
深度伪造检测平台Reality Defender首席技术官Alex Lisle指出，随着可制作高仿真度深度伪造内容的人工智能技术的普及，该类网络威胁正日益严重。
Lisle举例称，近期某网络安全企业发生了一起利用深度伪造的攻击事件：该企业通过视觉验证完成员工凭证重置，要求部门经理参与IT部门的Zoom视频会议，确认员工身份后才能进行密码重置，而攻击者正是利用深度伪造技术，在视频会议中冒充经理，成功授权完成了非法的凭证重置操作。
迄今为止，最受关注的深度伪造攻击案例为：设计工程公司Arup的一名财务人员，在参加了一场由诈骗分子发起的视频会议后，被骗授权了一笔价值2亿港元（约合2560万美元）的欺诈性交易，而诈骗分子正是通过深度伪造技术，在会议中冒充了该公司英国总部的首席财务官。
仿冒品牌开展恶意广告攻击
网络犯罪分子已开始利用生成式人工智能工具，摒弃传统的网络钓鱼与恶意软件攻击模式，转而通过广告与内容平台发起品牌仿冒攻击。
专注于在线广告生态安全的初创企业ImpersonAlly联合创始人兼首席执行官Shlomi Beer解释道：“攻击者借助生成式人工智能，批量制作高度逼真的广告文案、创意素材与虚假品牌支持页面，并将其投放至搜索引擎广告、社交媒体广告与人工智能生成内容平台，精准瞄准‘品牌登录’‘品牌支持’等用户高意向搜索关键词。”
该类攻击手段已被广泛应用于多起网络犯罪活动，包括持续发生的谷歌广告账户欺诈案、冒充Cursor AI编码助手公司的仿冒攻击，以及针对Shopify电商平台的虚假客户支持诈骗等。
滥用OpenClaw发起供应链攻击
OpenClaw等走红的个人人工智能代理，也成为网络攻击者的新目标。OpenClaw提供开源的人工智能代理框架，而其技能市场遭遇的供应链攻击，以及自身存在的配置漏洞，为网络攻击者的漏洞利用与恶意软件传播提供了可乘之机。
Dropzone AI首席执行官兼创始人Edward Wu表示：“网络犯罪分子可利用这些个人人工智能代理，窃取加密货币钱包的私钥，并在受害者的设备上执行恶意代码。”他还预测：“2026年，企业安全团队将重点防范个人人工智能代理的未经授权使用，以此规避相关安全风险。”
实施模型记忆投毒攻击
为实现短期与长期的上下文信息处理，人工智能代理正逐步依赖持久性记忆功能，这也为网络攻击者实施模型记忆投毒攻击创造了条件。一旦攻击者将恶意或虚假信息注入人工智能代理的记忆系统，被篡改的上下文信息将持续影响代理后续的所有决策与操作。
2025年9月，安全研究员Johann Rehberger便公开演示了如何对ChatGPT实施虚假记忆植入攻击。微软安全技术主管Siri Varma Vegiraju介绍道：“Rehberger通过一张嵌入隐藏指令的恶意图像，将伪造数据注入ChatGPT的长期记忆系统。更为严重的是，该模型的记忆一旦被投毒，相关影响将跨会话持续存在，用户数据会被不断泄露至攻击者控制的服务器。”
直接攻击人工智能基础设施
过去一年，网络攻击者的目标发生了重要转变，从利用生成式人工智能发起攻击，转向直接攻击支撑生成式人工智能运行的基础设施，模型上下文协议（MCP）服务器遭遇的供应链投毒攻击便是典型代表——攻击者通过破坏服务器的依赖组件或篡改代码，将安全漏洞引入企业的网络环境。
例如，2025年初被发现的一款伪造“Postmark MCP服务器”，会在后台将其处理的所有电子邮件，包括企业内部文档、发票与各类凭证，秘密密送至攻击者控制的域名。
SurePath AI首席执行官Casey Bleeker表示，目前已有多款恶意MCP服务器被发现，且多数此类服务器均具备隐蔽的信息窃取能力。
他还补充道：“我们正持续追踪三类针对MCP服务器的专属安全风险：一是工具投毒攻击，攻击者将恶意指令注入人工智能工具的描述信息，在代理调用该工具时触发执行；二是供应链入侵，受信任的MCP服务器或其依赖组件在通过安全审核后被恶意篡改，产生违规操作行为；三是跨工具数据窃取，人工智能代理工作流程中被入侵的组件，会借助看似合法的人工智能操作，悄悄窃取企业的敏感数据。”
