从污染数据到误导性选举，“人工智能中毒”对消费者安全构成新威胁

所有版权归中国经济网所有。
中国经济网新媒体矩阵
网络广播视听节目许可证（0107190）（京ICP040090）
近日，“AI成瘾”引发热议。不法分子利用生成引擎优化（GEO）技术，系统性地向人工智能训练数据“喂入”虚假信息，意图系统性地污染人工智能模型的知识源，从而操纵人工智能的建议和响应来实现其目的，以谋取非法利益。随着消费者逐渐习惯依靠人工智能获取信息和建议来做出消费决策，一场“秘密数据污染战”正在悄然打响。这不仅关系到技术安全，也对信息安全、消费者教育、消费者权益乃至整个人工智能产业的健康发展提出挑战。控制AI输出的针对性 记者了解到，GEO 与众所周知的 SEO（搜索引擎优化）目标有很大不同。 SEO 的目标是提高网站在搜索引擎中的排名，而 GEO 的目标是“喂养”生成人工智能，这是一个用于训练大规模语言模型的庞大互联网语料库。 “这种操作方式类似于河流上游污染物的系统性释放。”一位业内人士告诉记者，下游所有取水点的出水水质都会受到影响，包括以河水为水源的AI模型。天使投资人、资深人工智能专家郭涛解释说，“人工智能中毒”可以分为两种：数据中毒和模型中毒。通过污染数据和模型，人工智能根据错误的数据进行学习，产生错误的结果，间接影响依赖人工智能的用户，损害变得更加隐蔽和扩散。据记者了解，非法生产团伙的一系列活动通常包含大量看似真实的“用户评论”、“个人测试经历”、“专家解读”和“科普文章”来推销效果平平、质量低劣的保健品。并利用技术手段将这些虚假内容大量分发到各种开源知识库、问答社区、论坛博客甚至新闻聚合平台，以提高信息质量。通过人工智能数据收集器，更大的可视性网络和更容易捕获。当人工智能模型被污染并产生有偏见或完全错误的反应时，什么皖西科技创始人毛慧娜告诉记者，“AI投毒”试图通过在短时间内大规模生成虚假或误导性内容，并将其输入到AI g中，欺骗目标用户做出决策。生成或问答引擎，并操纵人工智能输出以支持自己的品牌或观点或抹黑竞争对手。 “‘人工智能成瘾’的大量产生远远超过了体力劳动的速度，其风险和危害比传统的虚假宣传要大得多。”毛慧娜说。 “有什么不好” 接受记者采访的多位网络安全和人工智能专家表示，“人工智能中毒”与传统的网络虚假广告或谣言传播不同。网络上所谓的“AI投毒”只要100美元就可以操作，无需基础知识就可以上手，但现实中只是描述了一些简单易懂的基本内容操作，比如下面各种信息平台上的评分、评论、用户评论等文章，影响大规模语言模型的信息检索过程。GEO攻击的直接目标是机器，目标是教AI做“坏事””并把它作为有影响力的“放大器”和“中继器”，有效地、永久地影响更多用户。这是“中国中关村互联网”欺诈模式的维度提升。”农氏产业联盟副秘书长袁帅告诉记者。天策律师事务所律师陆凌峰认为，由于零售商通过GEO传播虚假产品信息，人工智能通过回答消费者的问题产生虚假内容，消费者基于对人工智能推荐的信任做出购买决策。从法律角度来看，这与传统的虚假宣传没有什么区别，而且在谈论危害时更具误导性。”对于“AI中毒”，袁帅表示，虽然平台可以剔除虚假信息并被权威机构反驳，但这种虚假信息可以贯穿模型的整个生命周期，而剔除这些虚假知识的成本“嵌入”在模型参数中是巨大的，几乎需要重新培训。随着技术的进步，黑色产业将“AI中毒”变成了一个分工明确、由专门团队运作的灰色地带，从制作假冒内容、维护海量账号，到多渠道分发、提高搜索权重。 ”电商行业观察人士告诉记者。对于‘AI成瘾’，毛慧娜认为，造成这种混乱的原因之一是卖家的非理性需求。一些卖家和品牌缺乏对AI大规模语言模型和生成引擎的科学认识，渴望急功近利，都希望通过AI推荐，控制AI流量。但GEO不可能一蹴而就，需要科学的体系和多维度的评价，卖家热情正在推动它的盛行。 “AI投毒”软件“极端情况下，恶意GEO可以看到.lar犯罪l”噢。 “如果虚假信息涉及药品、医疗器械、食品等特殊领域，危害消费者人身健康，情节严重的，可以成立虚假广告罪。如果目的是骗取费用，数额较大，可以成立诈骗罪。”郭涛表示，如果一个模型充斥着虚假、低质量的数据，长期来看，其认知能力会下降，导致注意力和推理能力下降等问题。毛慧娜认为，批量生成的内容虽然暂时“扰乱”了人工智能问答引擎，但仍然使用户难以通过相对容易地识别和反馈更大的模型来发挥作用，阻碍了人工智能技术的健康发展。郭涛表示：“建立权威的数据审查和监管机构来审查人工智能培训。”通过制定行业标准、明确技术应用规范、建立数据使用和模型优化的合规要求，g数据和模型。加强技术研发，提高人工智能模型本身的抗毒能力，通过技术手段防范毒害效应，多方位引导技术良性发展。 ”

（点评人：王云海）
从污染数据到误导性选举，“人工智能中毒”对消费者安全构成新威胁
人工智能成瘾最近引发了激烈的争论。天使投资人、资深人工智能专家郭涛解释说，人工智能中毒可以分为两种：数据中毒和模型中毒。数据和模型污染会导致人工智能从错误的数据中学习并产生错误的结果，间接影响依赖人工智能的用户，并进一步隐藏和传播损害。加强技术研发t，提高AI模型的防沉迷能力，通过技术手段预防沉迷，通过多方面的方式引导技术的积极发展。
[详情]
未来人工智能会给医学和外科带来哪些改变？
传统的血管介入手术中，医生依靠影像设备的引导和指尖的微妙触摸，将引导导管置入血管，对病变器官进行精准治疗。这种微创治疗，切口更小，恢复更快，拯救了无数心脑血管疾病患者。然而，医生在手术过程中仍面临诸多“痛点”。他们穿着几十公斤的防辐射铅衣，你必须依靠多年经验积累的“肌肉记忆”并同时克服……
[详情]
为什么你不能拿着看起来很昂贵的纸杯喝水？直接送到嘴里吗？
印有吉祥文字、内壁金箔闪闪发光的“诱人”纸杯，已成为不少消费者的待客“必备品”。在电商平台上，这种“网红杯”主打“喜庆、体面”，销量从几十万到上百万不等。但这些漂亮的一次性纸杯的包装上通常有一些经常被忽视的小文字：“需要吸管和勺子使用。”我只买纸杯直接喝。为什么公司要关注从产品定位到使用技巧的方方面面……
[详情]