IT之家 10 月 12 日消息，近段时间，网络上一些商家直接利用 AI 生成的产品视频画面在直播间带货营销，消费者、粉丝难辨真伪，慕名下单，却不知道自己实际上被山寨“AI 李鬼”所骗。
据央视新闻报道，在一些手机平台的网络直播间，一些打着樟树港辣椒旗号的种子，成了主播推销带货的重点，画面中展示的辣椒成串垂挂，产量奇高。当央视记者在直播间询问辣椒种子是否“保真”，种出来“有没有这么大”时，主播纷纷表示“所见即所得”。
然而就在主播回答提问的时候，背景视频却出现了农户站在快要没过膝盖的深水中采摘辣椒的场景，这样的场景显然不符合常理，而类似的画面在其他直播间也有出现，当记者追问这些场景是不是 AI 生成的时，主播并没有正面回应。
对此，奇安信集团副总裁刘浩回应央视新闻称，相应画面明显有悖真实世界规律，在行业里面专业名词叫“穿模”，数字世界内容的建模现在核心还是基于语言，而对于真实世界的物理规律，它是没有办法感知和预测的。
而湖南岳阳湘阴县樟树镇高级农艺师黄源介绍，樟树港辣椒植株很矮小，视频中的辣椒植株有一人多高，花根本就不是辣椒的花。第二，叶片也不是辣椒树苗叶片的形状。这个视频的辣椒从产量上来看，每亩可能超过了 6000 斤还不止，但是樟树港辣椒的产量大概每亩两千斤到三千斤。
法律专家指出，利用 AI 制作不符合现实或不存在的商品内容，甚至冒用品牌进行牟利，涉嫌民事侵权甚至刑事犯罪。
调查中记者发现，当前各大网络平台普遍升级 AI 内容识别系统，要求对 AI 生成作品添加标注，但仍有一些人采用多种手段绕过审核。在过去，需要一定技术门槛和成本投入的深度伪造，在 AI 大模型的助力下，不再需要长时间的深度学习和数据训练，短短几分钟的时间，便能够将一张照片生成为一段直播带货视频，逼真程度相当惊人。
截至目前，我国生成式人工智能产品的用户规模已达 2.3 亿人。随着 AI 技术的迅猛发展和生成式人工智能的快速迭代，各种纷杂的人工智能生成信息让人眼花缭乱，有时难辨真假，这也给监管部门和平台治理提出了新的挑战。