行业新闻与博客
生成式人工智能的 6 种危险以及解决这些危险的措施
生成式人工智能的结果可以在您在线消费的媒体以及您工作所依赖的信息中看到。但生成式人工智能并非没有风险和挑战……
人工智能(AI)是人类最伟大的成就之一;它可以用于从解决利基和全球问题到通过自动化简化业务运营的各种用途。有一类人工智能可以根据现有内容的模式创建各种极其逼真的媒体——从技术文档和翻译到超现实的图像、视频和音频内容。这称为生成式人工智能,因为它使用现有的内容数据集来识别模式并使用它们来生成新内容。(稍后我们将详细讨论人工智能和生成式人工智能之间的区别。)
一些流行的生成人工智能工具的示例包括:
- ChatGPT — 一种聊天机器人,使用大量数据集生成类似人类的响应并提供信息。
- Google Pixel 8 的 Magic Editor — 一种图像编辑工具,使用户能够使用生成式 AI 编辑图像。
- Dall-E 2 — 一种图像和艺术生成器工具,使用户能够删除和操作元素。
- DeepBrain — 视频制作和头像生成工具。
但尽管生成式人工智能有诸多“光明”和好处,但也有必须讨论的阴暗面。虽然生成式人工智能确实可以用来创造令人难以置信的事物,但它也可以用来造成伤害——无论是有意还是无意。
作为一个社会,无论是作为个人还是作为专业人士,我们面临着哪些生成人工智能风险和挑战?公共和私营部门正在采取哪些措施来解决这些问题?
让我们来讨论一下。
我们正在讨论什么……
- 生成式人工智能的结果可以在您在线消费的媒体以及您工作所依赖的信息中看到。但生成式人工智能并非没有风险和挑战……
- 6 生成式人工智能的风险和挑战
- 1. 利用虚假媒体制造虚假叙述、欺骗消费者、传播虚假信息
- 2. 生成不准确或捏造的信息
- 3. 侵犯个人隐私权和期望
- 受保护的信息可能会无意中被共享
- 生成式人工智能工具可能会导致个人数据无意泄露
- 4. 使用 Deepfakes 来羞辱和攻击个人
- 5. 开发新的网络攻击渠道和方法
- 网络犯罪分子可以制作更可信的网络钓鱼消息
- 社会工程师和其他坏人可以更有效地进行“肮脏行为”
- 坏人可以使用生成人工智能来尝试识别变通办法并获取秘密
- 6. 生成式人工智能引发新的知识产权和版权侵权问题
- 生成式人工智能与传统人工智能之间的差异概述
- 正在采取哪些措施来解决基于生成人工智能的风险和担忧
- 欧盟成员国正在讨论人工智能法案
- 美国领导人呼吁制定有关安全和安全使用人工智能的标准和指南
- 全球组织正在共同制定人工智能媒体标准
- 美国立法者旨在为未来针对违法者采取法律行动铺平道路
- 关于生成式人工智能风险和危险的最终想法
6 生成式人工智能的风险和挑战
如果您看过弗朗西斯教皇穿着蓬松的白色 Balenciaga 夹克的照片,或者看过马克·扎克伯格谈论“谁控制了‘达达’[数据],谁就控制了未来”的视频,那么您就看到了深度伪造内容。Deepfake 图像和视频只是生成人工智能内容的几个例子。
Deepfake 技术可以用来创造有趣、娱乐性的内容;然而,它也可用于创建旨在欺骗、欺骗和操纵他人的内容。它可以用来让员工进行欺诈性银行转账或控制公众舆论。
了解了这一点,现在是时候探讨我们在现代技术不断改进过程中面临的一些最大的生成式人工智能风险和担忧了。
1. 利用虚假媒体制造虚假叙述、欺骗消费者、传播虚假信息
我们眼睛看到的、耳朵听到的都是真实性的有力证明。但是,如果我们无法相信我们所看到或听到的东西怎么办?想象一下,有人制作了一段从未发生过的悲惨事件的虚假视频,以激发某些行动。例如,从未发生过的恐怖袭击,或者关于政治候选人做了非法或被认为在道德或伦理上应受谴责的事情的虚假信息,以引起反应。
有人可能会使用虚假录音来操纵对政客或其他公众人士的看法。他们可能会发布政治候选人处于妥协立场或场景的虚假照片,以损害他们的声誉。即使后来发现视频、图像或音频是假的,也为时已晚;损害已经造成。
即使是使用生成人工智能来误导消费者的广告也是禁忌。(有人可能会说所有广告都是烦人且具有误导性的,但这是另一天的辩论……)正是出于这样的原因,美国两党立法者提出了两项立法,旨在禁止在与选举相关的媒体中秘密使用人工智能,以及广告。
- 保护选举免受人工智能欺骗法案 (S.2770)。我们将在本文后面详细讨论这一问题,但“剧透警报”是,这项立法旨在禁止传播与联邦政治候选人有关的人工智能生成的欺骗性媒体。
- 真正的政治广告法 (HR 3044)。该法案旨在为在广告中负责任地使用生成式人工智能内容创造更大的透明度和问责制。
2. 生成不准确或捏造的信息
与所有新技术一样,前进的道路上也会遇到困难和坎坷。生成式人工智能技术面临的问题之一是它们的准确性有限。如果他们的分析和创作基于不准确或欺诈性的信息,那么他们的输出也将是不准确的。
以流行的生成式人工智能工具 ChatGPT 为例,它历来没有连接到互联网,并且“对 2021 年之后的世界和事件的了解有限”。然而,当 OpenAI 今年早些时候发布插件时,这种情况发生了部分变化,使得人工智能驱动的聊天机器人能够在某些用例中访问第三方应用程序。ChatGPT 的使用条款甚至警告说,所提供的信息可能不准确,组织和个人需要进行尽职调查:
“人工智能和机器学习是快速发展的研究领域。我们不断努力改进我们的服务,使其更加准确、可靠、安全和有益。鉴于机器学习的概率性质,在某些情况下使用我们的服务可能会导致不正确的输出,无法准确反映真实的人物、地点或事实。您应该根据您的用例评估任何输出的准确性,包括对输出进行人工审查。”
OpenAI 在其常见问题解答中提到的一些例子包括捏造事实、引用和引文(该公司称之为“幻觉”)和歪曲信息。
Google Bard 是承认自身缺点的人工智能的另一个例子:
斯坦福大学和加州大学伯克利分校的研究人员指出,同一生成人工智能服务的两个模型之间存在明显差异。在这种情况下,他们研究了 GPT-3.5 和 GPT-4,并发现模型执行七个类别的不同任务的能力存在显着波动(即漂移)。
根据研究:
“我们发现 GPT-3.5 和 GPT-4 的性能和行为会随着时间的推移而发生很大变化。例如,GPT-4(2023 年 3 月)在识别质数与合数方面是合理的(准确率 84%),但 GPT-4(2023 年 6 月)在这些相同问题上表现不佳(准确率 51%)。部分原因是 GPT-4 遵循思维链提示的便利性下降。有趣的是,GPT-3.5 在这个任务中 6 月份比 3 月份要好得多。与 3 月份相比,6 月份 GPT-4 不太愿意回答敏感问题和民意调查问题。6 月,GPT-4 在多跳问题上的表现优于 3 月,而 GPT-3.5 在此任务上的表现有所下降。GPT-4 和 GPT-3.5 在 6 月份代码生成中的格式错误都比 3 月份更多。我们提供的证据表明,GPT-4 遵循用户指令的能力随着时间的推移而下降,这是许多行为漂移背后的常见因素之一。总体而言,我们的研究结果表明,“相同”法学硕士服务的行为可以在相对较短的时间内发生巨大变化,这凸显了对法学硕士进行持续监控的必要性。”
3. 侵犯个人隐私权和期望
人们希望以简单的方式做事,这已不是什么秘密。这意味着他们可能会做不应该做的事情,以使工作更轻松并节省时间。不幸的是,这可能会导致敏感信息在(理想情况下)安全的公司内部系统之外共享。
受保护的信息可能会无意中被共享
南加州大学索尔·普莱斯公共政策学院讨论了生成式人工智能对受保护的健康信息的风险。在某些情况下,医疗保健提供者将患者受 HIPAA 保护的信息输入聊天机器人,以帮助生成报告和简化流程。当他们这样做时,他们会将受保护的数据输入第三方系统,这些系统可能不安全,并且没有要处理的患者内容:
“受保护的健康信息不再属于卫生系统内部。一旦您在 ChatGPT 中输入某些内容,它就会存储在 OpenAI 服务器上,并且不符合 HIPAA。这才是真正的问题,从技术上讲,这就是数据泄露。”
此外,不仅仅是人工智能可以访问您共享的内容。Google Bard 是 Google 对 ChatGPT 的回应,它预先警告用户,与该工具的对话将被人类审核者看到:
尽管我确信 Google 拥有非常可爱的员工,但他们无权查看患者的受保护健康信息 (PHI)。
生成式人工智能工具可能会导致个人数据无意泄露
关于生成式人工智能和其他人工智能技术广泛采用的重大担忧之一是隐私带来的潜在风险。由于生成式人工智能使用来自许多资源的大量数据,因此其中一些数据可能会泄露您的个人详细信息、生物识别信息,甚至与您的位置相关的数据。
在国际隐私专业人士协会 (IAPP) 的一篇文章中,Littler Mendelson 隐私和数据安全实践小组联合主席 Zoe Argento 指出了一些生成式 AI 风险和有关数据披露的担忧:
“生成式人工智能服务可能会无意中或故意泄露用户的个人数据。例如,作为标准操作过程,该服务可以使用来自用户的所有信息来微调基本模型分析数据和生成响应的方式。因此,个人数据可能会被纳入生成人工智能工具中。该服务甚至可能向其他用户披露查询,以便他们可以看到提交给该服务的问题的示例。”
每当你在公司的一份长达一英里的用户协议上点击“接受”时,你就放弃了你的隐私权,甚至没有意识到你正在放弃什么。(当然,即使你读了它,除非你是一名律师,但这并不意味着你会完全理解对你的要求,因为所有的“法律术语”都会向你抛出。)当公司说“附属公司”时”和“合作伙伴”可能会使用您的个人数据和任何其他提供的信息,但您不知道这对于您的数据的去向或使用方式意味着什么。
企业在与此类服务提供商合作时应注意的与隐私相关的生成式人工智能风险和担忧有哪些示例?Argento 确定了三个主要问题:
“第一个问题涉及向人工智能工具披露个人数据。这些披露可能会导致雇主失去对数据的控制,甚至导致数据泄露。其次,生成式人工智能服务提供的数据可能是基于违反数据保护要求(例如通知和适当的法律依据)处理和收集个人数据。雇主可能会对这些违规行为承担一些责任。第三,在使用生成式人工智能服务时,雇主必须根据适用的法律确定如何遵守行使数据权利的请求。”
但是,在使用生成式人工智能服务时,如何提高数据的隐私性和安全性呢?
- 评估每个生成人工智能服务提供商,根据他们的政策、实践和其他因素确定他们的潜在风险水平。
- 指定如何处理、存储和销毁您的数据。
- 确保服务提供商的流程满足监管数据安全和隐私要求。
- 与提供商协商,让他们在合同上同意强大的安全和数据隐私流程(并确保以书面形式达成)。
4. 使用 Deepfakes 来羞辱和攻击个人
生成式人工智能工具甚至被用来创建深度伪造的色情材料(视频、图像等),对受害者造成精神、情感、声誉和经济伤害。许多名人(通常是女性)的个人肖像被用来制作他们进行性行为的欺诈性图像和视频。似乎这还不够令人不安,这项技术还被用来制作儿童色情作品。
当然,这项技术不仅仅用于制作名人的虚假内容。它还为普通人成为深假媒体的受害者打开了大门。
想象一下,一个女人与她的未婚夫分手了。她的前未婚夫对这种情况感到愤怒,并决定向她发泄,因为他想让她痛苦。他使用生成式人工智能制作“报复性色情内容”(即受害者不知道或不同意的对方色情内容),并在受害者不知情的情况下将视频发送给她的老板、朋友和家人。想象一下她将因这次有针对性的攻击而面临的问题和羞辱。
但这到底是一个多大的问题呢?Deeptrace AI(现为 Sensity AI) 2019 年的一项研究发现,他们在网上发现的 14,678 个深度造假视频中,高达 96% 被归类为未经同意的色情内容。截至 2020 年 12 月,Sensity AI 发现的 Deepfake 数量跃升至 85,000 多个。如下图所示,在线深度伪造视频的数量基本上每六个月就会翻一番:
5. 开发新的网络攻击渠道和方法
坏人喜欢生成式人工智能工具,因为它们可以用来实施新的攻击并使他们的工作变得更容易。以下是网络犯罪分子利用这些技术做坏事的一些简单示例:
网络犯罪分子可以制作更可信的网络钓鱼消息
每个人都知道常见网络钓鱼电子邮件的明显迹象:不寻常的语法、错误的拼写、错误的标点符号等。这些邮件针对的是容易实现的目标(即,对网络意识实践一无所知的毫无戒心的用户)。
通过消除不良语法并修复您在大多数网络钓鱼电子邮件中常见的拼写错误和标点符号,坏人可以使他们的消息更加真实。他们可以利用这些欺诈性消息来诱骗更多受害者放弃敏感数据或做一些他们以后会后悔的事情。例如,他们可以创建来自您的银行、服务提供商、国税局甚至您的雇主的看似真实的电子邮件。
以下是 ChatGPT 在不到 3 秒内拼凑出的一封信的快速示例:
攻击者为使网络钓鱼电子邮件更可信而填写的大部分信息都可以在 Google 上找到(公司的地址和信息、目标的名称和地址、银行代表的姓名和职务等),然后他们可以将网络钓鱼链接嵌入到内容中诱骗用户在欺诈性登录页面上输入凭据。
生成式人工智能内容还可以通过使用独特的措辞来代替电子邮件垃圾邮件过滤器编程搜索的相同重复消息,从而帮助网络犯罪分子绕过传统的检测工具。
社会工程师和其他坏人可以更有效地进行“肮脏行为”
您知道通过自动录音收到的那些烦人的垃圾邮件电话吗?坏人可以利用这些电话作为记录您声音样本的机会。然后,这些样本可以用来生成虚假对话——例如,他们可以用你的声音说出银行或金融机构要求的特定短语,或者给下属打一个简短的电话。
根据 Pindrop 的研究:
“[...] 一旦某个账户成为网络钓鱼或账户接管攻击中欺诈者的目标,60 天内针对该账户的二次欺诈电话的可能性就在 33% 到 50% 之间。即使在初次攻击 60 天后,先前目标帐户的欺诈风险仍然极高,在 6% 到 9% 之间。
我们还发现,在大多数情况下,欺诈者在与代理交谈时非常成功地通过了验证过程。在分析我们的客户数据时,我们发现欺诈者在 40% 到 60% 的情况下能够通过代理验证。”
在过去的几年里,我们已经看到了此类诈骗的例子。2019 年,全球新闻机构报道称,一名诈骗者通过这种方式从一家公司首席执行官那里骗取了 220,000 欧元(243,000 美元) 。他们使用老板声音的深度伪造录音,冒充公司母公司首席执行官的上级。
现在,还有一些坏消息:PLOS One 上发表的一项针对 529 人的研究显示,四分之一的受访者无法识别深度伪造音频。即使向他们提供了语音深度伪造的示例,结果也仅略有改善。如果这个调查群体准确地代表了美国人口,那就意味着 25% 的人容易陷入深度造假。大约有 83,916,251 人!
坏人可以使用生成人工智能来尝试识别变通办法并获取秘密
看一下 Mashable 分享的示例,其中显示网络安全研究人员能够发现 ChatGPT 和 Google Bard 在出现提示时会吐出 Windows 10 Pro 和 Windows 11 Pro 密钥。他们通过将他们的要求融入到一个更大的故事中来欺骗他们。
值得庆幸的是,在这种情况下,Digital Trends 报告称,他设法获得的密钥是通用许可证密钥,这意味着它们仅提供有限的功能,并且某些功能受到限制。
当然,许可证密钥并不像其他类型的密钥(例如加密密钥)那么令人担忧。但想象一下,如果这些生成式人工智能工具之一设法收集您在 GitHub 帖子中意外泄露或在勒索软件攻击中被盗的加密密钥。
6. 生成式人工智能引发新的知识产权和版权侵权问题
正如我们之前提到的,生成式人工智能技术与传统人工智能的不同之处在于,它们在现有材料的巨大数据集上根据模式从中汲取“灵感”。这就是为什么人工智能生成的诗歌听起来非常人性化,在某些情况下甚至很美丽(尽管情况并非总是如此)。
但谁拥有人工智能生成的作品呢?如果生成式人工智能输入不同艺术家的作品作为灵感(即找到可以与其算法一起使用的模式),那么谁拥有所产生的创意内容或拥有权利?
这是行业内仍在“讨论”的问题,就连美国版权局也在努力寻找明确的答案。作为今年早些时候启动的人工智能计划的一部分,该办公室延长了对其人工智能查询通知的公众评论请求。根据其在《联邦公报》上发布的调查通知:
“为了为该办公室的研究提供信息并帮助评估该领域的立法或监管措施是否必要,该办公室寻求对这些问题的评论,包括涉及使用受版权保护的作品来训练人工智能模型的问题、适当的透明度和披露水平尊重受版权保护的作品的使用以及人工智能生成的输出的法律地位。”
为了好玩,我向 Google Bard 询问了其对生成式 AI 风险以及与知识产权和版权问题相关的担忧的看法:
生成式人工智能与传统人工智能之间的差异概述
生成式人工智能是人工智能的一个子类别,旨在创建(生成)新内容 - 图像和插图、代码、视频等。它依靠机器学习 (ML)(人工智能的一种)来分析和检测模式在提供的(现有)数据中,然后创建遵循类似模式的新内容。
从某种意义上说,生成式人工智能让我想起了博格人—— 《星际迷航》宇宙中的一种部分合成的生物物种,它们共享一个集体意识,一个“蜂巢思维”。对于任何遇到他们道路的人来说,博格集体都是一个可怕的敌人。他们的技术进步很大程度上归功于被同化的个体在一生中获得的大量集体知识,包括思想、经验、技能、技术和个人创造力。一旦被同化,他们所有的知识,甚至他们的个性,都将交给集体。(“抵抗是徒劳的。”)
同样,生成式人工智能工具对于企业、消费者和内容创作者来说可以成为令人难以置信的资源,因为它们通过借鉴其他人创建的基础结构和概念来创造新的有趣的东西。因此,生成式人工智能工具可以帮助组织节省时间、金钱和资源。
有关公司如何在营销中使用生成式人工智能的一个绝妙示例,请查看吉百利如何为消费者制作大量本地个性化广告,而无需与知名印度演员重新拍摄数百或数千个个人视频:
但正如我们所知,还必须考虑许多生成式人工智能风险和问题。现在我们已经了解了其中一些风险是什么,让我们谈谈可以采取哪些措施来解决这些风险。
正在采取哪些措施来解决基于生成人工智能的风险和担忧
如果您不知道什么是真实的、什么是假的,那么几乎不可能做出明智的决定。企业和政府都在采取措施打击恶意生成人工智能攻击,并将辨别力重新交到消费者手中。
但这些努力还处于起步阶段——我们刚刚开始了解需要采取哪些步骤、哪些步骤会有帮助,以及哪些看似好的步骤可能会适得其反。我们需要一段时间才能弄清楚我们需要采取哪些措施来保证生成式人工智能的安全。以下是一些正在进行的努力……
欧盟成员国正在讨论人工智能法案
2021年,欧洲议会提出了《人工智能法案》,要求在使用生成式人工智能时进行披露。它还禁止在多种应用程序中使用人工智能,包括:
- “实时”和“后期”生物特征识别和分类系统(需要司法授权的执法除外);
- 社会评分(即根据个人特征或社会行为对人进行分类);
- 通过抓取闭路电视录像和互联网资源创建的面部识别系统侵犯了个人的隐私权和其他人权;
- 情绪识别系统可能会导致对一个人做出错误的结论或决定;和
- 基于某些类型数据的预测警务系统。
截至 2023 年 6 月,欧洲议会议员 (MEP) 开始对该法案进行谈判。
美国领导人呼吁制定有关安全和安全使用人工智能的标准和指南
10月30日,白宫发布了拜登总统关于安全、可靠、可信地开发和使用人工智能的行政命令,旨在为安全可靠地使用人工智能技术(包括生成式人工智能系统)。
该行政命令概述了几个关键优先事项和指导原则。以下是每个类别的快速概述;请记住,每个内容所涉及的内容远比我在快速概述中所能涵盖的内容要多得多:
- 通过标准和最佳实践确保安全、保障和信任。目标是“建立指导方针和最佳实践,以促进达成共识的行业标准,以开发和部署安全、可靠和值得信赖的人工智能系统。” 这涉及建立标准,开发用于生成人工智能的 NIST 人工智能风险管理框架(AI RMF 1.0,也称为 NIST AI 100-01)的“配套资源” (因为现有框架无法解决这些风险),以及设定基准。
- 促进创新、竞争和合作。其目的是通过简化移民流程、时间表和标准,建立新的人工智能研究机构,以及制定涉及人工智能和生成人工智能内容的发明专利指南,更容易地吸引和留住更多人工智能人才。
- 促进公平和公民权利。对某些人工智能技术的担忧是,它可能会导致“非法歧视和其他伤害。”该行政命令旨在为执法部门、政府福利机构和计划以及与住房和相关系统有关的人工智能使用提供最佳实践和保障措施建议。租赁。
- 保护美国消费者、学生、患者和工人。这包括将人工智能相关的安全、隐私和安全标准与各个部门的实践结合起来,包括“医疗保健、公共卫生和人类服务”、教育、电信和交通。
- 保护美国人的隐私。这都是为了减轻与个人数据收集和使用相关的基于人工智能的隐私风险。这需要建立新的和更新的指南、标准、政策程序,并“在可行和适当的情况下”纳入隐私增强技术(PET)。
- 推进美国联邦政府对人工智能的使用。这里的目标是为联邦机构安全可靠地管理和使用人工智能建立指导和标准。这包括扩大培训、推荐指南、保障措施和最佳实践,以及消除负责任地使用人工智能的障碍。
- 加强美国的全球领导力。我们的想法是通过领导创建人工智能相关框架、标准、实践和政策的协作努力,走在人工智能相关举措的最前沿。
毫无价值的是,行政命令中指出的一件事是开发安全机制,帮助消费者和用户区分真实的内容和媒体与“合成”的内容和媒体。据行政长官称:“[……] 我的政府将帮助开发有效的标签和内容来源机制,以便美国人能够确定内容何时是使用人工智能生成的,何时不是。”
这引出了我们的下一点……
全球组织正在共同制定人工智能媒体标准
八月份,我们向您介绍了 C2PA——也称为内容来源和真实性联盟。这一开放技术标准旨在帮助人们使用公钥密码学和公钥基础设施 (PKI) 来识别和区分真实图像、音频和视频内容与虚假媒体。
这是一个由数十位行业领导者组成的联盟,他们共同致力于创建可在多个平台上使用的通用工具,以证明数据来源(即证明媒体文件和内容的真实性和准确性的历史数据) 。
相机制造商徕卡最近发布了新款 M11-P 相机,该相机内置了内容凭证,可以从拍摄照片的那一刻起进行内容验证。
美国立法者旨在为未来针对违法者采取法律行动铺平道路
虽然 PornHub、Twitter 和其他平台确实禁止了人工智能生成的色情内容,但这还不足以减少新的(有害的)内容的创建和传播。现在,州和联邦立法者正在尝试这样做。
HR 3106(也称为“防止亲密图像深度伪造法案”)是一项提交给美国众议院司法委员会的联邦法案,旨在禁止披露未经同意的亲密数字描述。这些是使用数字处理创建或更改的人的图像或视频,其中包含露骨的性内容或其他亲密内容)。
那些犯下该法案所列罪行的人可能会面临民事诉讼,并导致向受害者支付所造成的损失。根据罪行的严重程度,他们还可能面临监禁、罚款和其他处罚。
纽约州最近通过了类似的立法。纽约州州长 Hochul 签署了参议院法案 S1042A,该法案禁止“非法传播或出版通过数字化创建的私密图像以及对个人的露骨色情描述”。该法律修改了该州刑法的一些细则并废除了另一条。
关于生成式人工智能风险和危险的最终想法
生成式人工智能正在迅速发展,并在其能力方面拥有很大的前景。除了降低成本和加快某些创意流程之外,这些工具还提供了独特的内容创建方式,因为它们建立在现有媒体和内容中识别的模式之上。
生成式人工智能的风险大于收益吗?这还有待争论。但无可争议的是,生成式人工智能已经存在,并且现在已经成为我们世界的一部分。随着越来越多的企业和用户采用这些技术,他们有越来越大的责任来确保负责任地使用这些生成工具。他们必须以促进安全、保障和信任的方式使用它们,并且不会造成伤害(有意或无意)。
最近新闻
2024年11月12日
2024年11月12日
2024年11月12日
2024年11月12日
2024年10月28日
2024年10月28日
2024年10月28日
2024年10月28日
需要帮助吗?联系我们的支持团队 在线客服