行业新闻与博客

不良的互联网漫游器流量在 2019年增长了 18.1％，现在占所有互联网流量的近四分之一

上图来自 Imperva 的 2020 Bad Bot 报告，应向所有互联网用户发出警告，尤其是那些维护自己的基础架构在线以认真对待此问题的公司和组织。

恶意僵尸程序（或简称为“坏僵尸程序”）的普遍存在不仅给网络带来了更多压力，并导致了额外的基础架构成本，还表明网络犯罪分子和威胁组织实施了猖 cyber 的网络攻击和恶意活动。

Imperva 的报告甚至揭示了一些趋势，例如试图将不良的 bot 重命名为合法服务，恶意行为者使用 bot 进行大规模凭证填充攻击的增长以及 bot 操作的复杂性不断增加。考虑到这些发展，只有谨慎地了解什么是不良机器人以及如何与之抗衡。

让我们对其进行哈希处理。

什么是 Internet 僵尸程序以及如何使用它们？

简而言之，互联网机器人是旨在自动执行许多繁琐而平凡的任务的软件应用程序。它们已经成为促使互联网发展的要素，并被许多互联网应用程序和工具所使用。

例如，诸如 Google 之类的互联网搜索引擎依靠在网络内容中爬行的机器人来索引信息。漫游器会浏览数百万个网页的文本，以查找和索引这些网页包含的术语。因此，当用户搜索特定术语时，搜索引擎将知道哪些页面包含该特定信息。

旅行聚合商使用漫游器连续检查并收集有关航班详细信息和酒店房间可用性的信息，以便它们可以为用户显示最新信息。这意味着用户不再需要单独检查其他网站。聚合器的自动程序可以整合所有信息，从而使服务可以一次显示所有数据。

由于人工智能和机器学习的发展，机器人也被用来完成更复杂的任务。商业智能服务使用漫游器来爬网产品评论和社交媒体评论，以提供有关如何感知特定品牌的见解。

机器人如何对您的组织产生积极（和消极）影响

想象一下，如果这些任务是由人工手动完成的。这将是一个非常缓慢且容易出错的过程。通过使用漫游器，可以快速，准确地完成这些任务。这样可以释放组织的“人力资产”进行协作，并专注于更高级别的项目和目标。

僵尸程序会影响与其联系的网站和应用程序的基础结构。由于漫游器实质上是“访问”网站，因此它们会消耗服务器负载和带宽等计算资源。因此，即使是这些好的机器人也可能会无意中造成伤害。激进的搜索引擎或聚合器漫游器可以关闭资源有限的网站。幸运的是，正确的站点配置可以防止这种情况的发生。

什么是坏机器人？

通常，机器人活动已经是大多数组织多年来处理的事情。但是，令人担忧的是来自“不良机器人”的流量-这些恶意机器人已经将这些机器人用作各种黑客和欺诈活动的工具。

不良机器人最常见的用途包括：

• 网站抓取 -黑客可以通过抓取网站并复制其全部内容来窃取网站内容。假冒或欺诈性网站可能会使用被盗的内容来显示合法和欺骗访客。


• 数据收集 -除了窃取整个网站的内容外，漫游器还用于收集可以在网上找到的特定数据，例如个人，财务和联系信息。


• 价格抓取 -产品价格也可以从电子商务网站上抓取，以便公司可以利用它们来降低竞争对手的价格。


• 暴力登录和凭据填充 -恶意机器人与包含登录表单的页面进行交互，并尝试使用不同的用户名和密码组合来尝试访问网站。


• 数字广告欺诈 -黑客可以通过使用漫游器在页面上的广告上“点击”来玩每次点击付费（PPP）广告系统。不道德的网站所有者可以从这些欺诈性点击中获利。


• 垃圾邮件 -Bot 还可以自动与网站和社交媒体页面上的表单和按钮进行交互，以留下虚假评论或虚假的产品评论。


• 分布式拒绝服务攻击 -恶意僵尸程序可用于淹没流量巨大的网络或服务器。使用分配的资源后，合法用户将无法访问网络支持或托管的站点和应用程序。

黑客在使用这些僵尸程序方面也变得越来越老练和富于创造力。首先，他们正在设计能够绕过常规机器人缓解解决方案的机器人，从而使其更难被发现。一些进取的政党甚至利用坏的机器人创建了看似合法的服务。机器人可以用来帮助买家在对时间敏感的交易中排在前面，例如购买限量版产品或活动门票。

黑客可以通过使用大型僵尸网络来大规模执行这些活动，僵尸网络是由能够运行僵尸程序的设备组成的网络。这些设备中的许多设备都受到先前黑客的攻击。Mirai 僵尸网络负责几种大规模的拒绝服务攻击，它由数以万计的受害物联网（IoT）设备（例如 IP 摄像机和路由器）组成。

简而言之，行业正在遭受这些不良机器人的困扰。根据同一份 Imperva 的报告，受打击最严重的行业是金融服务（47.7％），教育（45.7％），IT 和服务（45.1％）以及市场（39.8％），这些都是机器人通过暴力破解帐户的行业，分别窃取知识产权和抢价。

恶意机器人：我们如何与之抗争？

沦为坏机器人的受害者可能会造成严重后果。除了消耗的计算资源外，漫游器流量还会影响业务性能。价格刮 ing 可能使企业在价格上不利于竞争对手。内容抓取可能会损害搜索排名。垃圾邮件会影响网站在搜索引擎中的形象和信誉。

遭到破坏可以使网络面临其他形式的网络攻击，包括数据盗窃和勒索软件。显然，必须采取措施防止它们猖 running 运行。

以下是针对这些恶意机器人的三项关键措施：

1.认识问题

组织必须积极应对不良机器人。这从识别和识别问题开始。IT 团队可以通过查看其网络分析并查看其流量来评估其网络是否受到僵尸程序的攻击。

带宽消耗激增和登录尝试可能是机器人活动增加的迹象。来自不寻常来源国的流量也可能暗示恶意机器人在对该站点进行漏洞探测。检查流量源的 IP 地址和地理位置可以揭示潜在的漫游器活动。

业务绩效也可能表明恶意机器人活动。例如，电子商务网站的转化率突然下降可能暗示着价格报废。

2.采取防御和保护措施

对于组织而言，至关重要的是采取并增强保护其各自基础架构的网络安全措施。实施的最佳实践包括：

使用 robots.txt。一个 robots.txt 文件放在网站可以防止机器人，如搜索引擎的爬虫从请求超载的索引。该文件实际上告诉机器人爬网中将包含哪些页面。不过，请务必注意，使用 robots.txt 仅对支持此类指令的大多数合法爬网程序有所帮​​助，而不必将不良的僵尸程序拒之门外。尽管如此，这仍可以帮助防止过度攻击的爬网程序关闭站点。

使用挑战来区分人类用户和机器人流量。可以对漫游器进行编程，以自动将表单填写到垃圾邮件或凭据填充网站和 Web 应用程序中。使用需要人工输入或用户验证的挑战，例如 CAPTCHA，可以帮助阻止机器人正确执行其预期的黑客攻击。

采用网络保护解决方案。在大多数情况下，组织最好投资于更高级的保护形式。云应用程序安全解决方案和基于云的 Web 应用程序防火墙（WAF）现在采用高级方法来阻止漫游器流量甚至与站点进行交互。这些解决方案能够根据机器人的行为，起源和签名来识别和阻止机器人。某些行业领先的解决方案甚至能够防止大规模 DDoS 攻击对受其保护的站点造成任何停机。

部署严格的访问控制。多因素身份验证要求用户提供其他凭证，例如一次性密码（OTP）。可以实施这些措施来阻止诸如凭证填充之类的机器人攻击。使用身份和访问管理（IAM），管理员还可以严格定义特定用户帐户可以访问其网络中的哪些资源。这样，如果僵尸程序“破解”了一个帐户的凭据，它对网络的访问仍然受到限制（从而将潜在的损害降至最低）。

3.监视和测试安全性

不断监视和测试所有已采取的安全措施的行为非常重要。确实发生了配置错误或实施错误。因此，应例行执行渗透测试和攻击模拟之类的检查，以验证措施是否按预期工作。如果配置不当，即使采用最昂贵的工具和解决方案也只会导致浪费。

测试这些措施是否对业务目标产生负面影响也至关重要。配置较差的漫游器检测可能会阻止良好的漫游器通过。阻止搜索引擎爬虫可以立即破坏网站的排名。如果站点依靠与聚合器的合作关系来开展业务，则无意中阻止聚合器机器人也可能完全中断服务。

关于坏机器人的最终想法

考虑到恶意机器人如何继续猖 ramp 运行，网站所有者应密切注意其流量。如果不加以控制，不良的僵尸网络流量可能很快就从讨厌的事情演变为更严重的事情，例如全面的网络攻击。了解如何减少不良的机器人流量可以帮助保护您的基础架构，并为每个人创建一个更安全的互联网。

本文由机器译制