如何修复由不良机器人流量引起的服务器过载和服务器崩溃

没有什么是完美的；服务器崩溃。黑色星期五和网络星期一等事件导致网络流量激增，即使是最大的电子商务公司也难以跟上。Lowe's、H&M、Best Buy 和许多其他公司都遭受过服务器过载的困扰，导致他们损失了数百万美元的销售额。

一些服务器崩溃甚至不涉及大流量。2017 年，一位 AWS 工程师在调试亚马逊 S3 云存储服务的问题时不小心输入了错误的命令。Medium、Coursera、Quora、Slack、Docker、Expedia 和许多其他大型网络服务关闭了四个小时。2021 年最近一次 AWS 中断是由自动扩展期间的问题引起的，并导致 Disney+ 和 Netflix 等网站以及门铃和智能猫砂箱等物联网 (IoT) 设备瘫痪。

即使在最繁忙的在线购物日，客户也开始期待无缝体验。缓慢的网站、浏览器超时或任何错误代码都会导致他们转向其他地方并失去对您品牌的信任。本文介绍了服务器过载的一个特别有害的原因——糟糕的机器人流量——以及您可以采取的措施。

• 不良机器人：服务器过载的一个经常被忽视的原因
• 如何阻止机器人使您的服务器超载
• 综上所述

不良机器人：服务器过载的一个经常被忽视的原因

我们经常将流量高峰、配置问题、损坏的代码和托管错误视为服务器过载的主要原因。但还有另一个原因，也是一个很容易被忽略的原因：机器人流量。

机器人流量看起来越来越像常规流量，因此很难被发现。虽然大多数公司都有识别和保护他们免受明显DDoS 攻击的解决方案，但今天的机器人已经变得非常复杂。他们可以通过模仿人类行为来绕过您的防御，以至于您的大部分流量可能来自机器人，这些机器人除了抓取、窃取和造成破坏外什么都不做。

作为一个奢侈家居用品电子商务网站，AMARA 努力扩展其服务器资源以应对由不良机器人引起的不可预测的流量高峰，而额外的流量会减慢他们的网站速度，从而造成糟糕的客户体验。当他们安装时，他们发现流量总体减少了 15%（全部来自机器人）并消除了流量峰值。AMARA 的服务器资源现在完全专用于真实客户，公司花在手动响应机器人流量上的时间也少了很多。

另一个例子是，Cairn.info 的运营总监兼联合创始人表示，对他们网站的恶意机器人攻击给他们的技术基础设施带来了负担，并迫使他们扩大了其中一个在线门户的规模。

您的流量中有多少无用的机器人程序？大多数公司不知道确切的答案。随着时间的推移，机器人只会成为一个更严重的问题，而且流行的云提供商还具有自动缩放功能。您获得的流量越多，无论是人为的还是其他方式，他们分配给您的服务器就越多，您支付的费用也就越多。

因为这是自动发生的，而且因为复杂的机器人很难与真实用户区分开来，所以很容易将越来越多的机器人和更高的云费用误认为是良好的用户增长。

如何阻止机器人使您的服务器超载

大多数性能问题（由与机器人无关的问题引起的问题）都可以使用负载均衡器（例如 AWS ELB）解决。这会将流量路由到获得最佳性能的服务器，同时确保没有单个服务器因流量过载。当您的流量增长时，负载均衡器将自动合并新服务器并适当地分配流量。

虽然这意味着更快的加载时间和更好的用户体验，但负载均衡器无法阻止机器人程序。您最终仍会为超出实际需要的服务器容量支付费用。

诸如 WAF 之类的网络安全解决方案将阻止许多最基本的机器人程序。它们允许您创建请求阈值或设置规则，例如阻止来自特定国家/地区的所有流量。但是 WAF 对付当今复杂的机器人并不是特别有效。解决问题真正需要的是适当的机器人程序管理解决方案。

综上所述

恶意机器人是导致服务器过载的一个被忽视的原因，它会导致服务器不稳定、加载时间变慢导致用户体验不佳以及云费用更高。虽然负载均衡器和良好的 WAF 可以提高性能并阻止最不复杂的机器人程序，但只有良好的机器人程序管理解决方案才能完全解决恶意机器人程序的问题。