什么是日志分析？

日志分析 是一个过程，通过审查和解释由网络、操作系统、应用程序、服务器和其他硬件和软件组件生成的日志，可以了解 IT 基础设施和应用程序堆栈的性能和健康状况。日志通常包含时间序列数据，这些数据要么使用收集器实时流式传输，要么存储以供以后查看。日志分析提供对系统性能的洞察，并可以指出可能的问题，例如安全漏洞或即将发生的硬件故障。

日志分析有什么好处？

• 遵守。许多政府或监管机构要求组织证明其遵守几乎影响每个实体的无数法规。日志文件分析可以证明组织实际上正在满足 HIPAA、PCI、GDPR 或其他法规的要求。
• 安全性增强。随着网络犯罪变得越来越有组织，对更强有力的对策的需求也在增长。事件日志分析为采取主动措施提供了强大的工具，并在确实发生违规或数据丢失时启用取证检查。日志分析可以利用 网络监控 数据来发现未经授权的访问尝试，并确保优化配置安全操作和防火墙。
• 效率。日志分析框架有助于提高整个组织的效率。每个部门的 IT 资源可以共享一个日志存储库，对组织日志数据的分析可以帮助发现每个业务单元和部门的错误或趋势，从而实现快速修复。
• 高可用性。根据日志分析发现的信息及时采取行动可以防止问题导致停机。这反过来又可以帮助确保组织满足其业务目标，并确保 IT 组织履行其提供具有给定正常运行时间保证的服务的承诺。
• 避免过度供应或供应不足。虽然组织必须计划满足峰值需求，但日志分析可以帮助预测是否有足够的 CPU、内存、磁盘和网络带宽来满足当前需求和预测趋势。过度配置会浪费宝贵的 IT 资金，而配置不足可能会导致服务中断，因为组织争相购买额外资源或利用云资源来满足需求弹性。
• 销售和营销效率。通过跟踪流量和客户访问的页面等指标，日志分析可以帮助销售和营销专业人员了解哪些计划是有效的，哪些应该改变。流量模式还可以帮助重组组织的网站，使用户更容易导航到最常访问的信息。

为什么日志分析很重要？

由于日志提供了对应用程序性能和运行状况的可见性，日志分析可以让运营和开发团队了解和补救在业务运营过程中出现的任何性能问题。

日志分析具有许多重要功能，包括：

• 遵守治理和监管要求以及内部政策
• 跟踪安全漏洞和数据泄露以确定责任方并采取行动补救漏洞。
• 帮助对整个堆栈进行诊断和故障排除
• 跟踪用户行为异常以检测恶意意图或受损系统
• 协助对 恶意软件 攻击、渗漏或员工盗窃进行取证调查

一些监管机构坚持要求组织执行日志文件分析以证明其符合其法规，每个想要改善其网络安全状况的组织都需要日志分析方面的专业知识，以帮助发现和修复各种网络威胁。日志分析有助于满足的一些法规遵从性要求是 ISO/IEC 27002:2013，关于 IT 安全的实践代码，PCI DSS V3.1，涵盖信用卡和其他财务信息的隐私，以及 NIST 800-137，关于对联邦 IT 组织的持续监控。

如何进行日志分析？

日志是由应用程序、网络、设备（包括可编程和物联网设备）和操作系统生成的操作和活动的时间序列记录。它们通常存储在文件或数据库中，或者存储在称为日志收集器的专用应用程序中，用于实时日志分析。

日志分析师的任务是帮助解释上下文中的所有日志数据和消息，这需要对日志数据进行规范化以确保使用一组通用术语。这可以防止在一个功能发出“正常”信号而其他功能发出“绿色”信号时可能出现的混淆，而它们都表示不需要采取行动。

通常，为日志分析程序收集日志数据，对其进行清理、结构化或规范化，然后供专家分析以检测模式或发现异常，例如网络攻击或数据泄露。执行日志文件分析通常遵循以下步骤：

• 数据收集：来自硬件和软件探针的数据被收集到中央数据库。
• 数据索引：所有来源的数据都经过集中和索引，以加快可搜索性，增强 IT 专业人员快速发现问题或模式的能力。
• 分析：日志分析工具，包括标准化、模式识别、相关性和标记，可以使用机器学习工具自动完成，也可以在需要时手动完成。
• 监控：实时、自主的日志分析平台可以在检测到异常时生成警报。这种类型的自动化日志分析是对整个 IT 堆栈进行大多数持续监控的基础。
• 报告：传统报告和仪表板都是日志分析平台的一部分，为运营、开发和管理利益相关者提供指标的概览或历史视图。

什么是日志分析最佳实践？

以下是有效日志分析系统的一些组件。

• 规范化：将不同的日志元素数据转换为一致的格式有助于确保可以进行“苹果到苹果”的比较，并且无论日志来源如何，数据都可以集中存储和索引。
• 模式识别：现代机器学习 (ML) 工具可用于发现日志数据中可能指向异常的模式，例如通过比较隐藏在外部列表中的消息来帮助确定模式中是否隐藏着威胁。这可以帮助过滤掉常规日志条目，以便分析可以集中在那些可能表明某种异常的日志条目上。
• 标记和分类：使用关键字标记和按类型分类可以应用过滤器，从而加速发现有用数据。例如，当正在跟踪攻击 Windows 服务器的病毒时，可以丢弃所有“LINUX”类条目。
• 相关性：分析师可以组合来自多个来源的日志，以帮助解码仅来自单个日志的数据不容易看到的事件。这在网络攻击期间和之后特别有用，其中来自网络设备、服务器、防火墙和存储系统的日志之间的关联可以指示与攻击相关的数据，并指示从单个日志中不明显的模式。
• 人工智能：融入现代日志分析系统的人工智能和机器学习 (AI/ML) 工具可以自动识别和丢弃或忽略那些无助于发现异常或安全漏洞的日志条目。有时被称为“人为的无知”，此功能使日志分析能够发送有关计划的例行事件的警报，这些事件在应该发生的时候没有发生。
• 结构化：为了获得最大价值，所有日志数据都应该在一个中央存储库中并且是结构化的，以便人类和机器都可以理解。由于日志分析工具的进步，许多繁重的工作可以自动完成。因此，组织应该在所有系统组件中练习全栈日志记录，以获得活动和异常的最完整视图。