外部系统日志服务器的注意事项
建议更改
PDF
请按照以下准则估算所需外部系统日志服务器的大小。
什么是外部系统日志服务器？
外部系统日志服务器是 StorageGRID 外部的服务器，您可以使用它在一个位置收集系统审核信息。通过使用外部系统日志服务器，您可以配置审核信息的目标，以便减少管理节点上的网络流量并更高效地管理信息。可以发送到外部系统日志服务器的审核信息类型包括：
-
包含在正常系统操作期间生成的审核消息的审核日志
-
与安全相关的事件，例如登录和上报给 root
-
如果需要创建支持案例以对遇到的问题描述 进行故障排除，则可能需要请求的应用程序日志
如何估算外部系统日志服务器的大小
通常，您的网格会进行规模估算，以达到所需的吞吐量，该吞吐量是按每秒 S3 操作数或每秒字节数定义的。例如，您可能要求网格每秒处理 1 ， 000 次 S3 操作，或者每秒处理 2 ， 000 MB 的对象载入和检索。您应根据网格的数据要求调整外部系统日志服务器的大小。
本节提供了一些启发式公式，可帮助您估算外部系统日志服务器需要能够处理的各种类型的日志消息的速率和平均大小，这些消息以网格的已知或所需性能特征（每秒 S3 操作数）表示。
在估计公式中使用每秒 S3 操作数
如果网格的大小以每秒字节为单位表示，则必须将此规模估算转换为每秒 S3 操作，才能使用估算公式。要转换网格吞吐量，您必须先确定平均对象大小，您可以使用现有审核日志和指标（如果有）中的信息或根据您对将使用 StorageGRID 的应用程序的了解来确定平均对象大小。例如，如果您的网格大小调整为可实现 2 ， 000 MB/ 秒的吞吐量，而您的平均对象大小为 2 MB ，则您的网格大小将调整为能够每秒处理 1 ， 000 次 S3 操作（ 2 ， 000 MB/ 2 MB ）。
|
以下各节中用于估算外部系统日志服务器规模的公式提供了常见案例估算（而不是最坏案例估算）。根据您的配置和工作负载，您可能会发现系统日志消息或系统日志数据卷的速率高于或低于公式的预测。这些公式仅供参考。 |
审核日志的估计公式
如果除了网格应支持的每秒 S3 操作数之外，您没有其他有关 S3 工作负载的信息，则可以使用以下公式估算外部系统日志服务器需要处理的审核日志卷， 假设您将审核级别设置为默认值（所有类别均设置为正常，但存储设置为错误除外）：
Audit Log Rate = 2 x S3 Operations Rate Audit Log Average Size = 800 bytes
例如，如果网格的大小为每秒 1 ， 000 次 S3 操作，则外部系统日志服务器的大小应为每秒支持 2 ， 000 条系统日志消息，并且应能够以每秒 1.6 MB 的速率接收（并且通常存储）审核日志数据。
如果您对工作负载有更多了解，可以进行更准确的估计。对于审核日志，最重要的附加变量是放置的 S3 操作的百分比（与获取）以及以下 S3 字段的平均大小（以字节为单位）（表中使用的 4 个字符缩写为审核日志字段名称）：
| 代码 | 字段 | Description |
|---|---|---|
SACC |
S3 租户帐户名称（请求发件人） |
发送请求的用户的租户帐户名称。匿名请求为空。 |
SBAC |
S3 租户帐户名称（存储分段所有者） |
存储分段所有者的租户帐户名称。用于标识跨帐户或匿名访问。 |
S3BK |
S3 存储分段 |
S3 存储分段名称。 |
S3KY |
S3 密钥 |
S3 密钥名称，不包括存储分段名称。存储分段上的操作不包括此字段。 |
让我们使用 P 表示所放置的 S3 操作的百分比，其中 0 ≤ P ≤ 1 （因此，对于 100% PUT 工作负载， P = 1 ，对于 100% GET 工作负载， P = 0 ）。
我们使用 K 表示 S3 帐户名称， S3 Bucket 和 S3 密钥之和的平均大小。假设 S3 帐户名始终为 my-s3-account （ 13 字节），存储分段的名称长度固定，例如 /my/application/bucket-12345 （ 28 字节），而对象的密钥长度固定，例如 5733a5d7-f069-41ef-8fbd-13247494c69c （ 36 字节）。然后， K 值为 90 （ 13+13+28+36 ）。
如果您可以确定 P 和 K 的值，则可以使用以下公式估算外部系统日志服务器需要处理的审核日志卷，前提是您将审核级别设置为默认值（除存储外的所有类别均设置为正常）。 设置为 Error ）：
Audit Log Rate = ((2 x P) + (1 - P)) x S3 Operations Rate Audit Log Average Size = (570 + K) bytes
例如，如果您的网格大小为每秒 1 ， 000 次 S3 操作，则工作负载将占 50% ， S3 帐户名称，存储分段名称， 对象名称平均为 90 字节，您的外部系统日志服务器应调整大小以支持每秒 1 ， 500 条系统日志消息，并且应能够以大约每秒 1 MB 的速率接收（并且通常存储）审核日志数据。
非默认审核级别的估计公式
为审核日志提供的公式假定使用默认审核级别设置（所有类别均设置为 " 正常 " ，但存储设置为 " 错误 " 除外）。未提供用于估计非默认审核级别设置的审核消息速率和平均大小的详细公式。不过，下表可用于粗略估计费率； 您可以使用为审核日志提供的平均大小公式、但请注意、它可能会导致高估、因为"额外"审核消息平均小于默认审核消息。
| 条件 | 公式 |
|---|---|
Replication ： Audit Levels all set to Debug or Normal |
审核日志速率 = 8 x S3 操作速率 |
纠删编码：审核级别均设置为 " 调试 " 或 " 正常 " |
使用与默认设置相同的公式 |
安全事件的估计公式
安全事件与S3操作无关、通常会生成极少的日志和数据。出于这些原因，不提供任何估计公式。
应用程序日志的估计公式
如果除了网格预期支持的每秒 S3 操作数之外，您没有其他有关 S3 工作负载的信息，则可以使用以下公式估算外部系统日志服务器需要处理的应用程序日志卷：
Application Log Rate = 3.3 x S3 Operations Rate Application Log Average Size = 350 bytes
因此，例如，如果网格的大小为每秒 1 ， 000 次 S3 操作，则外部系统日志服务器的大小应为每秒支持 3 ， 300 个应用程序日志，并且能够以大约每秒 1.2 MB 的速率接收（和存储）应用程序日志数据。
如果您对工作负载有更多了解，可以进行更准确的估计。对于应用程序日志，最重要的附加变量是数据保护策略（复制与纠删编码），所执行 S3 操作的百分比（与GES/OTHER其他 ）以及以下 S3 字段的平均大小（以字节为单位）（表中使用的 4 个字符缩写是审核日志字段名称）：
| 代码 | 字段 | Description |
|---|---|---|
SACC |
S3 租户帐户名称（请求发件人） |
发送请求的用户的租户帐户名称。匿名请求为空。 |
SBAC |
S3 租户帐户名称（存储分段所有者） |
存储分段所有者的租户帐户名称。用于标识跨帐户或匿名访问。 |
S3BK |
S3 存储分段 |
S3 存储分段名称。 |
S3KY |
S3 密钥 |
S3 密钥名称，不包括存储分段名称。存储分段上的操作不包括此字段。 |
规模估算示例
本节介绍了如何使用网格估算公式和以下数据保护方法的示例案例：
-
Replication
-
纠删编码
如果使用复制来保护数据
Let P 表示所放置的 S3 操作的百分比，其中 0 ≤ P ≤ 1 （因此，对于 100% PUT 工作负载， P = 1 ，对于 100% GET 工作负载， P = 0 ）。
让 K 表示 S3 帐户名称， S3 Bucket 和 S3 密钥之和的平均大小。假设 S3 帐户名始终为 my-s3-account （ 13 字节），存储分段的名称长度固定，例如 /my/application/bucket-12345 （ 28 字节），而对象的密钥长度固定，例如 5733a5d7-f069-41ef-8fbd-13247494c69c （ 36 字节）。K 的值为 90 （ 13+13+28+36 ）。
如果您可以确定 P 和 K 的值，则可以使用以下公式估算外部系统日志服务器必须能够处理的应用程序日志卷。
Application Log Rate = ((1.1 x P) + (2.5 x (1 - P))) x S3 Operations Rate Application Log Average Size = (P x (220 + K)) + ((1 - P) x (240 + (0.2 x K))) Bytes
因此，例如，如果网格的大小为每秒 1 ， 000 次 S3 操作，工作负载占用率为 50% ， S3 帐户名称，存储分段名称和对象名称平均为 90 字节，则外部系统日志服务器的大小应为每秒支持 1800 个应用程序日志。 并且将以每秒 0.5 MB 的速率接收（并通常存储）应用程序数据。
如果您使用纠删编码进行数据保护
Let P 表示所放置的 S3 操作的百分比，其中 0 ≤ P ≤ 1 （因此，对于 100% PUT 工作负载， P = 1 ，对于 100% GET 工作负载， P = 0 ）。
让 K 表示 S3 帐户名称， S3 Bucket 和 S3 密钥之和的平均大小。假设 S3 帐户名始终为 my-s3-account （ 13 字节），存储分段的名称长度固定，例如 /my/application/bucket-12345 （ 28 字节），而对象的密钥长度固定，例如 5733a5d7-f069-41ef-8fbd-13247494c69c （ 36 字节）。K 的值为 90 （ 13+13+28+36 ）。
如果您可以确定 P 和 K 的值，则可以使用以下公式估算外部系统日志服务器必须能够处理的应用程序日志卷。
Application Log Rate = ((3.2 x P) + (1.3 x (1 - P))) x S3 Operations Rate Application Log Average Size = (P x (240 + (0.4 x K))) + ((1 - P) x (185 + (0.9 x K))) Bytes
因此，例如，如果您的网格大小为每秒 1 ， 000 次 S3 操作，则您的工作负载为 50% ， S3 帐户名称，存储分段名称， 对象名称平均为 90 字节，您的外部系统日志服务器应调整大小以支持每秒 2 ， 250 个应用程序日志，并且应能够以每秒 0.6 MB 的速率接收并将其存储。
有关配置审核消息级别和外部系统日志服务器的详细信息、请参见以下内容：