Skip to main content
AI Data Engine
简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

在单节点 AI Data Engine 部署上为 SMB/CIFS 共享配置 Kerberos

贡献者 netapp-dbagwell

使用 Kerberos 身份验证从单节点 AI Data Engine (AIDE)部署中扫描 SMB/CIFS 共享,以便在数据源中不存储密码。完成设置后,AI Data Engine 会自动刷新 Kerberos 票证。

开始之前

权限和访问
  • 您具有 AI Data Engine 管理员 权限。

  • 您对 AI Data Engine 主机具有 root 访问权限。

网络和时间同步
  • 您已查看"网络要求"和"Kerberos 和 Active Directory 要求",包括时间同步和 DNS。

  • 您已验证 AI Data Engine 主机可以访问端口 88 上的 KDC、端口 445 上的文件服务器和端口 53 上的 DNS 服务器。

  • 您已验证 NTP 在 AI Data Engine 主机上处于活动状态,并且其时钟与您的域控制器同步。要检查,请运行 timedatectl。

Active Directory
  • 您在 Active Directory 中拥有一个扫描服务帐户,该帐户对您要扫描的 SMB/CIFS 共享具有读取权限。该帐户必须支持 AES256 加密。

要收集的信息
  • 您有下列信息:

    个项目 问题描述 示例

    KDC IP 地址

    充当 Kerberos 密钥分发中心(KDC)的域控制器的 IP 地址

    10.0.1.50

    KDC FQDN

    同一域控制器的完全限定域名(FQDN)

    dc.corp.example.com

    领域

    Active Directory 域,小写

    corp.example.com

    领域

    Kerberos 领域,即大写的域

    CORP.EXAMPLE.COM

    扫描用户

    具有对共享的读取访问权限的服务帐户

    svc-aide

    扫描密码

    扫描用户的密码。仅在创建 keytab 时输入。

    不适用

    文件服务器FQDN

    托管共享的文件服务器的 FQDN。请勿使用 IP 地址。

    filer.corp.example.com

    共享名称

    SMB/CIFS 共享的名称

    sharename

AI Data Engine 使用的 Kerberos 文件

您在 AI Data Engine 主机上创建以下文件。安装程序会创建 `/opt/netapp/aide`目录,并自动安装 `cifs-utils`以支持经过 Kerberos 身份验证的 SMB 访问。

文件 位置

Kerberos 配置

/etc/krb5.conf

Keytab

/opt/netapp/aide/kerberos_refresher/datasense.keytab

主体文件

/opt/netapp/aide/kerberos_refresher/kerberos_creds.env

票据缓存,由 AI Data Engine 在刷新票据时创建

/opt/netapp/aide/kerberos_ccache/krb5cc_shared

创建 Kerberos 文件

为 AI Data Engine 提供获取扫描服务帐户的 Kerberos 票证所需的配置和凭据。

步骤
  1. 安装 Kerberos 客户端工具。

    1. 在 Ubuntu 或 Debian 上,运行以下命令。

      apt-get update -qq
      apt-get install -y krb5-user
    2. 在 RHEL、CentOS 或 Rocky Linux 上,运行以下命令。

      dnf -y install krb5-workstation
  2. 设置以下命令使用的变量。将尖括号中的每个值替换为您的值,并且不要包含尖括号。以大写形式输入领域,以小写形式输入域。

    export KDC_IP="<kdc_ip>"
    export KDC_FQDN="<kdc_fqdn>"
    export AD_DOMAIN="<domain>"
    export REALM="<REALM>"
    export SCAN_USER="<scan_user>"
    export FILE_SERVER_FQDN="<file_server_fqdn>"
    export SHARE_NAME="<share_name>"
    1. 验证变量是否已设置。

      echo "KDC_IP=[${KDC_IP}] REALM=[${REALM}] SCAN_USER=[${SCAN_USER}]"
      备注 这些变量仅存在于当前 shell 会话中。如果打开新 shell,请重新设置它们。
  3. 创建 Kerberos 配置文件。

    tee /etc/krb5.conf >/dev/null <<EOF
    [libdefaults]
        default_realm = ${REALM}
        dns_lookup_realm = false
        dns_lookup_kdc = false
        rdns = false
        ticket_lifetime = 24h
        renew_lifetime = 7d
        forwardable = true
    
    [realms]
        ${REALM} = {
            kdc = ${KDC_IP}:88
            admin_server = ${KDC_IP}:749
        }
    
    [domain_realm]
        .${AD_DOMAIN} = ${REALM}
        ${AD_DOMAIN} = ${REALM}
    EOF
    chmod 644 /etc/krb5.conf

    该文件使用 KDC IP 地址,以便 Kerberos 身份验证不依赖于 DNS。

  4. 为扫描服务帐户创建 keytab。

    1. 运行 ktutil。

    2. 在 ktutil 提示符处,输入以下命令。将 <scan_user> 和 <REALM> 替换为您的值。 ktutil 提示符不使用 shell 变量。

      addent -password -p <scan_user>@<REALM> -k 1 -e aes256-cts-hmac-sha1-96
    3. 当 `ktutil`提示输入密码时,请输入此扫描用户的密码。

    4. 在 ktutil 提示符处输入以下命令。

      wkt /tmp/krb5.keytab
      quit
  5. 测试 keytab。

    klist -kt /tmp/krb5.keytab
    kinit -kt /tmp/krb5.keytab "${SCAN_USER}@${REALM}"
    klist
    kdestroy

    第二个 `klist`命令必须为扫描用户显示有效的票据。票据确认密钥表和与 KDC 的连接正常工作。如果 `kinit`失败,请参阅Kerberos 身份验证故障排除。

  6. 安装密钥表,然后删除临时副本。

    install -o root -g 4321 -m 640 /tmp/krb5.keytab /opt/netapp/aide/kerberos_refresher/datasense.keytab
    rm -f /tmp/krb5.keytab

    工单刷新程序以组 ID 为 4321 的 root 用户身份运行。密钥表和主体文件必须可由该组读取,而不能由其他用户读取。

  7. 创建主体文件。此 `KRB5_RENEW_INTERVAL_H`值为票据续订间隔(以小时为单位)。

    tee /opt/netapp/aide/kerberos_refresher/kerberos_creds.env >/dev/null <<EOF
    KRB5_USER=${SCAN_USER}
    KRB5_REALM=${REALM}
    KRB5_RENEW_INTERVAL_H=3
    EOF
    chgrp 4321 /opt/netapp/aide/kerberos_refresher/kerberos_creds.env
    chmod 640 /opt/netapp/aide/kerberos_refresher/kerberos_creds.env

验证名称解析

AI Data Engine 使用主机的 DNS 设置解析文件服务器和 KDC。首先验证名称解析,仅在名称无法解析时更改 DNS 设置。

步骤
  1. 验证文件服务器和 KDC 是否通过 FQDN 解析。

    nslookup "${FILE_SERVER_FQDN}"
    nslookup "${KDC_FQDN}"
  2. 检查结果。

    1. 如果两个名称都解析为正确的 IP 地址,请继续 开始首次刷新工单。

    2. 如果任一名称无法解析,请完成 修复名称解析,然后返回此过程。

开始首次刷新工单

AI Data Engine 每三小时刷新一次扫描服务帐户的 Kerberos 票证。启动第一次刷新,以便立即扫描共享。

备注 请勿将 `kinit`条目添加到主机 crontab。AI Data Engine 自动刷新工单。
步骤
  1. 启动刷新作业,等待其完成并显示其日志。

    export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
    JOB="ds-krb5-manual-$(date +%s)"
    kubectl -n aide create job "${JOB}" --from=cronjob/ds-krb5-ticket-refresher
    kubectl -n aide wait --for=condition=complete "job/${JOB}" --timeout=120s
    kubectl -n aide logs "job/${JOB}"
  2. 确认共享票据缓存存在且具有最近的时间戳。

    ls -l /opt/netapp/aide/kerberos_ccache/krb5cc_shared
结果

作业日志显示已为扫描用户获取票证。

验证 Kerberos 配置

在添加共享之前,请验证 AI Data Engine 能否使用 Kerberos 文件并解析名称。如果您打开了新的 shell,请重新设置 FILE_SERVER_FQDN`变量,并按照开始首次刷新工单中所示设置 `KUBECONFIG。

步骤
  1. 找到挂载服务 pod。

    POD=$(kubectl -n aide get pod -l app.kubernetes.io/name=ds-mount-server -o jsonpath='{.items[0].metadata.name}')
  2. 验证文件服务器是否可从 AI Data Engine 内部进行解析。

    kubectl -n aide exec "${POD}" -- nslookup "${FILE_SERVER_FQDN}"
  3. 确认 AI Data Engine 具有扫描用户的票据。

    kubectl -n aide exec "${POD}" -- klist
结果

文件服务器解析为正确的 IP 地址,并且 `klist`显示扫描用户的票证。

添加使用 Kerberos 的 SMB/CIFS 数据源

将共享添加为数据源并开始扫描,以便 AI Data Engine 可以开始分析其数据。

步骤
  1. 从 AI Data Engine UI 中,选择 配置。

  2. 在*已扫描系统*选项卡上,选择*添加系统*。

  3. 选择*文件共享组*。

  4. 输入组的名称。

  5. 按 `<file_server_fqdn>/<share_name>`格式输入共享路径。将占位符替换为您的值。请勿使用 IP 地址。

  6. 对于身份验证方法,选择 Kerberos。将用户名和密码字段留空。

  7. 查看您的选择并选择*确认*。

  8. 为新系统选择*激活扫描*。

有关连接数据源的详细信息,请参阅 "将数据源连接到 AI Data Engine"。

修复名称解析

仅当文件服务器或 KDC 未通过 FQDN 解析时,才完成此过程。它将您的 Active Directory DNS 服务器设置为主机的名称服务器。如果您打开了新 shell,请再次设置 `KDC_IP`和 `AD_DOMAIN`变量。

步骤
  1. 验证 Active Directory DNS 服务器是否也能解析外部名称。

    1. 运行以下命令。将 `<external_fqdn>`替换为 AI Data Engine 必须访问的域外名称。例如,使用 "出站互联网接入" 中列出的端点。

      nslookup <external_fqdn> "${KDC_IP}"
    2. 如果命令失败,请让 Active Directory 管理员启用 DNS 转发,然后重复此步骤。

  2. 备份 /etc/resolv.conf,并将 Active Directory DNS 服务器设置为名称服务器。

    cp /etc/resolv.conf /etc/resolv.conf.bak
    ORIG_SEARCH=$(grep '^search' /etc/resolv.conf.bak | head -1 | cut -d' ' -f2-)
    printf 'search %s\nnameserver %s\n' "${ORIG_SEARCH}" "${KDC_IP}" > /etc/resolv.conf
  3. 防止网络管理器在重新启动后覆盖 DNS 设置。

    1. 在带有 NetworkManager 的 RHEL 上,运行以下命令。

      mkdir -p /etc/NetworkManager/conf.d
      printf '[main]\ndns=none\n' > /etc/NetworkManager/conf.d/90-dns-none.conf
      systemctl reload NetworkManager
    2. 在带有 systemd-resolved 的 Ubuntu 上,运行以下命令。

      mkdir -p /etc/systemd/resolved.conf.d
      printf '[Resolve]\nDNS=%s\nDomains=%s\n' "${KDC_IP}" "${AD_DOMAIN}" > /etc/systemd/resolved.conf.d/ad-dns.conf
      systemctl restart systemd-resolved
  4. 重新启动 CoreDNS,以便 AI Data Engine 使用新的 DNS 设置。CoreDNS 将对集群外部名称的查询转发到 /etc/resolv.conf 中的名称服务器,因此必须重新启动才能使更改生效。

    export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
    kubectl -n kube-system rollout restart deployment coredns
    kubectl -n kube-system rollout status deployment coredns --timeout=120s
  5. 再次验证名称解析。请参阅验证名称解析。

更新 Kerberos 配置文件

如果在设置后替换 /etc/krb5.conf,例如通过复制新文件来覆盖它,AI Data Engine 将继续使用以前的文件,直到您重新启动受影响的服务。

步骤
  1. 重新启动挂载服务,并删除以前的票证刷新作业。

    export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
    kubectl -n aide rollout restart daemonset ds-mount-server
    kubectl -n aide delete job -l app.kubernetes.io/name=ds-krb5-ticket-refresher --ignore-not-found
  2. 开始新的工单刷新。请参阅 开始首次刷新工单。

Kerberos 身份验证故障排除

查找 Kerberos 故障的原因并恢复 SMB/CIFS 共享的扫描。

症状 可能的原因 解决方法

添加共享时出现错误 Kerberos 不允许使用的 IP。

共享路径使用 IP 地址。

输入共享路径作为 FQDN。

测试 keytab 时,kinit 失败,或者未签发票据。

密码或领域不正确,领域不是大写,扫描帐户不支持 AES256 加密,主机无法通过端口 88 连接到 KDC,或者主机上的时钟与 KDC 的差异超过允许的偏差。

验证密码和领域,并确认帐户支持 AES256 加密。向 KDC 开放端口 88,并确认主机上的 NTP 处于活动状态。然后再次创建 keytab。

票证刷新作业失败,或未创建票证缓存。

keytab、主体文件或 `/etc/krb5.conf`缺失或为空,或者组所有权和权限不正确。

验证文件是否存在于 AI Data Engine 使用的 Kerberos 文件 中列出的位置。验证密钥表和主体文件是否具有组 4321 和模式 640。验证票证缓存目录是否由 root:4321 拥有,且模式为 770。如果不是,请运行 chown root:4321 /opt/netapp/aide/kerberos_ccache && chmod 770 /opt/netapp/aide/kerberos_ccache。

主机上的文件服务器或 KDC 名称无法解析。

主机不使用可以解析您的 Active Directory 名称的 DNS 服务器。

完成 修复名称解析。

名称在主机上解析,但在 AI Data Engine 内无法解析。

更改 `/etc/resolv.conf`后,CoreDNS 未重新启动。

重新启动 CoreDNS。请参见 修复名称解析。

设置 Active Directory DNS 服务器后,外部名称无法在 AI Data Engine 中解析。

Active Directory DNS 服务器不转发外部查询。

验证 nslookup <external_fqdn> "${KDC_IP}" 是否返回结果。如果没有,请要求 Active Directory 管理员启用 DNS 转发,或在 /etc/resolv.conf 中将原始 DNS 服务器添加为第二个名称服务器。

此时将显示错误 mount error(126)。

AI Data Engine 无法读取 /etc/krb5.conf。

验证主机上是否存在 /etc/krb5.conf,以及 `kubectl -n aide exec "${POD}" -- cat /etc/krb5.conf`是否显示其内容。

对 `/etc/krb5.conf`的更改未生效。

文件在安装后被替换,AI Data Engine 仍使用之前的文件。

请参阅 更新 Kerberos 配置文件。

未找到 ktutil、 kinit 或 klist 命令。

主机上未安装 Kerberos 客户端工具。

安装 Kerberos 客户端工具。请参阅 创建 Kerberos 文件。

重新启动后, /etc/resolv.conf 文件将还原为其先前的设置。

网络管理器覆盖文件。

防止网络管理器覆盖 DNS 设置。请参阅 修复名称解析。

删除 Kerberos 配置

如果不再使用 Kerberos 扫描 SMB/CIFS 共享,请删除数据源和 Kerberos 文件。

步骤
  1. 从 AI Data Engine UI 中,删除使用 Kerberos 的 SMB/CIFS 数据源。

  2. 删除 Kerberos 文件。

    rm -f /opt/netapp/aide/kerberos_refresher/datasense.keytab
    rm -f /opt/netapp/aide/kerberos_refresher/kerberos_creds.env
    rm -f /opt/netapp/aide/kerberos_ccache/krb5cc_shared
  3. 如果主机上没有其他应用程序使用它,请删除 /etc/krb5.conf。

  4. 如果更改了 DNS 设置,请恢复原始设置。

    1. 还原 `/etc/resolv.conf`的备份。

      cp /etc/resolv.conf.bak /etc/resolv.conf
    2. 在添加 NetworkManager 配置的 RHEL 上,将其删除。

      rm -f /etc/NetworkManager/conf.d/90-dns-none.conf
      systemctl reload NetworkManager
    3. 在添加了 systemd-resolved 配置的 Ubuntu 上,将其删除。

      rm -f /etc/systemd/resolved.conf.d/ad-dns.conf
      systemctl restart systemd-resolved
    4. 重新启动 CoreDNS。

      export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
      kubectl -n kube-system rollout restart deployment coredns