損失オブジェクトの調査

Objects lostアラートおよび従来のLOST(Lost Objects)アラームがトリガーされた場合は、すぐに調査する必要があります。影響を受けるオブジェクトに関する情報を収集し、テクニカル サポートに連絡してください。

開始する前に

  • Grid Managerにはサポートされているブラウザを使用してサインインする必要があります。
  • 特定のアクセス権限が必要です。
  • Passwords.txtファイルが必要です。

タスク概要

Objects lostアラートとLOSTアラームとは、あるオブジェクトのコピーがグリッド内にないとStorageGRIDが判断したことを示しています。データが完全に失われた可能性があります。

損失オブジェクトについてのアラームとアラートはすぐに調査する必要があります。これ以上のデータ損失を防ぐための対処が必要になることがあります。迅速に対処すれば、損失オブジェクトをリストアできる場合があります。

損失オブジェクトの数はGrid Managerで確認できます。

手順

  1. [Nodes]を選択します。
  2. [Storage Node] > [Objects]を選択します。
  3. [Object Counts]テーブルに表示される[Lost Objects]の数を確認します。
    これは、このグリッド ノードでStorageGRIDシステムに存在しないことが検出されたオブジェクトの総数です。この値は、LDRサービスとDDSサービス内でのData StoreコンポーネントのLost Objectsカウンタの合計です。
    [Nodes] > [Storage Node] > [Objects]ページの損失オブジェクト
  4. 管理ノードで、監査ログにアクセスして、Objects lostアラートとLOSTアラームをトリガーしたオブジェクトの一意の識別子(UUID)を確認します。
    1. グリッド ノードにログインします。
      1. 次のコマンドを入力します:ssh admin@grid_node_IP
      2. Passwords.txtファイルに含まれているパスワードを入力します。
      3. 次のコマンドを入力してrootに切り替えます:su -
      4. Passwords.txtファイルに含まれているパスワードを入力します。
      rootとしてログインすると、プロンプトが$から#に変わります。
    2. 監査ログが格納されているディレクトリに移動します。次のように入力します。cd /var/local/audit/export/
    3. grepを使用してObject Lost(OLST)監査メッセージを抽出します。次のコマンドを入力します。 grep OLST audit_file_name
    4. メッセージに記載されているUUIDの値を確認します。
      >Admin: # grep OLST audit.log
      2020-02-12T19:18:54.780426 [AUDT:[CBID(UI64):0x38186FE53E3C49A5][UUID(CSTR):"926026C4-00A4-449B-AC72-BCCA72DD1311"]
      [PATH(CSTR):"source/cats"][NOID(UI32):12288733][VOLI(UI64):3222345986][RSLT(FC32):NONE][AVER(UI32):10]
      [ATIM(UI64):1581535134780426][ATYP(FC32):OLST][ANID(UI32):12448208][AMID(FC32):ILMX][ATID(UI64):7729403978647354233]]
  5. ObjectByUUIDコマンドを使用して識別子(UUID)でオブジェクトを検索し、データがリスクにさらされているかどうかを確認します。
    1. Telnetでlocalhost 1402に接続して、LDRコンソールにアクセスします。
    2. 次のコマンドを入力します。 /proc/OBRP/ObjectByUUID UUID_value
      1つ目の例では、UUIDが926026C4-00A4-449B-AC72-BCCA72DD1311のオブジェクトの場所が2つ表示されています。
      ade 12448208: /proc/OBRP > ObjectByUUID 926026C4-00A4-449B-AC72-BCCA72DD1311
      
      {
          "TYPE(Object Type)": "Data object",
          "CHND(Content handle)": "926026C4-00A4-449B-AC72-BCCA72DD1311",
          "NAME": "cats",
          "CBID": "0x38186FE53E3C49A5",
          "PHND(Parent handle, UUID)": "221CABD0-4D9D-11EA-89C3-ACBB00BB82DD",
          "PPTH(Parent path)": "source",
          "META": {
              "BASE(Protocol metadata)": {
                  "PAWS(S3 protocol version)": "2",
                  "ACCT(S3 account ID)": "44084621669730638018",
                  "*ctp(HTTP content MIME type)": "binary/octet-stream"
              },
              "BYCB(System metadata)": {
                  "CSIZ(Plaintext object size)": "5242880",
                  "SHSH(Supplementary Plaintext hash)": "MD5D 0xBAC2A2617C1DFF7E959A76731E6EAF5E",
                  "BSIZ(Content block size)": "5252084",
                  "CVER(Content block version)": "196612",
                  "CTME(Object store begin timestamp)": "2020-02-12T19:16:10.983000",
                  "MTME(Object store modified timestamp)": "2020-02-12T19:16:10.983000",
                  "ITME": "1581534970983000"
              },
              "CMSM": {
                  "LATM(Object last access time)": "2020-02-12T19:16:10.983000"
              },
              "AWS3": {
                  "LOCC": "us-east-1"
              }
          },
          "CLCO(Locations)": [
              {
                  "Location Type": "CLDI(Location online)",
                  "NOID(Node ID)": "12448208",
                  "VOLI(Volume ID)": "3222345473",
                  "Object File Path": "/var/local/rangedb/1/p/17/11/00rH0%DkRt78Ila#3udu",
                  "LTIM(Location timestamp)": "2020-02-12T19:36:17.880569"
              },
              {
                  "Location Type": "CLDI(Location online)",
                  "NOID(Node ID)": "12288733",
                  "VOLI(Volume ID)": "3222345984",
                  "Object File Path": "/var/local/rangedb/0/p/19/11/00rH0%DkRt78Rrb#3s;L",
                  "LTIM(Location timestamp)": "2020-02-12T19:36:17.934425"
              }
          ]
      }
      
      2つ目の例では、UUIDが926026C4-00A4-449B-AC72-BCCA72DD1311のオブジェクトの場所が表示されていません。
      ade 12448208: / > /proc/OBRP/ObjectByUUID 926026C4-00A4-449B-AC72-BCCA72DD1311
      
      {
          "TYPE(Object Type)": "Data object",
          "CHND(Content handle)": "926026C4-00A4-449B-AC72-BCCA72DD1311",
          "NAME": "cats",
          "CBID": "0x38186FE53E3C49A5",
          "PHND(Parent handle, UUID)": "221CABD0-4D9D-11EA-89C3-ACBB00BB82DD",
          "PPTH(Parent path)": "source",
          "META": {
              "BASE(Protocol metadata)": {
                  "PAWS(S3 protocol version)": "2",
                  "ACCT(S3 account ID)": "44084621669730638018",
                  "*ctp(HTTP content MIME type)": "binary/octet-stream"
              },
              "BYCB(System metadata)": {
                  "CSIZ(Plaintext object size)": "5242880",
                  "SHSH(Supplementary Plaintext hash)": "MD5D 0xBAC2A2617C1DFF7E959A76731E6EAF5E",
                  "BSIZ(Content block size)": "5252084",
                  "CVER(Content block version)": "196612",
                  "CTME(Object store begin timestamp)": "2020-02-12T19:16:10.983000",
                  "MTME(Object store modified timestamp)": "2020-02-12T19:16:10.983000",
                  "ITME": "1581534970983000"
              },
              "CMSM": {
                  "LATM(Object last access time)": "2020-02-12T19:16:10.983000"
              },
              "AWS3": {
                  "LOCC": "us-east-1"
              }
          }
      }
      
    3. /proc/OBRP/ObjectByUUIDの出力を確認し、該当する対処を実行します。
      メタデータ 結論
      オブジェクトが見つからない("ERROR":"") オブジェクトが見つからない場合は"ERROR":""メッセージが返されます。

      オブジェクトが見つからない場合、このアラームは無視してかまいません。オブジェクトがない場合、オブジェクトが意図的に削除されたことを示しています。

      場所の数が0より多い 出力に場所が表示されている場合、Lost Objectsアラームは誤検知である可能性があります。

      オブジェクトが存在することを確認します。出力に表示されたノードIDとファイルパスを使用して、表示された場所にオブジェクト ファイルがあることを確認してください。

      (ノードIDを使用して正しいストレージ ノードを見つける方法については、失われた可能性があるオブジェクトの検索手順を参照してください)

      失われた可能性があるオブジェクトの検索とリストア

      オブジェクトが存在する場合は、Lost Objectsの数をリセットしてアラームとアラートをクリアできます。
      場所の数が0である 出力に場所が表示されていない場合は、オブジェクトが欠落している可能性があります。

      オブジェクトを手動で検索してリストアするか、テクニカル サポートにお問い合わせください。

      失われた可能性があるオブジェクトの検索とリストア

      テクニカル サポートに問い合わせた際に、実行中のストレージ リカバリ手順がないかどうかを確認するように求められることがあります。その場合は、いずれかのストレージ ノードで実行したrepair-dataコマンドによってリカバリを実行中でないかを確認してください。リカバリおよびメンテナンスの手順のストレージ ボリュームへのオブジェクト データのリストアを参照してください。