日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。
HDFS コネクタを設定します
共同作成者
変更を提案
XCP NFS の場合、 Hadoop Distributed File System ( HDFS ) Connector ( HDFS : // )は、 XCP に、異なるベンダーが提供するすべての HDFS ファイルシステムへのアクセスを許可します。
サポートされている機能
HDFS から NFS への「 copy 」コマンド操作は、 HDFS コネクタでサポートされています。
パスの構文
HDFS コネクタのパス構文は、「 hdfs://[user@host : port]/full-path 」です。
ユーザ、ホスト、およびポートを指定しない場合、 XCP はホストを「デフォルト」に設定し、ポートを「 0 」に設定した「 hdfsConnect 」を呼び出します。 |
HDFSコネクタをセットアップする
hdfs`copy` コマンドを実行するには、 Linux システム上に HDFS クライアントを設定する必要があります。また、 Hadoop ベンダーに基づいて、インターネット上で利用可能なセットアップ構成に従います。たとえば、MapRクラスタのクライアントを設定するには、「https://docs.datafabric.hpe.com/60/AdvancedInstallation/SettingUptheClient-redhat.html`」を使用します。
HFDS クライアントのセットアップが完了したら、クライアントの設定を完了する必要があります。XCP コマンドで HDFS パスを使用するには、次の環境変数が必要です。
-
Nhdfs_ LIBhdfs_ path です
-
Nhdfs_libjvm_path
次の例では、設定は、 CentOS 上の MapR および Java -1.8.0-openjdk-devel と連携しています。
export JAVA_HOME=$(dirname $(dirname $(readlink $(readlink $ (which javac))))) export NHDFS_LIBJVM_PATH=`find $JAVA_HOME -name "libjvm.so"` export NHDFS_LIBHDFS_PATH=/opt/mapr/lib/libMapRClient.so
[demo@mapr0 ~]$ hadoop fs -ls Found 3 items drwxr-xr-x - demo mapr 0 2021-01-14 00:02 d1 drwxr-xr-x - demo mapr 0 2021-01-14 00:02 d2 drwxr-xr-x - demo mapr 0 2021-01-14 00:02 d3