Firefoxのカスタムキーワードで手軽にHDFS上のファイルを閲覧しよう

Hadoop では Web UI を通じて HDFS 上のファイルを手軽に閲覧することができます。

Firefox のカスタムキーワードとブックマークレットを組み合わせればロケーションバーに

hdfs

と入力した時にホームディレクトリを表示し、

hdfs /path/to/target_dir

と入力した時に /path/to/target_dir のディレクトリを表示するなんてこともできちゃいます。

HDFS Web UI 表示のためのブックマークレット

次のブックマークレットを自分の環境に合った home_dir と url に変更してブックマークし、キーワードに hdfs を与えればOKです。1
ブックマークレットの登録方法は後述。

javascript:(function() {
    var dir = '%s';
    var home_dir = '/path/to/home_directory';
    var url = 'http://DATANODE_HOSTNAME:50075/browseDirectory.jsp?dir=\n&namenodeInfoPort=50070';
    if (dir.charAt(0) != '/') {
        dir = home_dir + dir;
    }
    var substituted_url = url.replace('\n', dir);
    location.replace(substituted_url,'< BR>');
})();

例えば私の場合、擬似分散環境だと

javascript:(function() {
    var dir = '%s';
    var home_dir = '/user/_hadoop/';
    var url = 'http://localhost:50075/browseDirectory.jsp?dir=\n&namenodeInfoPort=50070';
    if (dir.charAt(0) != '/') {
        dir = home_dir + dir;
    }
    var substituted_url = url.replace('\n', dir);
    location.replace(substituted_url,'< BR>');
})();

という感じになります。

ブックマークレットの登録方法

Mac の方法のみ記述しますが、Windows や Linux でもブックマークの管理にどうやってアクセスするかの違いになると思います。

  1. 「ブックマーク」 > 「すべてのブックマークを表示」で 「すべてのブックマーク」から「ブックマークメニュー」を開いたら、右クリックし、「新規ブックマーク…」を選択します。
    ※「すべてのブックマークを表示」ではなく「ブックマークの管理…」になっているかもしれません。
  2. URLに上記ブックマークレットをコピペし、キーワードに “hdfs” を登録します
    20110730134933
  3. ロケーションバー(URLが表示されるところ)に hdfs と入力します
  4. Web UI が表示されたでしょ!?

Firefox 便利ですね!!

参考

  1. お好みでClosure Compilerとかで圧縮してください

広告
sortコマンドで複数キーによるソート Hadoop StreamingでHDFS上のレコード数を数える
※このエントリーははてなダイアリーから移行したものです。過去のコメントなどはそちらを参照してください