Hadoop StreamingでHDFS上のレコード数を数える

ローカルファイルの行数を数える時は wc コマンドを使いますよね。
ふと、HDFS上のファイルの行数を数える時は何が良いのか考えてみました。

Firefoxのカスタムキーワードで手軽にHDFS上のファイルを閲覧しよう

Hadoop では Web UI を通じて HDFS 上のファイルを手軽に閲覧することができます。

sortコマンドで複数キーによるソート

sort コマンドの挙動がわかりにくかったのでメモです。

JavaScriptからローカルファイルを作成する方法まとめ

久しぶりに JavaScript と戯れたいなぁと思ったので JavaScript からローカルファイルを作成する方法をまとめてみました。

はじめてのまっぷりでゅ~す

先日、(欠席している間に発表が決まってしまった)同期の勉強会で MapReduce の発表をしたので資料をアップします。
間違っている内容も多々あると思いますが・・・
間違いは指摘していただけると嬉しいです > <

Gmail上のWindowsネットワークパスをSMBパスに変換するGreasmonkeyスクリプト

WindowsユーザからUnixユーザにSMBサーバのパスを伝えられると、それはほぼ間違いなくUNC(バックスラッシュ2つで始まるあれ)です。
UnixユーザはUNCで伝えられたパスのバックスラッシュをスラッシュに変換するという不毛な時間を強いられるわけです。

RとSQLを対応付けてみた

いくつかの言語を知っていると、あの言語のこれに相当することってどうやったらできるのかと思うことがよくありますよね。
最近SQLみたいな操作をRでやるにはどうすればいいんだろ?と思うことがあったのでまとめてみました。
SQLはどの言語を使っている人でも比較的馴染みがあると思うんで、Rを知らない人でも何をやっているかわかりやすいですよねー

RのUnicode正規化関数(パッケージ)を作ってみた

自然言語を処理する場合,表記の揺れが問題になることがあります.
例えば半角カタカナと全角カタカナ,全角記号と半角記号の違いによる表記の揺れに関してはUnicode正規化で解決できます.

MacのZumoDriveでFinderから日本語ファイルにアクセスするために

ZumoDriveに濁音・半濁音を含む日本語ファイルを作成すると

$ echo test >/Volumes/ZumoDrive-501/テストだよ.txt
$ open -a TextEdit /Volumes/ZumoDrive-501/テストだよ.txt 
The file /Volumes/ZumoDrive-501/テストだよ.txt does not exist.

となってアクセスできなくなります.Finderからアクセスしようとすると
20110320194841
となります.
ちなみにアクセスできないのはMac用のアプリで,UNIXコマンドからはアクセスできます.

Twitterなどを装ったフィッシングサイトにご用心!

「YAFOO! JAPAN」とか「おめでとうございます!○○に当選しました!今すぐ (ry」とか”見え見えの”詐欺の手口ってありますよね.

広告