PigでNULLを扱う場合の挙動まとめ
最近、象とか豚と戯れるサファリパークな日々が続いていますが、豚と戯れる時に一番気を付けないといけないのは NULL の扱い方だと思います。
そんなわけで NULL を扱った場合の挙動についてまとめました。
Hadoop StreamingでHDFS上のレコード数を数える
ローカルファイルの行数を数える時は wc コマンドを使いますよね。
ふと、HDFS上のファイルの行数を数える時は何が良いのか考えてみました。
Firefoxのカスタムキーワードで手軽にHDFS上のファイルを閲覧しよう
Hadoop では Web UI を通じて HDFS 上のファイルを手軽に閲覧することができます。
sortコマンドで複数キーによるソート
sort コマンドの挙動がわかりにくかったのでメモです。
JavaScriptからローカルファイルを作成する方法まとめ
久しぶりに JavaScript と戯れたいなぁと思ったので JavaScript からローカルファイルを作成する方法をまとめてみました。
はじめてのまっぷりでゅ~す
先日、(欠席している間に発表が決まってしまった)同期の勉強会で MapReduce の発表をしたので資料をアップします。
間違っている内容も多々あると思いますが・・・
間違いは指摘していただけると嬉しいです > <
Gmail上のWindowsネットワークパスをSMBパスに変換するGreasmonkeyスクリプト
WindowsユーザからUnixユーザにSMBサーバのパスを伝えられると、それはほぼ間違いなくUNC(バックスラッシュ2つで始まるあれ)です。
UnixユーザはUNCで伝えられたパスのバックスラッシュをスラッシュに変換するという不毛な時間を強いられるわけです。
RとSQLを対応付けてみた
いくつかの言語を知っていると、あの言語のこれに相当することってどうやったらできるのかと思うことがよくありますよね。
最近SQLみたいな操作をRでやるにはどうすればいいんだろ?と思うことがあったのでまとめてみました。
SQLはどの言語を使っている人でも比較的馴染みがあると思うんで、Rを知らない人でも何をやっているかわかりやすいですよねー
RのUnicode正規化関数(パッケージ)を作ってみた
自然言語を処理する場合,表記の揺れが問題になることがあります.
例えば半角カタカナと全角カタカナ,全角記号と半角記号の違いによる表記の揺れに関してはUnicode正規化で解決できます.
MacのZumoDriveでFinderから日本語ファイルにアクセスするために
ZumoDriveに濁音・半濁音を含む日本語ファイルを作成すると
$ echo test >/Volumes/ZumoDrive-501/テストだよ.txt
$ open -a TextEdit /Volumes/ZumoDrive-501/テストだよ.txt
The file /Volumes/ZumoDrive-501/テストだよ.txt does not exist.
となってアクセスできなくなります.Finderからアクセスしようとすると
となります.
ちなみにアクセスできないのはMac用のアプリで,UNIXコマンドからはアクセスできます.