Pig 0.9より前のバージョンでマクロもどきを実現する2つのスクリプト
みなさんPig 0.9って使ってます?個人的にPig 0.9の最大の魅力はマクロのサポートだと思います。
これによって、今まで同じ処理を記述するためにコピペしたり(さらにはエイリアス名を少しいじったり)、Pigを生成するためのスクリプトを書いたりしなければいけなかったのがグッと楽になります。
メンテナンス性も飛躍的に上がりますね!!
「文字列カーネルSVMによる辞書なしツイート分類」を発表してきました
第7回自然言語処理勉強会で「文字列カーネルSVMによる辞書なしツイート分類 ~文字列カーネル入門~」を発表してきました。
Tokyo.R #16で「Rデバッグあれこれ」を発表してきました
Tsukuba.R #9 でデバッグ関連のLTをする予定だったんですが、いろいろあって Tokyo.R #16 で発表してきました。
Tsukuba.R で発表しようと思っていた時は @kohske さんのデバッグ関連の優良記事がなかったのでけっこう価値があるかと思ったんですが、今回の発表内容は半分以上その記事の内容と重複してるんでなんかあれですね・・・
PigでNULLを扱う場合の挙動まとめ
最近、象とか豚と戯れるサファリパークな日々が続いていますが、豚と戯れる時に一番気を付けないといけないのは NULL の扱い方だと思います。
そんなわけで NULL を扱った場合の挙動についてまとめました。
Hadoop StreamingでHDFS上のレコード数を数える
ローカルファイルの行数を数える時は wc コマンドを使いますよね。
ふと、HDFS上のファイルの行数を数える時は何が良いのか考えてみました。
Firefoxのカスタムキーワードで手軽にHDFS上のファイルを閲覧しよう
Hadoop では Web UI を通じて HDFS 上のファイルを手軽に閲覧することができます。
sortコマンドで複数キーによるソート
sort コマンドの挙動がわかりにくかったのでメモです。
JavaScriptからローカルファイルを作成する方法まとめ
久しぶりに JavaScript と戯れたいなぁと思ったので JavaScript からローカルファイルを作成する方法をまとめてみました。
はじめてのまっぷりでゅ~す
先日、(欠席している間に発表が決まってしまった)同期の勉強会で MapReduce の発表をしたので資料をアップします。
間違っている内容も多々あると思いますが・・・
間違いは指摘していただけると嬉しいです > <
Gmail上のWindowsネットワークパスをSMBパスに変換するGreasmonkeyスクリプト
WindowsユーザからUnixユーザにSMBサーバのパスを伝えられると、それはほぼ間違いなくUNC(バックスラッシュ2つで始まるあれ)です。
UnixユーザはUNCで伝えられたパスのバックスラッシュをスラッシュに変換するという不毛な時間を強いられるわけです。