Ubuntuでlibhdfsのサンプルコードを動かしてみた

libhdfs を使ってコードを書いてみました系のエントリーが全然見つからなく、情弱な自分にとってはサンプルコードを動かすことすら敷居が高かったのでメモがてらエントリーを書いてみます。
環境は 64bit版 Ubuntu 10.04 です。

Rが使えるフリをするための1冊の本「R言語逆引きハンドブック」を読んだ

タイトルは釣りです。Rユーザの「フリ」なんてしなくていいんですよ!

Pigで累積和を算出する

Hadoop 上の膨大なデータに対して累積和を算出したいことってあると思います。
例えば、ある日からの経過日数ごとの累積売上額とか。
Pig では SUM と違って累積和を求める UDF は組み込み関数レベルでサポートされていません。
というわけで、Pig で累積和を求める方法を検討してみました。

Rで条件付き書式 for ESS & Terminal

先日、R から Excel に出力する際に、条件にマッチするセルにのみ特定の書式を適用する、という id:dichika さんのエントリーがありました。
cf. Rで条件付き書式(R Advent Calendar 2011) - BOD

Rで単体テスト

みなさん、ちゃんと単体テスト(ユニットテスト)してますか?
あまり再利用性のない分析コードだと縁のない話だと思うんですが、パッケージを開発するとか、よく使い回す関数を作成する場合はテストを書くべきです。
R で単体テストをする場合は RUnit を利用するのが普通かと思います。
そんなわけで、RUnit の実用的な使い方について説明します!

気に食わないRの組み込み関数を上書きして使いやすくした

個人的に rank, sort, names<- が気に食わなかったので上書きしてみました。
abicky/R_funcs - GitHub

RJSONIOでUnicode文字列を扱えるようにしてみた

R で JSON を扱うには rjson か RJSONIO がありますが、前者はすぐに落ちるし、後者はバージョン0.4以降 Unicode文字列が扱えないという状況で、実質 R では JSON を扱えません。
twitteR では RJSONIO を使って JSON をパースしているため、twitteR で日本語のツイートを取得するためにはわざわざ RJSONIO 0.3 をダウンロードして手動インストールしなければなりません。

Favmemoリニューアルしました!!

去年10月末のリリースから2日にして存在価値を失った残念なサービスFavmemoをリニューアルしました!
ちなみに Favmemo はTwitterの自分のお気に入りを管理・整理するサービスです!!
Favmemo
cf. Twitter のお気に入りをタグで管理するサービス Favmemo をリリースしました! - あらびき日記

jQueryの$.ajaxで通信途中のresponseTextを取得する

Chunked transfer encoding で通信しようとすると readyState が4じゃなくても結果を取得しなければなりません。
ところが、jQuery (1.7.1) の $.ajax の返すオブジェクトは、コメントに Fake xhr とあるように XMLHttpRequest ではないため、readyState が4になるまで XMLHttpRequest.responseText を取得することができません。1

  1. XMLHttpRequest に DOMContentLoaded イベントを追加し、このイベントに対するコールバック関数が呼ばれた時に XMLHttpRequest.responseText を取得するみたいです

RでMySQL風に出力する

去年 Rの文字出力に便利な関数を作ってみた - あらびき日記 というエントリーを書きましたが、print.mysqlike 関数を改良しました。
print.mysqlike.R at master from abicky/R_funcs - GitHub/print.mysqlike.R

広告