chainerで(より)簡単にディープラーニングできる魔法を作りました

2016/6/1追記

なんか公開してから半年以上経って、chainerも進化したし、なんでもDNNブームもあるていど去ったのに、
まだこの記事のアクセスが絶えないし、githubにお星様がついたりするので追記しておきます。


内容をご覧になる前に、この記事ではchainerのFunctionSetをラップして、
単純なミニバッチ学習・テストのインターフェースを提供するためのライブラリについて紹介しています。

しかしchainer1.5.0以降では新たなネットワーク定義の仕方として
Link, Chainが導入されその柔軟性が増したと同時に、
FunctionSetはdeprecatedになりました。

ちょちょっと学習・テストを行うフレームワークとしてはまだ良いでしょうが,
少しでも余力のある皆様は、後学のためにもこのライブラリは使わず, 
Link, Chainを使ってきっちりナウいchainerを使うことを強くおすすめします。

-- 本文ここから --

みなさんDeep learningしてますか？
僕はここ１ヶ月以上ずっと朝から晩までDeep learningして、二度と来ないこの5歳の夏を未だ見ぬ汎化性能に捧げています．

　今日日、PythonをはじめとしたLL上のDeep learning framework(Caffeとかtorch7とか)がよりどりみどりでDeep learningを実装して試す、ということはそこまで苦ではなくなってきています．
Torchは知らないのでCaffeに限っての話ではありますが、恐らく現状もっともポピュラーなDeep learning frameworkであるCaffeは長いこと使われてきて情報が多くある一方で，その設計思想からして柔軟性に欠ける，というのが大きな問題であります．

　Caffeではネットワーク構造を予め定義して固めて，データセットを作成して固めて，そしてガリガリ学習を行わせる(Define-by-Run)というのが通常のアプローチになります．
　しかしこれは，とりあえずこんなネットワークでできるかやってみよう，とか単にアプリケーションに適用しよう，のような場合には明快でよいのですが，ネットワークの腹を開けてその詳細なところを覗いたりいじってみたりとか，ちょっと決められた通常のアプローチとは違うことをしようとした時にネックとなります．それゆえ，そうしたことをすることが求められる層の人々はCaffeではなく数値計算ライブラリのTheanoでゴリゴリディープネットを作ってみたり(Effort-and-Run?)， Caffeを魔改造していろいろやってみたりするわけです．

　そんな中，日本の(!)Prefferred networksというところからchainer(http://chainer.org/)という python向けニューラルネットワークフレームワークが公開され，ここ１，２ヶ月あちこちで大流行りとなっています．詳しくはchainerのドキュメントを参照してもらうこととして，chainerではCaffeの問題であったDefine-by-Runから来る柔軟性の低さを解消すべく，ネットワークの構造であったりforwardingの処理であったりを固めずに，計算処理の中で柔軟(on-the-fly)に変更できる， Define-and-Runの設計思想をとっています．
　早い話がこのおかげで実験の中でいろいろ好き勝手できて，大変都合がよいわけです．
　様々な長さの孫の手が用意されていて痒いところに手が届く，という点で言えば，まだまだピチピチのchainerは歴史の長いCaffeには幾分か劣るのですが， chainerは新進気鋭，最近ではnumpy-likeなCUDAのラッパであるCuPyを自ら作り，バックエンドを整備したりとこれから伸びてゆくであろう，少なくとも2.0.0ごろには形成が逆転しているのではないかなと女児なりに考えています．

　しかし，chainerは(Caffeに比べれば)まだまだ情報も少ないですし，柔軟であるがゆえにCaffeのようにデータと定義されたネットワークさえあれば，という手軽さも少々劣ります．いろいろいじるにしてもデータを学習させてテストする，といった決め打ちのそれは（Pythonでロジックを記述するような作業抜きに）簡単に書いてしまいたい，そうでもなければすでに身につけたCaffeなりの便利な乗り物を捨てようとは思わない，というのが「彼ら」の希望らしいです．（僕も少し思います）

　そこで，というか一日中GPUをブン回して地球温暖化に大いに貢献している中で必要に駆られて，numpyが「なんとなく」使えるレベルであればデータ丸投げである程度のことをやってくれるような魔法のようなライブラリを作りました． MIT Licenseの下で公開しています．

github.com

PyPiにも上げてあるので適当にpip install chainer-libdnnなりして簡単に入れることができます．様々な背景もあり，ようじょの割に珍しく(拙い英語で）README, exampleもしっかり書いてあるのでまあいい気はするのですが，こんな感じで簡単にDeep learningっぽいことができます.

import numpy
import chainer
import chainer.functions as F
from libdnn import Classifier
import libdnn.visualizer as V
from sklearn.datasets import fetch_mldata

# ネットワーク作って(MLP)
model = chainer.FunctionSet(fh1=F.Linear(28 ** 2, 100), fh2=(100, 10))
# 伝搬規則書いて
def forward(self, x, train):
    h = F.tanh(self.model.fh1(x))

    return F.tanh(self.model.fh2(x))

# モデル作って
mlp = Classifier(model, gpu=0) # CUDAします
mlp.set_forward(forward)

# データ作って
mnist = fetch_mldata('MNIST original')
perm = numpy.random.permutation(len(mnist.data))
mnist.data = mnist.data.astype(numpy.float32)
train_data, test_data = mnist.data[perm][:60000], mnist.data[perm][60000:]
train_label, test_label = mnist.target[perm][:60000], mnist.data[perm][60000:]

# 60000(num. of train_data) iter. を1世代として100世代ミニバッチ学習
for epoch in range(100):
    err, acc = mlp.train(train_data, train_label)
    print("%d: err=%f\t acc=%f" % (epoch + 1, err, acc))

# テスト
err, acc = mlp.test(test_data, test_label)
print("on test: %f\t%f" % (err, acc))

# 可視化なんて器用なことも
imager = V.Visualizer(mlp)
plot_filters('fh1', shape=(28, 28))

# 学習済みネットワークも保存できます
mlp.save_param()

　自分で言うのもなんですがめっちゃ便利です．
　使うときに決める必要があるのは最低限model = ...のネットワークの構成の定義と def forward(...のフィードフォワードのさせ方だけで，Caffeと変わりません.
　また，普通煩わしさを感じるほどそんな必要に駆られないのでしょうが，chainer使うときに個人的にちょっとめんどくさいなと思う，chainer.Variableへの変換と， GPUのオブジェクトとCPUのオブジェクトの相互変換. そのへんは完全にインターフェースから隠蔽してバンバンnumpy.arrayとしてデータを放り込んで，取ってこられるようにしています．　現時点では最低限の構成ですが，これから便利な機能を付けて付けて，どんどん太らせていきたいと思っていますので，欲しい機能があったら文句つけるか，継ぎ接ぎしていってください．

　このライブラリを使えばここに実例があるように，女児でも簡単にDeep learningができるので，きっと学校の成績だったりお受験だったり，いろいろ役立つんじゃないでしょうか．

　以下，想定質問です．

なんでもうv2.0.0なんですか？ : もともとはprivateなgitlab上で開発していて，まあいろいろあるんです
なんでREADME英語なんですか？ : いろいろあるんです
なんでCNNだけ優遇されてるっぽいんですか？ : いろいろあるんです

以上になります．