2015/06/21(日)ubuntu 14.04でBLASを使う
BLASは、Basic Linear Algebra Subprogramsの略で、行列積などの基本的な行列計算のためのライブラリです。LAPACKなどの様々なプログラムから呼び出されます。行列計算は環境によって最適な書き方が違うので、行列計算の部分を差し替え可能なように分離しておきユーザが最適なBLASに差し替えて最高の性能を出す、ということを意図しています。
多くの環境で、デフォルトのBLASは単なるfor文で書かれたちっとも速くない「reference BLAS」と呼ばれるものになっています。自分の環境でも、reference BLASが入っていました。この場合例えばnumpyの行列計算は、全くCPU本来の性能を出せていません。
ubuntu 14.04では、atlasとopenblasという高速なBLASがパッケージで提供されています。今回は、それらをインストールしてnumpyの速度がどうなるか調べてみました。
インストールは次のように行いました。
sudo apt-get install libatlas-base-dev sudo apt-get install libatlas-doc
sudo apt-get install libopenblas-base sudo apt-get install libopenblas-devこれで3種類のBLASがインストールされたことになりますが、これらは差し替えて使うことを意図しているのでshared libraryとして同一のファイル名になっています。Ubuntuでは、これらをsymbolic linkを張り直すことによって使い分ける仕組みがあります。
sudo update-alternatives --config libblas.so.3と入力すると、
% sudo update-alternatives --config libblas.so.3 alternative libblas.so.3 (/usr/lib/libblas.so.3 を提供) には 3 個の選択肢があり>ます。 選択肢 パス 優先度 状態 ------------------------------------------------------------ * 0 /usr/lib/openblas-base/libblas.so.3 40 自動モード 1 /usr/lib/atlas-base/atlas/libblas.so.3 35 手動モード 2 /usr/lib/libblas/libblas.so.3 10 手動モード 3 /usr/lib/openblas-base/libblas.so.3 40 手動モード 現在の選択 [*] を保持するには Enter、さもなければ選択肢の番号のキーを押してください:のように表示され、どのBLASを使うか選択することができます。単にインストールした場合はUbuntuが定めた優先度に従って選ばれるようで、openblasが選択された状態でした。
これを切り替えてnumpyで5000x5000の逆行列を計算させてみて、速度がどうなるか計測してみました。環境は、core i7 3770T で、VMwareを使ってメモリを4G、CPUコアを4個与えた状態で行いました。
まずreference BLASで。
% python >>> from numpy import * >>> from time import * >>> a=random.rand(5000,5000); t=time(); a=linalg.inv(a); time()-t 241.60200095176697このように241秒かかりました。
ATLASに切り替えてみました。
% python >>> from numpy import * >>> from time import * >>> a=random.rand(5000,5000); t=time(); a=linalg.inv(a); time()-t 32.5946981906890932秒に高速化されました。しかし、topでCPUを見ると100%となっており、どうやら一つのコアしか使っていないようです。
最後にopenblasです。
% python >>> from numpy import * >>> from time import * >>> a=random.rand(5000,5000); t=time(); a=linalg.inv(a); time()-t 6.0147957801818856秒まで高速化されました。topのCPU表示は400%となり、4コア使って計算しているようです。
もともとテキサス大学の後藤先生という方が開発したgotoblas(ごとうブラス)という高速で有名なパッケージがあったのですが、後藤先生がIntelに移られて開発が中止してしまい、それを有志が引き継いだのがopenblasです。後藤先生は現在はIntelの商用BLASであるMath Kernel Libraryの開発をされているようです。
最後に、ATLASに関して少し注釈を述べておきます。
ATLASはAutomatically Tuned Linear Algebra Softwareの略で、ライブラリのmake時にそのCPUのコア数やキャッシュサイズなどを調査し、それに最適化したライブラリを生成する仕組みです。すなわち、本来バイナリパッケージで入れるには適さないもので、ATLASの真の性能を引き出すには計算を行うCPUでライブラリをmakeし直す必要があります。
また、ATLASはLAPACKの一部を高速化したものを含んでいて、ATLASをインストールするとATLAS版LAPACKがインストールされます。
% sudo update-alternatives --config liblapack.so.3 alternative liblapack.so.3 (/usr/lib/liblapack.so.3 を提供) には 2 個の選択肢があります。 選択肢 パス 優先度 状態 ------------------------------------------------------------ * 0 /usr/lib/lapack/liblapack.so.3 10 自動モード 1 /usr/lib/atlas-base/atlas/liblapack.so.3 5 手動モード 2 /usr/lib/lapack/liblapack.so.3 10 手動モード 現在の選択 [*] を保持するには Enter、さもなければ選択肢の番号のキーを押してください:しかし、このように優先度が低くなっており、デフォルトでは使われていません。これがUbuntuの(というかDebianの)開発チームの見解ということでしょうか。
2014/12/14(日)ubuntu on vmwareが起動しなくなった
余り使っていないマシンで何気なくアップデートをかけたところ、起動しなくなってしまって真っ青。ログインは出来るのですが、背景だけになってしまいメニュー等が何も出ず、操作できない状態。
ctrl-alt-F1で裏から入るのは全く問題なし。sudo restart lightdmとかしてもダメ。/var/log以下で怪しいエラーを探したがよく分からない。リカバリーモード起動してパッケージの修復とか試してもダメ。
途方にくれて何気なくtwitterで検索したら、すぐに同じ症状発見！
Ubuntu 14.04.1 latest updates broke Unity session (Player 6.0.4)
ubuntuがupdateで誤ってNvidia Driverを入れてしまい、それで起動しなくなっている。
sudo apt-get purge nvidia*でnvidia関連をばっさり消したら直った、とのこと。確かにこれで起動するようになった。
そのうち修正される気がするので、メインで使ってるマシンはしばらくアップデートは保留しておこう。
2014/07/27(日)ubuntu 14.04その後
時計が10.04と同じじゃないと不安なので。
時刻と日付の設定→時計 で、時計の表示設定の「曜日」と「月日」をクリック。
bashのファイル名補完がccとc++に対してなぜか効かない(gccとかg++なら効く)。
/usr/share/bash-completion/completions/gcc
に、
complete -F _gcc cc c++
を加えた。この対処で正しいかどうかは謎。
terminalを複数開いているといつの間にかかな漢字変換が起動できなくなってしまう問題。
terminalは一つしか開かずにタブ切り替えしてれば問題は起きないことが分かった。むしろ慣れたらタブの方がいいや。
mpfr遊びするために、
sudo apt-get install libgmp-dev
sudo apt-get install libgmp10-doc
sudo apt-get install libmpfr-dev
sudo apt-get install libmpfr-doc
それぞれ5.1.3と3.1.2が入った。
sudoを使うと、
no talloc stackframe at ../source3/param/loadparm.c:4864, leaking memory
とか表示されるのは直らず。多分sambaを入れると起きる。実害はなさそう?なので放置。
こんなもんかなあ。実によく動いてくれている。
2014/05/29(木)ubuntuインストール (その他、まとめ)
sudo apt-get install openssh-server
sudo apt-get install lv
sudo apt-get install checkinstall
その他、自作スクリプト (utod, dtou, qkc 他) を/usr/local/binに。
以上で大体生活できるようになった。
以下、雑多な感想など。
- unityの使い方に慣れないけど、まあいいか。
- flashはfirefoxに内蔵されている。
- lhaのパッケージがない。
- nkfのmanが文字化けする。
- sambaが入った状態だとsudoがメモリリークのメッセージを出す。
- unityのせいか、xrdp (リモートデスクトップ) がうまく動かない。愛用してるのになあ。
- terminalでときどきかな漢字変換が起動しなくなる
2014/05/29(木)ubuntuインストール (動画系)
sudo apt-get install ubuntu-restricted-extras
sudo /usr/share/doc/libdvdread4/install-css.sh
sudo apt-get install avidemux
sudo apt-get install handbrake
sudo apt-get install vlc
ffmpegはavconvという名前になったらしい。
sudo apt-get install libav-tools