IPythonのシェルコマンド実行が便利

あまり機能として使っていなかったが、コマンドラインで動作する全てのコマンドは、!のマークを前におくことでIPythonのコンソールから実行できる。

  # IPython
  !cd /Users/Me/wd/
  !ls -lh

これが地味に便利で感動している。これまでは、カーネルを変更してbashのコマンドを実行していたが、最近はpython3のカーネルのままで必要なコマンドを実行するようになった。インストールした解析用コマンドも、IPythonコンソールから動かずに実行することができるので楽だ。
シェルとの間で、値を受け渡す時は、代入演算子を利用する。

  # IPython
  !cd /current/data/dir/
  Values = !ls

逆に、python側で使っている変数をシェル側に渡す事もできて、その時は、{変数名}を使う。

  # IPython
  Val1 = 123549
  !echo {Val1}

  123549

注意点は、IPythonからシェルコマンドを使うときに、使用できないコマンドがある事。例えば、!cdとするとにホームディレクトリに移動することを期待するかもしれないが、実際にはディレクトリの移動はできていない。これを知らないと、例えば標準出力で保存したと思っていたファイルが、予期していたところとは別のディレクトリに保存されていたりする。最初わからなかったが、本を読むと、IPythonから実行されるシェルのコマンドは一時的なサブシェルで実行されることが原因らしい。こういったコマンドは、Magicコマンドとして実行する必要がある。マジックコマンドにするには、頭に%をつける。

  # IPython
  %cd /Path/To/My/data/
  

実際には、%をつけずに実行すると、automagic機能が働いて自動的にMagicコマンドに切り替えられるらしい。対象は、cat, cp, env, ls, mkdir, mv, pwd, rm, rmdirなど。

Jupyter notebookで、condaで作った環境を使えるようにする

Jupyter notebookを使って解析することで、一つ一つの解析の結果を見ながら次のコマンドを叩くことができる。また、標準出力などの結果を残すことができる。Markdownを使って解析についてのメモを残す事もできるため、解析の時の思考の流れも含めて記録を残すことができるのもとても便利だと思う。一つ一つのセルに分けて実行していくスタイルも、解析の１ステップを塊で捉えることができて分かりやすい。

こういった理由で、解析のときにJupyter notebookを多用するようになった。こちらの情報にもあるようにJupyterでbashやR、または異なるバージョンのpythonなど、複数のカーネルを使う事もできる。これをするとjupyterの中でRの統計検定や作図でデータを見てみることができるのでかなり便利だった。解析で複数のカーネルを使いたいときにも、ファイルを分けずに一つのnotebookにまとめることができる。

ただ、bashを使っているときに問題が起きた。anacondaでいくつか環境を作って、解析用のプログラムを導入していたが、condaの環境をJupyterでコマンドを打って変えようとしても上手く行かずに以下のようなエラーが出てしまう。

CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.
To initialize your shell, run

    $ conda init 

Currently supported shells are:
  - bash
  - fish
  - tcsh
  - xonsh
  - zsh
  - powershell

See 'conda init --help' for more information and options.

IMPORTANT: You may need to close and restart your shell after running 'conda init'.

色々調べていくと、condaで作成した仮想環境をJupyter Notebookで使えるようにする方法があったので設定した。
設定の概要は、
[1] condaの新しい環境を作る（既存環境が存在する場合は不要）

conda create -n newenv python=3.7
# この環境に入る
conda activate newenv

# jupyterをインストールする
pip install jupyter

# jupyter_environment_kernelsをインストールする
pip install environment_kernels

[2] Jupyterの設定ファイルを生成する。

jupyter notebook --generate-config

"""
この作業により、ホームディレクトリの下の.jupyterの下に
jupyter_notebook_config.pyというファイルができる。

この作業は一回やれば良い。2回目、3回目の環境の設定の時には必要ない
"""

[3] 設定ファイルに、自動でconda環境を読み込む設定を追記する。
エディタでファイルを開き、以下を追記する。

c.NotebookApp.kernel_spec_manager_class = 'environment_kernels.EnvironmentKernelSpecManager' 
c.EnvironmentKernelSpecManager.env_dirs=['/Users/username/anaconda/envs/']

これで、Jupyterを再起動すれば、カーネルとしてnewenvを選択することができるようになる。カーネルは、Kernel > Change kernelから選択できる。
注意点は、それぞれの環境を使えるようにしたければ、その環境でjupyterとjupyter_environment_kernelが入っていないといけないこと。それぞれの環境をactivateして、上の設定を行う。
こうすることで、解析や依存環境ごとに複数の環境を作っていても、それらをjupyterで使えるようになる。

参考：
https://kazusa-pg.com/jupyter-notebook-use-virtual-env-kernel/
https://qiita.com/yoppe/items/38005f415a5b8b884c7d