ノート/R/Pythonと行き来する

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

ノート/ノート
ノート/R
訪問者数　2674　　　　　　最終更新　2014-08-04 (月) 08:30:54

ＲとPythonを行き来する （2014-07-31） †

元はといえば、Rで相関行列を求めたい?　なのだが、入力データを整形するのに、Pythonの方が慣れていそう、という理由。

整形が必要な理由は、文字データが含まれたフィールドがあると、関数corがエラーを返すから。

>>> x <- read.csv("s.csv")
>>> > cor(x)
  以下にエラー cor(x) : 'x' は数値でなければなりません

今対象とするデータには、たとえば学部の欄に「理学部」と書かれたり、選択肢A/Bに対して文字「A」や「B」が書かれているので、こういうところがエラーになるのだろう。これらの部分は、corを用いるには適当なる整形を必要とする（特にA/Bのフィールドなど）。

参考にしたサイト

• バイオスタティスティクス基礎論第1回講義テキスト（11ページ付近）
• 統計ソフトＲについて、wilcox.testで「Ｘは数値でなければなりません」と表示され...

整形の手段は、

• もちろん、Rのコードを書いて整形してもいいし（まあ大したことはなさそう）
• Pythonなどで整形してから一旦CSVファイルに出力して、それをRで読んでもいいし、
• 相関行列をPythonで計算してもいいし、 なのである。ただ手を抜きたいだけ。　というか、連携を試してみたいだけ。

Pythonに、PypeR（連携インタフェースパッケージ）と、更に同時に Pandas（データ解析用パッケージ）を導入する。 †

参考にしたサイト

• Python と R で連携する
  
• データ分析ライブラリPandasの使い方

いずれも、

pip install <パッケージ名>       <パッケージ名>はpyperとpandas

で終り。但し、pyperは大した処理をしないのに比べて、pandasはコンパイルをするので警告メッセージが出たりした。

Pandasのread_csvを使う †

参考書　Pythonによるデータ分析入門

参考ページ

• pandasメモ
• pandas + matplotlib による多彩なデータプロッティング
• 5. 【pandas】関連
• Pythonデータ解析ライブラリpandasと遊ぶ：クロス集計〜検定・残差分析まで
• 大元のドキュメント

Pandasのread_csvを使ってみる

>>> import pandas
>>> x = pandas.read_csv('s.csv')

要素の取り出し

xに対してixを使い、要素のインデックスで指定。二次元なので

print x.ix[1:, 0:2]
  基本情報 Unnamed: 1
1  NaN        NaN
2   10    4432341
3   10    4432131
4   10    4434780
5   10    4432094
6   10    4432072
7   10    4432352
8   10    4432083

範囲指定は、普通はコロンを使うが、複数範囲を結合することはそのままでは出来ない。 それで、rangeジェネレータとリストの'+'演算を使って、こんなことをやってみる。

print x.ix[:, range(0,2)+range(7,12)]
   基本情報 Unnamed: 1 Unnamed: 7 Unnamed: 8 Unnamed: 9 Unnamed: 10 Unnamed: 11
0  検査ＩＤ     回答用紙番号      学部コード      学科コード      漢字大学名       漢字学部名       漢字学科名
1   NaN        NaN        NaN        NaN        NaN         NaN         NaN
2    10    4432341         51        523         東邦           理           化学
3    10    4432131         51        523         東邦           理          化学
4    10    4434780         51        523         東邦           理          化学
5    10    4432094         51        523         東邦           理          化学
6    10    4432072         51        523         東邦           理          化学
7    10    4432352         51        523         東邦           理          化学
8    10    4432083         51        523         東邦           理          化学

よしこれで、不要の欄は削ることができる。