ノート/マイニング/バスケット解析をＲで
訪問者数　3523　　　　　　最終更新　2008-05-21 (水) 11:45:52

図書データをＲで †

↑

図書データの読み込み †

↑

どんな処理をしたいか †

同じ利用者（利用者コードで識別）が、同じ時期（たとえば同じ月、５月なら５月）に借り出した本の集合を、バスケット（トランザクション）と考えてみる。

こうして得られたトランザクションについて、バスケット分析をしてみよう。

↑

まずバスケットを作る †

２つのバスケット単位、月別に１つずつ、と、１年間で１つ、を作ってみよう。 （週単位だと日付に週番号がないので、別途計算しなければならない）

月を取り出すには、x[,11]のうち、substring関数で５〜６文字目を取り出せばよい（substring(x[,11], 5, 6)）だろう。図書番号（資料番号）はx[,1]そのままでよい。

関数（というよりfunctorだが）tapplyを使うと、集計操作などが簡単に出来る。tapplyは「フィールドＸが同じ値をもつレコードのフィールドＹを集めて指定した関数を適用」といった感じの関数である。たとえば、同じフィールドＸ値を持つレコードのフィールドＹの平均値（mean）を計算することが出来る。

 tapply(field_x, factor(field_y), mean)

これを使ってバスケットを作成する、つまり同じユーザidのレコードを集めてリストにするには、

 z <- tapply(bookid, factor(userid), c)

でよい。cはリストを作るconcatenate関数。

この時、同じユーザが同じ本を借りていると、出力には２つ以上入ってしまう。これは後の処理で具合が悪いので、ユニークになるように、ここでは

 for (i in 1:length(z)) {
    z[[i]] <- levels(factor(z[[i]]))
 }

とする。zの要素はzi?で指定されるが、vectorになっている。

あとは、transactionに変換すればよいが、そのためにzをlist (list of vectors) に変換する。

 z.list <- as(z, "list")
 z.trans <- as(z.list, "transactions")

この後、apriori処理をすればよい。--> ノート/マイニング/バスケット解析をＲで

全体は、

# 年単位でバスケット
# 実行するためには　source("test2.R")
# あらかじめ、library("arules")をしておくこと。
#
y <- read.table("data06.txt", sep=",")
# 資料idは第１カラム
bookid <- as.vector(y[,1])
# 第１行目はタイトル行なので取り除く
bookid <- bookid[2: length(bookid)]
# factor側は、××<userid-month>の文字列にする××
# factor側は、useridだけにする。ファイル全体が年単位。
user <- as.vector(y[,2])
# 第１行目はタイトル行なので取り除く
user <- user[2: length(user)]
#
# これで、tapplyを使って関数cを実行。tapply(data, factor, function)は
#   factor内の異なる要素ごとに関数functionを適用。
#   個人ごとに県名(factor側)と収入(data側)が準備してあるとき、関数がmean
#   なら県ごとに属する個人を集めた上でその平均meanを計算してくれる。
z <- tapply(bookid, factor(user), c)

# 気をつけなければならないのは、同じ月に同じユーザが同じ本を借りていると、
# cした結果のリストに同じ資料idが２回以上入ってしまう。この問題はfactorで扱う。

# zの各要素（z[[*]])をfactorに変換する。*は数字。factor(z)はエラーになる。
# これってuniqueでもいいのかも？
for (i in 1:length(z)) {
  z[[i]] <- levels(factor(z[[i]]))
}

# zをlist型（list of vectors）にし、それをtransactionsに変換する
z.list <- as(z, "list")
z.trans <- as(z.list, "transactions")

# transactions型になったものを、apriori解析する。
z.ap <- apriori(z.trans, parameter=list(supp

また、月単位のバスケットを作るには、ユーザidと月番号をくっつけて新しいユーザidとすればよい。たとえば 0000020305 に 06 （６月、年月日の５〜６桁目）を結合して 000002030506 を作り（これがバスケットのidになる）、これで処理すればよい。

# 実行するためには　source("test1.R")
# あらかじめ、library("arules")をしておくこと。
#
y <- read.table("data06.txt", sep=",")
# 資料idは第１カラム
bookid <- as.vector(y[,1])
# 第１行目はタイトル行なので取り除く
bookid <- bookid[2: length(bookid)]
# factor側は、<userid-month>の文字列にする
# 貸出の月は第１１カラム（日付「20060401」）の５〜６文字目
# 文字列をくっつけるのはpaste(文字列, 文字列, sep="")
user_month <- as.vector(paste(y[,2],substr(y[,11], 5, 6), sep=""))
# 第１行目はタイトル行なので取り除く
user_month <- user_month[2: length(user_month)]
#
# これで、tapplyを使って関数cを実行。tapply(data, factor, function)は
#   factor内の異なる要素ごとに関数functionを適用。
#   個人ごとに県名(factor側)と収入(data側)が準備してあるとき、関数がmean
#   なら県ごとに属する個人を集めた上でその平均meanを計算してくれる。
z <- tapply(bookid, factor(user_month), c)

# 気をつけなければならないのは、同じ月に同じユーザが同じ本を借りていると、
# cした結果のリストに同じ資料idが２回以上入ってしまう。この問題はfactorで扱う。

# zの各要素（z[[*]])をfactorに変換する。*は数字。factor(z)はエラーになる。
# これってuniqueでもいいのかも？
for (i in 1:length(z)) {
  z[[i]] <- levels(factor(z[[i]]))
}

# zをlist型（list of vectors）にし、それをtransactionsに変換する
z.list <- as(z, "list")
z.trans <- as(z.list, "transactions")

# transactions型になったものを、apriori解析する。
z.ap <- apriori(z.trans, parameter=list(support=0.0005, confidence=0.01))
#
z.inspect <- inspect(head(SORT(z.ap, by="confidence"), n=20))
↑

処理結果 †

年間を１つのバスケットにした場合の結果：10804ルール（support=0.0005, confidence=0.01)となり、confidenceが高いルール１０個は、

   lhs      　     rhs          support       confidence lift
1  {0001103456} => {0000462168} 0.0009062075          1 1103.5000
2  {0000462168} => {0001103456} 0.0009062075          1 1103.5000
3  {0000683615} => {0001156546} 0.0009062075          1  735.6667
4  {1000366888} => {1000445443} 0.0009062075          1  735.6667
5  {0000633032} => {0000665398} 0.0009062075          1 1103.5000
6  {0000665398} => {0000633032} 0.0009062075          1 1103.5000
7  {0001502434} => {1000012474} 0.0009062075          1  735.6667
8  {1000468890} => {1000392389} 0.0009062075          1  441.4000
9  {1000135705} => {1000294593} 0.0009062075          1  551.7500
10 {1000388841} => {1000476265} 0.0009062075          1  441.4000

読みにくいので、資料番号を図書名（簡略化）にすると

lhs                       rhs                support        confidence  lift
1  {固定化酵素}       => {固定化酵素}           0.0009062075          1 1103.5000
2  {固定化酵素}       => {固定化酵素}           0.0009062075          1 1103.5000
3  {言語工学}         => {自然言語解析の基礎}   0.0009062075          1  735.6667
4  {地球の化学像と    => {「新」地球温暖化      0.0009062075          1  735.6667
      環境問題}            とその影響}
5  {生化学 (上)}      => {生化学 (下)}          0.0009062075          1 1103.5000
6  {生化学 (下)}      => {生化学 (上)}          0.0009062075          1 1103.5000
7  {ハーブ大全}     => {ホームハーブ : 美容と}  0.0009062075          1  735.6667
                        病気予防に役立つ薬用ハーブ
8  {葉っぱの不思議な力} => {新アクセス独和辞典} 0.0009062075          1  441.4000
9  {マスタリングTCP/IP} => {マスタリングTCP/IP} 0.0009062075          1  551.7500
     （第２版）              （第３版）
10 {.就職活動エントリー} => {面接の達人}        0.0009062075          1  441.4000
       シートの書き方教室

となっている。

これらのルールの根拠を元データで細かく見ると、

"言語工学          ","Ｃさん","","11","和","20060712","図書"
"自然言語解析の基礎","Ｃさん","","11","和","20060712","図書"

"言語工学          ","Ｄさん","","11","和","20070109","図書"
"自然言語解析の基礎","Ｄさん","","11","和","20070109","図書"

"自然言語解析の基礎","Ｅさん","","11","和","20060616","図書"

であり、これは２人の学生が同じ２冊の本を借りている（しかも２冊を同一日に）ので、 バスケット解析上は意味がありそうである。

他方、「固定化酵素」の場合は、同じ内容の本が図書館に２冊蔵書されており、別々の 資料ID番号が振られている。それぞれを固定化酵素(1)、(2)と呼んで区別すると、

"固定化酵素(1)","Ａさん","","11","和","20060414","図書" 
"固定化酵素(2)","Ａさん","","11","和","20061025","図書"
"固定化酵素(2)","Ａさん","","11","和","20070115","図書"
"固定化酵素(2)","Ａさん","","11","和","20070205","図書"

"固定化酵素(2)","Ｂさん","","11","和","20060422","図書"
"固定化酵素(1)","Ｂさん","","11","和","20061017","図書"
"固定化酵素(1)","Ｂさん","","11","和","20070207","図書"

のように貸し出されている。本来この２冊は区別するべきでないのだが、区別されているために強い関連があると指摘されたわけである。これに対しては、資料IDではなくて、書籍名にあたる番号を利用するのがよいのだろう。

同じ観点で、前表の９番目に現れる「マスタリングTCP/IPの第２版と第３版も、区別することに余り意味がないように思う。

第５番目・６番目に現れる「生化学（上）」「（下）」は、２冊を組にして借り出すのも当然であり、これは１つの資料としてカウントすべきものだろう。

では次に、ユーザごと＆月ごとにバスケットとして分析した場合の結果を見てみる。

   lhs                       rhs                support      confidence  lift
1  {図説日本のゲンゴロウ} => {日本産水生昆虫}   0.0006178179  1.0000000 899.2222
2  {バイオ実験超基本Q&A} => {バイオ実験トラブル 0.0006178179  0.8333333 843.0208
                               解決超基本Q&A}
3  {バイオ実験トラブル => {バイオ実験超基本Q&A} 0.0006178179  0.6250000 843.0208
      解決超基本Q&A}
4  {日本産水生昆虫}    => {図説日本のゲンゴロウ}0.0006178179  0.5555556 899.2222
5  {臨床化学}         => {微生物学/臨床微生物学}0.0006178179  0.5555556 408.7374
6  {有機化学（上）}     => {有機化学（中）}     0.0006178179  0.5000000 289.0357
7  {微生物学/臨床微生物学}  => {臨床化学}       0.0006178179  0.4545455 408.7374
8  {有機化学（中）}     => {有機化学（上）}     0.0006178179  0.3571429 289.0357
9  {有機化学（上）}     => {有機化学（中）}     0.0006178179  0.2777778 118.3187
10 {有機化学（中）}     => {有機化学（上）}     0.0006178179  0.2631579 118.3187

第１番目のルールは、元データで見ると同じ利用者が２冊を組にして繰返し借り出している、特異な例である。

また、この結果では第１番目と第４番目や、第２番目と第３番目、第５番目と第７番目が、同じ本のペアを逆向きに現している。これは、ほとんどのバスケットにおいて２冊が必ず組にして借り出されているためで、もし他の本も借りていれば必ずしも逆向きのルールが組みになって出てくることは無い。バスケット期間を１ヶ月に限定するとこのようなことがおこりやすいのだろうか。

第８・９・１０番目のルールはややこしくなっている。９と１０は上記と同じようなペアになっている。他方、８は１０と同じルールだが、年単位解析の固定化酵素の例と同じように、同一の本が複数冊所蔵され異なる資料IDが振られているため、別のルールとして挙げられているのである。

全般に、月ごとの集計は、バスケット内のアイテムが少ないため、妙な癖が見えるような気がする。また、ルール９や１０のconfidenceがずいぶん小さく、confidence>0.01の条件では上記１０ルールしか残らなかったことは、全体のconfidenceがかなり小さい。つまり、バスケットが小さすぎてルールになるような対が少ないのである。

他方で、年ごとの集計は、confidence>0.01では10804ルールも出来てしまうし（少し 多すぎるような気もする）、上位１０ルールはみなconfidence＝１であった。

もう少し丁寧に評価をして、改良を加える必要があるだろう。

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2008-05-21 (水) 11:45:52 (5425d)