ノート/テキストマイニング/和文のテキストマイニングの応用

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

ノート
ノート/テキストマイニング
訪問者数　2087　　　　　　最終更新　2011-04-18 (月) 10:44:07

日本語のテキスト解析 †

• 形態素解析
• 係り受け解析

pythonからの形態素解析 †

• chasenの呼出しラッパー
  pythonから茶筅を呼出す簡単なラッパーを用意した。⇒　ラッパーについては、ノート/テキストマイニング/oregano2の　「chasenのラッパーを作ってみよう ver.0」　に説明がある
  
  サーバーoregano上に用意したので、oregano上で下記のようなpythonプログラムを用意すれば、呼び出すことが出来る　⇒　ノート/oregano13の工藤プログラムの例、　および　ノート/テキストマイニング/oregano3

  #!/usr/bin/env python
  # encoding: utf-8
  # -*- coding: utf-8 -*-
  ## To run with Kanji properly, the Python default encoding should be set to utf-8.
  import sys
  import codecs
  import re
  import pycha       ## これを入れる
  sys.stdout = codecs.getwriter('utf_8')(sys.stdout) ### A magic for printing UTF-8 characters
  
  fname="input.txt"
  words = []   # wordsは語のリスト
  # ファイル読出し
  fd = open(fname, "r")
  txt = fd.read()
  
  # chasenの呼出し
  out = pycha.pycha(txt)
    # outはchasen出力に対応し、全体outは語goを要素とするリストとなっており、
    # 語goは更に語幹、読み、原形、品詞、その他の要素から成る。その他部分は品詞による。
    # 以下はそれを分解する処理の例。
  sonota1 = ''
  sonota2 = ''
  for go in out:
    gokan = go[0]
    if len(go)>=2:
      yomi = go[1]
    if len(go)>=3:
      genkei = go[2]
    if len(go)>=4:
      m = r.match(go[3])
      ##print "m.group()", m.group(), len(m.group())
      if m:
        if m.group()[len(m.group())-1]=='-':
          hinshi = m.group()[:len(m.group())-1]
        else:
          hinshi = m.group()
      else:
        hinshi = go[3]
    if len(go)>=5:
      sonota1 = go[4]
    if len(go)>=6:
      sonota2 = go[5]
    #print gokan
    if hinshi=='名詞' or hinshi=='動詞' or hinshi=='形容詞':   # たとえば名詞・動詞・形容詞の時だけwordsに追加する。
      words.append([hinshi, gokan, genkei])
  words.sort()
  # print words    ### これでは表示がまずいので以下４行に置換え（2011/04/18）
  for w in words:
    for u in w:
      print u,
    print

pythonからの形態素解析の応用 †

文書の単語ベクトルによる類似度計算と剽窃検出 (2010/02/04) †

原理

• 単語出現頻度分布の近さを見る　〜　一般には出現頻度ベクトルの角度を見る
  岩堀先生のページ：http://www.cvl.cs.chubu.ac.jp/lab/study/education/similar/similar.html　(2002/10 岩堀 祐之,舟橋 健司,伊藤 宏隆,石井 直宏)
  2008年に書かれた（伊藤 宏隆 都築 賢二 松尾 啓志、第24回ファジィシステムシンポジウム講演論文集、FA1-3）の論文「自然言語処理によるレポート類似判定システムの開発」（リンク先に本文あり）：http://www.jstage.jst.go.jp/article/fss/24/0/169/_pdf/-char/ja/

• 名詞のみに限定し、各単語の出現頻度を数える。原理は http://www.cvl.cs.chubu.ac.jp/lab/study/education/similar/similar.html の通り。
  TF (Term Frequency) と IDF (Inverse Document Frequency) を求める。
  　　TF: それぞれの文書中で、それぞれの単語の出現する回数
  　　IDF: 全文書数Nに対する、その単語Wが出現した文書の数dfの比を、逆数にし、かつlogをとったもの。つまり、log( 1 / (df/N) ) = log( N/df )。
  文書ごとに、単語ごとの tf * idf を計算して並べたベクトルを作る。（その文書には出現しない単語も0の要素を置く）

  文書	単語１	単語２	単語３	単語４	...
  １	tf*idf	tf*idf	tf*idf	tf*idf	...
  ２	tf*idf	tf*idf	tf*idf	tf*idf	...
  ３	tf*idf	tf*idf	tf*idf	tf*idf	...
  ...	tf*idf	tf*idf	tf*idf	tf*idf	...

  すべての文書対について、それぞれの文書のベクトル（表の１行）の間のなす角度を求め、それの近さが文書の類似性であるとする。
  なす角はcosineを用いて測り、それは２つのベクトル間の内積として求める。但し各ベクトルはあらかじめ長さを１に正規化しておかなければならない。
  

プログラムと結果　⇒　剽窃１

係り受け解析 †