ノート/テキストマイニング/oregano3

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

テキストマイニング@Oreganoの設定３ †

2009/02/28

↑

pythonからchasenを使ってみる～実験１ †

出力をタプル形式にしたので、それなりに使えそうだ。

テキストのDBをアクセスし、出力をchasenで形態素解析し、名詞だけを拾う。

#!/usr/bin/env python
# encoding: utf-8
# -*- coding: utf-8 -*-
##
## To run with Kanji properly, the Python default encoding should be set to utf-8.
##   This is done by including the file /usr/lib/python2.5/site-packages/sitecustomize.py
##   with such lines as
##     #!/usr/bin/env python
##     import sys
##     sys.setdefaultencoding('utf-8')
##   To check this is properly set, start python and issue
##     import sys
##     sys.getdefaultencoding()
##   which should reply with utf-8.
##   See http://python.matrix.jp/tips/string/encoding.html
##
import sys
import codecs
import MySQLdb
import pycha       ## これを入れる

### A magic for printing UTF-8 characters
sys.stdout = codecs.getwriter('utf_8')(sys.stdout)

## HERE STARTS THE MAIN PROGRAM
## Open DB connection
connect = MySQLdb.connect(db="pytest", host="localhost", port=3306, user="******", passwd="******",charset="utf8")
cur = connect.cursor()

fieldname = 'article'
str = "select " + fieldname + " from mytest2"
cur.execute(str)          ## データベースアクセス（SQL文）実行

rows = cur.fetchall()     ## 結果を取出し
for row in rows:
  ##  print row[0]
  t = pycha.pycha(row[0])    ## 入力row[0]を与えてchasenを呼出し
  for x in t:
    if (len(x) >= 4):        ## 第４フィールドまで無いレコードがあるので確認
      hinshi = x[3][:6]      ## 第４欄(x[3])＝品詞欄、先頭6バイト(UTF8で２文字)抽出
      if (hinshi == u'名詞'):    ## 品詞欄の先頭２文字が「名詞」であれば
        print x[0]               ## 第１欄(x[0])＝元の文字列を印字
  print '------'             ## レコードごとの区切り

## Close DB connection
cur.close()
connect.close()

このプログラムを実行した結果（文字コードはUTF-8）　＞　meishi.txt

＞＞ノート/テキストマイニング/oregano
＞＞ノート/テキストマイニング/oregano2

最新の5件

テキストマイニング@Oreganoの設定３ †

pythonからchasenを使ってみる～実験１ †