ノート/テキストマイニング/共起分析予備実験

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

単純な名詞２語の共起状況を計測する。
複合語（名詞の連結）については、機械的に連結可能なもの（＝連続する名詞）をすべて連結した。

ツイッター（公開ストリーム）を収集したものを分析する。
ツイートを単位とし、１つのツイート内に共起する名詞を計測する。
ツイート特有の語法、用語を勘案する。具体的には、基本的に全角文字のみを解析対象とし、制御文字（RTやfoo@barなど）は除外する。またwwwなどの用語も除外する。

青空文庫（）に含まれる文学作品を対象として分析する。
口語・現代仮名遣いを中心とする。
平文で収録されている作品から、ルビおよび前後の解説を取り除いた本文を、解析の対象とする。

http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2 は1.7GBだそうなので、十分に目途が付いてからダウンロードするのがよかろう。