ノート/テキストマイニング/共起分析予備実験4

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

ノート/テキストマイニング
1140　　　2013-05-29 (水) 13:08:55

共起分析（その１）
共起分析予備実験

ツイートデータの解析結果
青空文庫の解析結果
ウィキペディアデータの解析結果

日本語Wikipediaデータの解析 (2013-05-22) †

元データの整形 †

元データは、

• XMLデータでありタグが入っている。解析の対象は<text>...</text>間のてきすとだけでよかろう
• テキスト内にも、余分な情報が含まれている。たとえばxxxx?はWikiのリンクであり、xxx?はカッコ内部を含めて除いていい。但し、入れ子になっている可能性があるので、それをきちんと把握する必要がある。

データの分割 †

元データが大きいので、処理に時間がかかり不安なので、適当な単位に分割してそれぞれを集計し、最後に全体を集計する方法を考える。