ノート/テキストマイニング/ツイートの雑音

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

2014-07-18 ツイッタ－のノイズ †

ツイートにはかなり大量の「単語にならない表現」が含まれているので、これをそのまま形態素解析にかけても有効でない。余分な単語が検出されることは、あとの統計処理上望ましくない。

そのような「ノイズ」を除去することを考える。但し、ツイートごと対象ファイルから削除するのではなく、語の部分だけを削除する方が望まれるだろう。

参考：

ニューラルネットによる単語のベクトル表現の学習～ Twitterのデータでword2vecしてみた
そのソースコードがGitHubにある
で、そのコードはprettify　と　train.py
こんなの　【twitter】ノイズ系ツイートを削除する方法のサンプル集【正規表現ミュート】　もあった

ツイートデータの例は

電車なう。http://*********      <-- URL
電車に乗る(ﾟ∀ﾟゞ)              <-- 顔文字
初めて気づいた(^_^;)            <-- 同上
ｶｶｶ。                           <-- 半角カタカナ
電車だったかな…                <-- ３点リーダ　その他のおかしな約物
言うねｗｗ                      <-- ｗｗなど、半角wwや大文字ＷＷもあり得る
分からん(笑)                    <-- (笑)や（笑）（泣）
@*****                          <-- 宛先アカウント名
ーーーー                        <-- ーの繰り返し
（ ; ; ）                       <-- 顔文字か？

これから見ると、

http://***　　　　URLの形をしたもの、URLだけを取り除くか、英語小文字すべてを消してよいか？
～(ﾟ∀ﾟゞ)　　　「～」、　顔文字(ﾟ∀ﾟゞ)に出てくる時は通常の語中では使わないので、消してよかろう
！は文の終端記号と見なせる？　　顔文字(^_^;)も文の終端
(笑)（泣）などは、消せる（形態素解析に語登録してもよいが）。　句読点の代わりになる？
「ーー」　「ー」１つはＯＫかも知れない？
「ＷＷ」　全角も半角も、大文字も小文字も、両方だろう
リツイート　RT @xxxx:　　消してよかろう

最新の5件

2014-07-18 ツイッタ－のノイズ †