ノート/RNN2017-03-17

サイトトップ

ノート
データ処理
├マイニング
├バスケット解析
├バスケット解析をＲで
├図書貸出をＲで
├モデルクラスタリング
└
テキストマイニング
├テキストマイニングTM
├TMとシソーラス
├PubMedをTM
├TMとMeSH
├TMとNLTK
├テキストマイニングとtagger
├医薬品添付文書ＤＢ
├論文の処理1
├剽窃１
├Bing検索
└
分子進化学
├分子進化学
└
Pythonと論文アクセス
├Pythonを使ってみる
├PythonでPubMed
├Pythonで...続き
└
Macメモ
├Script

&ref(): File not found: "favicon_story.txt" at page "ノート/ノート";

自信ないので
├Winのバッチ
│├スクリプト入門
│├バッチファイル
│├SETコマンド
│├自分のメモ
│└
└

メニュー編集

最新の5件

ノート/ノート
訪問者数　831　　　　　　最終更新　2017-04-19 (水) 10:57:54

RNN 2017-03-17 †

RecursiveNN †

活性化関数とlossの再考 †

値の範囲を考える。w2v出力は-1〜1の要素を持つベクトル。活性化関数に何を使うか、だが、たとえばreluを使うと数値は全体に正の方がいい（出ないと困る）。ということで、w2vの出力を0.5だけゲタを履かせて、すべての数値を0〜1にしてみる。

ちなみに、sigmoidを使うなら-1〜1の設定はありだろう。sigmoidでやってみたのだが、かなり収束が遅い。

とりあえずreluを使った現状。横軸は学習データ数/100、縦軸は、青=loss、緑=出力ベクトル長。

京大データ †

評価のアイデア１　〜　グラフ †

元評価で◎のサンプルについて、距離の評価の分布をみる。同様に〇、△、×についても分布をみる。

評価のアイデア２　〜　割合の比較 †

ポイントは、コーパス上の評価値（◎、〇、△、×）とベクトル距離との対応・一致を見たいこと。

ベクトル距離順に並べたサンプルを、元の◎、〇、△、×の個数の割合で分割する。

サンプルを距離順にソートし、上位から上記の割合で分割した結果に含まれる◎〜×の個数

語彙／用言／言い換えの範疇のサンプルのみを見る †

Chainer ExampleにあるRecurrent NNの実行テスト2017-04-19（上とは関係ない） †

• Chainer ExamplesにあるRecurrent Net Language Model
• 別の人が試した話

コメント

• GPUを使わないと時間がかかるみたい。
• gentxt.pyで、入力として-pに何を指定するかよく分からなかった。Vocaburaryに含まれる単語でいいらしい。どの単語が含まれるか分からないので、

  #!/usr/bin/env python
  from nltk.corpus import treebank
  #print(treebank.fileids())　　#どんなデータがあるか？ wsj_xxxx.mrgとかがあることが分かる
  
  count = 0
  for u in treebank.words('wsj_0003.mrg'):
      print(u, end=' ')
      if u=='.':
          print('\n')
          if count>5:
               break
          count =+ 1
  print()

  でどんな単語がPennTreeコーパス（WallStreetJournal）にあるか見ておいた。出力は

  A form of asbestos once used * * to make Kent cigarette filters has caused a high
  percentage of cancer deaths among a group of workers exposed * to it more than 30 years
  ago , researchers reported 0 *T*-1 .
  
  The asbestos fiber , crocidolite , is unusually resilient once it enters the lungs , with even
  brief exposures to it causing symptoms that *T*-1 show up decades later , researchers
  said 0 *T*-2 .

  みたいな感じ。ところどころで*だのが入っているのがちょっと気になるけれど。

それで、-pには単語を入れればいいらしいので、

python gentxt.py -m result/model_iter_1328 -p "there"

みたいなことで、生成テストができた。