ノート/テキストマイニング
訪問者数　3478　　　　　　最終更新　2009-02-02 (月) 17:46:06

論文の処理を試してみた †

chasenのWindows版に対して、

C:\Program Files\ChaSen>chasen.exe "jsai09-1-1.txt" > "result09-1-1.txt"

のようなコマンドを用いた。

入力：　論文のサンプル?の&ref(): File not found: "jsai09-1-1.txt" at page "yylab/論文サンプル";
出力：　fileresult09-1-1.txt

入力ファイルに余分なものを含むので、出力もきれいに整理されていないが、 本文の部分を見ると次のようになっている。

1	イチ	1	名詞-数		　　　　
.	.	.	記号-句点		
はじめ	ハジメ	はじめ	名詞-副詞可能		
に	ニ	に	助詞-格助詞-一般		
EOS
進化	シンカ	進化	名詞-サ変接続		
的	テキ	的	名詞-接尾-形容動詞語幹		
多目的	タモクテキ	多目的	名詞-一般		
最適	サイテキ	最適	名詞-一般		
化	カ	化	名詞-接尾-サ変接続		
(	(	(	記号-括弧開		
Evolutionary			未知語		
Multi	エムユーエルティーアイ	Multi	記号-アルファベット		
-	-	-	記号-一般		
criterion	シーアールアイティーイーアールアイオーエヌ	criterion	記号-アルファベット		
EOS
Optimization			未知語		
:	:	:	記号-一般		
EMO	イーエムオー	EMO	記号-アルファベット		
)	)	)	記号-括弧閉		
に関する	ニカンスル	に関する	助詞-格助詞-連語		
研究	ケンキュウ	研究	名詞-サ変接続		
は	ハ	は	助詞-係助詞		
，	，	，	記号-読点		
近年	キンネン	近年	名詞-副詞可能		
盛ん	サカン	盛ん	名詞-形容動詞語幹		
に	ニ	に	助詞-副詞化		
行	コウ	行	名詞-固有名詞-人名-名		
EOS
われる	ワレル	われる	動詞-自立	一段	基本形
よう	ヨウ	よう	名詞-非自立-助動詞語幹		
に	ニ	に	助詞-副詞化		
なり	ナリ	なる	動詞-自立	五段・ラ行	連用形
大きな	オオキナ	大きな	連体詞		
進歩	シンポ	進歩	名詞-サ変接続		
を	ヲ	を	助詞-格助詞-一般		
見せ	ミセ	見せる	動詞-自立	一段	連用形
て	テ	て	助詞-接続助詞		
いる	イル	いる	動詞-非自立	一段	基本形
[	[	[	記号-括弧開		
K	ケイ	K	記号-アルファベット		
.	.	.	記号-句点		
Deb	ディーイービー	Deb	記号-アルファベット		
01	ゼロイチ	01	名詞-数		
]	]	]	記号-括弧閉		
．	．	．	記号-句点		
EOS
特に	トクニ	特に	副詞-一般		
，	，	，	名詞-数		
NSGA	エヌエスジーエイ	NSGA	記号-アルファベット		
-	-	-	記号-一般		
II	アイアイ	II	記号-アルファベット		
，	，	，	名詞-数		
SPEA	エスピーイーエイ	SPEA	記号-アルファベット		
2	ニ	2	名詞-数		
と	ト	と	助詞-格助詞-引用		
いっ	イッ	いく	動詞-自立	五段・カ行促音便	連用タ接続
た	タ	た	助動詞	特殊・タ	基本形
高性能	コウセイノウ	高性能	名詞-一般		
探索	タンサク	探索	名詞-サ変接続		
アル	アル	アル	名詞-固有名詞-人名-名		
ゴリ	ゴリ	ゴリ	名詞-一般		
EOS
ズム			未知語		
の	ノ	の	助詞-連体化		
登場	トウジョウ	登場	名詞-サ変接続		
以降	イコウ	以降	名詞-副詞可能		
，	，	，	記号-読点		
実	ミ	実	名詞-一般		
問題	モンダイ	問題	名詞-ナイ形容詞語幹		
に対する	ニタイスル	に対する	助詞-格助詞-連語		
応用	オウヨウ	応用	名詞-サ変接続		
事例	ジレイ	事例	名詞-一般		
が	ガ	が	助詞-格助詞-一般		
数多く	カズオオク	数多い	形容詞-自立	形容詞・アウオ段	連用テ接続
行	ギョウ	行	名詞-一般		
わ	ワ	わ	名詞-一般		
EOS
れる	レル	れる	動詞-接尾	一段	基本形
よう	ヨウ	よう	名詞-非自立-助動詞語幹		
に	ニ	に	助詞-副詞化		
なり	ナリ	なる	動詞-自立	五段・ラ行	連用形
，	，	，	記号-読点		
幅広い	ハバヒロイ	幅広い	形容詞-自立	形容詞・アウオ段	基本形
領域	リョウイキ	領域	名詞-一般		
において	ニオイテ	において	助詞-格助詞-連語		
その	ソノ	その	連体詞		
成果	セイカ	成果	名詞-一般		
が	ガ	が	助詞-格助詞-一般		
報告	ホウコク	報告	名詞-サ変接続		
さ	サ	さ	助詞-終助詞		
EOS
れ	レ	れる	動詞-接尾	一段	連用形
て	テ	て	助詞-接続助詞		
いる	イル	いる	動詞-非自立	一段	基本形
[	[	[	記号-括弧開		
Coello	シーオーイーエルエルオー	Coello	記号-アルファベット		
Coello	シーオーイーエルエルオー	Coello	記号-アルファベット		
04	ゼロヨン	04	名詞-数		
]	]	]	記号-括弧閉		
．	．	．	記号-句点		
EOS

対応する原文は、次のようなものである。

1. はじめに
進化的多目的最適化(Evolutionary Multi-criterion
Optimization: EMO) に関する研究は，近年盛んに行
われるようになり大きな進歩を見せている[K.Deb 01]．
特に，NSGA-II，SPEA2 といった高性能探索アルゴリ
ズムの登場以降，実問題に対する応用事例が数多く行わ
れるようになり，幅広い領域においてその成果が報告さ
れている[Coello Coello 04]．

大きな問題として、「改行」（改行符号文字）が文の終り（EOS）として扱われており、 たとえば原文の３行目の　「近年盛んに行　(改行) われるようになり」　の改行が 語の中に入ってしまっているために、語が区切られてしまい、

近年	キンネン	近年	名詞-副詞可能	
盛ん	サカン	盛ん	名詞-形容動詞語幹		
に	ニ	に	助詞-副詞化		
行	コウ	行	名詞-固有名詞-人名-名		
EOS
われる	ワレル	われる	動詞-自立	一段	基本形
よう	ヨウ	よう	名詞-非自立-助動詞語幹		
に	ニ	に	助詞-副詞化		
なり	ナリ	なる	動詞-自立	五段・ラ行	連用形

となって、「行」が人名と判断されるに至っている。

同様の問題は、原文５行目の　「高性能探索アルゴリ　(EOS)　ズムの登場以降，」 でも問題を起こしており、「アルゴリズム」という語が「アルゴリ」と「ズム」に 切れてしまったために１語と判断されず、かえって「アル」と「ゴリ」に分解して しまっている。

高性能	コウセイノウ	高性能	名詞-一般		
探索	タンサク	探索	名詞-サ変接続		
アル	アル	アル	名詞-固有名詞-人名-名		
ゴリ	ゴリ	ゴリ	名詞-一般		
EOS
ズム			未知語		
の	ノ	の	助詞-連体化		
登場	トウジョウ	登場	名詞-サ変接続		
以降	イコウ	以降	名詞-副詞可能

また異なる現象として、原文６行目の「実問題」（じつもんだい）が ２つの単語「実」と「問題」に分解されたのはよいが、その結果 「実」を「み」と判定してしまった。これは、分解としては正しいのであるが、 辞書を引いた結果はまずい。品詞判別は名詞でよさそう（名詞を２つ繋いだ）に 思うが、この判定でよいのだろうか？

登場	トウジョウ	登場	名詞-サ変接続		
以降	イコウ	以降	名詞-副詞可能		
，	，	，	記号-読点		
実	ミ	実	名詞-一般		
問題	モンダイ	問題	名詞-ナイ形容詞語幹		
に対する	ニタイスル	に対する	助詞-格助詞-連語
添付ファイル: fileresult09-1-1.txt 1969件 [詳細]
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2009-02-02 (月) 17:46:06 (5168d)