A Study on Constants of Natural Language Texts

Daisuke Kimura, Kumiko Tanaka‐IshiiJournal of Natural Language Processing 2011 · DOI

Abstract

本稿では,文書量に不変な定数を考える.このような定数には,言語や文書の複雑さや冗長性を定量化して捉える計算言語学上の意義がある.これらの指標は既存研究でさまざまなものが提案されてきたが,ほとんどの場合英語を中心とする小規模な文書を対象としてきた.本研究では英語以外のさまざまな言語や,大規模な文書も対象として扱い,主に先行研究において値が文長に依らないとされる 3 つの指標 K, Z, VM と本研究で新たに試みた指標である H と r の 5 つの指標に対し,値が一定となるかどうかの実験を行った.結果,値が言語の種類や文長に依らずに一定となる指標は K と VM の 2 つの指標であった.なおかつこの 2 つの指標の値には自然言語とプログラミング言語の間で有意な差が見られ,言語の複雑さや冗長性をある観点で表した指標となっていると考えることができる.
BibTeX
@article{kimura2011study,
  author = {Daisuke Kimura and Kumiko Tanaka‐Ishii},
  title = {{A Study on Constants of Natural Language Texts}},
  journal = {Journal of Natural Language Processing},
  year = {2011},
  doi = {10.5715/jnlp.18.119},
}

Loading related content...

Figure