РАСПРЕДЕЛЕНИЕ ВЕРОЯТНОСТЕЙ ЧАСТОТЫ СЛОВА В ТЕКСТАХ
Е. Л. Кулешов, В. В. Крысанов, К. Какушо
(Владивосток, Россия – Кусацу, Киото, Япония)
Страницы: 92-103 Подраздел: МОДЕЛИРОВАНИЕ В ФИЗИКО-ТЕХНИЧЕСКИХ ИССЛЕДОВАНИЯХ
Аннотация
Предлагается новая математическая модель формирования распределения вероятностей частоты слова в текстах, таких как английский, русский, английский гипертекст. Получено распределение вероятностей частот, обобщающее закон Парето. Представлен алгоритм вычисления параметров модели. Показано, что полученное распределение вероятностей обеспечивает существенно более высокую степень согласия с экспериментальными данными, чем распределение Парето.
|