|
Реферат: Статистика на Excel (Программирование)
Введение
Пакет анализа. В состав Microsoft Excel входит набор средств анализа
данных (так называемый пакет анализа), предназначенный для решения сложных
статистических и инженерных задач. Для проведения анализа данных с помощью
этих инструментов следует указать входные данные и выбрать параметры;
анализ будет проведен с помощью подходящей статистической или инженерной
макрофункции, а результат будет помещен в выходной диапазон. Другие
средства позволяют представить результаты анализа в графическом виде.
Доступные средства. Чтобы просмотреть список доступных инструментов
анализа, выберите команду Анализ данных в меню Сервис. Если команда Анализ
данных в меню Сервис отсутствует — необходима установка пакета анализа.
Необходимые знания. Для успешного применения процедур анализа необходимы
начальные знания в области статистических и инженерных расчетов, для
которых эти инструменты были разработаны.
Инструменты пакета анализа в Microsoft Excel
Дисперсионный анализ
Пакет анализа включает в себя три средства дисперсионного анализа. Выбор
конкретного инструмента определяется числом факторов и числом выборок в
исследуемой совокупности данных.
Однофакторный дисперсионный анализ - Однофакторный дисперсионный анализ
используется для проверки гипотезы о сходстве средних значений двух или
более выборок, принадлежащих одной и той же генеральной совокупности. Этот
метод распространяется также на тесты для двух средних (к которым
относится, например, t-критерий).
Двухфакторный дисперсионный анализ с повторениями - Представляет собой
более сложный вариант однофакторного анализа, включающее более чем одну
выборку для каждой группы данных.
Двухфакторный дисперсионный анализ без повторения - Представляет собой
двухфакторный анализ дисперсии, не включающий более одной выборки на
группу. Используется для проверки гипотезы о том, что средние значения двух
или нескольких выборок одинаковы (выборки принадлежат одной и той же
генеральной совокупности). Этот метод распространяется также на тесты для
двух средних, такие как t-критерий.
Корреляционный анализ
Используется для количественной оценки взаимосвязи двух наборов данных,
представленных в безразмерном виде. Коэффициент корреляции выборки
представляет собой ковариацию двух наборов данных, деленную на произведение
их стандартных отклонений.
Корреляционный анализ дает возможность установить, ассоциированы ли наборы
данных по величине, то есть, большие значения из одного набора данных
связаны с большими значениями другого набора (положительная корреляция),
или, наоборот, малые значения одного набора связаны с большими значениями
другого (отрицательная корреляция), или данные двух диапазонов никак не
связаны (корреляция близка к нулю).
Ковариационный анализ
Используется для вычисления среднего произведения отклонений точек данных
от относительных средних. Ковариация является мерой связи между двумя
диапазонами данных.
Ковариационный анализ дает возможность установить, ассоциированы ли наборы
данных по величине, то есть, большие значения из одного набора данных
связаны с большими значениями другого набора (положительная ковариация),
или, наоборот, малые значения одного набора связаны с большими значениями
другого (отрицательная ковариация), или данные двух диапазонов никак не
связаны (ковариация близка к нулю).
Описательная статистика
Это средство анализа служит для создания одномерного статистического
отчета, содержащего информацию о центральной тенденции и изменчивости
входных данных. Чтобы получить более подробные сведения о параметрах
диалогового окна
Экспоненциальное сглаживание
Предназначается для предсказания значения на основе прогноза для
предыдущего периода, скорректированного с учетом погрешностей в этом
прогнозе. Использует константу сглаживания a, по величине которой
определяет, насколько сильно влияют на прогнозы погрешности в предыдущем
прогнозе.
Анализ Фурье
Предназначается для решения задач в линейных системах и анализа
периодических данных, используя метод быстрого преобразования Фурье (БПФ).
Эта процедура поддерживает также обратные преобразования, при этом,
инвертирование преобразованных данных возвращает исходные данные.
Двухвыборочный F-тест для дисперсий
Двухвыборочный F-тест применяется для сравнения дисперсий двух генеральных
совокупностей. Например, F-тест можно использовать для выявления различия в
дисперсиях временных характеристик, вычисленных по двум выборкам.
Гистограмма
Используется для вычисления выборочных и интегральных частот попадания
данных в указанные интервалы значений, при этом, генерируются числа
попаданий для заданного диапазона ячеек. Например, необходимо выявить тип
распределения успеваемости в группе из 20 студентов. Таблица гистограммы
состоит из границ шкалы оценок и количеств студентов, уровень успеваемости
которых находится между самой нижней границей и текущей границей. Наиболее
часто повторяемый уровень является модой интервала данных.
Скользящее среднее
Используется для расчета значений в прогнозируемом периоде на основе
среднего значения переменной для указанного числа предшествующих периодов.
Каждое прогнозируемое значение основано на формуле:
где
. N число предшествующих периодов, входящих в скользящее среднее
. Aj фактическое значение в момент времени j
. Fj прогнозируемое значение в момент времени j
Скользящее среднее, в отличие от простого среднего для всей выборки,
содержит сведения о тенденциях изменения данных. Процедура может
использоваться для прогноза сбыта, инвентаризации и других процессов.
Проведение t-теста
Пакет анализа включает в себя три средства анализа среднего для
совокупностей различных типов:
Двухвыборочный t-тест с одинаковыми дисперсиями - Двухвыборочный t-тест
Стьюдента служит для проверки гипотезы о равенстве средних для двух
выборок. Эта форма t-теста предполагает совпадение дисперсий генеральных
совокупностей и обычно называется гомоскедастическим t-тестом.
Двухвыборочный t-тест с разными дисперсиями - Двухвыборочный t-тест
Стьюдента используется для проверки гипотезы о равенстве средних для двух
выборок данных из разных генеральных совокупностей. Эта форма t-теста
предполагает несовпадение дисперсий генеральных совокупностей и обычно
называется гетероскедастическим t-тестом. Если тестируется одна и та же
генеральная совокупность, используйте парный тест.
Парный двухвыборочный t-тест для средних - Парный двухвыборочный t-тест
Стьюдента используется для проверки гипотезы о различии средних для двух
выборок данных. В нем не предполагается равенство дисперсий генеральных
совокупностей, из которых выбраны данные. Парный тест используется, когда
имеется естественная парность наблюдений в выборках, например, когда
генеральная совокупность тестируется дважды.
Генерация случайных чисел
Используется для заполнения диапазона случайными числами, извлеченными из
одного или нескольких распределений. С помощью данной процедуры можно
моделировать объекты, имеющие случайную природу, по известному
распределению вероятностей. Например, можно использовать нормальное
распределение для моделирования совокупности данных по росту индивидуумов,
или использовать распределение Бернулли для двух вероятных исходов, чтобы
описать совокупность результатов бросания монетки.
Ранг и персентиль
Используется для вывода таблицы, содержащей порядковый и процентный ранги
для каждого значения в наборе данных. Данная процедура может быть применена
для анализа относительного взаиморасположения данных в наборе.
Регрессия
Линейный регрессионный анализ заключается в подборе графика для набора
наблюдений с помощью метода наименьших квадратов. Регрессия используется
для анализа воздействия на отдельную зависимую переменную значений одной
или более независимых переменных. Например, на спортивные качества атлета
влияют несколько факторов, включая возраст, рост и вес. Регрессия
пропорционально распределяет меру качества по этим трем факторам на основе
данных функционирования атлета. Результаты регрессии впоследствии могут
быть использованы для предсказания качеств нового, непроверенного атлета.
Выборка
Создает выборку из генеральной совокупности, рассматривая входной диапазон
как генеральную совокупность. Если совокупность слишком велика для
обработки или построения диаграммы, можно использовать представительную
выборку. Кроме того, если предполагается периодичность входных данных, то
можно создать выборку, содержащую значения только из отдельной части цикла.
Например, если входной диапазон содержит данные для квартальных продаж,
создание выборки с периодом 4 разместит в выходном диапазоне значения
продаж из одного и того же квартала.
Двухвыборочный z-тест для средних
Двухвыборочный z-тест для средних с известными дисперсиями используется для
проверки гипотезы о различии между средними двух генеральных совокупностей.
Например, этот тест может использоваться для определения различия между
характеристиками двух моделей автомобилей.
Статистические функции
Возможность использования формул и функций является одним из важнейших
свойств программы обработки электронных таблиц. Это, в частности,
позволяет проводить статистический анализ числовых значений в таблице.
Текст формулы, которая вводится в ячейку таблицы, должен начинаться
со знака равенства (=), чтобы программа Excel могла отличить формулу от
текста. После знака равенства в ячейку записывается математическое
выражение, содержащее аргументы, арифметические операции и функции.
В качества аргументов в формуле обычно используются числа и адреса
ячеек. Для обозначения арифметических операций могут использоваться
следующие символы: + (сложение); - (вычитание); * (умножение); / (деление).
Формула может содержать ссылки на ячейки, которые расположены
на другом рабочем листе или даже в таблице другого файла. Однажды
введенная формула может быть в любое время модифицирована.
Встроенный Менеджер формул помогает пользователю найти ошибку или
неправильную ссылку в большой таблице.
Кроме этого, программа Excel позволяет работать со сложными
формулами, содержащими несколько операций. Для наглядности можно
включить текстовый режим, тогда программа Excel будет выводить в ячейку
не результат вычисления формулы, а собственно формулу.
Программа Excel интерпретирует вводимые данные либо как текст
(выравнивается по левому краю), либо как числовое значение
(выравнивается по правому краю). Для ввода формулы необходимо ввести
алгебраическое выражение, которому должен предшествовать знак равенства
(=).
Предположим, что в ячейке А1 таблицы находится число 100, а в ячейке
В1 - число 20. Чтобы разделить первое число на второе и результат
поместить в ячейку С1, в ячейку С1 следует ввести соответствующую формулу
(=А1/В1) и нажать [Enter].
Ввод формул можно существенно упростить, используя маленький трюк.
После ввода знака равенства следует просто щелкнуть мышью по первой
ячейке, затем ввести операцию деления и щелкнуть по второй ячейке
Виды статистических функций в Microsoft Excel 2000:
FРАСП Возвращает F-распределение вероятности
Возвращает F-распределение вероятности. Эту функцию можно использовать,
чтобы определить, имеют ли два множества данных различные степени
плотности. Например, можно исследовать результаты тестирования мужчин и
женщин, окончивших высшую школу и определить отличается ли разброс
результатов для мужчин и женщин.
FРАСПОБР Возвращает обратное значение для F-распределения вероятности
ZТЕСТ Возвращает двустороннее P-значение z-теста
БЕТАОБР Возвращает обратную функцию к интегральной функции плотности бета-
вероятности
БЕТАРАСП Возвращает интегральную функцию плотности бета-вероятности
БИНОМРАСП Возвращает отдельное значение биномиального распределения
ВЕЙБУЛЛ Возвращает распределение Вейбулла
ВЕРОЯТНОСТЬ Возвращает вероятность того, что значение из днапазона
находится внутри заданных пределов
ГАММАНЛОГ Возвращает натуральный логарифм гамма функции, ?(x)
ГАММАОБР Возвращает обратное гамма-распределение
ГАММАРАСП Возвращает гамма-распределение
ГИПЕРГЕОМЕТ Возвращает гипергеометрическое распределение
ДИСП Оценивает дисперсию по выборке
ДИСПА Оценивает дисперсию по выборке, включая числа, текст и логические
значения
ДИСПР Вычисляет дисперсию для генеральной совокупности
ДИСПРА Вычисляет дисперсию для генеральной совокупности, включая числа,
текст и логические значения
ДОВЕРИТ Возвращает доверительный интервал для среднего значения по
генеральной совокупности
КВАДРОТКЛ Возвращает сумму квадратов отклонений
КВАРТИЛЬ Возвращает квартиль множества данных
КВПИРСОН Возвращает квадрат коэффициента корреляции Пирсона
КОВАР Возвращает ковариацию, то есть среднее произведений отклонений для
каждой пары точек
КОРРЕЛ Возвращает коэффициент корреляции между двумя множествами данных
КРИТБИНОМ Возвращает наименьшее значение, для которого биномиальная
функция распределения меньше или равна заданному значению
ЛГРФПРИБЛ Возвращает параметры экспоненциального тренда
ЛИНЕЙН Возвращает параметры линейного тренда
ЛОГНОРМОБР Возвращает обратное логарифмическое нормальное распределение
ЛОГНОРМРАСП Возвращает интегральное логарифмическое нормальное
распределение
МАКС Возвращает максимальное значение из списка аргументов
МАКСА Возвращает максимальное значение из списка аргументов, включая
числа, текст и логические значения
МЕДИАНА Возвращает медиану заданных чисел
МИН Возвращает минимальное значение из списка аргументов
МИНА Возвращает минимальное значение из списка аргументов, включая числа,
текст и логические значения
МОДА Возвращает значение моды множества данных
НАИБОЛЬШИЙ Возвращает k-ое наибольшее значение из множества данных
НАИМЕНЬШИЙ Возвращает k-ое наименьшее значение в множестве данных
НАКЛОН Возвращает наклон линии линейной регрессии
НОРМАЛИЗАЦИЯ Возвращает нормализованное значение
НОРМОБР Возвращает обратное нормальное распределение
НОРМРАСП Возвращает нормальную функцию распределения
НОРМСТОБР Возвращает обратное значение стандартного нормального
распределения
НОРМСТРАСП Возвращает стандартное нормальное интегральное распределение
ОТРБИНОМРАСП Возвращает отрицательное биномиальное распределение
ОТРЕЗОК Возвращает отрезок, отсекаемый на оси линией линейной регрессии
ПЕРЕСТ Возвращает количество перестановок для заданного числа объектов
ПЕРСЕНТИЛЬ Возвращает k-ую персентиль для значений из интервала
ПИРСОН Возвращает коэффициент корреляции Пирсона
ПРЕДСКАЗ Возвращает значение линейного тренда
ПРОЦЕНТРАНГ Возвращает процентную норму значения в множестве данных
ПУАССОН Возвращает распределение Пуассона
РАНГ Возвращает ранг числа в списке чисел
РОСТ Возвращает значения в соответствии с экспоненциальным трендом
СКОС Возвращает асимметрию распределения
СРГАРМ Возвращает среднее гармоническое
СРГЕОМ Возвращает среднее геометрическое
СРЗНАЧ Возвращает среднее арифметическое аргументов
СРЗНАЧА Возвращает среднее арифметическое аргументов, включая числа,
текст и логические значения.
СРОТКЛ Возвращает среднее абсолютных значений отклонений точек данных от
среднего
СТАНДОТКЛОН Оценивает стандартное отклонение по выборке
СТАНДОТКЛОНА Оценивает стандартное отклонение по выборке, включая числа,
текст и логические значения
СТАНДОТКЛОНП Вычисляет стандартное отклонение по генеральной совокупности
СТАНДОТКЛОНПА Вычисляет стандартное отклонение по генеральной
совокупности, включая числа, текст и логические значения
СТОШYX Возвращает стандартную ошибку предсказанных значений y для каждого
значения x в регрессии
СТЬЮДРАСП Возвращает t-распределение Стьюдента
СТЬЮДРАСПОБР Возвращает обратное t-распределение Стьюдента
СЧЁТ Подсчитывает количество чисел в списке аргументов
СЧЁТЗ Подсчитывает количество значений в списке аргументов
ТЕНДЕНЦИЯ Возвращает значения в соответствии с линейным трендом
ТТЕСТ Возвращает вероятность, соответствующую критерию Стьюдента
УРЕЗСРЕДНЕЕ Возвращает среднее внутренности множества данных
ФИШЕР Возвращает преобразование Фишера
ФИШЕРОБР Возвращает обратное преобразование Фишера
ФТЕСТ Возвращает результат F-теста
ХИ2ОБР Возвращает обратное значение односторонней вероятности
распределения хи-квадрат
ХИ2РАСП Возвращает одностороннюю вероятность распределения хи-квадрат
ХИ2ТЕСТ Возвращает тест на независимость
ЧАСТОТА Возвращает распределение частот в виде вертикального массива
ЭКСПРАСП Возвращает экспоненциальное распределение
ЭКСЦЕСС Возвращает эксцесс множества данных
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Петрик Дж. Бернс, Элисон Берроуз «Секреты Excel 97.» – М.:Веста, 1999
-753с.
2. Фигурнов Виктор Эдмундович «IBM PC для пользователя» – М.:ИНФРА, 1998-
680с.
3. А. Гончаров «Microsoft Excel 7.0 в примерах» - С.-П.:Питер, 1996
4. Андрей Пробитюк «Excel 7.0 для Windows 95 в бюро» – К.:BHV, 1996
-----------------------
[pic]
Реферат на тему: Стратегия поиска в автоматизированных информационных системах
КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ КУЛЬТУРЫ И ИСКУССТВ
Кафедра информатики
Вступительный реферат по теме:
Стратегия поиска в Автоматизированных информационно-поисковых системах
Выполнил:
Султанов Ильнур Ильдусович
Казань, 2004
Содержание
Введение 3
Проблемы поиска информации 5
Поисковые алгоритмы 7
Оценка качества 16
Дополнительные возможности предоставляемые поисковыми машинами 18
Лингвистика 20
Заключение 22
Список литературы 23
Глоссарий: 24
Введение
Проблема поиска и сбора информации - одна из важнейших проблем
информационно поисковых систем. Конечно, нельзя сравнивать в этом
отношении, скажем, средние века, когда поиск информации был проблемой
потому, что этой информации было мало, и требовались усилия только для
того, чтобы найти хоть что-то по более или менее значительному
интересующему вопросу. Проблема поиска информации приобрела новый характер
в 20-м столетии, с началом развития века информационных технологий. Теперь
она заключается не в том, что информации мало и поэтому ее трудно найти, а
в том, что ее теперь наоборот становится все больше и больше, и от этого
найти ответ на интересующий вопрос может оказаться тоже довольно сложной
задачей [2].
Так, сначала появилась возможность пойти в библиотеку и, потратив там
время на выбор нужной книги по каталогу, найти необходимую информацию. Но
каталоги не решают полностью проблем поиска информации даже в рамках одной
библиотеки, так как в каталожную запись входит относительно мало
информации: заголовок, автор, место издания и т.п. Проблема поиска
информации значительно усложняется при использование виртуальных
источников. Здесь используется технология онлайновых каталогов, в
результате применения которой пользователь имеет возможность выполнять
поиск в каталогах сразу нескольких библиотек, чем, на самом деле, еще
больше усложняет себе задачу, но, с другой стороны, увеличивает шансы
решить ее [1].
На современном этапе все информационное пространство, в котором мы
живем, все больше погружается в Интернет. Интернет становится основной
формой существования информации, не отменив традиционных, такие как
журналы, радио, телевидение, телефон, всевозможные справочные службы.
В данной работе объектом исследования является Автоматизированная
информационно поисковая система. Это система где хранится информационный
массив, из которого пользователю выдается нужная информация,
осуществляющаяся либо автоматически, либо вручную.
Предмет исследования включает в себя те свойства, стороны и отношения
объекта исследования, которые необходимо изучить. Предмет обозначает
границы, в пределах которых объект изучается в данном конкретном
исследовании. Предметом исследования является стратегия информационного
поиска.
Цель исследования: Цель исследования ставится, обзор и выявление
поисковых сервисов (возможностей предоставляемые на сегодняшний день),
написание рекомендации к проведению поиска, анализ развития поисковых
систем.
Для выполнения поставленной цели в рамках исследования необходимо
решение следующих задач:
1. аналитический обзор поисковых систем;
2. определение механизма поиска в поисковых системах;
3. создание информационной системы, по АИПС;
4. оценка эффективности созданной системы;
5. разработка рекомендаций к проведению поиска используя информационную
систему.
Проблемы поиска информации
Ключ проблемы заключается в том, что выросло количество пользователей
не обладающие профессиональными навыками при поиске информации на языке
запросов. Естественно с такой проблемой столкнулся не только интернет, но и
электронные библиотеки (ЭБ) и электронные каталоги (ЭК). К таким системам
относятся библиотеки НЭБ-НСН, Интегрум - Техно в России, Лексис-Нексис,
Рейтер на Западе.
Более строгая организация каталогов в библиотеках, полное единство
форматов (или почти полное) внутри одной библиотеки не является решением
проблемы современных поисковых систем. Поиск это искусство. Ясно, что в
области искусства нельзя добиться гарантированного, или массового
результата.
Существует убеждение, что каждое новое поколение программ поиска
совершенней предыдущего. И иная точка зрения, что «все новое - это хорошо
забытое старое». Думаю, что применительно к поисковым системам истина лежит
где-то посередине.
Но что же поменялось в действительности за последние годы? Не алгоритмы
и не структуры данных, не математические модели. Поменялась парадигма
использования систем. Системой поиска стали пользоваться пользователи не
имеющие профессиональные навыки.
Особенно поисковые системы стали востребованы с возникновением
интернета. В процессе эволюции поисковых систем, стали очевидны следующие
изменения. Во-первых, люди не только «думают словами», но и «ищут словами».
В ответе системы они ожидают увидеть слово, набранное в строке запроса.
Второе: «человека ищущего» трудно «переучить искать», так же как трудно
переучить говорить или писать. Научная мысль 60-х – 80-х об итеративном
уточнении запросов, о понимании естественного языка, о поиске по смыслу, о
генерации связного ответа на вопрос, пока не удаётся создать и не
выдерживает критики.
Поисковые алгоритмы
Как и любая программа, поисковая система оперирует со структурами
данных и исполняет алгоритм. Есть четыре класса поисковых алгоритмов. Три
алгоритма из четырех требуют «индексирования», предварительной обработки
документов, при котором создаются вспомогательный файл, сиречь «индекс»,
призванный упростить и ускорить сам поиск. Это алгоритмы инвертированных
файлов, суффиксных деревьев, сигнатур. В вырожденном случае предварительный
этап индексирования отсутствует, а поиск происходит при помощи
последовательного просмотра документов. Такой поиск называется прямым.
Прямой поиск
Ниже представлена простейшая его версия знакома многим.
|char* strstr(char *big, |ПРЯМОЙ ПОИСК ТЕКСТА. |
|char *little) { |В этой функции языка C текст |
|char *x, *y, *z; |строки big просматривают |
|for (x = big; *x; x++) { |слева направо и для каждой |
|for (y = little, z = x; |позиции x запускают |
|*y; ++y, ++z) |последовательное сравнение с |
|{ |искомой подстрокой little. |
|if (*y != *z) |Для этого, двигая |
|break; |одновременно два указателя y |
|} |и z, попарно сравнивают все |
|if (!*y) |символы. Если мы успешно |
|return x; |дошли до конца искомой |
|} |подстроки, значит она |
|return 0; |найдена! |
|} | |
| | |
Несмотря на кажущуюся простоту, последние 30 лет прямой поиск
интенсивно развивается. Было выдвинуто немалое число идей, сокращающих
время поиска в разы. При этом надо учесть, что новые алгоритмы и их
улучшенные варианты появляются постоянно.
Хотя прямой просмотр всех текстов – довольно медленное занятие, не
следует думать, что алгоритмы прямого поиска не применяются в интернете.
Норвежская поисковая система Fast (www.fastsearch.com) использовала чип,
реализующий логику прямого поиска упрощенных регулярных выражений, и
разместила 256 таких чипов на одной плате. Это позволяло Fast-у обслуживать
довольно большое количество запросов в единицу времени.
Кроме того, есть масса программ, комбинирующих индексный поиск для
нахождения блока текста с дальнейшим прямым поиском внутри блока. Например,
весьма популярный, в том числе и в Рунете, glimpse.
У прямых алгоритмов есть положительные черты. Например, неограниченные
возможности по приближенному и нечеткому поиску. Ведь любое индексирование
всегда сопряжено с упрощением и нормализацией терминов, а, следовательно, с
потерей информации. Прямой же поиск работает непосредственно по
оригинальным документам безо всяких искажений.
Инвертированный файл
Эта простейшая структура данных. Первая категория людей знает, что это
такое, по «конкордансам» - алфавитно упорядоченным исчерпывающим спискам
слов из одного текста или принадлежащих одному автору (например «Конкорданс
к стихам А. С. Пушкина», «Словарь-конкорданс публицистики Ф. М.
Достоевского»). Вторые имеют дело с той или иной формой инвертированного
списка всякий раз, когда строят или используют «индекс БД по ключевому
полю».
Проиллюстрируем эту структуру при помощи замечательного русского
конкорданса - «Симфонии», выпущенной московской патриархией по тексту
синодального перевода Библии [симфония].
Рис. 1
Перед нами упорядоченный по алфавиту список слов. Для каждого слова
перечислены все «позиции», в которых это слово встретилось. Поисковый
алгоритм состоит в отыскании нужного слова и загрузке в память уже
развернутого списка позиций.
Чтобы сэкономить на дисковом пространстве и ускорить поиск, обычно
прибегают к двум приемам. Во-первых, подробность самой позиции. Чем
подробнее задана такая позиции, например, в случае с «Симофонией» это
«книга+глава+стих», тем больше места потребуется для хранения
инвертированного файла.
В наиподробнейшем варианте в инвертированном файле можно хранить и
номер слова, и смещение в байтах от начала текста, и цвет и размер шрифта,
да много чего еще. Чаще же просто указывают только номер документа, скажем,
книгу Библии, и число употреблений этого слова в нем. Именно такая
упрощенная структура считается основной в классической теории
информационного поиска – Information Retrieval (IR).
Второй (никак не связанный с первым) способ сжатия: упорядочить позиции
для каждого слова по возрастанию адресов и для каждой позиции хранить не
полный ее адрес, а разницу от предыдущего. Вот как будет выглядеть такой
список для нашей странички в предположении, что мы запоминаем позицию
вплоть до номера главы:
ЖЕНЩИНА: [Быт.1],[+11],[0],[+2],[+4],[+2],[+4],..
Дополнительно на разностный способ хранения адресов накладывают какой-
нибудь способ упаковки: зачем отводить небольшому целому числу
фиксированное «огромное» количество байт, ведь можно отвести ему почти
столько байт, сколько оно заслуживает. Здесь уместно упомянуть коды Голомба
или встроенную функцию популярного языка Perl: pack(“w”).
В литературе встречается и более тяжелая система упаковочных алгоритмов
самого широкого спектра: арифметический, Хафман, LZW, и т.д. Прогресс в
этой области идет непрерывно. На практике в поисковых системах они
используются редко: выигрыш невелик, а мощности процессора расходуются
неэффективно.
В результате всех описанных ухищрений размер инвертированного файла,
как правило, составляет от 7 до 30 процентов от размера исходного текста, в
зависимости от подробности адресации.
занесены в «Красную книгу»
Неоднократно предлагались другие, отличные от инвертированного и
прямого поиска алгоритмы и структуры данных. Это, прежде всего, суффиксные
деревья, а также сигнатуры.
Первый из них функционировал и в интернете, будучи запатентованным
алгоритмом поисковой ситемы OpenText.
Мне доводилось встречать суффиксные индексы в отечественных поисковых
системах.
Второй - метод сигнатур - представляет собой преобразование документа к
поблочным таблицам хеш-значений его слов - "сигнатуре" и последовательному
просмотру "сигнатур" во время поиска.
Широкого распространения эти два метода не получили.
МАТЕМАТИЧЕСКИЕ МОДЕЛИ
Приблизительно 3 из 5 поисковых систем и модулей функционируют безо
всяких математических моделей. Их разработчики не ставят перед собой задачу
реализовывать абстрактную модель. Принцип здесь: лишь бы программа хоть что-
нибудь находила.
Как только речь заходит о повышении качества поиска, о большом объеме
информации, о потоке пользовательских запросов, кроме эмпирически
проставленных коэффициентов полезным оказывается оперировать каким-нибудь
пусть и несложным теоретическим аппаратом. Модель поиска – это некоторое
упрощение реальности, на основании которого получается формула (сама по
себе никому не нужная), позволяющая программе принять решение: какой
документ считать найденным и как его ранжировать. После принятия модели
коэффициенты приобретают физический смысл и становятся понятней.
Все многообразие моделей традиционного информационного поиска (IR)
принято делить на три вида: теоретико-множественные (булевская, нечетких
множеств, расширенная булевская), алгебраические[1][1] (векторная,
обобщенная векторная, латентно-семантическая, нейросетевая) и
вероятностные.
Булевское семейство моделей самое известное, реализующие полнотекстовый
поиск. Есть слово - документ считается найденным, нет – не найденным.
Собственно, классическая булевская модель – это мостик, связывающий теорию
информационного поиска с теорией поиска и манипулирования данными.
Критика булевской модели, вполне справедливая, состоит в ее крайней
жесткости и непригодности для ранжирования. Поэтому еще в 1957 году Joyce и
Needham (Джойс и Нидхэм) предложили учитывать частотные характеристики
слов, чтобы «... операция сравнения была бы отношением расстояния между
векторами...».
Векторная модель и была с успехом реализована в 1968 году отцом-
основателем науки об информационном поиске Джерардом Солтоном (Gerard
Salton)[2][2] в поисковой системе SMART (Salton's Magical Automatic
Retriever of Text). Ранжирование в этой модели основано на естественном
статистическом наблюдении, что чем больше локальная частота термина в
документе (TF) и больше «редкость» (т.е. обратная встречаемость в
документах) термина в коллекции (IDF), тем выше вес данного документа по
отношению к термину. Обозначение IDF ввела Karen Sparck-Jones (Карен Спарк-
Джоунз) в 1972 в статье про различительную силу (term specificity). С этого
момента обозначение TF*IDF широко используется как синоним векторной
модели.
Наконец, в 1977 году Robertson и Sparck-Jones (Робертсон и Спарк-
Джоунз) обосновали и реализовали вероятностную модель (предложенную еще в
1960), также положившую начало целому семейству. Релевантность в этой
модели рассматривается как вероятность того, что данный документ может
оказаться интересным пользователю. При этом подразумевается наличие уже
существующего первоначального набора релевантных документов, выбранных
пользователем или полученных автоматически при каком-нибудь упрощенном
предположении. Вероятность оказаться релевантным для каждого следующего
документа рассчитывается на основании соотношения встречаемости терминов в
релевантном наборе и в остальной, «нерелевантной» части коллекции. Хотя
вероятностные модели обладают некоторым теоретическим преимуществом, ведь
они располагают документы в порядке убывания "вероятности оказаться
релевантным", на практике они так и не получили большого распространения.
Важно заметить, что в каждом из семейств простейшая модель исходит из
предположения о взаимонезависимости слов и обладает условием фильтрации:
документы, не содержащие слова запроса, никогда не бывают найденными.
Продвинутые («альтернативные») модели каждого из семейств не считают слова
запроса взаимонезависимыми, а, кроме того, позволяют находить документы, не
содержащие ни одного слова из запроса.
Поиск «по смыслу»
Способность находить и ранжировать документы, не содержащие слов из
запроса, часто считают признаком искусственного интеллекта или поиска по
смыслу и относят априори к преимуществам модели.
Для примера опишу лишь одну, самую популярную модель, работающую по
смыслу. В теории информационного поиска данную модель принято называть
латентно-семантически индексированием (иными словами, выявлением скрытых
смыслов). Эта алгебраическая модель основана на сингулярном разложении
прямоугольной матрицы, ассоциирующей слова с документами. Элементом матрицы
является частотная характеристика, отражающая степень связи слова и
документа, например, TF*IDF. Вместо исходной миллионно-размерной матрицы
авторы метода, предложили использовать 50-150 «скрытых смыслов»[3][3],
соответствующих первым главным компонентам ее сингулярного разложения.
Доказано, что если оставить в рассмотрении первые k сингулярных чисел
(остальные приравнять нулю), мы получим ближайшую из всех возможных
аппроксимацию исходной матрицы ранга k (в некотором смысле ее «ближайшую
семантическую интерпретацию ранга k»). Уменьшая ранг, мы отфильтровываем
нерелевантные детали; увеличивая, пытаемся отразить все нюансы структуры
реальных данных.
Операции поиска или нахождения похожих документов резко упрощаются, так
как каждому слову и каждому документу сопоставляется относительно короткий
вектор из k смыслов (строки и столбцы соответствующих матриц). Однако по
причине малой ли осмысленности «смыслов», или по какой иной[4][4], но
использование LSI в лоб для поиска так и не получило распространения. Хотя
во вспомогательных целях (автоматическая фильтрация, классификация,
разделение коллекций, предварительное понижение размерности для других
моделей) этот метод, по-видимому, находит применение.
Оценка качества
Какова бы ни была модель, поисковая система нуждаетсяв «тюнинге» - оценке
качества поиска и настройке параметров. Оценка качества – идея,
фундаментальная для теории поиска. Ибо именно благодаря оценке качества
можно говорить о применимости или не применимости той или иной модели и
даже обсуждать их теоретичеcкие аспекты.
В частности, одним из естественных ограничений качества поиска служит
наблюдение, вынесенное в эпиграф: мнения двух «асессоров» (специалистов,
выносящих вердикт о релевантности) в среднем не совпадают друг с другом в
очень большой степени! Отсюда вытекает и естественная верхняя граница
качества поиска, ведь качество измеряется по итогам сопоставления с мнением
асессора.
Обычно[5][5] для оценки качества поиска меряют два параметра:
. точность (precision) – доля релевантного материала в ответе поисковой
системы
. полнота (recall) – доля найденных релевантных документов в общем числе
релевантных документов коллекции
Именно эти параметры использовались и используются на регулярной основе
для выбора моделей и их параметров в рамках созданной Американским
Интститутом Стандартов (NIST) конференции по оценке систем текстового
поиска (TREC - text retrival evaluation conference)[6][6]. Начавшаяся в
1992 году консорциумом из 25 групп, к 12-му году своего существования
конференция накопила значительный материал, на котором до сих пор
оттачиваются поисковые системы. К каждой очередной конференции готовится
новый материал (т.н. «дорожка») по каждому из интересующих направлений.
«Дорожка» включает коллекцию документов и запросов. Приведу примеры:
. Дорожка произвольных запросов (ad hoc) – присутствует на всех
конференциях
. Многоязычный поиск
. Маршрутизация и фильтрации
. Высокоточный поиск (с единственным ответом, выполняемый на время)
. Взаимодействие с пользователем
. Естестственно-языковая «дорожка»
. Ответы на «вопросы»
. Поиск в «грязных» (только что отсканированных) текстах
. Голосовой поиск
. Поиск в очень большом корпусе (20GB, 100GB и т.д.)
. WEB корпус (на последних конференциях он представлен выборкой по
домену .gov)
. Распределенный поиск и слияние результатов поиска из разных систем
Дополнительные возможности предоставляемые поисковыми машинами
Как видно из «дорожек» TREC, к самому поиску тесно примыкает ряд задач,
либо разделяющих с ним общую идеологию (классификация, маршрутизация,
фильтрация, аннотирование), либо являющихся неотъемлемой частью поискового
процесса (кластеризация результатов, расширение и сужение запросов,
обратная связь, «запросо-зависимое» аннотирование, поисковый интерфейс и
языки запросов). Нет ни одной поисковой системы, которой бы не приходилось
решать на практике хотя бы одну из этих задач.
Зачастую наличие того или иного дополнительного свойства является
решающим доводом в конкурентной борьбе поисковых систем. Например, краткие
аннотации состоящие из информативных цитат документа, которыми некоторые
поисковые системы сопровождают результаты соей работы, помогают им
оставаться на полступеньки впереди конкурентов.
Обо всех задачах и способах их решения рассказать невозможно. Для
примера рассмотрим «расширение запроса», которое обычно производится через
привлечение к поиску ассоциированных терминов. Решение этой задачи возможно
в двух видах – локальном (динамическом) и глобальном (статическом).
Локальные техники опираются на текст запроса и анализируют только
документы, найденные по нему. Глобальные же «расширения» могут оперировать
тезаурусами, как априорными (лингвистическими), так и построенными
автоматически по всей коллекции документов. По общепринятому мнению,
глобальные модификации запросов через тезаурусы работают неэффективно,
понижая точность поиска. Более успешный глобальный подход основан на
построенных вручную статических классификациях, например, ВЕБ-директориях.
Этот подход широко использутся в интернет-поисковиках в операциях сужения
или расширения запроса.
Нередко реализация дополнительных возможностей основана на тех же самых
или очень похожих принципах и моделях, что и сам поиск. Сравните, например,
нейросетевую поисковую модель, в которой используется идея передачи
затухающих колебаний от слов к документам и обратно к словам (амплитуда
первого колебания – все тот же TF*IDF), с техникой локального расширения
запроса. Последняя основанна на обратной связи (relevance feedback), в
которой берутся наиболее смыслоразличительные (контрастные) слова из
документов, принадлежащих верхушке списка найденного.
К сожалению, локальные методы расширения запроса, несмотря на эффектные
технические идеи типа «Term Vector Database» и очевидную пользу, все еще
остаются крайне дорогими.
Лингвистика
Немного в стороне от статистических моделей и структур данных стоит
класс алгоритмов, традиционно относимых к лингвистическим. Точно границы
между статистическим и лингвистическими методами провести трудно. Условно
можно считать лингвистическими методы, опирающиеся на словари
(морфологические, синтаксические, семантические), созданные человеком. Хотя
считается доказанным, что для некоторых языков лингвистические алгоритмы не
вносят существенного прироста точности и полноты (например, английский),
все же основная масса языков требует хотя бы минимального уровня
лингвистической обработки. Приведу только список задач, решаемый
лингвистическими или окололингвистическими приемами:
. автоматическое определение языка документа
. токенизация (графематический анализ): выделение слов, границ
предложений
. исключение неинформативных слов (стоп-слов)
. лемматизация (нормализация, стемминг): приведение словоизменительных
форм к «словарной». В том числе и для слов, не входящих в словарь
системы
. разделение сложных слов (компаундов) для некоторых языков (например,
немецкого)
. дизамбигуация: полное или частичное снятие омонимии
. выделение именных групп
Еще реже в исследованиях и на практике можно встретить алгоритмы
словообразовательного, синтаксического и даже семантического анализа. При
этом под семантическим анализом чаще подразумевают какой-нибудь
статистический алгоритм (LSI, нейронные сети), а если толково-комбинаторные
или семантические словари и используются, то в крайне узких предметных
областях.
Заключение
Прежде всего, очевидно, что поиск в большом информационном массиве, не
может быть сколько-нибудь корректно выполнен, будучи основан на анализе
одного лишь текста документа. Ведь внетекстовые (off-page) факторы играют
порой и большую роль, чем текст самой страницы. Положение на сайте,
посещаемость, авторитетность источника, частота обновления, цитируемость
страницы и ее авторов – все эти факторы играют важную роль.
Cтав основным источником получения справочной информации для человека,
поисковые системы стали основным источником трафика для интернет -сайтов.
Как следствие, они немедленно подверглись «атакам» недобросовестных
авторов, желающих оказаться в первых страницах результатов поиска.
Искусственная генерация входных страниц, насыщенных популярными словами,
техника клоакинга, «слепого текста» и многие другие приемы, предназначенные
для обмана поисковых систем.
Кроме проблемы корректного ранжирования, создателям поисковых систем
пришлось решать задачу обновления и синхронизации колоссальной по размеру
коллекции с гетерогенными форматами, способами доставки, языками,
кодировками, массой бессодержательных и дублирующихся текстов. Необходимо
поддерживать базу в состоянии максимальной свежести, может быть учитывать
индивидуальные и коллективные предпочтения пользователей. Многие из этих
задач никогда прежде не рассматривались в традицонной науке информационного
поиска.
Список литературы
1. Ашманов И. С. Национальные особенности поисковых систем // Журнал
"Компьютер в школе", № 01, 2000 год // Издательство "Открытые системы"
(www.osp.ru)
2. Антонов А.В., Мешков В.С. Аналитические проблемы поисковых систем и
«лингвистические анализаторы» // НТИ.Сер.1.- 2000.- №6.-С.1-5
3. Войскунский В.Г. Оценка функциональной эффективности документального
поиска: и размытые шкалы оценка пертинентности // НТИ. Сер. 2.- 1992.-
№5.-С.19-27
4. Кноп К. Поиск в Интернете как хроническое заболевание // Мир Internet.
- 2002. - N 10. - С. 33-35
5. Конжаев А. Стратегия информационного поиска // http://www.msiu.ru.
6. Попов С. Поиск информации и принятие решения // НТИ. Сер.2.-2001.-№1.-
С.1-4
7. Степанов В.К Русскоязычные поисковые механизмы в Интернет //
ComputerWorld Россия.-1997.-N11.-C.37-40.
8. Сегалович И. Как работают поисковые системы // Мир Internet. - 2002. -
N 10. - С. 24-32
Глоссарий:
++ асессор (assesor, эксперт) – специалист в предметной области,
выносящий заключение о релевантности документа, найденного поисковой
системой
++ булевская модель (boolean, булева, булевая, двоичная) – модель
поиска, опирающаяся на операции пересечения, объединения и вычитания
множеств
++ векторная модель – модель информационного поиска, рассматривающая
документы и запросы как векторы в пространстве слов, а релевантность как
расстояние между ними
++ вероятностная модель – модель информационного поиска,
рассматривающая релевантность как вероятность соответствия данного
документа запросу на основании вероятностей соответствия слов данного
документа идеальному ответу
++ внетекстовые критерии (off-page, вне-страничные) – критерии
ранжирования документов в поисковых системах, учитыващие факторы, не
содержащиеся в тексте самого документа и не извлекаемые оттуда никаким
образом
++ входные страницы (doorways, hallways) – страницы, созданные для
искусственного повышения ранга в поисковых системах (поискового спама). При
попадании на них пользователя перенаправляют на целевую страницу
++ дизамбигуация (tagging, part of speech disambiguation, таггинг) –
выбор одного из нескольких омонимов c помощью контекста; в английском языке
часто сводится к автоматическому назначению грамматической категории «часть
речи»
++ дубликаты (duplicates) – разные документы с идентичным, с точки
зрения пользователя, содержанием; приблизительные дубликаты (near
duplicates, почти-дубликаты), в отличие от точных дубликатов, содержат
незначительные отличия
++ иллюзия свежести – эффект кажущейся свежести, достигаемый поисковыми
системами в интернете за счет более регулярного обхода тех документов,
которые чаще находятся пользователями
++ инвертированный файл (inverted file, инверсный файл, инвертированный
индекс, инвертированный список) – индекс поисковой системы, в котором
перечислены слова коллекции документов, а для каждого слова перечислены все
места, в которых оно встретилось
++ индекс (index, указатель) – см. индексирование
++ индекс цитирования (citation index) – число упоминаний (цитирований)
научной статьи, в традиционной библиографической науке рассчитывается за
промежуток времени, например, за год
++ индексирование (indexing, индексация) – процесс составления или
приписывания указателя (индекса) – служебной структуры данных, необходимой
для последующего поиска
++ информационный поиск (Information Retrieval, IR) – поиск
неструктурированной информации, единицой представления которой является
документ произвольных форматов. Предметом поиска выступает информационная
потребность пользователя, неформально выраженная в поисковом запросе. И
критерий поиска, и его результаты недетермированы. Этими признаками
информационный поиск отличается от «поиска данных», который оперирует
набором формально заданных предикатов, имеет дело со структурированной
информацией и чей результат всегда детерминирован. Теория информационного
поиска изучает все составляющие процесса поиска, а именно, предварительную
обработку текста (индексирование), обработку и исполнение запроса,
ранжирование, пользовательский интерфейс и обратную связь.
++ клоакинг (cloaking) – техника поискового спама, состоящая в
распознании авторами документов робота (индексирующего агента) поисковой
системы и генерации для него специального содержания, принципиально
отличающегося от содержания, выдаваемого пользователю
++ контрастность термина – см. различительная сила
++ латентно-семантическое индексирование – запатентованный алгоритм
поиска по смыслу, идентичный факторному анализу. Основан на сингулярном
разложении матрицы связи слов с документами
++ лемматизация (lemmatization, нормализация) – приведение формы слова
к словарному виду, то есть лемме
++ накрутка поисковых систем – см. спам поисковых систем
++ непотизм – вид спама поисковых систем, установка авторами документов
взаимных ссылок с единственной целью поднять свой ранг в результатах поиска
++ обратная встречаемость в документах (inverted document frequency,
IDF, обратная частота в документах, обратная документная частота) –
показатель поисковой ценности слова (его различительной силы); обратная
говорят, потому что при вычислении этого показателя в знаменателе дроби
обычно стоит число документов, содержащих данное слово
++ обратная связь – отклик пользователей на результат поиска, их
суждения о релевантности найденных документов, зафиксированные поисковой
системой и использующиеся, например, для итеративной модификации запроса.
Следует отличать от псевдо-обратной связи – техники модификации запроса, в
которой несколько первых найденных документов автоматически считаются
релевантными
++ омонимия – см. полисемия
++ основа – часть слова, общая для набора его словообразовательных и
словоизменительных (чаще) форм
++ поиск по смыслу – алгоритм информационного поиска, способный
находить документы, не содержащие слов запроса
++ поиск похожих документов (similar document search) – задача
информационного поиска, в которой в качестве запроса выступает сам документ
и необходимо найти документы, максимально напоминающие данный
++ поисковая система (search engine, SE, информационно-поисковая
система, ИПС, поисковая машина, машина поиска, «поисковик», «искалка») –
программа, предназначенная для поиска информации, обычно текстовых
документов
++ поисковое предписание (query, запрос) – обычно строчка текста
++ полисемия (polysemy, homography, многозначность, омография,
омонимия) - наличие нескольких значений у одного и того же слова
++ полнота (recall, охват) – доля релевантного материала, заключенного
в ответе поисковой системы, по отношению ко всему релевантному материалу в
коллекции
++ почти-дубликаты (near-duplicates, приблизительные дубликаты) – см.
дубликаты
++ прюнинг (pruning) – отсечение заведомо нерелевантных документов при
поиске с целью ускорения выполнения запроса
++ прямой поиск – поиск непосредственно по тексту документов, без
предварительной обработки (без индексирования)
++ псевдо-обратная связь – см. обратная связь
++ различительная сила слова (term specificity, term discriminating
power, контрастность, различительная сила) – степень ширины или узости
слова. Слишком широкие термины в поиске приносят слишком много информации,
при это существенная часть ее бесполезна. Слишком узкие термины помогают
найти слишком мало документов, хотя и более точных.
++ регулярное выражение (regualr expression, pattern, «шаблон», реже
«трафарет», «маска») – способ записи поискового предписания, позволяющий
определять пожелания к искомому слову, его возможные написания, ошибки и
т.д. В широком смысле – язык, позволяющий задавать запросы неограниченной
сложности
++ релевантность (relevance, relevancy) – соответствие документа
запросу
++ сигнатура (signature, подпись) – множество хеш-значений слов
некоторого блока текста. При поиске по методу сигнатур все сигнатуры всех
блоков коллекции просматриваются последовательно в поисках совпадений с хеш-
значениями слов запроса
++ словоизменение (inflection) – образование формы определенного
грамматического значения, обычно обязательного в данном грамматическом
контексте, принадлежащей к фиксированному набору форм (парадигме),
характерного для слов данного типа. В отличие от словообразования никогда
не приводит к смене типа и порождает предсказуемое значение. Словоизменение
имен называют склонением (declension), а глаголов – спряжением
(conjugation)
++ словообразование (derivation) – образование слова или основы из
другого слова или основы. Чаще приводит к смене типа и к образованию слов,
имеющих идеосинкразическое значение
++ смыслоразличительный – см. различительная сила
++ спам поисковых систем (spam, спамдексинг, накрутка поисковых систем)
– попытка воздействовать на результат информационного поиска со стороны
авторов документов
++ статическая популярность – см. PageRank
++ стемминг – поцесс выделения основы слова
++ стоп-слова (stop-words) – те союзы, предлоги и другие частотные
слова, которые данная поисковая система исключила из процесса
индексирования и поиска для повышения своей производительности и/или
точности поиска
++ суффиксные деревья, суффиксные массивы (suffix trees, suffix arrays,
PAT-arrays) – индекс, основанный на представлении всех значимых суффиксов
текста в структуре данных, известной как бор (trie). Суффиксом в этом
индексе называю любую «подстроку», начинающуюся с некоторой позиции текста
(текст рассматривается как одна непрерывная строка) и продолжающуюся до его
конца. В реальных приложениях длина суффиксов ограничена, а индексируются
только значимые позиции – например, начала слов. Этот индекс позволяет
выполнять более сложные запросы, чем индекс, построенный на инвертированных
файлах
++ токенизация (tokenization, lexical analysis, графематический анализ,
лексический анализ) – выделение в тексте слов, чисел, и иных токенов, в том
числе, например, нахождение границ предложений
++ точность (precision) - доля релевантного материала в ответе
поисковой системы
++ хеш-значение (hash-value) – значение хеш-функции (hash-function),
преобразующей данные произвольной длины (обычно, строчку) в число
фиксированного порядка
++ частота (слова) в документах (document frequency, встречаемость в
документах, документная частота) – число документов в коллекции, содержащих
данное слово
++ частота термина (term frequency, TF) – частота употреблений слова в
документе
++ шингл – (shingle) – хеш-значение непрерывной последовательности слов
текста фиксированной длины
++ PageRank – алгоритм расчета статической (глобальной) популярности
страницы в интернете, назван в честь одного из авторов - Лоуренса Пейджа.
Соответствует вероятности попадания пользователя на страницу в модели
случайного блуждания
++ TF*IDF – численная мера соответствия слова и документа в векторной
модели; тем больше, чем относительно чаще слово встретилось в документе и
относительно реже в коллекции
-----------------------
[1] В отечественной литературе алгебраические модели часто называют
линейными
[2] Gerard Salton (Sahlman) 1927-1995. Он же Селтон, он же Залтон и даже
Залман, он же Жерар, Герард, Жерард или даже Джеральд в зависимости от
вкуса переводчика и допущенных опечаток
http://www.cs.cornell.edu/Info/Department/Annual95/Faculty/Salton.html
http://www.cs.virginia.edu/~clv2m/salton.txt
[3] для больших коллекций число «смыслов» увеличивают до 300
[4] После наших экспериментов с LSI получилось, что «смысл номер 1» в
Рунете - все англоязычные документы, «смысл номер 3» – все форумы и т.п.
[5] но не обязательно – есть и «альтернативные» метрики!
[6] материалы конференции публично доступны по адресу
trec.nist.gov/pubs.html
-----------------------
|Consistency checking has shown that the |
|overlap of relevant documents between any|
|two assesors is on the order of 40% on |
|average…cross-assesor recall and |
|precision of about 65% …This implies a |
|practical upper bound on retrieval system|
|performance of 65% …[7][1] |
|Donna Harman |
|What we have learned, and not learned, |
|from TREC [harman] |
| |
|Сингулярным разложением действительной|
|матрицы A размеров m*n называется |
|всякое ее разложение вида A = USV, где|
|U - ортогональная матрица размеров |
|m*m, V - ортогональная матрица |
|размеров n*n, S - диагональная матрица|
|размеров m*n, элементы которой sij= 0,|
|если i не равно j, и sii = si >= 0. |
|Величины si называются сингулярными |
|числами матрицы и равны арифметическим|
|значениям квадратных корней из |
|соответствующих собственных значений |
|матрицы AAT. В англоязычной литературе|
|сингулярное разложение принято |
|называть SVD-разложением. |
[pic]
| |
