Имя материала: Организация работы с документами

Автор: Кудряев В.А

20.4. полнотекстовые базы данных и средства формирования запросов в них

 

В ДИПС поиск документов происходит посредством просмотра поискового образа документа. Такая организация поиска документов имеет свои преимущества и недостатки.

Представление документа в виде ПОД позволяет значительно снизить расходы памяти, сократить время поиска и не требует мощного и дорогого аппаратного и программного обеспечения. Поэтому технология ДИПС успешно использовалась в большинстве созданных до 90-х гг. системах автоматического документного поиска.

В то же время технология ДИПС обладает рядом существенных недостатков. Любой набор информативных ключевых слов не может адекватно представлять содержание документа во всей его полноте. Кроме того, суть процесса образования ПОД состоит в структурировании документа, что может привести к искажению его содержания. Особенно это существенно для нормативных документов, где каждое слово и словосочетание представляются значимыми.

В настоящее время в автоматизированных современных системах поиска документальной информации реализуются технологии поиска по полному тексту документов. Такие системы получили название - полнотекстовые базы данных (full-text system) или текстовые базы данных.

Полнотекстовые базы данных используются для хранения и поиска правовой информации (справочные правовые системы — СПС), периодических изданий (газет и журналов), корпоративной документации.

В отличие от СУБД в информационно-поисковых системах до сих пор не выработаны стандартные языки запросов. Различные системы используют и различные средства формирования информационных запросов. Чем мощнее поисковые возможности системы, тем богаче ее язык запросов.

Во всех системах для поиска по сочетанию терминов используются логические функции AND (И), OR (ИЛИ), NOT (HE), соединяющие ключевые слова информационного запроса. Для иллюстрации процесса выполнения запроса с использованием логических функций рассмотрим следующий пример.

Задано множество документов (Dl, D2, D3, D4, D5, D6, D7, D8, D9}, содержащих слова {SI, S2, S3, S4, S5, 86} таким образом, что S1 входит в текст документов D2,D3,D7,D8, S2 входит в текст документов Dl, D7, D9, S3 входит в текст документов D1, D2, D3, D4, D5, D6, D8, D9, S4 входит в текст документов D5, D6, D7, D8, D9, S5 входит в текст документов D2, D5, D7, D9, S6 входит в текст документа D4.

В этом случае:

Запросу SI AND S2 будут соответствовать множество документов, являющихся результатом логического умножения множеств документов, содержащих слова S1 и.82, т.е.:

SI AND S2 соответствует {D2, D3, D7, D8}x{Dl, D7, D9} = D7

Запросу S3 OR S5 будет соответствовать множество документов, являющееся результатом операции логического сложения множеств документов, содержащих слова S3 и S5, т.е.:

52 OR S5 соответствует {Dl, D7, D9} + {D2, D5, D7, D9} = {D1, D2, D5, D7, 09}

Запросу S3 NOT S6 будет соответствовать множество документов, содержащих слово S3, но не содержащих слово S6, т.е.:

53 NOT S6 соответствует

{Dl, D2, 03, D4, D5, Об, D8, D9} - {D4} = {Dl, D2, D3, D5, D6, D7, D8, 09}

Режимы применения логических функций могут быть различными. Например, В И ПС Агама в запросе, состоящей из фразы «налоги на малое предприятие» уже подразумевается, что слова запроса соединены оператором «И». Оператор «ИЛИ» указывается явно и имеет больший приоритет, чем «И».

В ИПС Евфрат все операторы указываются в явном виде, а функция NOT обозначена словом «КРОМЕ».

Некоторые средства формирования запроса допускают вложенные запросы и позволяют структурировать их, задавая порядок выполнения. Обычно с этой целью применяют круглые скобки. Логические операторы, заключенные в скобки, имеют приоритет при обработке. Например, для вышеописанного случая, запрос:

52 AND S4 OR (S6 OR (S3 NOT S3)) будет выполняться в следующем порядке:

53 NOT S5 = {01,02,03,D4,D5,D6,D8,D9}-{D2,D5,D7,D9}= ={D1,03,04,06,08}

S6OR(S3NOTS5)={D4}+{D1,D3,D4,D6,D8}={D1,D3,D4,D6,D8} S2 AND S4={D1,D7,D8}*{05,06,07,08,D9}={07,08} {D7,D8} + {D1,D3,D4,D6,D8} = {D1,D3,D4,D6,D7,D8} При формировании запросов в полнотекстовых базах данных желательно учитывать не только логическую взаимосвязь терминов, но и другие аспекты естественного языка. С этой целью используют различные средства. Например, усечение терминов, нормализацию терминов, операторы контекстного поиска, запрос по образцу.

Обычно усекают окончания слов для того, чтобы падеж или множественное число не влияли на выбор слова. Как правило, для представления несущественного символа используют знак «?», а для представления ряда несущественных символов используют знак «*». Например, выражение «налог?» может соответствовать словам «налоги», «налогу», «налога», «налог», а выражение «налог*» может соответствовать словам «налогам», «налогообложение», «налоговая» и т.п. В ИПС Евфрат для осуществления этой операции введен оператор «по началу». В некоторых системах эта операция производится автоматически.

Автоматическая нормализация терминов состоит в приведении всех форм каждого слова к одной стандартной форме, например, существительного — к именительному падежу единственного числа.

Операторы контекстного поиска позволяют учитывать контекст и осуществлять поиск в заданной комбинации слов. Эти операторы можно трактовать как функции «близости», которые являются развитием функции «И». Формы представления операторов контекстного поиска существенно различаются, причем во многих ИПС их нет вообще.

В ИПС Агама ограничение контекста при поиске (в пределах одного предложения, трех предложений, всего текста) задается в меню настройки запроса.

В ИПС Cherchez в качестве операторов контекстного поиска введены функции adj, near, same, with. Они определяют нахождение терминов соответственно: «в одном абзаце», «в одном предложении», «рядом друг с другом», «рядом друг за другом в указанном порядке».

Может быть предложен следующий вариант операторов контекстного поиска. Оператор W обозначает слова, стоящие рядом; оператор nW — слова, разделенные не более п символами, стоящие в заданном порядке; оператор nN — слова, разделенные не более п символами, стоящие в произвольном порядке; оператор S — слава, стоящие в одном параграфе; оператор TITLE указывает, что слово должно находиться в заголовке.

В поисковых системах сети Internet в качестве инструмента оператора контекстного поиска чаще всего используется оператор NEAR.

Некоторые механизмы поиска позволяют выделить в выданном наборе документов особо полезный документ и задать операцию типа «Найти аналогичную информацию», «Найти подобные». При этом поиск выполняется на основе всех содержащихся в данном документе ключевых слов. Подобный тип поиска, который называют QBE (запрос по образцу), может быть очень эффективным, поскольку позволяет задействовать термины, которые были бы неочевидны для пользователя. Запрос типа QBE используется в качестве механизма поиска документальной информации в некоторых поисковых системах сети Internet (Excite, Open Text, WebGrawler).

При всем многообразии средств формирования запросов одним из главных требований к любой современной компьютерной системе является наличие удобного и понятного интерфейса, обеспечивающего диалог с пользователем.

Во многих современных ИПС существует возможность формулировки запросов на естественном языке. Проблема интерфейса на естественном языке достаточно успешно решается во многих системах, в которых базовым языком общения является английский, например запрос на обычном английском языке обрабатывают следующие поисковые системы Internet: AitaVista, Excite, HotBot, Infoseek Ultra, Lycos, WebGrawler. Русский язык в этом аспекте гораздо сложнее английского, так как менее структурирован, имеет более сложную морфологию и синтаксис. Поэтому в русскоязычных системах пока преобладают традиционные средства запросов.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | 119 | 120 | 121 | 122 | 123 | 124 |