ОписаниеTextIndexer в режиме поиска в
Интернете
Сначала создается каталог проекта, в котором
будет наплакиваться база данных скачанных
страниц.
Затем задается список строк поиска. После того,
как список поисковых слов сформулирован,
запускается программа, которая формирует
запросы поисковой машине.
Программа скачивает каждую страницу из
предложенного поисковой машиной списка сайтов.
Скачанные файлы помещаются в древовидную
структуру файлов. Имя каждого узла состоит из
десяти букв имени файла и случайного числа.
Пользователь может создавать в структуре файлов
свои узлы категорий и вручную переносить узлы
пределах дерева операциями drug and drop.
Пользователь может усложнить поиск, изменив
первоначальный список поисковых слов.
Пользователь может дать задание скачать все
связанные с данной страницей ссылки. Так же можно
сформировать список стоп адресов и сформировать
отчет о результатах работы программы.
|