Формат данных результатов мониторинга позиций сайтов

Большинство производимых мною отчётов предоставляются в формате Excel. Я считаю, что это достаточно гибкий и удобный формат данных, легко адаптируемый под мои интересы (различные режимы сортировки, фильтры, графики, и пр.) Практически для всех xls-таблиц предоставляются оригинальные результаты, произведённые моими инструментами в текстовом формате (данные, разделённые табуляцией).
Результаты анализа TracePaths формируются интерактивными формами и выводятся в обычном для Интернет формате HTML. Для контроля позиций в выдаче поисковых машин приходится, увы, опрашивать сами поисковые машины. Там, где это возможно, я пользуюсь предоставляемыми XML-API (спасибо, Гугл!). Там где это сделать нельзя, я имитирую работу обычного пользователя Интернет. (Разумеется, при этом мы минимизируем число загружаемых страниц выдачи поисковых машин, динамически анализируя их в процессе загрузки.)
Собственно процесс достаточно прост. Инструмент загрузки формирует URLs запросов к поисковым машинам, загружает страницы выдачи и аккуратно разбирает их. Я настраиваю систему мониторинга, указывая сайты, позиции которых меня интересуют с соответствующими приоритетами.
Для всех остальных видов мониторинга я пользуюсь исключительно ЛОГ-файлами продвигаемых сайтов. При этом, если необходим анализ конгломерата взаимосвязанных сайтов, я автоматически синхронизирую ЛОГ-файлы по времени с учётом географического расположения серверов.
Разборка ЛОГ-файлов, несомненно, дело несколько более серьёзное и трудоёмкое. Практически вся расчётная нагрузка ложится на плечи алгоритмически мощного инструмента TracePaths. К сожалению, я вынужден опустить тонкости алгоритмов его работы, представляющие собой know-how. Остальные инструменты — анализатор источников заходов, анализатор запросов к поисковым машинам, и другие инструменты фактически пользуются базой данных, сформированной TracePaths.

Связные записи