Продолжая разговор Катастрофическая нехватка времени не позволяла написать раньше. Итак промежуточный отчет о работе сервиса. В ходе испытаний ставилась задача определить работоспособность сервиса на больших массивах данных и разобраться с забаниванием.
Немного о системе:
Тип ЦП DualCore AMD Athlon 64 X2, 2419 MHz (11 x 220) 4800+
Системная память 2048 Мб (DDR SDRAM)
Дисковый накопитель WDC WD740GD-00FLC0 (74 Гб, 10000 RPM, SATA)
Сетевой адаптер Marvell Yukon 88E8001/8003/8010 PCI Gigabit Ethernet Controller
Операционная система Microsoft Windows XP Professional SP 2
Server Microsoft SQL Server 2005
ESRI Software ArcGIS 9.2 SP2, ArcSDE 9.2 SP2
В ходе первого теста с параметрами 2000 блоков с 90 секундным таймаутом скачивалось 26000 блоков. Скачка и геореференсинг проходили 2:30. При дальнейшей заливке в SDE сервис вырубился с рантайм ерором. Возможно это связано с ерорными пикселами возникающими при скачивании (падение сети, глюк сервиса, отсутствие на данном уровне зума, забанивание)
Далее опять выделялась таже область, блоки брались из кеша, которых не было докачивались. Лепка в мозаику SDE осуществлялась порядка 2:30 часов.
Дальнейшие эксперементы показали, что при выборе зоны скачивания где присутствуют места с отсутствием блоков нужного уровня, могут возникать проблемы с записью мозаики. Могут возникать следующие ошибки:
Также видимо из-за эрорных блоков при записи могут возникать следующие чудеса:
Необходимо отметить, что при настройках антибана 2000-90 происходило забанивание. Возможно это связано с ними самими, а возможно у гугла есть лимит, например, на скачивание за день. Так это или нет предстоит еще выяснить. Эксперементально было установлено, что гугл при забанивании выдает ерорный кук. Чтобы отбаниться необходимо ввести в адресную строку эксплорера урлик на любой тайлик, далее гугл выдаст сообщение, что с вашего компа ломятся роботы или у вас вирусы, на этой странице необходимо ввести предложенное им слово, после чего загрузится нужный тайлик.
На этом моменте происходит частичное отбанивание, то есть гугл отправляет хороший кук и работает гуглмапс. Но гсервис и регет сразу работать не будут, а при попытках будут опять баниться. Так после частичного отбанивания, гсервис вновь заработает примерно через сутки. А вот кому совсем не вмоготу, могут воспользоваться регетом. Для нормального скачивания через него нам необходимо указать скачиваемым блокам какой им юзать кук. Для этого забираем правильный кук, который мы получили при введении волшебных слов гуглу. Сделать это можно, например, в мазиле, предварительно установив на нее фаербаг:
Затем запускаем регет, убираем функцию автоматического старта очереди, далее импортируем нужную очередь, далее выделяем ее всю, щелчек по правой кнопке, заходим в пропертис, там в настройках шттп вставляем полученный кук
Затем стартуем очередь, но лучше не всю, а кусками по 1500-3000, а то опять попадете по бан. Все блоки будут скачены как положено, но гсервис работать не будет. Каким образом внедрить правильные куки в него - тема для дальнейшего исследования.
После серии испытаний было принято решение выбирать территорию скачивания где практически нет отсутствующих блоков, параметры антибана ставятся на 1500-100.
7000 блоков скачены и залиты в SDE за 1:20
14000 блоков скачены и залиты в SDE за 2:00
Подводя промежуточные итоги необходимо сказать, что сервис является полнофункциональным работоспособным средством, полностью совместимым с ESRI ArcGIS 9.2 и ArcSDE 9.2, вобравшим в себя все заявленнные пользователями требования. Сервис прекрасно проявляет себя как подглядывалка и силино облегчает жизнь для профессионального скачивания. В качестве дополнения и возможного устранения ошибок при записи мозаики предлагается заменять все ерорные блоки (отсутствие блоков на нужный уровень зума и др.) на пустые белые блоки.