Как поместить много растров в один "быстрый" слой?

Question

Есть полторы тысячи рисунков tif с соответствующими файлами привязок tfw. Общий объем - около полутора гигабайт. Для всех файлов используется единая цветовая палитра. Задача - собрать эти растры в единый слой/каталог/группу или как угодно. Но важно чтобы можно было отключать все растры одной галочкой, ну и конечно, чтобы интерфейс пользователя не был перегружен.
В данный момент используем Arcview 3.x. Он понимает каталоги растров собранные старым ArcInfo (команды arc, createcatalog, addimage). Собирается такой слой довольно шустро (в случае добавления/изменения составляющих его растров), загружается в ArcView 3.x тоже очень шустро.
Как создать в ArcGIS 9.3 подобный каталог (или может быть появилось нечно более продвинутое)? Пока не нашёл, не хотелось бы оставлять старый ArcInfo для такой сборки.
Пробовал собирать все растры в Group layer через ArcCatalog. Собирается долго, но это ладно. Важно, что в ArcMap такой слой загружается чересчур долго, при каждом открытии проекта приходится выходить покурить на несколько минут. Не то.

Answer 1

Полтора гига несжатых тифов не так уж много. Если с перспективой и есть возможность, то ArcGIS ImageServer либо хотябы ArcGIS Server Basic Edition (ArcSDE). Если штатно, то создание файловой базы геоданных, в котрой лепите либо одно изображение (мозаика), либо создаете каталог растров.  

Answer 2

Полтора гига несжатых тифов не так уж много.

Сжатых, пардон, что не уточнил сразу. CCITT G4.

Если с перспективой и есть возможность, то ArcGIS ImageServer либо хотябы ArcGIS Server Basic Edition (ArcSDE).

Не нашёл демо-версий, доступных для скачивания. А покупать не понятно что - не хочется. Особенно учитывая стоимость.
Хотя второй может быть получится помучать, кажется знаю, где он установлен. Если полностью устроит и найдём куда ещё его применить - купим, спасибо за совет.

Если штатно, то создание файловой базы геоданных, в котрой лепите либо одно изображение (мозаика), либо создаете каталог растров.

Не знал что каталоги создаются только в файловой базе.
Сделал, появились новые вкладки, теперь можно настраивать цвета растров. Например черно-белый растр сделать сине-белым, чтобы не так резал глаза. Для старых каталогов ArcGIS 9 почему-то прикидывается что не умеет такое делать (Arcview 3.x может).
Единственное - каталог создаётся довольно долго. Не подскажете, как можно ускорить этот процесс? Не знаю, помогает это здесь или нет - но я сразу отключил построение пирамид и статистику. Всё равно очень долго.
И самое главное - подскажите, можно ли как-то автоматизировать сборку слоя? Например хотелось бы написать скрипт vbs, чтобы можно было запускать его удалённо или по расписанию. Есть ли внешний интерфейс у ArcCatalog?
Осталось решить эту задачу, и можно наконец-то переходить на ArcGIS 9 :) Всё остальное вроде решается проще.

Answer 3

Не знал что каталоги создаются только в файловой базе.

  Каталоги можно создавать и в персональной базе и в SDE.

Не знаю, помогает это здесь или нет - но я сразу отключил построение пирамид и статистику. Всё равно очень долго.

  Это приведет к тому, что будет очень долгим отображение вашего каталога. А очень долго - это сколько?

 

И самое главное - подскажите, можно ли как-то автоматизировать сборку слоя? Например хотелось бы написать скрипт vbs, чтобы можно было запускать его удалённо или по расписанию. Есть ли внешний интерфейс у ArcCatalog?

Можно, например, через ModelBuilder. С удаленным запуском у программеров спросите.

Answer 4

Это приведет к тому, что будет очень долгим отображение вашего каталога. А очень долго - это сколько?

Отображается достаточно шустро, я включаю ограничения на масштабы отображения растров. Так что к этому вопросов нет. Загружается проект тоже очень быстро.
Вопрос в длительности _создания_ каталога. Поэкспериментировав выяснил, что если указывать параметру Raster management type значение Unmanaged, то создание ускоряется. По умолчанию стоит managed - каталог из моих 1500 растров создаётся примерно 8 часов (Intel Core 2 Duo E4600, 2ГБ RAM). Если указать unmanaged - время сокращается ~до 13 минут. Пирамиды и статистика отключены в обоих случаях. Включено LZ77.
Старый arcinfo 8 пересобирает такой каталог за 30сек)
Но это ладно, грустно, но не фатально. Если научиться пересобирать каталоги автоматически по расписанию, то как-то можно будет с этим жить. С удалённым запуском проблем нет, главное разобраться с объектами Arccatalog. Спасибо за подсказку насчёт ModelBuilder, погляжу.

Answer 5

Поэкспериментировав выяснил, что если указывать параметру Raster management type значение Unmanaged, то создание ускоряется. По умолчанию стоит managed - каталог из моих 1500 растров создаётся примерно 8 часов (Intel Core 2 Duo E4600, 2ГБ RAM). Если указать unmanaged - время сокращается ~до 13 минут.

  Интересно вы рассуждаете - увеличили скорость построения каталога в 35 раз одной галочкой. Но физически то посмотрите, что с данными происходит и где они хранятся. Вы хотите, чтобы данные в базе хранились или нет? Если выбираете managed, то ваши 1500 растров заливаются в базу и хранятся в ней, на это и требуется столько времени, если же выбираете unmanaged, то в базе создается лишь схема каталога в которой указываются пути на ваши тифы, которые физически никуда не перемещаются.

Впрочем для загаловка темы unmanaged вполне подходит.

Answer 6

  Интересно вы рассуждаете - увеличили скорость построения каталога в 35 раз одной галочкой. Но физически то посмотрите, что с данными происходит и где они хранятся. Вы хотите, чтобы данные в базе хранились или нет?

Нет, само по себе хранение в базе мне абсолютно не нужно. Более того, так как оно сейчас - мне даже удобнее. Могу легко получить доступ к растрам не только из ArcGIS. Ну например так легче подправить растр в каком-нибудь Paint, без всяких импортов/экспортов. Плюсы хранения в базе для меня пока не настолько актуальны (или я про них не в курсе). Отображаются растры и так достаточно шустро.
Так что достаточно схемы. Главное, что в ArcMap все растры отображаются и конфигурируются как один слой, не захламляя интерфейс.
Попробую поискать ещё галочки, которые могут ускорить построение каталога :)

Answer 7

Решение ваше понятно. Успехов вам!