ArcGIS Server сам по себе не предназначен для работы с растрами (большими обьемами растров) без их предварительного кеширования (как у гугля). А вот ArcGIS Image Server - предназначен. И скажу я вам - скорость сумашедшая. И кешировать ничего не надо. 9.3 будет работать с Image Server напрямую (сейчас - через .mxd) - скорость еще вЫше будет.
У есть демо сервер, но он за файрволом. Наверное вытащу его наружу. Что бы могли увидеть как все работает. 65 гигов Тифов летают.
А что касается производительности сервера при работе с векторными данными - есть куча параметров, которые надо отслеживать. Читайте pdf по ссылке:
http://www.pitks.net/AGS_Tuning_UC2007.rar (3Mbyte)