Посмотри правильно ли у тебя настроены виртуальные папки на сервере.
Виртуальные папки ArcGIS Server или IIS?
А что конкретно там надо смотреть?
Если же http://server/arcgis/rest/service/2/4/4.png - это прямой запрос на кеш. Сервер в этом случае вобще не используется (только REST .NET приложение).
Похоже всё же что-то там используется.
У меня при первом обращении долго открывается как http://server/arcgis/rest/service, так и http://server/arcgis/rest/service/2/4/4.png (открываю через браузер). Как раз те же симптомы: хард не шуршит ни на клиенте, ни на сервере, процессор везде простаивает, просто чего-то ждём. Через сколько-то секунд ссылка наконец успешно открывается, и после этого вроде все запросы проходят очень шустро.
Если перезапустить IIS (или только пул, под которым запускается /arcgis/rest), то при первом обращении снова пауза.
Что происходит, когда идёт обращение по этому пути (arcgis/rest/service)?
Там в rest.config прописаны какие-то веб-ссылки. Мой сервер отрублен от интернета. Он никуда не пытается обратиться?
Ко всякому статичному содержимому IIS пускает мгновенно и после перезапуска.
Чтобы исключить клиента, попробовал открыть rest/service с сервера - всё то же самое.
P.S. А я уж думал, что успешно решил свою проблему с производительностью.