путем каких-то шаманских действий удалось поставить адекватно SOC.
Если по памяти, примерно так:
1. Ставим SOM и WebApplications (ADF и SOC не отмечаем)
2. SP3
3. Post Install
5. Ручной рестарт служб IIS и Веб-публикаций
6. в "Установке и удалении программ" изменяем установку сервера, добавляя SOC
7. снова SP3 (на всякий пожарный, в нем же исправления и для SOC могут быть)
8. Post Install (только Authorise GIS Server)
9. Post Install (Configure GIS Server с теми же аккаунтами, что на 3-ем шаге)
после этого всё получилось ))
P.S. а зарегистрировать SceneGraph.dll так и не удалось ;)