Серверу SL не нужен. Сервер знает только про REST. Кто уж там будет этим интерфейсом пользоваться - silverlight, flex, js или ещё кто - серверу без разницы.
-----------
У вас сервер общедоступный? Можно взглянуть на него?
В service browser'е свой сервер правильно прописываете?
http://mydomain/ArcGIS/rest/services/
?
Создаёте ArcGISDynamicMapServiceLayer? Не пытаетесь ли найти кэшированный сервис, там где все динамические?
Обычный браузер нормально заходит на сервер через rest?
Что будет, если руками в xaml указать путь к сервису?
Скачайте fiddler, посмотрите, отсылаются ли запросы. И что конкретно возвращается.