Давайте по-порядку.
Вы базу новую создали?
пост-инсталл для неё выполнили?
репозиторий в базе создался успешно?
Дальше чтобы, подключится к этой базе есть 2 варианта:
1. старый добрый способ - сначала создать новый сервис SDE с новым номером tcp-порта. Сервис должен стартовать на сервере и отчитаться, что он работает. После этого Вы можете подключаться к нему через ArcCatalog указывая параметрах соединения не только
"имя БД data, имя юзера, пароль", но новое имя SDE сервиса (или номер порта).
2. Можно, как пишет наш уважаемый PITKS, не создавать новый сервис. А создать так называемый direct-connect к этой базе. Формат строки подключения в этом случае отличается.
Вместо имени сервиса нужно написать sde:sqlserver:имя_вашего_сервера - это если сервер MS SQLServer.
А вот с правами и ролями, я всё же так как рекомендует PITKS не поступал. Все необходимые и достаточные права пользователям в зависимости от назначения расписаны в ArcSDE_Config_Gd_SQLServer.pdf