"Entry for SDE instance not found in services file" - Вы должны или прописать в файл WINDOWS\system32\drivers\etc\services на клиенте строку :
esri_sde 5151/tcp #ArcSDE for SqlServer
или использовать в параметрах подключения просто номер порта - по умолчанию он 5151.
Но при установке SDE могли использовать другой порт - проверьте на сервере содержимое файла %SDEHOME%\sqlexe\etc\services.sde
При этом ошибка должна возникать в момент подключения, а не "при попытке внести изменения в базу из программы".
Вот так должно работать:
Dim pPropSet As IPropertySet
Set pPropSet = New PropertySet
With pPropSet
.SetProperty "Server", "srv2"
.SetProperty "Instance", "НОМЕР_ПОРТА_В_КАВЫЧКАХ"
.SetProperty "database", "sde"
.SetProperty "user", "sde"
.SetProperty "password", "мой_пароль"
.SetProperty "version", "sde.DEFAULT"
End With