Поставьте сервис-паки для ArcSDE (вы не сообщили версию). Проверьте - можно ли просто законнектиться под юзером sys к Oracle в SQLPlus.
Если ничего не поможет (то есть коннект проходит, сервис-паки стоят, а не работает) - открываете руководство по UNIX-установке и делаете аналогично.
А в логах должна быть более развернутая строка!
Будут проблемы - пишите в тех. поддержку.