Память? Или процессор?
Слишком мало информации Вы выдаете, чтобы что-либо предполагать.
Кроме того, что Вы установили 9.3 и после этого начались проблемы, Вы ничего не сообщили.
SP1 стоит?
патчи установили?
http://support.esri.com/index.cfm?fa=downloads.patchesServicePacks.viewPatch&PID=66&MetaID=1456
http://support.esri.com/index.cfm?fa=downloads.patchesServicePacks.viewPatch&PID=66&MetaID=1495
http://support.esri.com/index.cfm?fa=downloads.patchesServicePacks.viewPatch&PID=66&MetaID=1509
Что пишется в логах SDE:
%SDEHOME%\etc\*.log?
Какая версия ОС?
Сколько пользователей подключается?
Проблема может быть как в самой Windows, так и настройках SDE+Oracle.
В первую очередь сюда:
http://support.esri.com/index.cfm?fa=knowledgebase.techarticles.articleShow&d=23953
Как вариант, для начала проверить как работает с прямым подключением к Oracle (direct connect) - также вываливается или нет.
http://webhelp.esri.com/arcgisdesktop/9.3/index.cfm?TopicName=Setting_up_a_direct_connection_to_Oracle
Также в Oracle можно посмотреть какой из запросов выполняется долго - и проверить что происходит.
Возможно, необходимо перестроить пространственные индексы для определенных слоев - ищите какие из них рисуются долго.
После загрузки данных и при частом редактировании нужно периодически собирать статистику в Oracle - в ArcCatalog правой кнопкой на слое -> Анализировать.