Ну ты серьезно полез в эти дела...
А не пробовал бесплатный hydro.avx (hydrov11.avx) для ArcView 3.x? В принципе, он работает предсказуемо. Вот только watershed тоже дает хаос контуров. Но я бы сказал, что это все-таки именно правильные водоразделы. Только их слишком много - они оконтуривают абсолютно все углубления, а в случае гидрологического анализа это как раз и ни к чему... Подобный анализ, в общем случае, должен использовать схему водоразделов и тальвегов с учетом рангов водотоков (долин). Запуская запрос Watershed (mygrid) не стоит надеяться получить что-либо осмысленное - это не более чем растровая игрушка.
Кстати, тот же hydrov11.avx достаточно грамотно строит тальвеги (Flow Accumulation). Как построить с его помощью водоразделы, можешь сам догадаться... Только они получаются, разумеется, растровые. Что-то типа цепочек пикселов. Ранг получаемых элементов можно пытаться регулировать с помощью чувствительности процесса.