Эта подзадача - определение границы - всегда стоит в любых задачах моделирования. Принципы построения границы обычно опираются как раз на триангуляцию (решение задачи с конвертом).Там ее и надо искать. Была такая команда в Datamine, вроде была в TerraModeler, GeoTerrain и т.д. и т.п. Подзадача не однозначная, если тебе нужна вогнутая граница, поэтому обычно в дело замешивается ряд параметров - чувствительность метода, предел удлиненности треугольника и другие.
Ближайшая программа, где есть триангуляция - 3D Analyst. Но он, естественно, не умеет строить вогнутый контур. Также он не умеет строить полигон вокруг своего тина (по крайней мере, без программирования этой самой функции ConvexHull). Поэтому удобнее использовать TIN-функции EditTools, там это просто. Там же есть функции для чистки полигональных тем, это позволяет удалить "щепки" (в данном случае паразитные длинные треугольники). Это хоть как-то помогает вдавливать границу.
Однако я сомневаюсь, что так запросто можно найти под ArcХ функцию для вогнутого оконтуривания в приличном исполнении, а без него в серьезных делах никак...
Если вогнутостей немного, можно применять полуавтоматический метод - делить множество точек на выпуклые облака, а потом складывать итоговые полигоны.