Это не простой вопрос не только в ГИС :( - достаточно минут пять над этим подумать... :) Отдельно стоящий полигон, конечно, никто не мешает сгладить подобно линии, а как насчет сплошного покрытия? Либо пострадает топология, либо - логика контуров полигонов... Однозначного алгоритма, насколько я знаю, нет, и вряд ли стоит уповать на ESRI. Наверно, разумнее всего будет использовать Spatial Analyst - хотя после него как раз и приходилось править "ступенчатые" полигоны :)