Сглаживание полигонов обсуждалосЬ, и как следует.
https://forum.esri-cis.ru/index.php?qa=16732 Пока нерешенная задача. В общем случае не получается ни через линии, ни прям полигонально. Есть попытки, разумеется. наиболее продвинутое решение, точнее, цепочка рассуждений и тулзов предложена Янко Чукански. там по ссылке есть об этом. Наиболее техничный путь генерализации - разумеется, через грид-модель.
Это не значит, что не стоит пытаться - частные случаи разные бывают.