Встречал такое поведение, когда геометрия полигона, вдоль которого происходит трассировка, слишком сложная. Много точек, большое количество дырок внутри.
В такой ситуации просто разбивал этот полигон на более мелкие куски. Иногда достаточно просто разрезать его попалам.
Другой вариант: перевести полигоны в линии (это будет временный файл для работы) и трассировать уже по линии, предвариательно вырезая из нее интересующий участок инструментом Split tool.
Еще можно применить топологию карты или автозавершение полигонов вместо трассировки, если возможно. Но это уже зависит от конкретной ситуации и данных.
P.S. Хотя сам отдаю предпочтение именно последнему способу и трассировкой стараюсь не пользоваться совсем. Субъективно она вносит куда больше топологических огрехов и часто глючит.