ArcMap сам никак не управляет "сглаживанием" линий и текста.
Он перекладывает эту задачу на Windows и драйвер видео-карты.
С текстом (аннотациями) и "шрифтовыми" маркерами всё решается довольно просто - поищите в поисковиках, как в Вашей версии Windows включить ClearType.
http://www.wseven.info/cleartype/
С линиями сложнее. Если нет такой опции в настройках видео-драйвера для 2D, то на экране они такими и будут. При печати можно использовать или большее разрешение, или печатать в векторный формат (EPS, AI, PDF), а потом выводить на печать другим софтом.
В ArcMap можно управлять "сглаживанием", только при публикации карты, как сервиса и построении кэша.
http://help.arcgis.com/en/arcgisdesktop/10.0/help/index.html#//00sq0000000w000000.htm
Но сглаживание и того, и другого есть в настройках ArcGIS Pro.
http://pro.arcgis.com/en/pro-app/help/mapping/properties/display-options.htm?lg=en