Открывать бинарный файл в текстовом редакторе занятие довольно бесполезное.
Помимо ценной информации о компонентах и параметрах карты, которая там хранится, присутствует также мусор крушения программы (из-за чего файл имеет обыкновение разрастаться).
Вынуть из MXD программный код, а также кое-какую информацию о слоях можно через программирование, а также помнится есть всевозможные утилиты если хорошо поискать.
Но смысл? Чтобы получить список 5 слоёв на карте? Их способ отображения может не поддерживаться MapWindow, называться по другому и т.п. Какой смысл глубоко влезать в MXD ради этого? (Скорее всего это в принципе возможно, если на то пошло, и потратить несколько дней).