Как вызывать диалог настроек, я нашел :)
Но после этого возникла другая проблема: в моем варианте в окне гораздо больше закладок, чем для того же слоя в ArcGIS. Как правильно определить набор закладок?
Код представлен ниже:
IComPropertySheetPtr ps(CLSID_ComPropertySheet);
ps->Title = L"Свойства слоя";
// pLayer - это указатель на интерфейс типа IGeoFeatureLayer
//
ISetPtr set(CLSID_Set);
set->Add(pLayer);
return (ps->EditProperties(set, (OLE_HANDLE)hwndParent) == VARIANT_TRUE) ? S_OK : S_FALSE;