http://webhelp.esri.com/arcgisdesktop/9.3/index.cfm?TopicName=How TIN Polygon Volume (3D Analyst) works
Для начала проецируем границы полигона на поверхность и вырезаем ими кусок поверхности. Получаем площадь поверхности.
Потом предполагаем, что полигон наш лежит в горизонтальной плоскости на высоте, заданной в атрибуте полигона.
Разница между этой плоскостью и вырезанным куском поверхности даст объем.
Вот в качестве полигона выбран некий прямоугольник:
Видно какой объем Вы получите?