метод трансформации зависит от вашей ситуации. Если проекция известна, и карта отсканена ровно, то ситуация плоская и достаточно двух надежных точек. Ну еще парочка для контроля, желательно все 4 по углам или возле.
Если точки ваши не узлы сетки и не репера, а углы дорог и излучины рек, то от того, как вы их подобрали, зависит и метод и все остальное. На "плохих точках" даже десяток не даст надежной привязки, и любой самый изощренный полином только искорежит ваш растр. не обольщайтесь также ошибкой - она считается относительно всех остальных точек, и если все они неточные, то и ошибка неточна.
Лучше поработайте с точками как следует, выкиньте сомнительные, оставьте надежный минимум, поищите координаты реперов и поугадывайте проекцию. Если известен хотя бы вид проекции, подбирать метод и параметры уже проще. Небольшой ликбез на эту тему вот
тут.
