По идее он не должен декодировать весь файл, а выборочно только тот кусок растра, который отображается на экране. Хотя не все форматы сжатия позволяют такое делать. Желательно выбирать тот, который позволяет. Про img не знаю.
Наверное стоит попробовать поменять формат хотя бы для нескольких растров и посмотреть, изменится ли производительность. Попробуйте, например, tif со сжатием или без, MrSID.
У вас растры, случаем, не перепроецируются на лету?
Не смотрели - процессор тормозит или диск?