LO podrias hAcer con iptables con lo cual le dices que ip de dominios aceptas a tu puerto 25 y a que puertos de otro host se puede conectar tu servidor
YO no le veria ventaja porque si pones un servidor de correo es para que se comuniquen contigo, poniendole estas trabas solo dices quien te escribe y si es asi es mejor que les pidas el mail a la gente solo para tu escribirle ;) o si lo que quieres hacer es comprobar que te envian correo de una cuenta valida y con una IP que tenga resolucion inversa te recomiendo exim, en el cual yo lo he probado