El Palacio de San Carlos es una de las referencias de Trujillo y su Plaza Mayor. Se sitúa al lado de la Iglesia de San Martín y ocupa una de las esquinas de acceso a la plaza.
La construcción es de gran volumen, de cuatro alturas, presenta unos costados muy decorados. Su nombre de debe al Ducado de San Carlos que tenían sus propietarios.
Muy característico su balcón esquinado, coronado por el escudo de los Vargas y Carvajal, muy presentes en todo el palacio