Sobre el cerro de Santa Lucía se sitúan diferentes construcciones pertenecientes a diferentes momentos históricos, poblado de la Edad del Bronce, recinto fortificado en época islámica y cristiana, y en último lugar, ya en época moderna la ermita de Santa Lucía. Las construcciones más visibles del Castell Vermell forman parte de una torre rectangular que se sitúa al norte del cerro, construida con tapial de mortero de cal. El aljibe, situado en el interior de la fortificación, es visible si accedemos desde la casa del ermitaño.
En el lado suroeste del cerro y apoyada en la roca se identifica el área donde se ubica otra torre de pequeñas dimensiones, en esta ocasión con otra técnica constructiva, con piedras irregulares alineadas ligadas con mortero de cal. Diferentes documentos del Archivo Municipal de Ibi-AMI- sitúan la construcción de esta ermita aproximadamente en el siglo XVI, siendo la primera en edificasen la población. A partir de ese momento y en el entorno del cerro de Santa Lucía, es cuando la población de Ibi se expande lentamente, dando origen al casco antiguo de la población.
