En el siglo XVIII, el cura de Aculeo, don Francisco de Arancibia y Sánchez Briceño era dueño de un terreno que Pedro de Valdivia había concedido en 1546 a Juan Jufré de Loaysa, uno de los primeros alcalde de Santiago (además de Corregidor, Oidor de la Real Audiencia y uno de los primeros descubridores de Australia y Nueva Zelanda, así como Gobernador de Cuyo y fundador de San Juan de la Frontera), denominada Encomienda de Ñuñohue.
En 1859, el empresario minero Luis Gregorio Ossa compró la chacra y ordenó la construcción de lo que sería el Palacio Ossa en la llamada chacra de San Gregorio de Ñuñoa.
El arquitecto Manuel Aldunate y Avaria fue el encargado de realizar la construcción de la mansión, finalizando en 1860 con un estilo neoclásico, simétrico, recto, muy similar a las grandes construcciones del sur de Estados Unidos y con influencia inglesa victoriana, cosa común entre los grandes empresarios mineros influenciados por los ingleses que construyeron sus grandes residencias en Valparaíso. Se destacan los jardines imponentes y ornamentados con esculturas clásicas, siendo la más importante la fuente central del jardín, traída exclusivamente desde Francia a través de la Fundición Val d’Osne.
Estilísticamente, corresponde a una mansión rural de agrado, aunque su esquema se aparta del estilo característico de las casas patronales chilenas. Es una mansión de dos pisos elevados sobre un zócalo, fundiendo en su fachada algunos elementos clásicos y otros propios del modelo hacendal.
Formalmente, se trata de una construcción de dos pisos elevada sobre un zócalo. El primer nivel es un largo volumen rectangular rodeado de un corredor porticado al que se accede por una escalinata instalada en el centro de cada uno de los cuatro costados. El segundo piso, por su parte, ocupa una posición central con respecto al eje transversal de la casa, cuyas dimensiones son alrededor de la mitad del primero. En este nivel se ubica también una gran terraza.
En términos constructivos, los materiales predominantes son la piedra y la cal. Sus muros son de albañilería de ladrillos con mortero de cal, todos de un importante grosor. Posee refuerzos metálicos en dintel de vanos, y tabiques interiores de madera rellenos con adobe y listones de madera. La armadura de su techumbre es madera de roble, la cubierta de fierro galvanizado, y el entrepiso de losa de hormigón armado.
Hacia 1910, la gran mansión fue vendida a don José Pedro Alessandri, político y empresario (hermano del futuro presidente Arturo Alessandri Palma), rebautizándolo como “Santa Julia“, en honor a su esposa Julia Altamirano. La familia mantuvo la casa hasta 1952 cuando es donada a la Ilustre Municipalidad de Ñuñoa. Así, el 9 de mayo de 1953, el Alcalde don José María Narbona inaugura solemnemente la Casa de la Cultura y la Biblioteca Gabriela Mistral. Entre 1962 y 1968, la Casa de la Cultura fue dirigida por el connotado muralista Gregorio de la Fuente, que le dio el toque a la infraestructura con mosaicos y nuevas baldosas de estilos muy disimiles y con claras connotaciones religiosas.
El Decreto 723, del 15 de junio de 1973 y que consideraba la petición levantada por el Consejo de Monumentos Nacionales debido al mérito arquitectónico de la casa y especialmente del parque que la rodea, declara la Casa de la Cultura como Monumento Histórico.