Pod koniec XVIII wieku w Gliwicach rozpoczął się proces gwałtownego rozwoju przemysłowego. W ciągu kilku dziesięcioleci miasto wyrosło na jeden z najważniejszych ośrodków przemysłu ciężkiego na Śląsku. Huty i kopalnie decydowały o obliczu miasta, przedsiębiorcy dorabiali się nieprawdopodobnych fortun. Na początku lat 80. XIX stulecia do Gliwic przyjechał z Wrocławia niespełna 30-letni Oskar Caro. Wywodził się z zamożnej, żydowskiej rodziny, kontrolującej Hutę Hermina w Łabędach. Do jej bezpośredniego nadzoru został właśnie skierowany. Niedługo po przyjeździe ożenił się z Florą Lubowski, córką właściciela firmy budowlanej. Dla młodej pary została wkrótce wzniesiona okazała rezydencja.
Willa Caro powstawała w latach 1882-1885. Zaprojektował ją i wybudował prawdopodobnie sam ojciec panny młodej, Salomon Lubowski. Pierwotnie budynek był jednopiętrowy i otaczał go rozległy ogród. Później dobudowano drugie piętro. Oskar Caro zmarł w 1931 roku, a willa już trzy lata później stała się siedzibą muzeum.
Budynek reprezentuje spokojny i elegancki styl neorenesansowy. Jednak prawdziwe piękno skrywa w środku. Wrażenie robi już reprezentacyjny hol, z którego można się dostać do jadalni, dużego i małego salonu czy gabinetu. Na piętrze przewidziano prywatne apartamenty właścicieli. Kuchnię ulokowano w piwnicy, skąd potrawy do jadalni transportowano windą. Zachwycają modrzewiowe boazerie, schody, stropy, sztukaterie, żyrandole i meble. Mamy tutaj cały przegląd stylów, co jest charakterystyczne dla eklektycznych rezydencji w XIX w.: od neorenesansu, przez neobarok, po empire i biedermeier.
Obecnie na parterze Willi Caro można zwiedzać stałą ekspozycję „Dziewiętnastowieczne wnętrza mieszkalne willi górnośląskich przemysłowców”. Na wystawy czasowe zaprasza się na pierwsze i drugie piętro.
We wnętrzach Willi Caro często odbywają się koncerty i recitale, wykłady, spotkania oraz konferencje naukowe.
Od 2010 roku w swoją siedzibę ma tutaj też „Czytelnia Sztuki”, czyli galeria sztuki współczesnej.
