Siedzibą Muzeum jest zabytkowe kolegium pojezuickie wzniesione w latach 1695 - ok. 1740. Kolegium wchodzi w skład zespołu zabudowań usytuowanych na południowy - zachód od rynku miejskiego. Trzy skrzydła budynku wraz z przyległym kościołem pod wezwaniem św. Franciszka Ksawerego tworzą czworobok z wewnętrznym wirydarzem pośrodku. Dostęp do wirydarza umożliwia brama przejazdowa usytuowana w elewacji frontowej wschodniego skrzydła kolegium. W narożu północno - zachodnim, przy kościele od strony ulicy, skrzydło zachodnie sąsiaduje przez mały dziedzińczyk z niewielkim pałacem biskupim, zamieszkałym obecnie przez siostry zakonne. Fasady frontowe kolegium i kościoła zwrócone są w stronę wschodnią, gdzie znajduje się obszerny plac wygrodzony od ulicy płotem o żeliwnych przęsłach. Po przeciwnej stronie placu, w miejscu dawnej katedry, ustawiona jest nowa plebania, budynek dawnego seminarium duchownego i wikariat. Skrzydła kolegium mają różną długość a fasada frontowa i skrzydło północno-zachodnie zakończone są pawilonami wysuniętymi poza ściany skrzydła środkowego.
Zakon jezuitów sprowadzony został do Polski w 1564 r. przez biskupa warmińskiego Stanisława Hozjusza. Jezuici mający początkowo w swoim zakonie niewielu ludzi zamierzali założyć tylko kilka ośrodków w różnych regionach kraju. Ostatecznie o lokalizacji domów zakonnych zdecydowali fundatorzy, którzy sprowadzali Jezuitów do miast leżących w obrębie ich dóbr. Do Krasnegostawu Jezuici sprowadzeni zostali z inicjatywy biskupa chełmskiego, Stanisława Święcickiego, z działającego od XVI w. kolegium lubelskiego. Pierwszych czterech zakonników z superiorem przybyło do Krasnegostawu w 1685 r. i zamieszkało na wikarówce wykonując posługi duszpasterskie w kościele katedralnym.
Placówka krasnostawska początkowo miała charakter rezydencji zależnej od lubelskiego kolegium. Oficjalna instalacja Jezuitów w Krasnymstawie nastąpiła w 1691 r. W roku 1692 superior O. Reut wyznaczył wraz z kapitułą plac przy katedrze pod budowę większej rezydencji. Plac jednak okazał się za mały a na kupienie sąsiednich działek należących do miasta Jezuitom brakowało pieniędzy. W 1693 r. zakonnicy pozyskali nowych fundatorów budowy rezydencji (Feliksa i Krystynę z Lubomirskich Potockich, Mariannę z Liniewskich Gołuchowską, Annę z Gnińskich Zamojską oraz Teresę z Potockich Zamojską) i na wykupionych terenach na wiosnę rozpoczęto prace budowlane.
Podczas budowy nastąpiły jednak nieprzewidziane okoliczności i prace wstrzymano na rok, w którego czasie procesowano się z zakonem Augustianów i wrogo nastawioną kapitułą. Ostatecznie 5 stycznia 1694 r. pomimo sprzeciwu kapituły, biskup wystawił zupełny akt fundacyjny potwierdzający poprzednie nadania i nowe sumy lokowane na różnych dobrach. Uregulowało to ostatecznie sytuację materialną i prawną zakonu i umożliwiło kontynuowanie rozpoczętych inwestycji. W 1695 r. do większego budynku (o murowanych fundamentach i wyższych kondygnacjach drewnianych) wystawionego wcześniej, dostawiono dwa mniejsze, w tym jeden z bramą i dwoma pokojami, a drugi z refektarzem, przedsionkiem i kuchnią. Następnie wszystkie budynki połączono wspólnym korytarzem.
W 1697 roku obok kontynuacji prac wykończeniowych związanych z rezydencją przystąpiono do budowy kościoła. Inwestycję, z większymi lub mniejszymi problemami, prowadzono do roku 1704, kiedy to, podczas wielkiej wojny północnej, Krasnystaw został zajęty przez wojska pod dowództwem gen. Stenbocka. Prace budowlane w ciągu następnych lat wojny i buntów nie były prowadzone. Częste przemarsze wojsk saskich, moskiewskich i szwedzkich wyniszczyły miasto a w 1707 r. pożar zniszczył całą rezydencję i kaplicę domową, a także dach kościoła.
W 1708 r. położony został kamień węgielny pod nowe kolegium (tym razem w całości murowane) i rozpoczęto prace budowlane. W kolejnych latach prace prowadzone były niewielkimi etapami. Dopiero po ustaniu wojen i grabieży w 1717 r. do prac remontowych i budowlanych przy rezydencji i szkołach przystąpiono z większa intensywnością. W 1720 r. dotychczasową rezydencję podniesiono do rangi kolegium. Większy dom zakonny, jakim było kolegium, mógł prowadzić wyższą szkołę publiczną bądź kształcić kleryków. W 1721 r. Jezuici weszli w posiadanie przylegającego do kolegium placu i rozpoczęli starania o częściowe wyburzenie murów miejskich i rozbudowę zachodniego skrzydła kolegium. Mimo sprzeciwu rady miejskiej, dzięki zabiegom Potockich, Jezuitom udało się uzyskać specjalny przywilej królewski zezwalający na zburzenie części murów i dokończenie budowy.
Krasnostawskie kolegium zakończyło działalność w roku 1773. Breve papieża Klemensa IV z dnia 21 lipca zlikwidowało w tym roku zakon Jezuitów a po kasacie zakonu wszystkie jego placówki przeszły na własność Skarbu Państwa. Decyzją sejmu z dnia 27 września 1773 r. wszystkie dobra jezuickie miały być przeznaczone na kształcenie i wychowanie młodzieży.
Po przejęciu gmachu kolegium przez Komisję Edukacji Narodowej założono w nim trzyklasową szkołę, w której początkowo uczyli również dawni zakonnicy jezuiccy. Kościół zaś w 1776 r. zamieniony został na katedralny i przejęty przez biskupa chełmskiego. W 1780 r. w wyniku kłopotów finansowych władze KEN przekazały budynki pojezuickie biskupowi chełmskiemu, który w roku następnym scedował wszystkie prawa własnościowe na kapitułę. Sobie zostawił jedynie dwa domy murowane, z których jeden stojący tuż przy kościele nazywany jest odtąd pałacykiem biskupim. W budynku kolegium zamieszkało osiemnastu prałatów i kanoników. Pozostałe pomieszczenia zajęte były na Szkołę Parafialną.
W 1811 roku władze wojskowe w dawnym kolegium ulokowały szpital wojskowy - lazaret. W 1824 r. oprócz szpitala w budynku mieściły się też mieszkania lekarzy wojskowych i pułkownika. W latach kolejnych trwały intensywne prace remontowe. Po przejęciu w 1837 r. gmachu na własność Rządu wojsko przystąpiło do gruntownego remontu dachu. W 1902 r. w skrzydle zachodnim wybuchł pożar uszkadzając dawną salę biblioteczną. Musiano w związku z tym wymienić nad nią cały strop.
W okresie międzywojennym (1918-1939) w skrzydle zachodnim kolegium mieściło się kino, resztę obiektu zamieszkiwały rodziny wojskowych.
Po drugiej wojnie światowej do budynku dawnego kolegium wprowadzono urzędy miejskie, utworzono mieszkania i magazyny żywnościowe a od 1958 roku część piętra w skrzydle środkowym i sala biblioteczna przystosowane zostały do celów muzealnych.
W 1983 i 1984 r. przeprowadzony został remont części skrzydła zachodniego mieszczącego refektarz i dokonana została konserwacja zachodniej polichromii na sklepieniu tego pomieszczenia.
W 1995 r., po uprzednim wykwaterowaniu lokatorów, rozpoczęły się generalne prace remontowe skrzydła zachodniego oraz części skrzydła południowego z pawilonem płd.-zach. Miało to na celu przywrócenie dawnego wyglądu poszczególnych sal m.in. poprzez odtworzenie układu komunikacyjnego i odsłonienie licznych wnęk ściennych. Na pierwszym piętrze w sali zamienionej kiedyś na kapitularz odtworzone zostały dawne sklepienia i stropy odciążające oraz wymieniona została stolarka okienna i drzwiowa wzorowana na zachowanej w pałacu biskupim. Remont został zakończony w 1998 r., a w roku 1999 do odremontowanego skrzydła zachodniego przeprowadziło się Muzeum.
Od dnia 2 sierpnia 2006 r. do 30 kwietnia 2008 roku w budynku kolegium przeprowadzono remont skrzydła wschodniego i pozostałej części skrzydła południowego wraz z odtworzeniem pierwotnego kształtu dachów kolegium. Prace restauratorskie wykonywane były w ramach realizowanego przez Powiat Krasnostawski projektu pn. "Restauracja Kolegium Pojezuickiego w Krasnymstawie". Projekt ten współfinansowany był przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego oraz budżet państwa w ramach Zintegrowanego Programu Operacyjnego Rozwoju Regionalnego. W trakcie prac przeprowadzono rozbiórkę wszystkich wtórnych elementów i ścianek działowych istniejących w każdym z pomieszczeń lokatorskich. Przywrócono poziom terenu w obrębie wirydarza i murów zewnętrznych.
Obecnie, po prawie trzech stuleciach, kolegium pojezuickie w Krasnymstawie powtórnie zaistniało w panoramie i przestrzeni królewskiego miasta. Uroczyste podsumowanie projektu i oraz wręczenie symbolicznych kluczy do obiektu odbyło się w dniu 3 czerwca 2008 r. Od tej chwili w budynku kolegium pojezuickiego swoją siedzibę mają:
- Muzeum Regionalne, które zajmuje skrzydło zachodnie, pawilon płd.-zach., część skrzydła południowego i podziemia pod obiektem,
- Powiatowa Biblioteka Publiczna, która zajmuje część skrzydła wschodniego,
- Młodzieżowy Dom Kultury, który użytkuje część skrzydła południowego, pawilon, pawilon płd.-wschodni., i część skrzydła wschodniego.