Замок Шкворец за свою многовековую историю сменил не мало хозяев. Он переходил от одних знатных собой к другим, по наследству, продавался, отбирался. В какой-то период своего существования, замок был практически разрушен. Однако власти Чехии приняли решение о восстановительных работах, для сохранения культурного наследия и создания в замке музея.
Все началось со строительства крепости в 1279 году, ее создателем был камердинер королевы. От этой крепости сохранились лишь вырубленный колодец в скале и внешняя крепостная стена. В XIV архиепископ Вольфрам, взяв за основу старую постройку, достроил капеллу и готическую башню с разводным мостом. После чего поселился в замке, сделав его своей резиденцией.После архиепископа Вольфрама замок Шкворец перешел к королевскому прокурору Клинштейну, а тот продал его аристократу Смиржицкому. В свое время, Смиржицков претендовал на трон, но потерпел поражение и лишился своего имущества. Его владения перешли к Вальдштейнам, которые в 1623 году продали Шкворец Карлу фон Лихтенштейну.
Эта династия владела замком на протяжении трехсот лет. За эти годы замок расстраивался, усовершенствовался. Больше всего его благоустройством занималась знаменитая Мария-Тереза Савойская. Благодаря ее трудам и стараниям в замке Шкворце появились такие элементы, как костел святой Анны, статуи святого Доната и святого Прокопа. Именно в эти годы замок приобрел статус дворца. Его даже называли Савойским замком. После смерти последнего из Савойской династии, замок пришел в запустение. Поговаривают, что в 1800 году в этом замке был расквартирован отряд русского полководца Суворова. В XIX веке практически весь замок был разрушен. Сохранились несколько строений и башня. Но в 20087 году начались работы по восстановлению замка Шкворец.