O zamku w Chrzelicach wspomina się w transakcji z 1380 r. pomiędzy Henrykiem Niemodlińskim a Peterem Heidenreichem. Dotyczyła ona ziemi w pobliżu kościoła na Starym Mieście – wówczas wioski położonej koło Białej. Wiadomo jednak, że zamek w Chrzelicach już od 1366 r. był własnością panów z Prószkowa pod Opolem. Charakterystycznym elementem zamku była cylindryczna wieża, zbudowana jako pierwszy jego element już w pierwszej połowie XIV w. W latach 80. XIV w. przeszedł na własność Piastów. W 1532 r., po śmierci Jana II Dobrego i wygaśnięciu linii Piastów Opolskich, zamek stał się własnością śląskich rodów rycerskich, przechodząc co kilka lat z rąk do rąk, natomiast później budynek ponownie przejęła rodzina von Proskowsky. W 1605 r. Hans Schneider von Lindau stworzył projekt przebudowy fortyfikacji wokół zamku; projekt nie został jednak zrealizowany. W XVII w. zamek przebudowano na pałac w stylu barokowym. Pod koniec wieku XVIII właścicielem budynku stało się państwo pruskie, natomiast w XIX w. był dzierżawiony przez rodzinę Hellerów. Ostatnim niemieckim właścicielem pałacu była rodzina von Tiele-Winckler z Mosznej. W czasie II wojny światowej w zamku mieścił się sztab łączności. Mimo tego faktu, zamku nie zniszczyły działania wojenne. Po wojnie pełnił on funkcję mieszkalną oraz świetlicy wiejskiej. Przez zaniedbania władz państwowych jego stan techniczny szybko się pogarszał. Zamieszkujące w nim rodziny wysiedlono, natomiast w kilka lat po tym zapadł się dach zamku, zrywając wszystkie stropy i niszcząc część ścian. Dziś zamek stanowi ruinę.