Zámek v Chrzelicích se zmiňuje v transakci z roku 1380 mezi Henrykem Niemodlińským a Peterem Heidenreichem. Jednalo se o půdu poblíž kostela na Starém Městě - pak o vesnici ležící poblíž Bialé. Je však známo, že hrad v Chrzelicích byl od roku 1366 ve vlastnictví pánů Prószkowa u Opoli. Charakteristickým prvkem hradu byla válcová věž, která byla postavena jako první v první polovině čtrnáctého století. V 80. letech 20. století se stal majetkem Piastů. V roce 1532, po smrti Jana II Dobrého, a po skončení linie Opolských Piastovců se stal hrad majetkem slezských rytířských rodin, každých pár let měnil ruce, zatímco později byla budova znovu převzata rodinou von Proskowských. V roce 1605 vytvořil Hans Schneider von Lindau projekt rekonstrukce opevnění kolem hradu; projekt však nebyl realizován.
V 17. století byl zámek přestavěn na barokní palác. Na konci 18. století se stal vlastníkem budovy pruský stát, zatímco v 19. století si ho pronajala rodina Hellerů. Posledním německým majitelem paláce byla rodina von Tiele-Winckler z Mosznej. Během druhé světové války byl v zámku umístěn komunikační štáb. I přes tuto skutečnost nebyl hrad válkou zničen. Po válce sloužil jako obytná a vesnická společenská místnost. V důsledku nedbalosti státních orgánů se jeho technický stav rychle zhoršil. Rodiny, které v něm žily, byly vysídleny, o několik let později se střecha hradu zhroutila, trhala všechny stropy a ničila některé stěny. Dnes je hrad ruinou.
