Die erste Pfefferkuchenbäckerei wurde vermutlich 1805 von Karl Friedrich Klitzsch, geb. am 21. Dezember 1769 in Wildenfels, begründet. Er war der Sohn des Bäckers Johann Christian Klitzsch, hatte aber das Handwerk nicht zünftig erlernen können, weil er als 3. Kind von 8 Kindern frühzeitig zum Familienunterhalt beitragen musste. So verdiente er sich den Lebensunterhalt mit einen kleinen Kalkhandel. Diesen Kalk (Lösch- und Branntkalk), dessen Produktion in Wildenfels sozusagen vor der Tür lag, fuhr er mit einem Karren, dem Schiebbock, bis in die Glauchauer und sogar in die Altenburger Gegend.
1796 übernahm er das Haus seiner Mutter und heiratete Johanne Rosine Pfau aus Lößnitz. 1804 wurde er Witwer und heiratete die Schwester seiner verstorbenen Frau.
Auf Grund der strengen Zunftvorschriften konnte er die Bäckerei des Vaters nicht fortführen. Er erkannte, dass der Zunftzwang der Wildenfelse Bäckerinnung auf die Pfefferkuchenproduktion nicht zutraf und auch nicht auf diese ausgedehnt werden konnte. So fand er diesen Ausweg und begann mit der Pfefferkuchenbäckerei. Die ersten Versuche misslangen. So soll ihm der erste gesottene Zucker aus dem Backofen gelaufen sein. Er ließ sich aber nicht entmutigen, stand doch auch sein Gläubiger dahinter, von dem er das nötige Startkapital geliehen hatte. Bald stellte sich der Erfolg ein. Und danach begannen weitere Wildenfelser Bäcker mit der Pfefferkuchenbäckerei. Wohlschmeckende Pfefferkuchen waren nun zur Weihnachtszeit nicht mehr wegzudenken. Mit Tragkörben wurden sie weiter ins Land gebracht und verkauft, eine saisonbedingte Ware, aber ein Zubrot für das damalige arme Bäckerhandwerk.

Ende 1925 gab es im kleinen Städtchen Wildenfels 8 Pfefferküchler. Nach und nach wurde durch Geschäftsauflösungen die Zahl der Bäcker immer geringer, aber die echten Wildenfelser Pfefferkuchen gibt es zur Weihnachtszeit noch heute. Die Konditorei und Bäckerei Unger in Wildenfels bietet als einzige diese Pfefferkuchen an, die 1995 sogar patentiert wurden.

Seit September 2003 ist in zwei Räumen rechts im ersten Schloss- torbogen auch ein Pfefferkuchenmuseum zu finden. Die vom Antikhof Johannes Heyder, als Leihgabe zu Verfügung gestellten Exponate zeigen nicht nur eine historische Ladeneinrichtung, auf deren Schild der Name Moritz Kahlert zu lesen ist, der seine Bäckerei im Jahr 1896 gegründet hatte, sondern auch Verpackungsarten, Verpackungsmaterial, verschiedene Backutensilien und Formen der Pfeffer- kuchen, dass so genannte Model. Die Geschichte der Pfefferküchlerei ist auf Text- und Bildtafeln sowie alten Schriftdokumenten aus jener Zeit anschaulich dargestellt.

Verschiedene Formen und Aufkleber verschönerten die Pfefferkuchen als Schneemann, Weih- nachtsmann, Hänsel und Gretel oder versah sie mit Glückwünschen.
Wenn zur Weihnachtszeit die Pyramide sich dreht und "is Rachermannel naabelt", dann gehört auch der traditionelle Wildenfelser Pfefferkuchen zum Fest.