Der Ort ist wahrscheinlich nach dem Landrat Palle Juel benannt, der 1560 von der Krone den Hof Padbjerg erwarb, den er zum Kern einer Gutssammlung machte. Seine Familie und andere Adelsfamilien besaßen den Ort bis 1692, als er von dem unternehmungslustigen Kaufmann Christen Linde (1626-1708) aus Holstebro gekauft wurde. Linde erlangte insgesamt 12 jütländische Herrenhäuser, darunter Volsted, Bækmark und Ulsund, und wurde 1704 unter dem Namen de Linde zum Ritter geschlagen.
Der letzte Herr auf Pallisbjerg war der Kreditgenossenschaftsdirektor, Hofjäger Christian Benzon Hoppe, der es 1872 kaufte und 1898 das heutige Hauptgebäude nach Plänen von Professor H. C. Amberg baute. Das Hauptgebäude sollte für seine Silberhochzeit und der der Baronin Juliane Cathrine Wilhelmine Wedel-Jarlsberg fertiggestellt werden, doch sie starb leider vor der Fertigstellung des Gebäudes. 1914 verkauften seine Erben das Gut an den Händler P.C. Rørsgaard aus Vemb, der es 1940 an den Staat verkaufte.
Pallisbjerg wird heute hauptsächlich zur Vermietung der Ferienwohnungen im Turmflügel genutzt, während das Hauptgebäude überwiegend privat oder für kleinere Veranstaltungen genutzt wird.
Bis 1991 wurde Pallisbjerg z.B. als Internat genutzt. Irgendwann übernahm die Stadt Kopenhagen es als Waisenhaus; es wurde jedoch so schlecht instand gehalten, dass es Ende der 1980er Jahre eine Abrissgenehmigung erhielt. Glücklicherweise wurde es gerettet und befindet sich seitdem in Privatbesitz.