Stedet har formentlig navn efter landsdommer Palle Juel, der i 1560 fra kronen erhvervede gården Padbjerg, som han gjorde til kernen i en godssamling. Hans slægt og andre adelsslægter ejede stedet indtil 1692, da det blev købt af den foretagsomme købmand Christen Linde (1626-1708) fra Holstebro. Linde kom til at eje i alt 12 jyske herregårde, deriblandt Volsted, Bækmark og Ulsund, og han blev i 1704 adlet under navnet de Linde.
Den sidste herremand på Pallisbjerg var kreditforeningsdirektør, hofjægermester Christian Benzon Hoppe, som købte den i 1872 og byggede den nuværende hovedbygning i 1898 tegnet af professer H C. Amberg. Hovedbygningen skulle stå færdig til hans og baronesse Juliane Cathrine Wilhelmine Wedel-Jarlsbergs sølvbryllup, men hun døde desværre før bygningen var færdig. I 1914 solgte hans arvinger til købmand P.C. Rørsgaard fra Vemb, der solgte til staten i 1940.
I dag anvendes Pallisbjerg hovedsageligt til udlejning af ferielejlighederne i Tårnfløjen, mens hovedbygningen primært anvendes privat eller til mindre arrangementer.
Indtil 1991 blev Pallisbjerg anvendt til bl.a. kostskole. På et tidspunkt overtog Københavns kommune den til børnehjem, som misvedligeholdt den i så stor en grad, at de sidst i 1980’erne fik en nedrivningstilladelse. Til alt held blev den reddet og har siden været i privat eje.