1300- och 1400-talen
Godset hette från början Ljungby och omtalas under 1300- och 1400-talen som sätesgård för olika medlemmar ur släkten Bille. På 1460-talet såldes gården till Henrik Brostrup och det var från dennes son som sedan Jens Holgersen Ulfstand köpte gården. Vad det var för byggnad som då stod där är ovisst.
1500-talet
Vid 1500-talets början tror man att det fanns två grundmurade hus, ett i borggårdens sydvästra hörn och ett utefter östra sidan. Genom Sissela Ulfstands gifte (dottern till Glimmingehus skapare, Jens Holgersen Ulfstand) med Knud Gyldenstierna övergick Ljungby till släkten Gyldenstierna. 1525 brändes Ljungby ned under Sören Norbys uppror, men byggdes åter upp samt utökades av Sissela. Efter Knuds död 1552 hade Sissela ensam hand om gården i 33 år, fram till sin egen död 1575.
Maglestenen och ”Ljungby horn och pipa”
Vid Trolle-Ljungby finns en jättestor sten som ligger precis vid ladugården. Den sägs ha kastats dit av trollen som ville förhindra att kyrkan i Åhus byggdes. Stenen ansågs också vara hemvist åt trollen och varje julafton skall de ha festat under stenen som höjts på guldpelare just den dagen. Änkan Sissela Ulfstand ville veta hur det låg till med sägnen och sände därför en man från sitt tjänstefolk till stenen en julaftonsnatt.
När han kom fram festade mycket riktigt trollen under stenen och han blev erbjuden att dricka en skål med dem ur deras horn och blåsa i deras pipa. Genom att slå drycken över axeln undvek han att bli bergtagen, och red sedan fort mot hemmet, fortfarande med hornet och pipan. Trots att han red, var trollen på vippen att hinna i fatt honom. Men mannen ska då ha ridit tvärs över en plöjd åker (alltså inte utmed plogfårorna). Därmed bildades av hästens spår och plogfårorna det kristna korset. Detta medförde att trollen inte kunde ta samma väg över åkern utan tvingades till att springa fåra upp och ner. Denna omväg sinkade dem, så att mannen precis hann hem till slottet och porten kunde stängas, innan trollen kom fram och förgäves ryckte och slet i dörren. När de inte lyckades få tillbaka sitt horn och pipa uttalade de en förbannelse och enligt sägnen blev resultatet att både mannen och hästen han ridit på dog, slottet brann tre gånger och ägarinnan, det vill säga Sisselas ätt, skulle dö ut. Hornet och pipan finns än idag och kan beskådas på slottet.
1600-talet
När Sisselas sonson, Knud Gyldenstierna (48), ärvde Ljungby 1621 började han med en genomgripande om- och tillbyggnad. Åren 1629-1633 förlängde han det gamla sydvästra huset åt öster och förband nybygget med ”munkelängan” genom att anlägga ett trapptorn åt borggårdssidan. Nybygget var i två våningar och på ena gaveln kan man än idag läsa årtalet 1629 samt initialerna K G S och Ø H F. Sistnämnda bokstäver är hans hustrus initialer, Öllegård Huitfeldt. Några år senare fullbordades den västra tvåvåningsflygeln och även där sattes initialerna upp och med årtalet 1633. Gyldenstierna byggde även en ladugård av tegel. Den byggdes kring en gård som öppnade sig mot slottet och dess flyglar gick fram till vattengraven. Den östra delen av ladugården finns ännu kvar och bär årtalet 1636.
Drygt 40 år senare, under det skånska kriget (1674-1679) anföll snapphanarna Ljungby och brände då delvis ned ladugården, som snart byggdes upp igen. Enligt traditionen skall de även ha lyckats ta sig in på borggården. Man kan ännu hitta spår av kulhål och hugg i trapptornets ekdörr, vilka sägs komma från det tillfället. Under detta krig skall även Karl XI ha haft sitt vinterkvarter på Ljungby samt Råbelöv.
År 1662 kom en ny släkt, Coyet, som ägare till Ljungby när Peter Julius Coyet (44) köpte godset. Coyet var en framgångsrik man som under sin livstid bland annat var häradshövding i Tjurbo härad (1650), envoyé vid flera tillfällen både till England samt Holland, statssekreterare, kommissarie vid förhandlingarna med Danmark 1658 samt vid förhandlingarna i Helsingör med England i april 1659 och med Holland i maj samma år. Förutom allt detta var han även kansliråd, ledamot av bankkommittén samt riddare i strumpebandsorden (1656).
Hans son, Wilhelm Julius Coyet, blev bland annat lagman i Skåne och Blekinge och hovkansler samt upphöjdes i friherrligt stånd (1706). År 1667 blev han ordförande i en av de sista stora trolldomskommissionerna i Sverige, där han från början skall ha varit mycket ihärdig och sträng, men senare intagit en något mildare framtoning mot de så kallade häxorna. Wilhelm Julius var även den förste att skriva ned sagan om hornet och pipan vilken fortfarande finns bevarad i sitt ursprungliga skick på slottet.
Wilhelm Julius övertog Ljungby efter faderns död 1667 och vid seklets slut byggde han en hög skyttemur på borggården norra sida med skottgluggar samt ett överbyggt porthus mitt för vindbryggan. I den brända ladugården uppförde han en loge av korsvirke. På västra sidan byggdes en motsvarighet till östsidans förhöjda byggnad, där initialerna W J C E G S och årtalet 1700 står på gaveln. E G S är initialerna till hans andra hustru, Elisabeth Gyllenstierna.
1700-talet
1787 återuppbyggdes, den av snapphanarna brända, östra flygeln som kallas för ”munkelängan”, vilket kanske kan peka på att det funnits en äldre byggnad här.
1830 – Från Ljungby till Trolle-Ljungby
1804 ärvdes Ljungby av Ulrika Lovisa Maria Sparre, född Coyet. Hon var gift med greve Carl Axel Trolle-Wachtmeister och Ljungby gick därmed över till denna släkt. Deras son, Hans Gabriel Trolle-Wachtmeister innehade fideikommisset Trolleberg och 1830 fick han tillstånd att föra över fideikommisset från Trolleberg till Ljungby, som då enligt testamentsförordningen fick namnet Trolle-Ljungby.
1900 – nutid
Trolle-Ljungby är ännu idag privatägt av släkten Wachtmeister och är ej öppet för allmänheten.