Grunden hvorpå “Fenjagården” er beliggende blev i 1942 skænket Fenja Gruppe af landmand P. M. Sørensen, Rindby.
I 1945 blev der opført en ca. 50 m² stor træbarak, med paptag, pejs i den vestlige gavl og indeholdende et stort opholds- og spiserum samt et køkken.

Toilettet var i et ca. 2 m² stort træskur placeret ca. 10 meter fra hytten og forsynet med et gammeldags “das”.

Vandforsyning var en håndpumpe i en dybde af ca. 8 m. (hamret ned)

Barakken fik gruppen foræret som et efterladenskab fra 2. verdenskrig.

Barakken blev revet ned i 1963 under ledelse af daværende gruppeleder Gunnar Andersen. (Barakkens fundament anvendes i dag som ramme for bålpladsen.)

I 1962-63 opførte Fenja Gruppen ved gruppeleder Marius Sørensen (gruppens stifter i1935) en ca. 162 m² stor hytte ”Fenjagården” i pudsede lecablokke med eternittag.

Hytten indeholdte 1 pejse-opholdsstue, 1 sovesal med ståletagesenge, 1 lederrum med 2 sengepladser, 1 lille køkken og 1 indvendigt toilet.

Hytten blev opført med frivillig arbejdskraft og sponsoreret af øens handlende og beboere. Byggematerialerne blev skænket af tømmerhandlere Rigmor – og Johannes Brinch Hansen.

Der var ingen elektricitet i ejendommen så belysningen foregik ved petroleums lys og opvarmning ved pejsen i øst gavlen.

Vandforsyningen fra en udvendig pumpe hamret ned til en suge dybde af ca. 8 m.

I løbet af 4 år fik man indlagt svagstrøm da det var lykkedes spejderne at få en gammel vindmølle med tilhørende batterier fra sommerhuset ”Ilja” ved Kirkevejen v/Rindby Strand.

Kort tid efter lykkedes det at skaffe gasradiatorer som blev installeret i samtlige rum.
I 1969 blev hytten renoveret og spejderne fik lavet en rigtig vandboring til en dybde af 32 m.

Der blev opført en tilbygning på 12 m² mod nord til køkken samt et selvstændigt vaske- og toilethus på ca. 17 m² med vægge af eternitplader og tag af bølgeeternit og bygningen var uopvarmet.

Hyttens samlede areal udgjorde nu 191 m².

Der blev indlagt elektricitet i 1977 fra Esbjerg og hvor spejderne selv gravede kablet ned på en strækning af 850 m. med stor hjælp af Fanø Entreprenørforretning.

Den 24.11.1981 blev Fanø ramt af en stor stormflod med en vandstand kote på 4,3 DNN hvorunder store dele af øen var oversvømmet, halvdelen af Nordby by var oversvømmet og “Fenjagården” blev også ramt.  Vandet stod ca. 40 cm. op over gulvet og mange ting blev ødelagt.

I slutningen af 1986 og begyndelsen af 1987 foretog gruppen en totale om- og tilbygning af hytten ved gruppeleder Jan Alber Jepsen.

Den opførte tilbygning til køkkenet og toilet- og baderumsbygningen blev revet ned og i stedet blev der opført en stor grundmuret vinkelbygning i røde sten og med eternitskifertag.

Alle gulve blev revet op, isoleret og fik ny klinkebelægning.

Nye træbetonlofter blev opsat overalt, nye vægbeklædninger, fliser m.v.

Der blev etableret 2 sovesale, 2 baderum, 3 toiletrum, 1 handicapvenlig bad og toilet, 2 lederrum og pejse- og opholdsrum blev renoveret.

Køkkenet blev forbedret og udbygget.

Der blev installeret varmt vand i hele hytten.

Vandforsyningen blev betydelig forbedret ved et stort Shrihorko renseanlæg og et helt nyt kloakanlæg med et stort nedsivningsanlæg ca. 75 m. vest for hytten.

Endvidere blev der opført et ca. 15 m² stort brændeskur på nordgavlen.

Hyttens samlede areal udgør ca. 245 m².

Fliser blev nedlagt på østsiden uden for køkkendøren og disse var skænket af entreprenørfirmaet Stürup og nedlagt af entreprenørfirmaet Jensen og Madsen, Fanø.

I 1994 blev der installeret et ABDL-brandalarmeringsanlæg.

I 1995 blev der nedlagt fliser foran hovedindgangen mod syd.

I 1996 fik gruppen skænket 20 stk. lygtepæle af elforsyningen og i 1997 2 stk. 19 m. lange lygtepæle som markering af bl.a. flagstang og som afgrænsning af flisebelagte arealer.

I 2007 blev der opsat en ca. 35 m² stor bålhytte af Fanø Grøn som beskæftigelsesprojekt.

I 2008 blev der opført en ca. 15 m² stor shelter i ejendommens nordvestligste hjørne.

I 2013 blev der indlagt vand fra Fanø Vandværk

I 2014 blev eternittaget på den nye fløj mod nord udskiftet og nye vinduer isat pejsestuen og stor sovesal.

I 2015 blev bagdøren + vindue i lederrum m. NØ skiftet.

I 2017 blev eternittaget på den gamle fløj udskiftet.

I 2021 blev hytten totalrenoveret indvendig og udvendig, nyt elsystem (LED lys), nyt køkken, skabe, bagagehylder, knagerækker, pumperum ændret til depot med bord og skabe, m.v.

I november 2022 blev der bygget en ny bålhytte ved Fenjagården (på fundamentet af den gamle barak). Den 14. december 2022 kunne Spejderne på Fanø indvie den nye flotte bålhytte. En ansøgning til NORLYS gav mulighed for at få bygget denne smukke bjælkehytte. Træarbejdet er opført af Kim Dahl Madsen og Jens Wohlert, flisearbejdet af Jan fra ØNAF og grillen af Henning Brinch. Alt træ er fra Nationalpark Vadehavet.