Bæjarstaðarskógur er talinn einhver þróttmesti birkiskógur hérlendis með allt að 12 m háum trjám, sem eru beinvaxnari en gerist yfirleitt með íslenzkt birki. Tré, sem hafa verið ræktuð af Bæjarstaðarfræi eru talin bera af öðrum trjám af öðrum skógarsvæðum. Beit og uppblástur fóru illa með skóginn fyrrum og helzt leit út fyrir að hann hyrfi með öllu. Hann var því girtur af árið 1935, alls 22 ha, sem voru að hálfu vaxnir skógi. Skógrætarfélag Íslands sá um framkvæmdir en frjáls samskot stóðu undir kostnaði.

Nafn skógarins bendir eindregið til þess, að þar hafi staðið bær, Jökulfell, sem getið er í máldögum frá 14. öld. Rústir bæjarins sáust fram yfir aldamótin 1700. Þarna var hálfkirkja, sem var lögð niður á árunum 1349-1360, þegar Gyrðir Ívarsson var biskup í Skálholti.  Greiðfærasta gönguleiði frá Tjaldstæðinu í Skaftafelli liggur um Sjónarsker og niður Kambgil að göngubrúnni yfir Morsá og þvert yfir aurana. Margir nota tækifærið, þegar komið er í Bæjarstaðarskóg að líta á heitu laugarnar og skjótast að útfalli Skeiðarár. Þessi ganga tekur 7-8 klst. Leiðin meðafram Skeiðará, norðan og neðan Skaftafellsheiðar er erfiðari og ekki með öllu hættulaus, því að stígnum hefur ekki verið haldið við.