Kolviðarhóll undir Hellisskarði var vinsæll og nauðsynlegur gististaður þeirra mörgu, sem fóru um Hellisheiði fyrrum. Aðalleiðin lá um Hellisskarð en þjóðvegurinn liggur um Hveradali, þar sem skíðaskálinn er nú. Sæluhús var byggt að Kolviðarhóli 1844 og síðar gistihúsið. Valgerður Þórðardóttir (1871-1957) og Sigurður Daníelsson (1868-1935) voru síðustu gestgjafarnir þar. Þau byggðu stórt og myndarlegt gistihús og voru þjóðkunn fyrir höfðingsskap. Þau voru grafin í heimagrafreit að Kolviðarhóli.

Árið 1938 keypti Íþróttafélag Reykjavíkur Kolviðarhól af Valgerði til að gera hann að miðstöð íþróttalífs, aðallega vetraríþrótta og reka samt áfram þjónustu við ferðamenn. Þessi starfsemi gekk ekki upp, þannig að henni var hætt 1952. Húsin urðu spellvirkjum að bráð og þau brunnu. Árið 1977 voru þau jöfnuð við jörðu. Skúli Helgason ritaði sögu Kolviðarhóls (1959).
Einn fjölmargra kunningja á Kolviðarhóli var Brennivínsdraugurinn. Hann var talinn afturganga eftir danskan „assistent“ Sunchenbergverslunar í Reykjavík. „Hafði hann þann starfa á hendi að mæla ölföng verslunarinnar og var sjálfur harla ölkær. Hafði hann haft þá siðvenju sumar eftir sumar á helgum dögum, að ríða upp að Kolviðarhóli og inn í Marardal og neyta þá drjúgum dreypifórnarinnar. Taldi hann þær ferðir sínar mestu unaðsstundir… Nú andaðist þessi maður á sóttarsæng í Reykjavík en veturinn eftir héldu tveir Suðurnesjamenn yfir heiðina og ætluðu að gista sæluhúsið á Kolviðarhóli.