Skaftfell var reist af byggingameistaranum Guðfinni Jónssyni við Austurveg árið 1907. Það er þriggja hæða, 180 fermetrar og byggt samkvæmt norskri fyrirmynd með nýklassísku yfirbragði og er mikil prýði í götumyndinni.

Fyrstu árin var rekið gullsmíðaverkstæði á jarðhæðinni og veitinga- og gistihús á efri hæðum. Síðar tóku fleiri verslanir við, þar var um tíma norskt sjómannaheimili, ölstofa, veitingasala, hótel og síðast trésmíðaverkstæði Garðars Eymundssonar.

Árið 1996 fékk áhugamannahópur um menningu og listir, oftast nefndur Skaftfellshópurinn, húsið að gjöf frá hjónunum Karólínu Þorsteinsdóttur og Garðari Eymundssyni. Húsið er nú sjálfseignarstofnun en hefur þegið fjárstyrki í gegnum árin bæði frá ríki og bæ. Þar er nú rekin menningarmiðstöð með bistró og internet-kaffi í kjallaranum, á annarri hæð er stór sýningarsalur og á þriðju hæð er gestaíbúð fyrir lista- og fræðimenn enda er Skaftfell miðstöð myndlistar á Austurlandi.