小白屋主人李姓老榮民，晚年重聽，鄉音重，自己的故事他也說不清楚了，而每個人說法不同。老榮民的故事和他小白屋一樣，都是拼湊而成。
有人說，老榮民是退休士官長，小白屋原是海防檢查哨營房，哨所撤除後，留給他看守，可能沒有預算，30多年來他以克難方式整修營舍，沒有預拌混泥車，沒有機械，以雙手當「鐵磨刀」塗水泥，建材則是四處撿拾。
「房子每天都在蓋」，住在對面的婦女說，她嫁到當地已21年了，老榮民資源回收，撿到木條就拿來當門窗，撿到磚塊就捕牆，「他的家一輩子都在蓋」，因此外表看起來就像補丁布一樣，遊客說很像霍爾的移動城堡，拼湊而成。
「移動城堡」從左邊看是1樓，但從右邊看則是4樓，進入屋內實際上是4樓，屋內完全沒有鋼梁，老榮民住1、2樓，3樓種菜，4樓陽台，整個營房漆成白色，也有人說它是「白色陋屋」。
紀錄「白色陋屋故事」的教授阮偉明曾獲老榮民邀請入屋，他在臉書上說，老榮民是廣西人，從大陸撤退後，在台南服役，有6個小孩，民國39年花新台幣200萬元買這房子。不過，老榮民早已記不起自己的過去，阮教授對榮民花200萬買房子一事存疑，因為當時200萬元是很龐大數目。
鄰居和台東榮民服務處則說，老榮民有結婚，妻子目前在金峰鄉大溪部落，1個兒子在高雄、桃園。
老榮民的「白色陋屋」、「移動城堡」，看起來老舊、歪斜欲墜，但經歷過數次大地震和強颱，依然屹立在台東的最前線，面對太平洋的海風侵蝕。
老榮民的身世就像他的小白屋一樣，都是拼湊而成；老榮民過世了，小白屋的傳奇和主人的故事，留給大家繼續拼湊。