劉衛東對記者說，根據風化程度，他判定石像分前后三期。第一期修建于史前文明，不好斷代；第二批修建于4000年前，舜帝時代；第三批則建于漢代至元代期間。
劉衛東認為，前兩期石像產生的歷史時期比較接近，雕刻手法具有極強的漢以前扁平刻的特點。與目前發現的漢以前石刻不同的是，這些石像的頭大多是尖的。由于年代久遠，許多石像已被風化如太湖石。
至于第三期石像，無論從風化程度還是雕刻方法看，與前兩期有著明顯的不同。
為祭祀舜帝營造的祭壇
有專家認為，石像是墓葬，劉衛東并不同意這種說法。“如果是墓葬，應該埋得很深，不可能只在地下兩米。”劉衛東說。他認為，鬼崽嶺是一座人工堆砌的祭壇。石像最早有序地排列于祭壇之上，日久天長，周圍的土不斷被吹來覆蓋在石像上，所以才造成石像既有地上、又有地下的局面。
劉衛東認為，第二期石像可能是為祭祀舜帝所造。
距鬼崽嶺35公里處就是著名的九疑山舜帝陵。據司馬遷《五帝本紀》記載：“舜南巡狩，崩于蒼梧之野，葬于江南九疑”。
鬼崽嶺山前兩側曾等距離坐落著白象廟和禹王廟，遠處還有娥皇、女英山。劉衛東告訴記者，白象廟中祭拜的白象公，就是舜的弟弟象。《五帝本紀》中有這樣的記載：“舜父瞽叟目盲，舜母死，瞽叟娶妻生象。”傳說舜死后，象被舜的孝德所感動，曾為舜守靈數年。而娥皇、女英則是舜的兩位妻子。鬼崽嶺周圍祭拜的，都是和舜帝有關的人。
但這兩座廟已于“文革”期間遭到毀壞，如今只能看到一些在田野里的建筑石墩。
此外，黃福先告訴記者，陳姓是附近村莊中的大姓，相傳陳姓是舜的后裔，他們還有非常完備的族譜。種種因素表明，鬼崽嶺很可能是為了祭祀舜帝而人工堆砌的祭臺，石像群最初就是擺在祭臺上的。
劉衛東大膽地提出，為祭祀舜而營造的石像很可能是第二期石像，即雕刻于4000年前的石像。
至于第一批石像的營造年代則應該更早。劉衛東認為，這處祭祀場地很可能在舜去世前就存在了。舜在附近去世，使得這個原本成型的祭臺又賦予了新的含義。但由于文獻的缺失，歷史出現斷層，最初在此處營建祭臺的年代和用途，目前很難說清。
第三期石像為替罪石人
劉衛東認為前兩期的石像主要用于祭祀，而第三期石像則另有用途。
“曾經有一位廣西的文化局長對我說，這些石像是替罪石人，廣西山里有很多。”劉衛東解釋說，古時候凡遇到家人生病遭災，人們往往喜歡雕一個石人代他受罪，這就是所謂的替罪石人。
在很多風化程度較輕的石像上，還能看到“舍”字。劉衛東認為，這些刻著“舍”字的石像很有可能是修建于唐代前后的替罪石人。這也就可以解釋，為什么石像中還有孕婦、兒童的形象。“任何人都可能生病、遭災啊！”劉衛東說。
從表面形態上，記者也能看出第三批石人與前兩批的不同。這些石人雖然雕工比較粗糙，但大都眉目清晰，身份和年齡特征也比較明顯，很多石人背后還刻著“舍”字。