用 AI 預測未來靠譜嗎?全球 160 個研究團隊參賽 5 個月得到答案

0
994
圖片來源:Andrea Piacquadio from Pexels

研究者為了得知「AI 是否能準確預知未來?」,透過 15 年來收集的大樣本數據集建立統計和機器學習模型,使各個團隊在「脆弱家庭挑戰賽」中利用 AI 預測孩子們 15 歲時的人生發展跟實際是否相符。

我們的人生軌跡可能受家庭、社會、時代影響,也因大大小小的決定被改變。我們無法預知的未來,AI 可以準確預測嗎?

來自普林斯頓大學、加州大學洛杉磯分校、麻省理工學院、弗吉尼亞理工大學等機構的 160 個研究小組參與了「脆弱家庭挑戰賽」(Fragile Families Challenge),透過建立統計和機器學習模型,試圖預測、衡量美國各地兒童、父母及其家庭的人生軌跡,尋求上述問題的答案。

當地時間 2020 年 3 月 30 日,這一挑戰賽的研究成果在線發表於《美國國家科學院院刊》,論文題為 Measuring the predictability of life outcomes with a scientific mass collaboration(透過科學合作探究人生軌跡的可預測性),合著者多達 112 位。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
圖片來源:PNAS

來自 4000 餘個家庭的大樣本數據集

實際上,探究人生軌跡,更像是一個社會學問題。這不僅僅是預測未來那麽簡單,它在提供家庭援助、了解社會僵化程度、改善相關政策方面都有一定的參考意義。

這一研究基於一個名為「脆弱家庭與兒童健康研究」(Fragile Families and Child Wellbeing Study)的高質量出生隊列數據集——由社會科學家 15 年來收集的大樣本數據集,包含來自 4000 多個家庭的 1.3 萬個數據點。

研究人員對出生於 1998-2000 年間美國大城市的兒童進行了研究,其中未婚父母所生兒童的占比較大。不難看出,這一縱向研究的目的也在於了解出生在未婚家庭的孩子的生活。

具體來講,隨著孩子年齡的增長,相關數據總共收錄了 6 個階段的情況——小孩剛出生時、1 歲、3 歲、5 歲、9 歲和 15 歲。

值得一提的是,每個年齡段數據收集的範圍不同。比如,孩子剛出生時,僅僅收集父母的調查訪談訊息;孩子 9 歲時,需要對父母、孩子的主要照顧者(如果不是父母的話)、老師和孩子自己都進行調查訪談,進而收集訊息(如下圖)。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
圖片來源:PNAS

此外,針對不同年齡段,研究人員對數據的關注方向不一。

例如,孩子剛出生時,對母親的採訪主要涉及兒童健康與發展、父母關係、父親身份、父母對婚姻的態度、與家人的關係、環境和政策因素、健康狀況、人口特徵、教育程度、就業及收入情況;而在孩子 9 歲時,對孩子本人的採訪主要涉及的話題有父母關係、父母的要求及督促孩子的情況、與兄弟姐妹的關係、日常生活、在校情況、青少年犯罪傾向、任務完成和行為表現及健康、安全狀況。

脆弱家庭挑戰賽

實際上,這一名為「脆弱家庭挑戰賽」的專案可以說是一款遊戲——遊戲開發者是項目組織者,玩家是參與進來的各個研究團隊。(【疫情預測】失業率恐持續上升,這 5 種工作者亮紅燈!

而遊戲設定是,項目組織者不公開上述家庭中孩子們 15 歲時的數據,各個研究團隊可利用任意的 AI 模型高能玩法準確預測孩子們 15 歲時的人生發展。開發者為玩家提供了 6 種衡量維度,如孩子們的平均學習成績、孩子們的毅力、家庭經濟水平、孩子的主要照顧者的工作和接受培訓情況等,玩家需要預測其中的至少一個維度。

如下圖,這一研究的背景數據包括來自 4242 個家庭的孩子剛出生時、1 歲、3 歲、5 歲和 9 歲時的共 12942 個變量。而訓練數據即是孩子們 15 歲時的 6 種人生軌跡。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
圖片來源:Fragile Families Challenge

實際上,這一遊戲設計思路正是電腦科學領域常用的一種研究設計方法「共同任務法」。

專案組織者收到了來自全球 68 所大學的 457 份申請,最終這一項目由全球 160 個研究小組協同開展。挑戰賽於 2017 年 3 月 5 日至 2017 年 8 月 1 日展開,參與者只要將預測結果上傳至挑戰賽官網即可。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
脆弱家庭挑戰賽官網。
圖片來源: Fragile Families Challenge

在脆弱家庭挑戰賽結束後,組織者將 160 個團隊的結果進行分析比較,發現各團隊使用了不同的數據處理、統計學習等技術來生成預測,雖然各個團隊得到的預測結果之間相差不大,但各預測結果普遍與真實情況差距較大,即便是最準確的預測結果也與訓練數據的實際情況存在不小的差距。(未來學家預測的商業場景——同理心可以成為商品、戴上眼鏡就能完成購物!

如下圖,研究團隊對家庭經濟水平、孩子們平均學習成績的平均預測準確度在 0.2 上下浮動,而對其他幾種維度的預測準確度平均約 0.05(註:值愈接近 1,吻合程度愈高;愈接近 0,則吻合程度愈低)。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
圖片來源:PNAS

當然不可否認的是,各團隊對部分預測也是準確的,比如具體某個孩子的學習成績。

用 AI 预测未来靠谱吗?全球 160 个研究团队参赛 5 个月得到答案
圖片來源:PNAS

目前看來,我們可以回答文章開頭的那個問題了——AI 並不能很準確地預測人生軌跡。

這一結論對 AI 模型在刑事司法、兒童保護服務等場景的應用帶來了啟示,同時社會學家、數據科學家今後也應謹慎使用 AI 預測模型。正如普林斯頓大學和哥倫比亞大學 「脆弱家庭與兒童健康研究」首席研究員 Sara McLanahan 所說:

結果令人大開眼界,要麽運氣在我們的生活中扮演著重要角色,要麽我們作為社會科學家在研究中忽略了一些重要變量。

資料來源:EurekAlert!(1)、 EurekAlert! (2)、PNASFragile Families Challenge

文:付靜