Nature重磅：AI擊敗最先進全球洪水預警系統(tǒng)，提前7天預測河流洪水，每年挽救數(shù)千人生命
原創(chuàng) 學術頭條 學術頭條
洪水是最常見的自然災害類型，全球有近 15 億人（約占世界人口的 19%）直接面臨嚴重洪水事件的巨大風險。洪水還造成巨大的物質(zhì)損失，每年造成全球經(jīng)濟損失約 500 億美元。
近年來，人類造成的氣候變化進一步增加了一些地區(qū)的洪水頻率。然而，目前的預報方法主要依賴沿河而建的觀測站，其在全球的分布并不均勻，這就導致未經(jīng)測量的河流更難預報，其負面影響主要體現(xiàn)在發(fā)展中國家。升級預警系統(tǒng)，使這些人群能夠獲得準確、及時的信息，每年可以挽救數(shù)千人的生命。
那么，如何在全球范圍內(nèi)進行可靠的洪水預報？人工智能（AI）模型或許大有可為。
如今，來自 Google Research 洪水預測團隊的 Grey Nearing 及其同事開發(fā)的人工智能模型，通過利用現(xiàn)有的 5680 個測量儀進行訓練，可預測未測量流域在 7 天預測期內(nèi)的日徑流。
隨后，他們將該人工智能模型與全球領先的短期和長期洪水預測軟件——全球洪水預警系統(tǒng)（GloFAS）進行了對比測試。結(jié)果顯示，該模型同日預測準確率與當前系統(tǒng)相當甚至更高。
此外，該模型在預測重現(xiàn)窗口（return window）期為五年的極端天氣事件時，其準確性與 GloFAS 預測重現(xiàn)窗口期為一年的事件時的準確性相當或更高。
相關研究論文以“Global prediction of extreme floods in ungauged watersheds”為題，已發(fā)表在權(quán)威科學期刊 Nature 上。
研究團隊表示，該模型能對未測流盆地的小規(guī)模和極端洪水事件做出預警，且預警期比之前的方法都更長，并可提高發(fā)展中地區(qū)獲得可靠洪水預報的機會。
提前7天，AI是如何做到的？
那么，這一人工智能模型如何能給出可靠的洪水預報呢？
據(jù)論文描述，該研究使用了一種叫做長短期記憶（LSTM）網(wǎng)絡的人工智能模型來進行河流流量的預測。這個模型的設計有點像我們的大腦，它可以從一系列的氣象數(shù)據(jù)中學習并預測未來的河流流量，分為編碼器和解碼器兩部分。
圖｜基于 LSTM 的河流預報模型架構(gòu)。兩個 LSTM 依次應用，一個接收歷史天氣數(shù)據(jù)，另一個接收預測天氣數(shù)據(jù)。模型輸出為每個預報時間步的流量概率分布參數(shù)。
首先，編碼器負責從上一段時間內(nèi)的氣象數(shù)據(jù)中提取信息，它從過去的天氣情況中理解河流流量的變化情況。它將歷史氣象數(shù)據(jù)轉(zhuǎn)化為可供解碼器使用的信息形式的作用。通過學習氣象數(shù)據(jù)中的特征和時間模式，模型對過去氣象情況形成抽象理解，為后續(xù)的流量預測提供了關鍵性的輸入。
編碼器則通過接收一系列氣象數(shù)據(jù)（比如降水量、溫度、輻射等）作為輸入，學習如何提取這些數(shù)據(jù)中的關鍵特征信息。這些特征信息可能包括季節(jié)性變化、氣象事件（如暴雨、高溫等）以及它們對河流流量的影響。
同時，編碼器能夠捕獲氣象數(shù)據(jù)之間的時間依賴關系。這意味著它不僅僅考慮當前時刻的氣象情況，還考慮了之前一段時間內(nèi)的氣象變化趨勢。通過對歷史數(shù)據(jù)的學習，編碼器能夠理解氣象數(shù)據(jù)的時間序列模式，并將其納入到模型中。
在編碼器中，LSTM 網(wǎng)絡被用來處理時間序列數(shù)據(jù)。LSTM 具有內(nèi)部記憶單元，可以記住過去的信息，并根據(jù)當前的輸入來更新內(nèi)部狀態(tài)。這使得編碼器能夠在處理長期依賴關系時表現(xiàn)優(yōu)異，并在建模過程中保留重要的歷史信息。
最終，編碼器將歷史氣象數(shù)據(jù)轉(zhuǎn)化為一個潛在的表示形式，這個表示形式包含了對過去氣象情況的理解和總結(jié)。這個表示形式是編碼器的輸出，并傳遞給解碼器，用于未來流量的預測。
然后，解碼器部分使用這些信息來預測未來幾天的河流流量。它考慮了當前的氣象預報，以及過去的天氣對未來流量的影響。這樣，就可以得到未來一周的流量預測。
解碼器在模型中負責將歷史氣象信息和未來預測結(jié)合起來，生成對未來河流流量的預測，并輸出相應的流量概率分布。
解碼器首先接收來自編碼器的潛在表示形式，這個表示形式包含了歷史氣象數(shù)據(jù)的抽象理解。解碼器利用這些信息來理解過去的氣象條件對河流流量的影響，并建立起歷史數(shù)據(jù)與未來預測之間的聯(lián)系。
解碼器同時接收未來的氣象預測數(shù)據(jù)作為輸入。這些預測數(shù)據(jù)通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史信息和未來預測結(jié)合起來，通過學習它們之間的關系來預測未來的河流流量。
在理解了歷史氣象條件和未來預測之后，解碼器通過一個獨立的 LSTM 網(wǎng)絡來生成對未來河流流量的預測。這個網(wǎng)絡可以理解為一個時間序列的生成器，根據(jù)過去的信息和未來的預測來生成流量序列。
解碼器不僅僅預測未來的河流流量值，還輸出一個概率分布。具體來說，模型使用一個單邊拉普拉斯分布來描述流量的不確定性，預測每個時間步的流量值時，輸出一個單邊拉普拉斯分布的參數(shù)，而不是一個確定的值。這使得模型能夠考慮到流量預測的不確定性，為決策提供了更多的信息。
最終的流量預測結(jié)果是通過集成多個解碼器模型的輸出得到的。模型使用了三個獨立訓練的解碼器 LSTM 網(wǎng)絡，然后將它們的預測結(jié)果取中值，從而減少預測的方差并提高預測的穩(wěn)定性。
真實效果怎么樣？
研究人員收集了大量的氣象數(shù)據(jù)和河流流量數(shù)據(jù)，來訓練這一模型。這些數(shù)據(jù)來自于不同的數(shù)據(jù)源，包括氣象預報、歷史記錄和地理信息。通過將數(shù)據(jù)標準化處理，模型得以正確理解它們。
然后，數(shù)據(jù)分成兩種類型：訓練集和測試集。訓練集用于訓練模型，而測試集則用于評估模型的性能。研究人員使用了一種“交叉驗證”的方法，以確保模型在不同的時間和地點都能夠有效地工作。
最后，研究團隊評估了模型的性能，并與現(xiàn)有的流量預測模型進行了比較。
研究團隊采用了常見的誤差指標來量化模型預測值與實際觀測值之間的差異。由于模型預測的不只是未來流量的具體數(shù)值，而且還給出了流量預測的不確定性，因此他們使用了概率積分變換（PIT）圖來評估預測分布的準確性。
研究團隊還通過與其他流量預測模型的對比來評估所提出模型的性能。這包括了傳統(tǒng)的物理模型和其他機器學習模型。通過比較不同模型的誤差指標，可以直觀地展示所提模型在準確性和可靠性上的優(yōu)勢。
另外，研究團隊還采用了特定的流域或河流作為案例研究，應用模型于實際情境中，并詳細分析模型在不同季節(jié)、不同氣候條件下的預測性能。這有助于評估模型在實際應用中的可行性和穩(wěn)定性。
除了量化指標，研究團隊也還對模型預測的不確定性進行了深入分析。這包括評估不同來源的不確定性（如輸入數(shù)據(jù)的不確定性、模型結(jié)構(gòu)的不確定性等）對預測結(jié)果的影響，以及模型如何在存在不確定性的情況下仍然提供有用的預測。
結(jié)果顯示，模型展現(xiàn)了較高的精確度和召回率，尤其是對于短期回報周期的事件。這意味著模型能夠準確地識別出洪水事件，并且錯過的事件較少。
結(jié)合精確度和召回率，模型在不同回報周期的事件上獲得了較高的 F1 score，表明了其在準確性和全面性之間取得了良好的平衡。
此外，通過雙側(cè) Wilcoxon 符號秩檢驗，模型的預測結(jié)果在統(tǒng)計上顯著優(yōu)于基準模型。這證明了模型在洪水預測方面的有效性。
Cohen's d 指標顯示，模型性能改進的效果是顯著的，這進一步驗證了模型相對于傳統(tǒng)方法的優(yōu)勢。
在 Nash–Sutcliffe 效率和 Kling-Gupta 效率等水文指標上，模型同樣顯示了良好的預測精度和對水文過程變化的敏感性。
不足與展望
然而，該研究也存在一些局限性。
例如，實驗采用的樣本可能較小，限制了研究結(jié)果的普遍適用性和統(tǒng)計功效。研究所用的數(shù)據(jù)集的多樣性存在不足，這可能影響模型的泛化能力。采用的模型復雜度較高，可能導致計算成本增加并限制了其可解釋性和便捷性。
另外，研究聚焦于特定任務或領域，可能限制了方法的廣泛應用；這個方法缺乏長期影響的評估，使得對模型隨時間變化的表現(xiàn)理解不足，評估標準可能無法全面反映模型性能；且對現(xiàn)有技術的改進程度可能相對有限。
對此，研究團隊表示，未來的工作需要進一步將洪水預報的覆蓋范圍擴大到全球更多地點，以及其他類型的洪水相關事件和災害，包括山洪和城市洪水。人工智能技術也將繼續(xù)發(fā)揮關鍵作用，幫助推動科學研究，促進氣候行動。
參考鏈接：
https://www.nature.com/articles/s41586-024-07145-1
https://blog.google/technology/ai/google-ai-global-flood-forecasting/
Nature重磅：AI擊敗最先進全球洪水預警系統(tǒng)，提前7天預測河流洪水，每年挽救數(shù)千人生命
洪水是最常見的自然災害類型，全球有近 15 億人（約占世界人口的 19%）直接面臨嚴重洪水事件的巨大風險。洪水還造成巨大的物質(zhì)損失，每年造成全球經(jīng)濟損失約 500 億美元。
近年來，人類造成的氣候變化進一步增加了一些地區(qū)的洪水頻率。然而，目前的預報方法主要依賴沿河而建的觀測站，其在全球的分布并不均勻，這就導致未經(jīng)測量的河流更難預報，其負面影響主要體現(xiàn)在發(fā)展中國家。升級預警系統(tǒng)，使這些人群能夠獲得準確、及時的信息，每年可以挽救數(shù)千人的生命。
那么，如何在全球范圍內(nèi)進行可靠的洪水預報？人工智能（AI）模型或許大有可為。
如今，來自 Google Research 洪水預測團隊的 Grey Nearing 及其同事開發(fā)的人工智能模型，通過利用現(xiàn)有的 5680 個測量儀進行訓練，可預測未測量流域在 7 天預測期內(nèi)的日徑流。
隨后，他們將該人工智能模型與全球領先的短期和長期洪水預測軟件——全球洪水預警系統(tǒng)（GloFAS）進行了對比測試。結(jié)果顯示，該模型同日預測準確率與當前系統(tǒng)相當甚至更高。
此外，該模型在預測重現(xiàn)窗口（return window）期為五年的極端天氣事件時，其準確性與 GloFAS 預測重現(xiàn)窗口期為一年的事件時的準確性相當或更高。
相關研究論文以“Global prediction of extreme floods in ungauged watersheds”為題，已發(fā)表在權(quán)威科學期刊 Nature 上。
研究團隊表示，該模型能對未測流盆地的小規(guī)模和極端洪水事件做出預警，且預警期比之前的方法都更長，并可提高發(fā)展中地區(qū)獲得可靠洪水預報的機會。
提前7天，AI是如何做到的？
那么，這一人工智能模型如何能給出可靠的洪水預報呢？
據(jù)論文描述，該研究使用了一種叫做長短期記憶（LSTM）網(wǎng)絡的人工智能模型來進行河流流量的預測。這個模型的設計有點像我們的大腦，它可以從一系列的氣象數(shù)據(jù)中學習并預測未來的河流流量，分為編碼器和解碼器兩部分。
圖｜基于 LSTM 的河流預報模型架構(gòu)。兩個 LSTM 依次應用，一個接收歷史天氣數(shù)據(jù)，另一個接收預測天氣數(shù)據(jù)。模型輸出為每個預報時間步的流量概率分布參數(shù)。
首先，編碼器負責從上一段時間內(nèi)的氣象數(shù)據(jù)中提取信息，它從過去的天氣情況中理解河流流量的變化情況。它將歷史氣象數(shù)據(jù)轉(zhuǎn)化為可供解碼器使用的信息形式的作用。通過學習氣象數(shù)據(jù)中的特征和時間模式，模型對過去氣象情況形成抽象理解，為后續(xù)的流量預測提供了關鍵性的輸入。
編碼器則通過接收一系列氣象數(shù)據(jù)（比如降水量、溫度、輻射等）作為輸入，學習如何提取這些數(shù)據(jù)中的關鍵特征信息。這些特征信息可能包括季節(jié)性變化、氣象事件（如暴雨、高溫等）以及它們對河流流量的影響。
同時，編碼器能夠捕獲氣象數(shù)據(jù)之間的時間依賴關系。這意味著它不僅僅考慮當前時刻的氣象情況，還考慮了之前一段時間內(nèi)的氣象變化趨勢。通過對歷史數(shù)據(jù)的學習，編碼器能夠理解氣象數(shù)據(jù)的時間序列模式，并將其納入到模型中。
在編碼器中，LSTM 網(wǎng)絡被用來處理時間序列數(shù)據(jù)。LSTM 具有內(nèi)部記憶單元，可以記住過去的信息，并根據(jù)當前的輸入來更新內(nèi)部狀態(tài)。這使得編碼器能夠在處理長期依賴關系時表現(xiàn)優(yōu)異，并在建模過程中保留重要的歷史信息。
最終，編碼器將歷史氣象數(shù)據(jù)轉(zhuǎn)化為一個潛在的表示形式，這個表示形式包含了對過去氣象情況的理解和總結(jié)。這個表示形式是編碼器的輸出，并傳遞給解碼器，用于未來流量的預測。
然后，解碼器部分使用這些信息來預測未來幾天的河流流量。它考慮了當前的氣象預報，以及過去的天氣對未來流量的影響。這樣，就可以得到未來一周的流量預測。
解碼器在模型中負責將歷史氣象信息和未來預測結(jié)合起來，生成對未來河流流量的預測，并輸出相應的流量概率分布。
解碼器首先接收來自編碼器的潛在表示形式，這個表示形式包含了歷史氣象數(shù)據(jù)的抽象理解。解碼器利用這些信息來理解過去的氣象條件對河流流量的影響，并建立起歷史數(shù)據(jù)與未來預測之間的聯(lián)系。
解碼器同時接收未來的氣象預測數(shù)據(jù)作為輸入。這些預測數(shù)據(jù)通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史信息和未來預測結(jié)合起來，通過學習它們之間的關系來預測未來的河流流量。
在理解了歷史氣象條件和未來預測之后，解碼器通過一個獨立的 LSTM 網(wǎng)絡來生成對未來河流流量的預測。這個網(wǎng)絡可以理解為一個時間序列的生成器，根據(jù)過去的信息和未來的預測來生成流量序列。
解碼器不僅僅預測未來的河流流量值，還輸出一個概率分布。具體來說，模型使用一個單邊拉普拉斯分布來描述流量的不確定性，預測每個時間步的流量值時，輸出一個單邊拉普拉斯分布的參數(shù)，而不是一個確定的值。這使得模型能夠考慮到流量預測的不確定性，為決策提供了更多的信息。
最終的流量預測結(jié)果是通過集成多個解碼器模型的輸出得到的。模型使用了三個獨立訓練的解碼器 LSTM 網(wǎng)絡，然后將它們的預測結(jié)果取中值，從而減少預測的方差并提高預測的穩(wěn)定性。
真實效果怎么樣？
研究人員收集了大量的氣象數(shù)據(jù)和河流流量數(shù)據(jù)，來訓練這一模型。這些數(shù)據(jù)來自于不同的數(shù)據(jù)源，包括氣象預報、歷史記錄和地理信息。通過將數(shù)據(jù)標準化處理，模型得以正確理解它們。
然后，數(shù)據(jù)分成兩種類型：訓練集和測試集。訓練集用于訓練模型，而測試集則用于評估模型的性能。研究人員使用了一種“交叉驗證”的方法，以確保模型在不同的時間和地點都能夠有效地工作。
最后，研究團隊評估了模型的性能，并與現(xiàn)有的流量預測模型進行了比較。
研究團隊采用了常見的誤差指標來量化模型預測值與實際觀測值之間的差異。由于模型預測的不只是未來流量的具體數(shù)值，而且還給出了流量預測的不確定性，因此他們使用了概率積分變換（PIT）圖來評估預測分布的準確性。
研究團隊還通過與其他流量預測模型的對比來評估所提出模型的性能。這包括了傳統(tǒng)的物理模型和其他機器學習模型。通過比較不同模型的誤差指標，可以直觀地展示所提模型在準確性和可靠性上的優(yōu)勢。
另外，研究團隊還采用了特定的流域或河流作為案例研究，應用模型于實際情境中，并詳細分析模型在不同季節(jié)、不同氣候條件下的預測性能。這有助于評估模型在實際應用中的可行性和穩(wěn)定性。
除了量化指標，研究團隊也還對模型預測的不確定性進行了深入分析。這包括評估不同來源的不確定性（如輸入數(shù)據(jù)的不確定性、模型結(jié)構(gòu)的不確定性等）對預測結(jié)果的影響，以及模型如何在存在不確定性的情況下仍然提供有用的預測。
結(jié)果顯示，模型展現(xiàn)了較高的精確度和召回率，尤其是對于短期回報周期的事件。這意味著模型能夠準確地識別出洪水事件，并且錯過的事件較少。
結(jié)合精確度和召回率，模型在不同回報周期的事件上獲得了較高的 F1 score，表明了其在準確性和全面性之間取得了良好的平衡。
此外，通過雙側(cè) Wilcoxon 符號秩檢驗，模型的預測結(jié)果在統(tǒng)計上顯著優(yōu)于基準模型。這證明了模型在洪水預測方面的有效性。
Cohen's d 指標顯示，模型性能改進的效果是顯著的，這進一步驗證了模型相對于傳統(tǒng)方法的優(yōu)勢。
在 Nash–Sutcliffe 效率和 Kling-Gupta 效率等水文指標上，模型同樣顯示了良好的預測精度和對水文過程變化的敏感性。
不足與展望
然而，該研究也存在一些局限性。
例如，實驗采用的樣本可能較小，限制了研究結(jié)果的普遍適用性和統(tǒng)計功效。研究所用的數(shù)據(jù)集的多樣性存在不足，這可能影響模型的泛化能力。采用的模型復雜度較高，可能導致計算成本增加并限制了其可解釋性和便捷性。
另外，研究聚焦于特定任務或領域，可能限制了方法的廣泛應用；這個方法缺乏長期影響的評估，使得對模型隨時間變化的表現(xiàn)理解不足，評估標準可能無法全面反映模型性能；且對現(xiàn)有技術的改進程度可能相對有限。
對此，研究團隊表示，未來的工作需要進一步將洪水預報的覆蓋范圍擴大到全球更多地點，以及其他類型的洪水相關事件和災害，包括山洪和城市洪水。人工智能技術也將繼續(xù)發(fā)揮關鍵作用，幫助推動科學研究，促進氣候行動。
參考鏈接：
https://www.nature.com/articles/s41586-024-07145-1
https://blog.google/technology/ai/google-ai-global-flood-forecasting/
｜點擊關注我 👇 記得標星｜
