Rain 詳細介紹

類別: IT

Rain 是一個 Rust 實現的輕巧且強大的分散式計算框架,適用於處理大規模的基於任務的管道。

Rain 旨在降低分散式計算世界的入門門檻,目的是提供一個輕巧而強大的分散式框架,該框架具有直觀的 Python API、簡單的安裝和部署以及頂層的深入監控。

功能特性

  • 資料流程式設計:Rain 中的計算被定義為任務的流程圖(flow graph)。任務可以是內建函式,Python/C++/Rust 程式碼,也可以是外部應用程式,短而輕或長時間執行且繁重。該系統旨在將任何程式碼整合到管道中,合理分配其資源需求,並處理非常大的任務圖(task graphs),通常是數十萬個任務。

  • 易於使用:Rain 設計之初就考慮到要易於部署,從單節點部署到大規模分散式系統和數千個核心的雲。

  • Rust 核心:Python/C++/Rust API。為了安全和高效,Rain 採用 Rust 編寫,併為 Rain 核心基礎架構提供了高階 Python API,甚至支援開箱即用的 Python 任務。Rain 還提供了用 C++ 和 Rust 編寫自己的任務的庫。

  • 監控:支援線上和 postmortem 監控。

Rain 詳細介紹原文請看這裡