Linux 基金會託管 PaSh 專案,為工業用例使用自動並行化加速 Shell 指令碼

2021-09-23 15:00:18

Linux 基金會宣佈它將託管 PaSh 專案。PaSh 是一個用於自動並行化 POSIX shell 指令碼的系統,可以優化程式並加快執行時間,為資料科學家、工程師、生物學家、經濟學家、管理員和程式設計師帶來更快的結果。

 

該專案由麻省理工學院(MIT)、萊斯大學(Rice University)、史蒂文斯理工學院(Stevens Institute of Technology)和賓夕法尼亞大學(University of Pennsylvania)支援,並由一個技術指導委員會(Technical Steering Committee)管理,該委員會包括麻省理工學院(MIT)的研究科學家 Nikos Vasilakis;史蒂文斯理工學院助理教授 Michael Greenberg;以及賓夕法尼亞大學博士生 Konstantinos Kallas。

「Linux 基金會提供了技術治理基礎設施和服務,這是隨著 PaSh 變得更加成熟而需要的,」PaSh 專案技術指導委員會主席 Nikos Vasilakis 說。「我們建立這個專案是為了改進和加速 shell 指令碼的執行,以應對新的 web 爬行、索引和自然語言處理的變化。」

PaSh 專案技術指導委員會成員 Konstantinos Kallas 補充說:「由於一些協同趨勢,PaSh 受到了學術界的高度關注,並有可能在當今的工業中產生巨大的影響。這是正確時間的正確舉措。」

支援該專案的技術已經獲得了幾個獎項,包括第 16 屆 EuroSys 會議的最佳論文獎,以及計算機協會(Association of Computing Machinery)頒發給 Konstantinos 的研究生研究獎。

從簡潔的資料處理和日常處理到系統編排和管理,shell 指令碼——用不同語言開發的始終存在的粘合劑命令——構成了當今計算使用者空間的支柱。PaSh 並行化 shell 指令碼,實現了顯著的效能改進。在現代多處理器計算機上,PaSh 可以執行諸如 web 爬行和索引、與 COVID19 相關的分析、自然語言處理等任務,以及其他工作負載,而開發人員的工作量幾乎為零。

「Shell 指令碼已經被廣泛使用了半個世紀,最近的‘容器化’趨勢只增加了它們的重要性。」PaSh 專案技術指導委員會成員 Michael Greenberg 說:「幾十年來,正確和自動化的 shell 指令碼並行化一直是個問題。PaSh 承諾為所有 shell 使用者提供速度提升。」

為了加速 shell 指令碼,PaSh 提供了一個源到源的並行編譯器,該程式接受程式設計師的 shell 指令碼作為輸入,並返回一個比原程式快得多的新程式。由於 PaSh 是源對源的,因此它允許使用與原始指令碼相同的工具、相同的環境和相同的資料來檢查和執行優化的 shell 指令碼。一個小型的執行時庫以及在 shell 指令碼中常用的程式上的相關注釋,為 PaSh 編譯器提供了高效能的原語並支援其關鍵功能。

「PaSh 專案代表了電腦科學和開源軟體的創新,」Linux 基金會專案總經理和高階副總裁 Mike Dolan 說。「隨著軟體開發發展到解決機器學習、容器化、人工智慧等問題,PaSh 為需要更多指令碼工具的開發人員和資料科學家提供了支援。我們很高興能夠在 Linux 基金會託管這項重要的工作,這是一個像這樣的專案的自然家園。」

要了解更多資訊並參與 PaSh 專案,請存取http://binpa.sh/。

展開閱讀全文