資料應用開發管理框架 DataSphereStudio1.0.0 正式發版

2021-09-23 13:00:27

【里程碑】DataSphereStudio1.0.0 正式釋出

DataSphereStudio 1.0.0 是踐行資料應用開發管理框架的里程碑,帶來了一系列強大的全新特性和高可延伸、低耦合的資料應用開發整合架構設計和實現。

DSS1.0.0主要特性如下:

  1. 全新的UI介面。對DSS前端的UI互動進行大調整,並邀請了天翼雲巨量資料平臺王小剛團隊的UI設計師周聰量身設計了全新UI視覺稿,極大提升了開發套件的使用者產品化使用體驗。
  2. 全新架構體系。第三方系統接入DSS的聯結器外掛AppConn(主要由三大接入規範AppStandard組成)、DSS編排模式Orchestrator和DSS框架等架構,為DSS提供強大的資料應用整合開發框架能力。
  3. DSS工作流上下文能力。這是DSS1.0的重磅級能力,上游節點的結果集支援作為臨時表,直接提供給下游進行使用。比如:上游一個SQL節點的結果集,下游的SQL節點可以直接進行select使用。
  4. 匯入匯出能力。DSS1.0的另一大重磅級能力。匯入匯出解決了第三方元件一個節點多次匯出匯入時的重名問題、版本問題、各種物料的同步等多個複雜問題,同時還解決了上下文能力的同步問題。該特性為大家做開發/生產的完全隔離提供了技術支援。
  5. DataApiService(資料API服務)。資料Api服務是基於艾佳生活巨量資料平臺張榮團隊貢獻的PR,再次二開優化出的版本,目前支援將Scriptis的一個SQL指令碼釋出為一個資料Api服務,對外提供RestAPI能力。
  6. 工作空間管理。強化了工作空間的管理能力,提供了使用者管理和角色許可權管理能力。
  7. 協同開發能力。DSS工程允許使用者為一個工程設定編輯許可權和檢視許可權,多個使用者可以並行操作同一條工作流。

縮略用語:

DSS: DataSphereStudio


新特性

Framework

  •  [DSS-Framework] 提供DSS框架模組的通用類。
  •  [DSS-Framework] 為DSS-Orchestrator提供框架層的管理能力。
  •  [DSS-Framework] 為DSS-Project提供框架層的管理能力。
  •  [DSS-Framework] 為DSS的工作空間提供框架層的管理能力。
  •  [DSS-Framework] 增強框架的能力,提供DSS-Orchestrator釋出到第三方應用工具的功能。
  •  [DSS-Framework] 為框架層定義通用功能模組。

Orchestrator

  •  [DSS-Orchestrator] 為Orchestrator定義通用功能模組。
  •  [DSS-Orchestrator] 新增Orchestrator與第三方應用互相轉換的轉換規範。
  •  [DSS-Orchestrator] 新增Orchestrator的核心介面和預設頂級子類。
  •  [DSS-Orchestrator] 為Orchestrator提供資料庫持久化能力。
  •  [DSS-Orchestrator] 新增載入和管理Orchestrator範例的能力。

DSS-Workflow

  •  [DSS-Workflow] 新增DSS工作流的通用功能模組。
  •  [DSS-Workflow] 新增DSS工作流與第三方排程系統互相轉換的轉換規範。
  •  [DSS-Workflow] 新增DSS工作流SDK模組,用於提供工作流的解析、構建能力
  •  [DSS-Workflow] 增強DSS工作流模組的執行能力,以適配DSS1.0.0的全新架構

AppStandard

  •  [DSS-Standard] 定義DSS整合第三方應用的三級開發流程接入規範DevelopmentStandard。
  •  [DSS-Standard] 提供DSS AppStandard的通用功能模組。
  •  [DSS-Standard] 定義DSS整合第三方應用的二級組織結構接入規範StructureStandard。
  •  [DSS-Standard] 定義DSS整合第三方應用的一級SSO免密跳轉接入規範SSOStandard。

AppConn

  •  [DSS-AppConn] 新增第三方應用接入DSS1.0.0的三大接入規範AppStandard。
  •  [DSS-AppConn] 新增AppConn核心介面和預設頂級子類。
  •  [DSS-AppConn] 新增DSS1.0.0 AppConn類載入和範例化模組。
  •  [DSS-AppConn] 新增Scheduler AppConn抽象層,用於對接第三方排程系統。
  •  [DSS-AppConn] 新增Linkis的AppConnEngineConn外掛,支援第三方節點的執行。
  •  [DSS-AppConn] 新增AppConn和AppInstance持久化資料庫的能力。
  •  [DSS-AppConn] 新增Appconn的通用功能模組

資料API服務

  •  [DSS-ApiService] 新增資料API服務

Web 前端

  •  [DSS-Web] 新增DSS1.0.0的全新前端介面。

功能增強

  •  [DSS-Workflow] 增強DSS工作流實時執行能力,適配DSS1.0.0的新架構。
  •  [DSS-Workflow] 增強DSS工作流節點執行能力,適配DSS1.0.0的新架構。
  •  [DSS-Workflow] 增強DSS工作流微模組的功能,適配DSS1.0.0的新架構
  •  [DSS-DataPipe] 提供Hive資料表匯入匯出能力
  •  [DSS-Package] 優化DSS1.0.0的打包部署模組
  •  [DSS-Config] 更新組態檔和資料庫指令碼檔案
  •  [DSS-ContextService] 新增一個介面以獲取ContextID

Bugs 修復

  •  [DSS-Package] 優化DSS1.0.0 assembly模組的打包方式
  •  [DSS-Package] 優化DSS1.0.0組態檔和資料庫指令碼檔案
  •  [DSS-Package] 刪除一些無用的程式碼並解決編譯問題
  •  [DSS-Package] 優化應用程式啟動指令碼

貢獻者

DSS 1.0.0的釋出與DSS社群的貢獻者密不可分。感謝所有社群貢獻者!


編譯版本

  1. 騰訊雲:

展開閱讀全文