Experiments on fusion plasmas produce high-dimensional data time series with ever-increasing magnitude and velocity, but turn-around times for analysis of this data have not kept up. For example, many data analysis tasks are often performed in a manual, ad-hoc manner some time after an experiment. In this article, we introduce the Delta framework that facilitates near real-time streaming analysis of big and fast fusion data. By streaming measurement data from fusion experiments to a high-performance compute center, Delta allows computationally expensive data analysis tasks to be performed in between plasma pulses. This article describes the modular and expandable software architecture of Delta and presents performance benchmarks of individual components as well as of an example workflow. Focusing on a streaming analysis workflow where electron cyclotron emission imaging (ECEi) data is measured at KSTAR on the National Energy Research Scientific Computing Center's (NERSC's) supercomputer we routinely observe data transfer rates of about 4 Gigabit per second. In NERSC, a demanding turbulence analysis workflow effectively utilizes multiple nodes and graphical processing units and executes them in under 5 min. We further discuss how Delta uses modern database systems and container orchestration services to provide web-based real-time data visualization. For the case of ECEi data we demonstrate how data visualizations can be augmented with outputs from machine learning models. By providing session leaders and physics operators, results of higher-order data analysis using live visualizations may make more informed decisions on how to configure the machine for the next shot.
核融合プラズマの実験は、高次元の時系列データを前例のない速度と量で生成するが、このデータの解析におけるターンアラウンドタイムは追いついていない。例えば、多くのデータ解析タスクは、実験のしばらく後に手動かつアドホックな方法で実行されることが多い。本稿では、大規模かつ高速な核融合データの準リアルタイムストリーミング解析を可能にするDeltaフレームワークを紹介する。Deltaは、核融合実験からの測定データを高性能計算センターへストリーミングすることで、計算コストの高いデータ解析タスクをプラズマパルス間の時間内に実行することを可能にする。本稿では、Deltaのモジュール式で拡張可能なソフトウェアアーキテクチャを説明し、個々のコンポーネントおよび代表的なワークフローの性能ベンチマークを示す。KSTARで測定された電子サイクロトロン放射イメージング（ECEI）データを、国立エネルギー研究科学計算センター（NERSC）のスーパーコンピュータで解析するストリーミングワークフローに焦点を当て、約4ギガビット毎秒のデータ転送速度を日常的に達成していることを報告する。NERSCでは、要求の厳しい乱流解析ワークフローが複数のノードとグラフィックス処理ユニット（GPU）を効果的に活用し、5分未満で実行を完了する。さらに、Deltaが最新のデータベースシステムとコンテナオーケストレーションサービスをどのように利用して、ウェブベースのリアルタイムデータ可視化を提供するかについて議論する。ECEIデータのケーススタディを通じて、機械学習モデルの出力を可視化に統合する方法を実証する。これにより、セッションリーダーや物理運転担当者は、ライブ可視化を用いた高次解析の結果に基づいて、次のショットの装置設定についてより情報に基づいた意思決定を行うことができる。