Plasma with an internal transport barrier (ITB) is desirable for a steady-state tokamak reactor because of its high confinement quality and high bootstrap current fraction. However, the local pressure gradient tends to be steep and the plasma often becomes unstable. In this study, an ion temperature gradient control system based on neutral beam injection (NBI) is developed using the reinforcement learning technique. The response characteristics of an ion temperature gradient to NBI are non-linear and sensitive to experimental conditions, which makes it difficult to develop a robust control system. Our control system is trained for plasmas with a wide range of ITB strengths. Using the reinforcement learning technique, the system acquires a robust control feature through several thousand iterations of trial and error in an integrated transport simulation hosted by TOPICS. The control system is composed of neural networks (NNs) whose input variables are the ion temperature gradient, the current NBI power, and the NBI powers for several previous control time steps. The trained system can determine a control output which is suitable for the response characteristics inferred from the input variables. The trained control system is tested in the TOPICS simulation using plasma models based on two experimental plasmas of JT-60U with different ITB strengths. It is shown that the ion temperature gradient can be appropriately controlled for both plasmas, which supports the expectation that this system is applicable to real experiments.
内部輸送障壁（ITB）を有するプラズマは、高い閉じ込め性能と高いブートストラップ電流分率のため、定常トカマク炉にとって望ましい。しかしながら、局所的な圧力勾配は急峻になりがちであり、プラズマはしばしば不安定になる。本研究では、中性粒子ビーム入射（NBI）に基づくイオン温度勾配制御システムを強化学習手法を用いて開発する。NBIに対するイオン温度勾配の応答特性は非線形であり、実験条件に敏感であるため、ロバストな制御システムの開発は困難である。我々の制御システムは、広範囲のITB強度を有するプラズマに対して訓練される。強化学習手法を用いることで、システムはTOPICSによって提供される統合輸送シミュレーションにおける数千回の試行錯誤を通じてロバストな制御特性を獲得する。制御システムはニューラルネットワーク（NN）で構成され、その入力変数はイオン温度勾配、現在のNBIパワー、および過去数回の制御時間ステップにおけるNBIパワーである。訓練されたシステムは、入力変数から推測される応答特性に適した制御出力を決定することができる。訓練された制御システムは、異なるITB強度を有するJT-60Uの2つの実験プラズマに基づくプラズマモデルを用いてTOPICSシミュレーションで試験される。両方のプラズマに対してイオン温度勾配を適切に制御できることが示され、このシステムが実実験に適用可能であるという期待を裏付ける。