ベイズ決定理論に基づく最適な予測および計算手法の構築

研究例1：決定木モデル

「決定木モデル」というデータ生成観測メカニズムを仮定したもとで、ベイズ決定理論に基づく最適な予測を導出し、効率的な計算アルゴリズムの構築を行いました。

Dobashi, Nao, Shota Saito, Yuta Nakahara, and Toshiyasu Matsushima. 2021. "Meta-Tree Random Forest: Probabilistic Data-Generative Model and Bayes Optimal Prediction" Entropy 23, no. 6: 768. https://doi.org/10.3390/e23060768　リンク

また、決定木モデルに関連して、根付き木の確率分布について研究を行いました。

Nakahara, Yuta, Shota Saito, Akira Kamatsuka, and Toshiyasu Matsushima. 2022. "Probability Distribution on Full Rooted Trees" Entropy 24, no. 3: 328. https://doi.org/10.3390/e24030328　リンク

Y. Nakahara, S. Saito, A. Kamatsuka and T. Matsushima, "Probability Distribution on Rooted Trees," 2022 IEEE International Symposium on Information Theory (ISIT), Espoo, Finland, 2022, pp. 174-179, doi: 10.1109/ISIT50566.2022.9834481.　リンク

研究例2：潜在クラスモデル

潜在クラスを仮定したデータ生成観測メカニズムのもとで、ベイズ決定理論に基づく最適な予測を導出しました。また、この最適な予測の近似計算を行うアルゴリズムを構築しました。

Murayama, H., Saito, S., Iikubo, Y. et al. Cluster’s Number Free Bayes Prediction of General Framework on Mixture of Regression Models. J Stat Theory Appl 20, 425–449 (2021). https://doi.org/10.1007/s44199-021-00001-5　リンク

Ishiwatari, T., Saito, S., Nakahara, Y. et al. Bayes optimal estimation and its approximation algorithm for difference with and without treatment under IRSLC model. Int J Data Sci Anal (2023). https://doi.org/10.1007/s41060-023-00468-8　リンク

ベイズリスクの下界

データから確率分布のパラメータを推定する問題は、統計学や機械学習において基礎的で重要な問題です。パラメータ推定の「良さ」を測る指標の一つとして「ベイズリスク」があります。これは、真のパラメータの値と推定した値との間の誤差の平均のような量であり、ベイズリスクが小さい推定であるほど平均的に誤差の少ない推定を行っていると考えられます。「理論的にはどこまでベイズリスクを小さくできるか？」という問いに対して、様々な従来研究により様々な結果が導かれていました。この研究では、情報理論的な視点から「Meta-Bound」という数式を提案し、この式から従来の様々な理論結果が導かれることを示し、従来研究を統一的に見る視点を提供しました。

S. Saito, "Meta-Bound on Lower Bounds of Bayes Risk in Parameter Estimation," IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, 2024, Volume E107.A, Issue 3, Pages 503-509　リンク

ベイズ符号の符号語長解析を応用した分類誤り率の評価

ベイズ符号の符号語長の理論解析手法を、機械学習の研究に応用しました。具体的には、ベイズ符号の符号語長の理論解析手法を利用することで、分類問題の分類誤り率を従来よりも精密に評価できることを明らかにしました。

S. Saito and T. Matsushima, "Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code," 2020 IEEE International Symposium on Information Theory (ISIT), Los Angeles, CA, USA, 2020, pp. 2510-2514, doi: 10.1109/ISIT44484.2020.9173981.　リンク

S. Saito and T. Matsushima, "Evaluation of Error Probability of Classification Based on the Analysis of the Bayes Code: Extension and Example," 2021 IEEE International Symposium on Information Theory (ISIT), Melbourne, Australia, 2021, pp. 1445-1450, doi: 10.1109/ISIT45174.2021.9517718.　リンク