CINXE.COM

<!DOCTYPE html> <html lang="en"> <head> <meta content="text/html; charset=utf-8" http-equiv="content-type"/> <title>Model Collapse Demystified: The Case of Regression</title>  <meta content="width=device-width, initial-scale=1, shrink-to-fit=no" name="viewport"/> <link href="https://cdn.jsdelivr.net/npm/bootstrap@5.3.0/dist/css/bootstrap.min.css" rel="stylesheet" type="text/css"/> <link href="/static/browse/0.3.4/css/ar5iv_0.7.4.min.css" rel="stylesheet" type="text/css"/> <link href="/static/browse/0.3.4/css/latexml_styles.css" rel="stylesheet" type="text/css"/> <script src="https://cdn.jsdelivr.net/npm/bootstrap@5.3.0/dist/js/bootstrap.bundle.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/html2canvas/1.3.3/html2canvas.min.js"></script> <script src="/static/browse/0.3.4/js/addons.js"></script> <script src="/static/browse/0.3.4/js/feedbackOverlay.js"></script> <meta content="Machine Learning, ICML" lang="en" name="keywords"/> <base href="/html/2402.07712v1/"/></head> <body> <nav class="ltx_page_navbar"> <nav class="ltx_TOC"> <ol class="ltx_toclist"> <li class="ltx_tocentry ltx_tocentry_section"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1" title="1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">1 </span>Introduction</span></a> <ol class="ltx_toclist ltx_toclist_section"> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.SS0.SSS0.Px1" title="Summary of Main Contributions. ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Summary of Main Contributions.</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_section"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S2" title="2 Review of Literature ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">2 </span>Review of Literature</span></a> <ol class="ltx_toclist ltx_toclist_section"> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S2.SS0.SSS0.Px1" title="Model Collapse. ‣ 2 Review of Literature ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Model Collapse.</span></a></li> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S2.SS0.SSS0.Px2" title="Self-Distillation. ‣ 2 Review of Literature ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Self-Distillation.</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_section"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3" title="3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">3 </span>Theoretical Setup</span></a></li> <li class="ltx_tocentry ltx_tocentry_section"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4" title="4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">4 </span>Exact Test Error Characterization</span></a> <ol class="ltx_toclist ltx_toclist_section"> <li class="ltx_tocentry ltx_tocentry_subsection"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS1" title="4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">4.1 </span>Warm-up: Unregularized Downstream Model</span></a> <ol class="ltx_toclist ltx_toclist_subsection"> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS1.SSS0.Px1" title="Low-Dimensional Regime. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Low-Dimensional Regime.</span></a></li> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS1.SSS0.Px2" title="Regularize ? ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Regularize ?</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS2" title="4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">4.2 </span>Main Result I: A General Formula for Test Error</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS3" title="4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">4.3 </span>Essential Random Matrix Theory</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.SS4" title="4.4 Main Result II: Analytic Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">4.4 </span>Main Result II: Analytic Formula for Test Error</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_section"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5" title="5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">5 </span>The Case of Heavy Tails (Power Law)</span></a> <ol class="ltx_toclist ltx_toclist_section"> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.SS1" title="5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">5.1 </span>Main Result III: A ”Collapsed” Scaling Law</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.SS2" title="5.2 Optimal Regularization for Mitigating Collapse ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">5.2 </span>Optimal Regularization for Mitigating Collapse</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_section"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S6" title="6 Experiments ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">6 </span>Experiments</span></a></li> <li class="ltx_tocentry ltx_tocentry_section"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S7" title="7 Concluding Remarks ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">7 </span>Concluding Remarks</span></a></li> <li class="ltx_tocentry ltx_tocentry_section"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S8" title="8 Acknowledgements ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">8 </span>Acknowledgements</span></a></li> <li class="ltx_tocentry ltx_tocentry_appendix"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A1" title="Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">A </span>Exact Characterization of Test Error Under Model Collapse</span></a> <ol class="ltx_toclist ltx_toclist_appendix"> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A1.SS1" title="A.1 Proof of Theorem 4.1 (Rigeless Regression / OLS) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">A.1 </span>Proof of Theorem <span class="ltx_text ltx_ref_tag">4.1</span> (Rigeless Regression / OLS)</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A1.SS2" title="A.2 Proof of Theorem 4.2 (Ridge Regression) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">A.2 </span>Proof of Theorem <span class="ltx_text ltx_ref_tag">4.2</span> (Ridge Regression)</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A1.SS3" title="A.3 Proof of Theorem 4.5 (Analytic Formula via RMT) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">A.3 </span>Proof of Theorem <span class="ltx_text ltx_ref_tag">4.5</span> (Analytic Formula via RMT)</span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A1.SS4" title="A.4 A Note on Proposition ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">A.4 </span>A Note on Proposition</span></a></li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_appendix"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2" title="Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">B </span>Power-Law Regime</span></a> <ol class="ltx_toclist ltx_toclist_appendix"> <li class="ltx_tocentry ltx_tocentry_subsection"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.SS1" title="B.1 Proof of Theorem 5.2 ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">B.1 </span>Proof of Theorem <span class="ltx_text ltx_ref_tag">5.2</span></span></a></li> <li class="ltx_tocentry ltx_tocentry_subsection"> <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.SS2" title="B.2 Representation of Clean Test Error ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">B.2 </span>Representation of Clean Test Error</span></a> <ol class="ltx_toclist ltx_toclist_subsection"> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.SS2.SSS0.Px1" title="Low-Noise Regime. ‣ B.2 Representation of Clean Test Error ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">Low-Noise Regime.</span></a></li> <li class="ltx_tocentry ltx_tocentry_paragraph"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.SS2.SSS0.Px2" title="High-Noise Regime. ‣ B.2 Representation of Clean Test Error ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title">High-Noise Regime.</span></a></li> </ol> </li> </ol> </li> <li class="ltx_tocentry ltx_tocentry_appendix"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3" title="Appendix C Technical Lemmas ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_title"><span class="ltx_tag ltx_tag_ref">C </span>Technical Lemmas</span></a></li> </ol></nav> </nav> <div class="ltx_page_main"> <div class="ltx_page_content"><div class="section" id="target-section"><div id="license-tr">License: arXiv.org perpetual non-exclusive license</div><div id="watermark-tr">arXiv:2402.07712v1 [cs.LG] 12 Feb 2024</div></div> <article class="ltx_document ltx_pruned_first"> <h1 class="ltx_title ltx_title_document">Model Collapse Demystified: The Case of Regression</h1> <div class="ltx_authors"> <span class="ltx_creator ltx_role_author"> <span class="ltx_personname">Elvis Dohmatob </span></span> <span class="ltx_author_before"> </span><span class="ltx_creator ltx_role_author"> <span class="ltx_personname">Yunzhen Feng </span></span> <span class="ltx_author_before"> </span><span class="ltx_creator ltx_role_author"> <span class="ltx_personname">Julia Kempe </span></span> </div> <div class="ltx_abstract"> <h6 class="ltx_title ltx_title_abstract">Abstract</h6> <p class="ltx_p" id="id1.id1">In the era of large language models like ChatGPT, the phenomenon of ”model collapse” refers to the situation whereby as a model is trained recursively on data generated from previous generations of itself over time, its performance degrades until the model eventually becomes completely useless, i.e the model collapses. In this work, we study this phenomenon in the simplified setting of kernel regression and obtain results which show a clear crossover between where the model can cope with fake data, and a regime where the model’s performance completely collapses. Under polynomial decaying spectral and source conditions, we obtain modified scaling laws which exhibit new crossover phenomena from fast to slow rates. We also propose a simple strategy based on adaptive regularization to mitigate model collapse. Our theoretical results are validated with experiments.</p> </div> <div class="ltx_keywords">Machine Learning, ICML </div> <div class="ltx_para" id="p2"> <br class="ltx_break"/> </div> <section class="ltx_section" id="S1"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">1 </span>Introduction</h2> <div class="ltx_para" id="S1.p1"> <p class="ltx_p" id="S1.p1.1"><span class="ltx_text ltx_font_italic" id="S1.p1.1.1">Model collapse</span> describes the situation where the performance of large language models (LLMs) or large image generators degrade as more and more AI-generated data becomes present in their training dataset <cite class="ltx_cite ltx_citemacro_citet">Shumailov et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>)</cite>. Indeed, in the early stages of generative AI evolution (e.g the ChatGPT-xyz series of models), there is emerging evidence suggesting that retraining a generative AI model on its own outputs can lead to various anomalies in the model’s later outputs.</p> </div> <div class="ltx_para" id="S1.p2"> <p class="ltx_p" id="S1.p2.1">This phenomenon has been particularly observed in LLMs, where retraining on their generated content introduces irreparable defects, resulting in what is known as ”model collapse”, the production of nonsensical or gibberish output <cite class="ltx_cite ltx_citemacro_citet">Shumailov et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>); Bohacek & Farid (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib8" title="">2023</a>)</cite>. Though several recent works demonstrate facets of this phenomenon <span class="ltx_text ltx_font_italic" id="S1.p2.1.1">empirically</span> in various settings <cite class="ltx_cite ltx_citemacro_citet">Hataya et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib21" title="">2023</a>); Martínez et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib28" title="">2023a</a>, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib29" title="">b</a>); Bohacek & Farid (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib8" title="">2023</a>); Briesch et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib10" title="">2023</a>); Guo et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib19" title="">2023</a>)</cite>, a theoretical understanding is still missing.</p> </div> <div class="ltx_para" id="S1.p3"> <p class="ltx_p" id="S1.p3.1">In this work, we initiate a theoretical study of model collapse in the setting of high-dimensional supervised-learning with kernel regression. Kernel methods are popular in machine learning because, despite their simplicity, they define a framework powerful enough to exhibit non-linear features, while remaining in the convex optimization domain. While popular in their own right, kernel methods have made a recent spectacular comeback as proxies for neural networks in different regimes <cite class="ltx_cite ltx_citemacro_citet">Belkin et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib6" title="">2018</a>)</cite>, for instance in the infinite-width limit <cite class="ltx_cite ltx_citemacro_citet">Neal (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib33" title="">1996</a>); Williams (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib47" title="">1996</a>); Jacot et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib22" title="">2018</a>); Lee et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib24" title="">2018</a>)</cite> or in the lazy regime of training <cite class="ltx_cite ltx_citemacro_citet">Chizat et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib13" title="">2019</a>)</cite>. <cite class="ltx_cite ltx_citemacro_citet">Caponnetto & de Vito (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>)</cite> characterize the power-law generalization error of regularized least-squares kernel algorithms. The role of optimization can also be taken into account in this setting <cite class="ltx_cite ltx_citemacro_citet">Nitanda & Suzuki (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib34" title="">2021</a>)</cite>. In the nonparametric literature, for example <cite class="ltx_cite ltx_citemacro_citet">Schmidt-Hieber (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib40" title="">2017</a>)</cite> and <cite class="ltx_cite ltx_citemacro_citet">Suzuki (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib44" title="">2019</a>)</cite> derived the test error scaling of deep neural network in fitting certain target functions and <cite class="ltx_cite ltx_citemacro_citet">Bordelon et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib9" title="">2020</a>)</cite> analyze spectral dependence. More recently, scaling laws have been shown for kernel models under the Gaussian design, e.g. in <cite class="ltx_cite ltx_citemacro_citet">Spigler et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib43" title="">2020</a>); Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib14" title="">2021</a>, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> for regression and <cite class="ltx_cite ltx_citemacro_citet">Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib16" title="">2023</a>)</cite> for classification. <cite class="ltx_cite ltx_citemacro_citet">Rahimi & Recht (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib35" title="">2008</a>); Rudi & Rosasco (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib39" title="">2017</a>); Maloney et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib27" title="">2022</a>)</cite> study scaling laws for the random feature model in the context of regression.</p> </div> <figure class="ltx_figure" id="S1.F1"><img alt="Refer to caption" class="ltx_graphics ltx_centering ltx_img_landscape" height="207" id="S1.F1.g1" src="x1.png" width="665"/> <figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span class="ltx_text" id="S1.F1.31.14.1" style="font-size:90%;">Figure 1</span>: </span><span class="ltx_text ltx_font_bold" id="S1.F1.26.13" style="font-size:90%;">Demystifying model collapse in ridge regression (isotropic covariance).<span class="ltx_text ltx_font_medium" id="S1.F1.21.8.8"> We show the evolution of test error for different sample size (<math alttext="T" class="ltx_Math" display="inline" id="S1.F1.14.1.1.m1.1"><semantics id="S1.F1.14.1.1.m1.1b"><mi id="S1.F1.14.1.1.m1.1.1" xref="S1.F1.14.1.1.m1.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S1.F1.14.1.1.m1.1c"><ci id="S1.F1.14.1.1.m1.1.1.cmml" xref="S1.F1.14.1.1.m1.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.14.1.1.m1.1d">T</annotation><annotation encoding="application/x-llamapun" id="S1.F1.14.1.1.m1.1e">italic_T</annotation></semantics></math>), different levels of ridge-regularization (<math alttext="\lambda" class="ltx_Math" display="inline" id="S1.F1.15.2.2.m2.1"><semantics id="S1.F1.15.2.2.m2.1b"><mi id="S1.F1.15.2.2.m2.1.1" xref="S1.F1.15.2.2.m2.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="S1.F1.15.2.2.m2.1c"><ci id="S1.F1.15.2.2.m2.1.1.cmml" xref="S1.F1.15.2.2.m2.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.15.2.2.m2.1d">\lambda</annotation><annotation encoding="application/x-llamapun" id="S1.F1.15.2.2.m2.1e">italic_λ</annotation></semantics></math>), and training data from different generations (<math alttext="n" class="ltx_Math" display="inline" id="S1.F1.16.3.3.m3.1"><semantics id="S1.F1.16.3.3.m3.1b"><mi id="S1.F1.16.3.3.m3.1.1" xref="S1.F1.16.3.3.m3.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S1.F1.16.3.3.m3.1c"><ci id="S1.F1.16.3.3.m3.1.1.cmml" xref="S1.F1.16.3.3.m3.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.16.3.3.m3.1d">n</annotation><annotation encoding="application/x-llamapun" id="S1.F1.16.3.3.m3.1e">italic_n</annotation></semantics></math>) of fake data. The setup is: <math alttext="\Sigma=I_{d}" class="ltx_Math" display="inline" id="S1.F1.17.4.4.m4.1"><semantics id="S1.F1.17.4.4.m4.1b"><mrow id="S1.F1.17.4.4.m4.1.1" xref="S1.F1.17.4.4.m4.1.1.cmml"><mi id="S1.F1.17.4.4.m4.1.1.2" mathvariant="normal" xref="S1.F1.17.4.4.m4.1.1.2.cmml">Σ</mi><mo id="S1.F1.17.4.4.m4.1.1.1" mathvariant="normal" xref="S1.F1.17.4.4.m4.1.1.1.cmml">=</mo><msub id="S1.F1.17.4.4.m4.1.1.3" xref="S1.F1.17.4.4.m4.1.1.3.cmml"><mi id="S1.F1.17.4.4.m4.1.1.3.2" xref="S1.F1.17.4.4.m4.1.1.3.2.cmml">I</mi><mi id="S1.F1.17.4.4.m4.1.1.3.3" xref="S1.F1.17.4.4.m4.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.17.4.4.m4.1c"><apply id="S1.F1.17.4.4.m4.1.1.cmml" xref="S1.F1.17.4.4.m4.1.1"><eq id="S1.F1.17.4.4.m4.1.1.1.cmml" xref="S1.F1.17.4.4.m4.1.1.1"></eq><ci id="S1.F1.17.4.4.m4.1.1.2.cmml" xref="S1.F1.17.4.4.m4.1.1.2">normal-Σ</ci><apply id="S1.F1.17.4.4.m4.1.1.3.cmml" xref="S1.F1.17.4.4.m4.1.1.3"><csymbol cd="ambiguous" id="S1.F1.17.4.4.m4.1.1.3.1.cmml" xref="S1.F1.17.4.4.m4.1.1.3">subscript</csymbol><ci id="S1.F1.17.4.4.m4.1.1.3.2.cmml" xref="S1.F1.17.4.4.m4.1.1.3.2">𝐼</ci><ci id="S1.F1.17.4.4.m4.1.1.3.3.cmml" xref="S1.F1.17.4.4.m4.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.17.4.4.m4.1d">\Sigma=I_{d}</annotation><annotation encoding="application/x-llamapun" id="S1.F1.17.4.4.m4.1e">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math> (i.e isotropic features), <math alttext="d=300" class="ltx_Math" display="inline" id="S1.F1.18.5.5.m5.1"><semantics id="S1.F1.18.5.5.m5.1b"><mrow id="S1.F1.18.5.5.m5.1.1" xref="S1.F1.18.5.5.m5.1.1.cmml"><mi id="S1.F1.18.5.5.m5.1.1.2" xref="S1.F1.18.5.5.m5.1.1.2.cmml">d</mi><mo id="S1.F1.18.5.5.m5.1.1.1" mathvariant="normal" xref="S1.F1.18.5.5.m5.1.1.1.cmml">=</mo><mn id="S1.F1.18.5.5.m5.1.1.3" mathvariant="normal" xref="S1.F1.18.5.5.m5.1.1.3.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.18.5.5.m5.1c"><apply id="S1.F1.18.5.5.m5.1.1.cmml" xref="S1.F1.18.5.5.m5.1.1"><eq id="S1.F1.18.5.5.m5.1.1.1.cmml" xref="S1.F1.18.5.5.m5.1.1.1"></eq><ci id="S1.F1.18.5.5.m5.1.1.2.cmml" xref="S1.F1.18.5.5.m5.1.1.2">𝑑</ci><cn id="S1.F1.18.5.5.m5.1.1.3.cmml" type="integer" xref="S1.F1.18.5.5.m5.1.1.3">300</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.18.5.5.m5.1d">d=300</annotation><annotation encoding="application/x-llamapun" id="S1.F1.18.5.5.m5.1e">italic_d = 300</annotation></semantics></math>, <math alttext="T_{0}=600" class="ltx_Math" display="inline" id="S1.F1.19.6.6.m6.1"><semantics id="S1.F1.19.6.6.m6.1b"><mrow id="S1.F1.19.6.6.m6.1.1" xref="S1.F1.19.6.6.m6.1.1.cmml"><msub id="S1.F1.19.6.6.m6.1.1.2" xref="S1.F1.19.6.6.m6.1.1.2.cmml"><mi id="S1.F1.19.6.6.m6.1.1.2.2" xref="S1.F1.19.6.6.m6.1.1.2.2.cmml">T</mi><mn id="S1.F1.19.6.6.m6.1.1.2.3" mathvariant="normal" xref="S1.F1.19.6.6.m6.1.1.2.3.cmml">0</mn></msub><mo id="S1.F1.19.6.6.m6.1.1.1" mathvariant="normal" xref="S1.F1.19.6.6.m6.1.1.1.cmml">=</mo><mn id="S1.F1.19.6.6.m6.1.1.3" mathvariant="normal" xref="S1.F1.19.6.6.m6.1.1.3.cmml">600</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.19.6.6.m6.1c"><apply id="S1.F1.19.6.6.m6.1.1.cmml" xref="S1.F1.19.6.6.m6.1.1"><eq id="S1.F1.19.6.6.m6.1.1.1.cmml" xref="S1.F1.19.6.6.m6.1.1.1"></eq><apply id="S1.F1.19.6.6.m6.1.1.2.cmml" xref="S1.F1.19.6.6.m6.1.1.2"><csymbol cd="ambiguous" id="S1.F1.19.6.6.m6.1.1.2.1.cmml" xref="S1.F1.19.6.6.m6.1.1.2">subscript</csymbol><ci id="S1.F1.19.6.6.m6.1.1.2.2.cmml" xref="S1.F1.19.6.6.m6.1.1.2.2">𝑇</ci><cn id="S1.F1.19.6.6.m6.1.1.2.3.cmml" type="integer" xref="S1.F1.19.6.6.m6.1.1.2.3">0</cn></apply><cn id="S1.F1.19.6.6.m6.1.1.3.cmml" type="integer" xref="S1.F1.19.6.6.m6.1.1.3">600</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.19.6.6.m6.1d">T_{0}=600</annotation><annotation encoding="application/x-llamapun" id="S1.F1.19.6.6.m6.1e">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = 600</annotation></semantics></math> (sample size on which each generation of the fake data generator is built), <math alttext="\sigma=0.1" class="ltx_Math" display="inline" id="S1.F1.20.7.7.m7.1"><semantics id="S1.F1.20.7.7.m7.1b"><mrow id="S1.F1.20.7.7.m7.1.1" xref="S1.F1.20.7.7.m7.1.1.cmml"><mi id="S1.F1.20.7.7.m7.1.1.2" xref="S1.F1.20.7.7.m7.1.1.2.cmml">σ</mi><mo id="S1.F1.20.7.7.m7.1.1.1" mathvariant="normal" xref="S1.F1.20.7.7.m7.1.1.1.cmml">=</mo><mn id="S1.F1.20.7.7.m7.1.1.3" mathvariant="normal" xref="S1.F1.20.7.7.m7.1.1.3.cmml">0.1</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.20.7.7.m7.1c"><apply id="S1.F1.20.7.7.m7.1.1.cmml" xref="S1.F1.20.7.7.m7.1.1"><eq id="S1.F1.20.7.7.m7.1.1.1.cmml" xref="S1.F1.20.7.7.m7.1.1.1"></eq><ci id="S1.F1.20.7.7.m7.1.1.2.cmml" xref="S1.F1.20.7.7.m7.1.1.2">𝜎</ci><cn id="S1.F1.20.7.7.m7.1.1.3.cmml" type="float" xref="S1.F1.20.7.7.m7.1.1.3">0.1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.20.7.7.m7.1d">\sigma=0.1</annotation><annotation encoding="application/x-llamapun" id="S1.F1.20.7.7.m7.1e">italic_σ = 0.1</annotation></semantics></math> (label noise in true data distribution), and <math alttext="\sigma_{0}=0.2" class="ltx_Math" display="inline" id="S1.F1.21.8.8.m8.1"><semantics id="S1.F1.21.8.8.m8.1b"><mrow id="S1.F1.21.8.8.m8.1.1" xref="S1.F1.21.8.8.m8.1.1.cmml"><msub id="S1.F1.21.8.8.m8.1.1.2" xref="S1.F1.21.8.8.m8.1.1.2.cmml"><mi id="S1.F1.21.8.8.m8.1.1.2.2" xref="S1.F1.21.8.8.m8.1.1.2.2.cmml">σ</mi><mn id="S1.F1.21.8.8.m8.1.1.2.3" mathvariant="normal" xref="S1.F1.21.8.8.m8.1.1.2.3.cmml">0</mn></msub><mo id="S1.F1.21.8.8.m8.1.1.1" mathvariant="normal" xref="S1.F1.21.8.8.m8.1.1.1.cmml">=</mo><mn id="S1.F1.21.8.8.m8.1.1.3" mathvariant="normal" xref="S1.F1.21.8.8.m8.1.1.3.cmml">0.2</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.21.8.8.m8.1c"><apply id="S1.F1.21.8.8.m8.1.1.cmml" xref="S1.F1.21.8.8.m8.1.1"><eq id="S1.F1.21.8.8.m8.1.1.1.cmml" xref="S1.F1.21.8.8.m8.1.1.1"></eq><apply id="S1.F1.21.8.8.m8.1.1.2.cmml" xref="S1.F1.21.8.8.m8.1.1.2"><csymbol cd="ambiguous" id="S1.F1.21.8.8.m8.1.1.2.1.cmml" xref="S1.F1.21.8.8.m8.1.1.2">subscript</csymbol><ci id="S1.F1.21.8.8.m8.1.1.2.2.cmml" xref="S1.F1.21.8.8.m8.1.1.2.2">𝜎</ci><cn id="S1.F1.21.8.8.m8.1.1.2.3.cmml" type="integer" xref="S1.F1.21.8.8.m8.1.1.2.3">0</cn></apply><cn id="S1.F1.21.8.8.m8.1.1.3.cmml" type="float" xref="S1.F1.21.8.8.m8.1.1.3">0.2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.21.8.8.m8.1d">\sigma_{0}=0.2</annotation><annotation encoding="application/x-llamapun" id="S1.F1.21.8.8.m8.1e">italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = 0.2</annotation></semantics></math> (label noise for each generation of the fake data generator). </span>Left plot<span class="ltx_text ltx_font_medium" id="S1.F1.24.11.11"> is for <math alttext="T=1000" class="ltx_Math" display="inline" id="S1.F1.22.9.9.m1.1"><semantics id="S1.F1.22.9.9.m1.1b"><mrow id="S1.F1.22.9.9.m1.1.1" xref="S1.F1.22.9.9.m1.1.1.cmml"><mi id="S1.F1.22.9.9.m1.1.1.2" xref="S1.F1.22.9.9.m1.1.1.2.cmml">T</mi><mo id="S1.F1.22.9.9.m1.1.1.1" mathvariant="normal" xref="S1.F1.22.9.9.m1.1.1.1.cmml">=</mo><mn id="S1.F1.22.9.9.m1.1.1.3" mathvariant="normal" xref="S1.F1.22.9.9.m1.1.1.3.cmml">1000</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.22.9.9.m1.1c"><apply id="S1.F1.22.9.9.m1.1.1.cmml" xref="S1.F1.22.9.9.m1.1.1"><eq id="S1.F1.22.9.9.m1.1.1.1.cmml" xref="S1.F1.22.9.9.m1.1.1.1"></eq><ci id="S1.F1.22.9.9.m1.1.1.2.cmml" xref="S1.F1.22.9.9.m1.1.1.2">𝑇</ci><cn id="S1.F1.22.9.9.m1.1.1.3.cmml" type="integer" xref="S1.F1.22.9.9.m1.1.1.3">1000</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.22.9.9.m1.1d">T=1000</annotation><annotation encoding="application/x-llamapun" id="S1.F1.22.9.9.m1.1e">italic_T = 1000</annotation></semantics></math> and different of <math alttext="\lambda" class="ltx_Math" display="inline" id="S1.F1.23.10.10.m2.1"><semantics id="S1.F1.23.10.10.m2.1b"><mi id="S1.F1.23.10.10.m2.1.1" xref="S1.F1.23.10.10.m2.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="S1.F1.23.10.10.m2.1c"><ci id="S1.F1.23.10.10.m2.1.1.cmml" xref="S1.F1.23.10.10.m2.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.23.10.10.m2.1d">\lambda</annotation><annotation encoding="application/x-llamapun" id="S1.F1.23.10.10.m2.1e">italic_λ</annotation></semantics></math>. Notice the U-shape of the curves for large values of <math alttext="n" class="ltx_Math" display="inline" id="S1.F1.24.11.11.m3.1"><semantics id="S1.F1.24.11.11.m3.1b"><mi id="S1.F1.24.11.11.m3.1.1" xref="S1.F1.24.11.11.m3.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S1.F1.24.11.11.m3.1c"><ci id="S1.F1.24.11.11.m3.1.1.cmml" xref="S1.F1.24.11.11.m3.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.24.11.11.m3.1d">n</annotation><annotation encoding="application/x-llamapun" id="S1.F1.24.11.11.m3.1e">italic_n</annotation></semantics></math>, indicating the existence of a sweet spot (optimal regularization parameter). </span>Right plot<span class="ltx_text ltx_font_medium" id="S1.F1.26.13.13"> is for <math alttext="\lambda=10^{-3}" class="ltx_Math" display="inline" id="S1.F1.25.12.12.m1.1"><semantics id="S1.F1.25.12.12.m1.1b"><mrow id="S1.F1.25.12.12.m1.1.1" xref="S1.F1.25.12.12.m1.1.1.cmml"><mi id="S1.F1.25.12.12.m1.1.1.2" xref="S1.F1.25.12.12.m1.1.1.2.cmml">λ</mi><mo id="S1.F1.25.12.12.m1.1.1.1" mathvariant="normal" xref="S1.F1.25.12.12.m1.1.1.1.cmml">=</mo><msup id="S1.F1.25.12.12.m1.1.1.3" xref="S1.F1.25.12.12.m1.1.1.3.cmml"><mn id="S1.F1.25.12.12.m1.1.1.3.2" mathvariant="normal" xref="S1.F1.25.12.12.m1.1.1.3.2.cmml">10</mn><mrow id="S1.F1.25.12.12.m1.1.1.3.3" xref="S1.F1.25.12.12.m1.1.1.3.3.cmml"><mo id="S1.F1.25.12.12.m1.1.1.3.3b" mathvariant="normal" xref="S1.F1.25.12.12.m1.1.1.3.3.cmml">−</mo><mn id="S1.F1.25.12.12.m1.1.1.3.3.2" mathvariant="normal" xref="S1.F1.25.12.12.m1.1.1.3.3.2.cmml">3</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S1.F1.25.12.12.m1.1c"><apply id="S1.F1.25.12.12.m1.1.1.cmml" xref="S1.F1.25.12.12.m1.1.1"><eq id="S1.F1.25.12.12.m1.1.1.1.cmml" xref="S1.F1.25.12.12.m1.1.1.1"></eq><ci id="S1.F1.25.12.12.m1.1.1.2.cmml" xref="S1.F1.25.12.12.m1.1.1.2">𝜆</ci><apply id="S1.F1.25.12.12.m1.1.1.3.cmml" xref="S1.F1.25.12.12.m1.1.1.3"><csymbol cd="ambiguous" id="S1.F1.25.12.12.m1.1.1.3.1.cmml" xref="S1.F1.25.12.12.m1.1.1.3">superscript</csymbol><cn id="S1.F1.25.12.12.m1.1.1.3.2.cmml" type="integer" xref="S1.F1.25.12.12.m1.1.1.3.2">10</cn><apply id="S1.F1.25.12.12.m1.1.1.3.3.cmml" xref="S1.F1.25.12.12.m1.1.1.3.3"><minus id="S1.F1.25.12.12.m1.1.1.3.3.1.cmml" xref="S1.F1.25.12.12.m1.1.1.3.3"></minus><cn id="S1.F1.25.12.12.m1.1.1.3.3.2.cmml" type="integer" xref="S1.F1.25.12.12.m1.1.1.3.3.2">3</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.25.12.12.m1.1d">\lambda=10^{-3}</annotation><annotation encoding="application/x-llamapun" id="S1.F1.25.12.12.m1.1e">italic_λ = 10 start_POSTSUPERSCRIPT - 3 end_POSTSUPERSCRIPT</annotation></semantics></math> and different values of <math alttext="T" class="ltx_Math" display="inline" id="S1.F1.26.13.13.m2.1"><semantics id="S1.F1.26.13.13.m2.1b"><mi id="S1.F1.26.13.13.m2.1.1" xref="S1.F1.26.13.13.m2.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S1.F1.26.13.13.m2.1c"><ci id="S1.F1.26.13.13.m2.1.1.cmml" xref="S1.F1.26.13.13.m2.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F1.26.13.13.m2.1d">T</annotation><annotation encoding="application/x-llamapun" id="S1.F1.26.13.13.m2.1e">italic_T</annotation></semantics></math>. Error bars correspond to uncertainty induced by the data-generating process, over different runs. The broken lines correspond to the theoretical result established in Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem1" title="Theorem 4.1. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.1</span></a>.</span></span></figcaption> </figure> <figure class="ltx_figure" id="S1.F2"><img alt="Refer to caption" class="ltx_graphics ltx_centering ltx_img_landscape" height="208" id="S1.F2.g1" src="x2.png" width="665"/> <figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span class="ltx_text" id="S1.F2.23.10.1" style="font-size:90%;">Figure 2</span>: </span><span class="ltx_text ltx_font_bold" id="S1.F2.18.9" style="font-size:90%;">Demystifying model collapse in ridge regression (power-law covariance spectrum)<span class="ltx_text ltx_font_medium" id="S1.F2.13.4.4">. The setup is: <math alttext="d=300" class="ltx_Math" display="inline" id="S1.F2.10.1.1.m1.1"><semantics id="S1.F2.10.1.1.m1.1b"><mrow id="S1.F2.10.1.1.m1.1.1" xref="S1.F2.10.1.1.m1.1.1.cmml"><mi id="S1.F2.10.1.1.m1.1.1.2" xref="S1.F2.10.1.1.m1.1.1.2.cmml">d</mi><mo id="S1.F2.10.1.1.m1.1.1.1" mathvariant="normal" xref="S1.F2.10.1.1.m1.1.1.1.cmml">=</mo><mn id="S1.F2.10.1.1.m1.1.1.3" mathvariant="normal" xref="S1.F2.10.1.1.m1.1.1.3.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.10.1.1.m1.1c"><apply id="S1.F2.10.1.1.m1.1.1.cmml" xref="S1.F2.10.1.1.m1.1.1"><eq id="S1.F2.10.1.1.m1.1.1.1.cmml" xref="S1.F2.10.1.1.m1.1.1.1"></eq><ci id="S1.F2.10.1.1.m1.1.1.2.cmml" xref="S1.F2.10.1.1.m1.1.1.2">𝑑</ci><cn id="S1.F2.10.1.1.m1.1.1.3.cmml" type="integer" xref="S1.F2.10.1.1.m1.1.1.3">300</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.10.1.1.m1.1d">d=300</annotation><annotation encoding="application/x-llamapun" id="S1.F2.10.1.1.m1.1e">italic_d = 300</annotation></semantics></math>, <math alttext="\sigma=\sigma_{0}=1" class="ltx_Math" display="inline" id="S1.F2.11.2.2.m2.1"><semantics id="S1.F2.11.2.2.m2.1b"><mrow id="S1.F2.11.2.2.m2.1.1" xref="S1.F2.11.2.2.m2.1.1.cmml"><mi id="S1.F2.11.2.2.m2.1.1.2" xref="S1.F2.11.2.2.m2.1.1.2.cmml">σ</mi><mo id="S1.F2.11.2.2.m2.1.1.3" mathvariant="normal" xref="S1.F2.11.2.2.m2.1.1.3.cmml">=</mo><msub id="S1.F2.11.2.2.m2.1.1.4" xref="S1.F2.11.2.2.m2.1.1.4.cmml"><mi id="S1.F2.11.2.2.m2.1.1.4.2" xref="S1.F2.11.2.2.m2.1.1.4.2.cmml">σ</mi><mn id="S1.F2.11.2.2.m2.1.1.4.3" mathvariant="normal" xref="S1.F2.11.2.2.m2.1.1.4.3.cmml">0</mn></msub><mo id="S1.F2.11.2.2.m2.1.1.5" mathvariant="normal" xref="S1.F2.11.2.2.m2.1.1.5.cmml">=</mo><mn id="S1.F2.11.2.2.m2.1.1.6" mathvariant="normal" xref="S1.F2.11.2.2.m2.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.11.2.2.m2.1c"><apply id="S1.F2.11.2.2.m2.1.1.cmml" xref="S1.F2.11.2.2.m2.1.1"><and id="S1.F2.11.2.2.m2.1.1a.cmml" xref="S1.F2.11.2.2.m2.1.1"></and><apply id="S1.F2.11.2.2.m2.1.1b.cmml" xref="S1.F2.11.2.2.m2.1.1"><eq id="S1.F2.11.2.2.m2.1.1.3.cmml" xref="S1.F2.11.2.2.m2.1.1.3"></eq><ci id="S1.F2.11.2.2.m2.1.1.2.cmml" xref="S1.F2.11.2.2.m2.1.1.2">𝜎</ci><apply id="S1.F2.11.2.2.m2.1.1.4.cmml" xref="S1.F2.11.2.2.m2.1.1.4"><csymbol cd="ambiguous" id="S1.F2.11.2.2.m2.1.1.4.1.cmml" xref="S1.F2.11.2.2.m2.1.1.4">subscript</csymbol><ci id="S1.F2.11.2.2.m2.1.1.4.2.cmml" xref="S1.F2.11.2.2.m2.1.1.4.2">𝜎</ci><cn id="S1.F2.11.2.2.m2.1.1.4.3.cmml" type="integer" xref="S1.F2.11.2.2.m2.1.1.4.3">0</cn></apply></apply><apply id="S1.F2.11.2.2.m2.1.1c.cmml" xref="S1.F2.11.2.2.m2.1.1"><eq id="S1.F2.11.2.2.m2.1.1.5.cmml" xref="S1.F2.11.2.2.m2.1.1.5"></eq><share href="#S1.F2.11.2.2.m2.1.1.4.cmml" id="S1.F2.11.2.2.m2.1.1d.cmml" xref="S1.F2.11.2.2.m2.1.1"></share><cn id="S1.F2.11.2.2.m2.1.1.6.cmml" type="integer" xref="S1.F2.11.2.2.m2.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.11.2.2.m2.1d">\sigma=\sigma_{0}=1</annotation><annotation encoding="application/x-llamapun" id="S1.F2.11.2.2.m2.1e">italic_σ = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = 1</annotation></semantics></math>, <math alttext="\Sigma=\mathrm{diag}(\lambda_{1},\ldots,\lambda_{d})" class="ltx_Math" display="inline" id="S1.F2.12.3.3.m3.3"><semantics id="S1.F2.12.3.3.m3.3b"><mrow id="S1.F2.12.3.3.m3.3.3" xref="S1.F2.12.3.3.m3.3.3.cmml"><mi id="S1.F2.12.3.3.m3.3.3.4" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.4.cmml">Σ</mi><mo id="S1.F2.12.3.3.m3.3.3.3" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.3.cmml">=</mo><mrow id="S1.F2.12.3.3.m3.3.3.2" xref="S1.F2.12.3.3.m3.3.3.2.cmml"><mi id="S1.F2.12.3.3.m3.3.3.2.4" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.2.4.cmml">diag</mi><mo id="S1.F2.12.3.3.m3.3.3.2.3" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.2.3.cmml">⁢</mo><mrow id="S1.F2.12.3.3.m3.3.3.2.2.2" xref="S1.F2.12.3.3.m3.3.3.2.2.3.cmml"><mo id="S1.F2.12.3.3.m3.3.3.2.2.2.3" mathvariant="normal" stretchy="false" xref="S1.F2.12.3.3.m3.3.3.2.2.3.cmml">(</mo><msub id="S1.F2.12.3.3.m3.2.2.1.1.1.1" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1.cmml"><mi id="S1.F2.12.3.3.m3.2.2.1.1.1.1.2" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1.2.cmml">λ</mi><mn id="S1.F2.12.3.3.m3.2.2.1.1.1.1.3" mathvariant="normal" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1.3.cmml">1</mn></msub><mo id="S1.F2.12.3.3.m3.3.3.2.2.2.4" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.2.2.3.cmml">,</mo><mi id="S1.F2.12.3.3.m3.1.1" mathvariant="normal" xref="S1.F2.12.3.3.m3.1.1.cmml">…</mi><mo id="S1.F2.12.3.3.m3.3.3.2.2.2.5" mathvariant="normal" xref="S1.F2.12.3.3.m3.3.3.2.2.3.cmml">,</mo><msub id="S1.F2.12.3.3.m3.3.3.2.2.2.2" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2.cmml"><mi id="S1.F2.12.3.3.m3.3.3.2.2.2.2.2" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2.2.cmml">λ</mi><mi id="S1.F2.12.3.3.m3.3.3.2.2.2.2.3" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2.3.cmml">d</mi></msub><mo id="S1.F2.12.3.3.m3.3.3.2.2.2.6" mathvariant="normal" stretchy="false" xref="S1.F2.12.3.3.m3.3.3.2.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.12.3.3.m3.3c"><apply id="S1.F2.12.3.3.m3.3.3.cmml" xref="S1.F2.12.3.3.m3.3.3"><eq id="S1.F2.12.3.3.m3.3.3.3.cmml" xref="S1.F2.12.3.3.m3.3.3.3"></eq><ci id="S1.F2.12.3.3.m3.3.3.4.cmml" xref="S1.F2.12.3.3.m3.3.3.4">normal-Σ</ci><apply id="S1.F2.12.3.3.m3.3.3.2.cmml" xref="S1.F2.12.3.3.m3.3.3.2"><times id="S1.F2.12.3.3.m3.3.3.2.3.cmml" xref="S1.F2.12.3.3.m3.3.3.2.3"></times><ci id="S1.F2.12.3.3.m3.3.3.2.4.cmml" xref="S1.F2.12.3.3.m3.3.3.2.4">normal-diag</ci><vector id="S1.F2.12.3.3.m3.3.3.2.2.3.cmml" xref="S1.F2.12.3.3.m3.3.3.2.2.2"><apply id="S1.F2.12.3.3.m3.2.2.1.1.1.1.cmml" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S1.F2.12.3.3.m3.2.2.1.1.1.1.1.cmml" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1">subscript</csymbol><ci id="S1.F2.12.3.3.m3.2.2.1.1.1.1.2.cmml" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1.2">𝜆</ci><cn id="S1.F2.12.3.3.m3.2.2.1.1.1.1.3.cmml" type="integer" xref="S1.F2.12.3.3.m3.2.2.1.1.1.1.3">1</cn></apply><ci id="S1.F2.12.3.3.m3.1.1.cmml" xref="S1.F2.12.3.3.m3.1.1">normal-…</ci><apply id="S1.F2.12.3.3.m3.3.3.2.2.2.2.cmml" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2"><csymbol cd="ambiguous" id="S1.F2.12.3.3.m3.3.3.2.2.2.2.1.cmml" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2">subscript</csymbol><ci id="S1.F2.12.3.3.m3.3.3.2.2.2.2.2.cmml" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2.2">𝜆</ci><ci id="S1.F2.12.3.3.m3.3.3.2.2.2.2.3.cmml" xref="S1.F2.12.3.3.m3.3.3.2.2.2.2.3">𝑑</ci></apply></vector></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.12.3.3.m3.3d">\Sigma=\mathrm{diag}(\lambda_{1},\ldots,\lambda_{d})</annotation><annotation encoding="application/x-llamapun" id="S1.F2.12.3.3.m3.3e">roman_Σ = roman_diag ( italic_λ start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , … , italic_λ start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT )</annotation></semantics></math>, where <math alttext="\lambda_{k}\propto k^{-2}" class="ltx_Math" display="inline" id="S1.F2.13.4.4.m4.1"><semantics id="S1.F2.13.4.4.m4.1b"><mrow id="S1.F2.13.4.4.m4.1.1" xref="S1.F2.13.4.4.m4.1.1.cmml"><msub id="S1.F2.13.4.4.m4.1.1.2" xref="S1.F2.13.4.4.m4.1.1.2.cmml"><mi id="S1.F2.13.4.4.m4.1.1.2.2" xref="S1.F2.13.4.4.m4.1.1.2.2.cmml">λ</mi><mi id="S1.F2.13.4.4.m4.1.1.2.3" xref="S1.F2.13.4.4.m4.1.1.2.3.cmml">k</mi></msub><mo id="S1.F2.13.4.4.m4.1.1.1" mathvariant="normal" xref="S1.F2.13.4.4.m4.1.1.1.cmml">∝</mo><msup id="S1.F2.13.4.4.m4.1.1.3" xref="S1.F2.13.4.4.m4.1.1.3.cmml"><mi id="S1.F2.13.4.4.m4.1.1.3.2" xref="S1.F2.13.4.4.m4.1.1.3.2.cmml">k</mi><mrow id="S1.F2.13.4.4.m4.1.1.3.3" xref="S1.F2.13.4.4.m4.1.1.3.3.cmml"><mo id="S1.F2.13.4.4.m4.1.1.3.3b" mathvariant="normal" xref="S1.F2.13.4.4.m4.1.1.3.3.cmml">−</mo><mn id="S1.F2.13.4.4.m4.1.1.3.3.2" mathvariant="normal" xref="S1.F2.13.4.4.m4.1.1.3.3.2.cmml">2</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.13.4.4.m4.1c"><apply id="S1.F2.13.4.4.m4.1.1.cmml" xref="S1.F2.13.4.4.m4.1.1"><csymbol cd="latexml" id="S1.F2.13.4.4.m4.1.1.1.cmml" xref="S1.F2.13.4.4.m4.1.1.1">proportional-to</csymbol><apply id="S1.F2.13.4.4.m4.1.1.2.cmml" xref="S1.F2.13.4.4.m4.1.1.2"><csymbol cd="ambiguous" id="S1.F2.13.4.4.m4.1.1.2.1.cmml" xref="S1.F2.13.4.4.m4.1.1.2">subscript</csymbol><ci id="S1.F2.13.4.4.m4.1.1.2.2.cmml" xref="S1.F2.13.4.4.m4.1.1.2.2">𝜆</ci><ci id="S1.F2.13.4.4.m4.1.1.2.3.cmml" xref="S1.F2.13.4.4.m4.1.1.2.3">𝑘</ci></apply><apply id="S1.F2.13.4.4.m4.1.1.3.cmml" xref="S1.F2.13.4.4.m4.1.1.3"><csymbol cd="ambiguous" id="S1.F2.13.4.4.m4.1.1.3.1.cmml" xref="S1.F2.13.4.4.m4.1.1.3">superscript</csymbol><ci id="S1.F2.13.4.4.m4.1.1.3.2.cmml" xref="S1.F2.13.4.4.m4.1.1.3.2">𝑘</ci><apply id="S1.F2.13.4.4.m4.1.1.3.3.cmml" xref="S1.F2.13.4.4.m4.1.1.3.3"><minus id="S1.F2.13.4.4.m4.1.1.3.3.1.cmml" xref="S1.F2.13.4.4.m4.1.1.3.3"></minus><cn id="S1.F2.13.4.4.m4.1.1.3.3.2.cmml" type="integer" xref="S1.F2.13.4.4.m4.1.1.3.3.2">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.13.4.4.m4.1d">\lambda_{k}\propto k^{-2}</annotation><annotation encoding="application/x-llamapun" id="S1.F2.13.4.4.m4.1e">italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ∝ italic_k start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT</annotation></semantics></math>. </span>Left plot<span class="ltx_text ltx_font_medium" id="S1.F2.14.5.5"> corresponds to <math alttext="T=10,000" class="ltx_Math" display="inline" id="S1.F2.14.5.5.m1.2"><semantics id="S1.F2.14.5.5.m1.2b"><mrow id="S1.F2.14.5.5.m1.2.3" xref="S1.F2.14.5.5.m1.2.3.cmml"><mi id="S1.F2.14.5.5.m1.2.3.2" xref="S1.F2.14.5.5.m1.2.3.2.cmml">T</mi><mo id="S1.F2.14.5.5.m1.2.3.1" mathvariant="normal" xref="S1.F2.14.5.5.m1.2.3.1.cmml">=</mo><mrow id="S1.F2.14.5.5.m1.2.3.3.2" xref="S1.F2.14.5.5.m1.2.3.3.1.cmml"><mn id="S1.F2.14.5.5.m1.1.1" mathvariant="normal" xref="S1.F2.14.5.5.m1.1.1.cmml">10</mn><mo id="S1.F2.14.5.5.m1.2.3.3.2.1" mathvariant="normal" xref="S1.F2.14.5.5.m1.2.3.3.1.cmml">,</mo><mn id="S1.F2.14.5.5.m1.2.2" mathvariant="normal" xref="S1.F2.14.5.5.m1.2.2.cmml">000</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.14.5.5.m1.2c"><apply id="S1.F2.14.5.5.m1.2.3.cmml" xref="S1.F2.14.5.5.m1.2.3"><eq id="S1.F2.14.5.5.m1.2.3.1.cmml" xref="S1.F2.14.5.5.m1.2.3.1"></eq><ci id="S1.F2.14.5.5.m1.2.3.2.cmml" xref="S1.F2.14.5.5.m1.2.3.2">𝑇</ci><list id="S1.F2.14.5.5.m1.2.3.3.1.cmml" xref="S1.F2.14.5.5.m1.2.3.3.2"><cn id="S1.F2.14.5.5.m1.1.1.cmml" type="integer" xref="S1.F2.14.5.5.m1.1.1">10</cn><cn id="S1.F2.14.5.5.m1.2.2.cmml" type="integer" xref="S1.F2.14.5.5.m1.2.2">000</cn></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.14.5.5.m1.2d">T=10,000</annotation><annotation encoding="application/x-llamapun" id="S1.F2.14.5.5.m1.2e">italic_T = 10 , 000</annotation></semantics></math> and </span>Right plot<span class="ltx_text ltx_font_medium" id="S1.F2.18.9.9"> corresponds to adaptive regularization <math alttext="\lambda=T^{-\ell_{crit}}" class="ltx_Math" display="inline" id="S1.F2.15.6.6.m1.1"><semantics id="S1.F2.15.6.6.m1.1b"><mrow id="S1.F2.15.6.6.m1.1.1" xref="S1.F2.15.6.6.m1.1.1.cmml"><mi id="S1.F2.15.6.6.m1.1.1.2" xref="S1.F2.15.6.6.m1.1.1.2.cmml">λ</mi><mo id="S1.F2.15.6.6.m1.1.1.1" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.1.cmml">=</mo><msup id="S1.F2.15.6.6.m1.1.1.3" xref="S1.F2.15.6.6.m1.1.1.3.cmml"><mi id="S1.F2.15.6.6.m1.1.1.3.2" xref="S1.F2.15.6.6.m1.1.1.3.2.cmml">T</mi><mrow id="S1.F2.15.6.6.m1.1.1.3.3" xref="S1.F2.15.6.6.m1.1.1.3.3.cmml"><mo id="S1.F2.15.6.6.m1.1.1.3.3b" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.3.3.cmml">−</mo><msub id="S1.F2.15.6.6.m1.1.1.3.3.2" xref="S1.F2.15.6.6.m1.1.1.3.3.2.cmml"><mi id="S1.F2.15.6.6.m1.1.1.3.3.2.2" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.3.3.2.2.cmml">ℓ</mi><mrow id="S1.F2.15.6.6.m1.1.1.3.3.2.3" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.cmml"><mi id="S1.F2.15.6.6.m1.1.1.3.3.2.3.2" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.2.cmml">c</mi><mo id="S1.F2.15.6.6.m1.1.1.3.3.2.3.1" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S1.F2.15.6.6.m1.1.1.3.3.2.3.3" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.3.cmml">r</mi><mo id="S1.F2.15.6.6.m1.1.1.3.3.2.3.1b" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S1.F2.15.6.6.m1.1.1.3.3.2.3.4" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.4.cmml">i</mi><mo id="S1.F2.15.6.6.m1.1.1.3.3.2.3.1c" mathvariant="normal" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S1.F2.15.6.6.m1.1.1.3.3.2.3.5" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.5.cmml">t</mi></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.15.6.6.m1.1c"><apply id="S1.F2.15.6.6.m1.1.1.cmml" xref="S1.F2.15.6.6.m1.1.1"><eq id="S1.F2.15.6.6.m1.1.1.1.cmml" xref="S1.F2.15.6.6.m1.1.1.1"></eq><ci id="S1.F2.15.6.6.m1.1.1.2.cmml" xref="S1.F2.15.6.6.m1.1.1.2">𝜆</ci><apply id="S1.F2.15.6.6.m1.1.1.3.cmml" xref="S1.F2.15.6.6.m1.1.1.3"><csymbol cd="ambiguous" id="S1.F2.15.6.6.m1.1.1.3.1.cmml" xref="S1.F2.15.6.6.m1.1.1.3">superscript</csymbol><ci id="S1.F2.15.6.6.m1.1.1.3.2.cmml" xref="S1.F2.15.6.6.m1.1.1.3.2">𝑇</ci><apply id="S1.F2.15.6.6.m1.1.1.3.3.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3"><minus id="S1.F2.15.6.6.m1.1.1.3.3.1.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3"></minus><apply id="S1.F2.15.6.6.m1.1.1.3.3.2.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2"><csymbol cd="ambiguous" id="S1.F2.15.6.6.m1.1.1.3.3.2.1.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2">subscript</csymbol><ci id="S1.F2.15.6.6.m1.1.1.3.3.2.2.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.2">normal-ℓ</ci><apply id="S1.F2.15.6.6.m1.1.1.3.3.2.3.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3"><times id="S1.F2.15.6.6.m1.1.1.3.3.2.3.1.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.1"></times><ci id="S1.F2.15.6.6.m1.1.1.3.3.2.3.2.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.2">𝑐</ci><ci id="S1.F2.15.6.6.m1.1.1.3.3.2.3.3.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.3">𝑟</ci><ci id="S1.F2.15.6.6.m1.1.1.3.3.2.3.4.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.4">𝑖</ci><ci id="S1.F2.15.6.6.m1.1.1.3.3.2.3.5.cmml" xref="S1.F2.15.6.6.m1.1.1.3.3.2.3.5">𝑡</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.15.6.6.m1.1d">\lambda=T^{-\ell_{crit}}</annotation><annotation encoding="application/x-llamapun" id="S1.F2.15.6.6.m1.1e">italic_λ = italic_T start_POSTSUPERSCRIPT - roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT end_POSTSUPERSCRIPT</annotation></semantics></math>, where <math alttext="\lambda=\lambda(T)" class="ltx_Math" display="inline" id="S1.F2.16.7.7.m2.1"><semantics id="S1.F2.16.7.7.m2.1b"><mrow id="S1.F2.16.7.7.m2.1.2" xref="S1.F2.16.7.7.m2.1.2.cmml"><mi id="S1.F2.16.7.7.m2.1.2.2" xref="S1.F2.16.7.7.m2.1.2.2.cmml">λ</mi><mo id="S1.F2.16.7.7.m2.1.2.1" mathvariant="normal" xref="S1.F2.16.7.7.m2.1.2.1.cmml">=</mo><mrow id="S1.F2.16.7.7.m2.1.2.3" xref="S1.F2.16.7.7.m2.1.2.3.cmml"><mi id="S1.F2.16.7.7.m2.1.2.3.2" xref="S1.F2.16.7.7.m2.1.2.3.2.cmml">λ</mi><mo id="S1.F2.16.7.7.m2.1.2.3.1" mathvariant="normal" xref="S1.F2.16.7.7.m2.1.2.3.1.cmml">⁢</mo><mrow id="S1.F2.16.7.7.m2.1.2.3.3.2" xref="S1.F2.16.7.7.m2.1.2.3.cmml"><mo id="S1.F2.16.7.7.m2.1.2.3.3.2.1" mathvariant="normal" stretchy="false" xref="S1.F2.16.7.7.m2.1.2.3.cmml">(</mo><mi id="S1.F2.16.7.7.m2.1.1" xref="S1.F2.16.7.7.m2.1.1.cmml">T</mi><mo id="S1.F2.16.7.7.m2.1.2.3.3.2.2" mathvariant="normal" stretchy="false" xref="S1.F2.16.7.7.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.16.7.7.m2.1c"><apply id="S1.F2.16.7.7.m2.1.2.cmml" xref="S1.F2.16.7.7.m2.1.2"><eq id="S1.F2.16.7.7.m2.1.2.1.cmml" xref="S1.F2.16.7.7.m2.1.2.1"></eq><ci id="S1.F2.16.7.7.m2.1.2.2.cmml" xref="S1.F2.16.7.7.m2.1.2.2">𝜆</ci><apply id="S1.F2.16.7.7.m2.1.2.3.cmml" xref="S1.F2.16.7.7.m2.1.2.3"><times id="S1.F2.16.7.7.m2.1.2.3.1.cmml" xref="S1.F2.16.7.7.m2.1.2.3.1"></times><ci id="S1.F2.16.7.7.m2.1.2.3.2.cmml" xref="S1.F2.16.7.7.m2.1.2.3.2">𝜆</ci><ci id="S1.F2.16.7.7.m2.1.1.cmml" xref="S1.F2.16.7.7.m2.1.1">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.16.7.7.m2.1d">\lambda=\lambda(T)</annotation><annotation encoding="application/x-llamapun" id="S1.F2.16.7.7.m2.1e">italic_λ = italic_λ ( italic_T )</annotation></semantics></math> as proposed in <cite class="ltx_cite ltx_citemacro_citet">Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>. See Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S6" title="6 Experiments ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">6</span></a> for details. The broken curves are as predicted by our Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a>. Though the exponent <math alttext="\ell=\ell_{crit}" class="ltx_Math" display="inline" id="S1.F2.17.8.8.m3.1"><semantics id="S1.F2.17.8.8.m3.1b"><mrow id="S1.F2.17.8.8.m3.1.1" xref="S1.F2.17.8.8.m3.1.1.cmml"><mi id="S1.F2.17.8.8.m3.1.1.2" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.2.cmml">ℓ</mi><mo id="S1.F2.17.8.8.m3.1.1.1" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.1.cmml">=</mo><msub id="S1.F2.17.8.8.m3.1.1.3" xref="S1.F2.17.8.8.m3.1.1.3.cmml"><mi id="S1.F2.17.8.8.m3.1.1.3.2" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.3.2.cmml">ℓ</mi><mrow id="S1.F2.17.8.8.m3.1.1.3.3" xref="S1.F2.17.8.8.m3.1.1.3.3.cmml"><mi id="S1.F2.17.8.8.m3.1.1.3.3.2" xref="S1.F2.17.8.8.m3.1.1.3.3.2.cmml">c</mi><mo id="S1.F2.17.8.8.m3.1.1.3.3.1" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F2.17.8.8.m3.1.1.3.3.3" xref="S1.F2.17.8.8.m3.1.1.3.3.3.cmml">r</mi><mo id="S1.F2.17.8.8.m3.1.1.3.3.1b" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F2.17.8.8.m3.1.1.3.3.4" xref="S1.F2.17.8.8.m3.1.1.3.3.4.cmml">i</mi><mo id="S1.F2.17.8.8.m3.1.1.3.3.1c" mathvariant="normal" xref="S1.F2.17.8.8.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F2.17.8.8.m3.1.1.3.3.5" xref="S1.F2.17.8.8.m3.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.F2.17.8.8.m3.1c"><apply id="S1.F2.17.8.8.m3.1.1.cmml" xref="S1.F2.17.8.8.m3.1.1"><eq id="S1.F2.17.8.8.m3.1.1.1.cmml" xref="S1.F2.17.8.8.m3.1.1.1"></eq><ci id="S1.F2.17.8.8.m3.1.1.2.cmml" xref="S1.F2.17.8.8.m3.1.1.2">normal-ℓ</ci><apply id="S1.F2.17.8.8.m3.1.1.3.cmml" xref="S1.F2.17.8.8.m3.1.1.3"><csymbol cd="ambiguous" id="S1.F2.17.8.8.m3.1.1.3.1.cmml" xref="S1.F2.17.8.8.m3.1.1.3">subscript</csymbol><ci id="S1.F2.17.8.8.m3.1.1.3.2.cmml" xref="S1.F2.17.8.8.m3.1.1.3.2">normal-ℓ</ci><apply id="S1.F2.17.8.8.m3.1.1.3.3.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3"><times id="S1.F2.17.8.8.m3.1.1.3.3.1.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3.1"></times><ci id="S1.F2.17.8.8.m3.1.1.3.3.2.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3.2">𝑐</ci><ci id="S1.F2.17.8.8.m3.1.1.3.3.3.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3.3">𝑟</ci><ci id="S1.F2.17.8.8.m3.1.1.3.3.4.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3.4">𝑖</ci><ci id="S1.F2.17.8.8.m3.1.1.3.3.5.cmml" xref="S1.F2.17.8.8.m3.1.1.3.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.17.8.8.m3.1d">\ell=\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S1.F2.17.8.8.m3.1e">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math> is optimal in classical case, it isn’t in the setup of model collapse. In fact here, the test error diverges with sample size <math alttext="T" class="ltx_Math" display="inline" id="S1.F2.18.9.9.m4.1"><semantics id="S1.F2.18.9.9.m4.1b"><mi id="S1.F2.18.9.9.m4.1.1" xref="S1.F2.18.9.9.m4.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S1.F2.18.9.9.m4.1c"><ci id="S1.F2.18.9.9.m4.1.1.cmml" xref="S1.F2.18.9.9.m4.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.18.9.9.m4.1d">T</annotation><annotation encoding="application/x-llamapun" id="S1.F2.18.9.9.m4.1e">italic_T</annotation></semantics></math>. Our theory proposes a corrected value of this exponent which gracefully adapts to synthesized data.</span></span></figcaption> </figure> <figure class="ltx_figure" id="S1.F3"> <div class="ltx_flex_figure"> <div class="ltx_flex_cell ltx_flex_size_1"> <figure class="ltx_figure ltx_flex_size_1 ltx_align_center" id="S1.F2.sf1"><img alt="Refer to caption" class="ltx_graphics ltx_img_landscape" height="228" id="S1.F2.sf1.g1" src="extracted/5402090/icml2024/mnist_krr-rbf_err_vs_T_vs_sigma.png" width="598"/> <figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span class="ltx_text" id="S1.F2.sf1.4.2.1" style="font-size:90%;">(a)</span> </span><span class="ltx_text" id="S1.F2.sf1.2.1" style="font-size:90%;">RBF kernel (bandwidth = <math alttext="10^{-4}" class="ltx_Math" display="inline" id="S1.F2.sf1.2.1.m1.1"><semantics id="S1.F2.sf1.2.1.m1.1b"><msup id="S1.F2.sf1.2.1.m1.1.1" xref="S1.F2.sf1.2.1.m1.1.1.cmml"><mn id="S1.F2.sf1.2.1.m1.1.1.2" xref="S1.F2.sf1.2.1.m1.1.1.2.cmml">10</mn><mrow id="S1.F2.sf1.2.1.m1.1.1.3" xref="S1.F2.sf1.2.1.m1.1.1.3.cmml"><mo id="S1.F2.sf1.2.1.m1.1.1.3b" xref="S1.F2.sf1.2.1.m1.1.1.3.cmml">−</mo><mn id="S1.F2.sf1.2.1.m1.1.1.3.2" xref="S1.F2.sf1.2.1.m1.1.1.3.2.cmml">4</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S1.F2.sf1.2.1.m1.1c"><apply id="S1.F2.sf1.2.1.m1.1.1.cmml" xref="S1.F2.sf1.2.1.m1.1.1"><csymbol cd="ambiguous" id="S1.F2.sf1.2.1.m1.1.1.1.cmml" xref="S1.F2.sf1.2.1.m1.1.1">superscript</csymbol><cn id="S1.F2.sf1.2.1.m1.1.1.2.cmml" type="integer" xref="S1.F2.sf1.2.1.m1.1.1.2">10</cn><apply id="S1.F2.sf1.2.1.m1.1.1.3.cmml" xref="S1.F2.sf1.2.1.m1.1.1.3"><minus id="S1.F2.sf1.2.1.m1.1.1.3.1.cmml" xref="S1.F2.sf1.2.1.m1.1.1.3"></minus><cn id="S1.F2.sf1.2.1.m1.1.1.3.2.cmml" type="integer" xref="S1.F2.sf1.2.1.m1.1.1.3.2">4</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.sf1.2.1.m1.1d">10^{-4}</annotation><annotation encoding="application/x-llamapun" id="S1.F2.sf1.2.1.m1.1e">10 start_POSTSUPERSCRIPT - 4 end_POSTSUPERSCRIPT</annotation></semantics></math>).</span></figcaption> </figure> </div> <div class="ltx_flex_break"></div> <div class="ltx_flex_cell ltx_flex_size_1"> <figure class="ltx_figure ltx_flex_size_1 ltx_align_center" id="S1.F2.sf2"><img alt="Refer to caption" class="ltx_graphics ltx_img_landscape" height="228" id="S1.F2.sf2.g1" src="extracted/5402090/icml2024/mnist_krr-polynomial_err_vs_T_vs_sigma.png" width="598"/> <figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span class="ltx_text" id="S1.F2.sf2.6.3.1" style="font-size:90%;">(b)</span> </span><span class="ltx_text" id="S1.F2.sf2.4.2" style="font-size:90%;">Polynomial kernel (degree = <math alttext="5" class="ltx_Math" display="inline" id="S1.F2.sf2.3.1.m1.1"><semantics id="S1.F2.sf2.3.1.m1.1b"><mn id="S1.F2.sf2.3.1.m1.1.1" xref="S1.F2.sf2.3.1.m1.1.1.cmml">5</mn><annotation-xml encoding="MathML-Content" id="S1.F2.sf2.3.1.m1.1c"><cn id="S1.F2.sf2.3.1.m1.1.1.cmml" type="integer" xref="S1.F2.sf2.3.1.m1.1.1">5</cn></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.sf2.3.1.m1.1d">5</annotation><annotation encoding="application/x-llamapun" id="S1.F2.sf2.3.1.m1.1e">5</annotation></semantics></math>, bandwidth = <math alttext="10^{-3}" class="ltx_Math" display="inline" id="S1.F2.sf2.4.2.m2.1"><semantics id="S1.F2.sf2.4.2.m2.1b"><msup id="S1.F2.sf2.4.2.m2.1.1" xref="S1.F2.sf2.4.2.m2.1.1.cmml"><mn id="S1.F2.sf2.4.2.m2.1.1.2" xref="S1.F2.sf2.4.2.m2.1.1.2.cmml">10</mn><mrow id="S1.F2.sf2.4.2.m2.1.1.3" xref="S1.F2.sf2.4.2.m2.1.1.3.cmml"><mo id="S1.F2.sf2.4.2.m2.1.1.3b" xref="S1.F2.sf2.4.2.m2.1.1.3.cmml">−</mo><mn id="S1.F2.sf2.4.2.m2.1.1.3.2" xref="S1.F2.sf2.4.2.m2.1.1.3.2.cmml">3</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S1.F2.sf2.4.2.m2.1c"><apply id="S1.F2.sf2.4.2.m2.1.1.cmml" xref="S1.F2.sf2.4.2.m2.1.1"><csymbol cd="ambiguous" id="S1.F2.sf2.4.2.m2.1.1.1.cmml" xref="S1.F2.sf2.4.2.m2.1.1">superscript</csymbol><cn id="S1.F2.sf2.4.2.m2.1.1.2.cmml" type="integer" xref="S1.F2.sf2.4.2.m2.1.1.2">10</cn><apply id="S1.F2.sf2.4.2.m2.1.1.3.cmml" xref="S1.F2.sf2.4.2.m2.1.1.3"><minus id="S1.F2.sf2.4.2.m2.1.1.3.1.cmml" xref="S1.F2.sf2.4.2.m2.1.1.3"></minus><cn id="S1.F2.sf2.4.2.m2.1.1.3.2.cmml" type="integer" xref="S1.F2.sf2.4.2.m2.1.1.3.2">3</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F2.sf2.4.2.m2.1d">10^{-3}</annotation><annotation encoding="application/x-llamapun" id="S1.F2.sf2.4.2.m2.1e">10 start_POSTSUPERSCRIPT - 3 end_POSTSUPERSCRIPT</annotation></semantics></math>).</span></figcaption> </figure> </div> </div> <figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span class="ltx_text" id="S1.F3.31.14.1" style="font-size:90%;">Figure 3</span>: </span><span class="ltx_text" id="S1.F3.26.13" style="font-size:90%;"> <span class="ltx_text ltx_font_bold" id="S1.F3.26.13.1">Demystifying model collapse in kernel ridge regression on MNIST.</span> with adaptive regularization <math alttext="T^{-\ell}" class="ltx_Math" display="inline" id="S1.F3.14.1.m1.1"><semantics id="S1.F3.14.1.m1.1b"><msup id="S1.F3.14.1.m1.1.1" xref="S1.F3.14.1.m1.1.1.cmml"><mi id="S1.F3.14.1.m1.1.1.2" xref="S1.F3.14.1.m1.1.1.2.cmml">T</mi><mrow id="S1.F3.14.1.m1.1.1.3" xref="S1.F3.14.1.m1.1.1.3.cmml"><mo id="S1.F3.14.1.m1.1.1.3b" xref="S1.F3.14.1.m1.1.1.3.cmml">−</mo><mi id="S1.F3.14.1.m1.1.1.3.2" mathvariant="normal" xref="S1.F3.14.1.m1.1.1.3.2.cmml">ℓ</mi></mrow></msup><annotation-xml encoding="MathML-Content" id="S1.F3.14.1.m1.1c"><apply id="S1.F3.14.1.m1.1.1.cmml" xref="S1.F3.14.1.m1.1.1"><csymbol cd="ambiguous" id="S1.F3.14.1.m1.1.1.1.cmml" xref="S1.F3.14.1.m1.1.1">superscript</csymbol><ci id="S1.F3.14.1.m1.1.1.2.cmml" xref="S1.F3.14.1.m1.1.1.2">𝑇</ci><apply id="S1.F3.14.1.m1.1.1.3.cmml" xref="S1.F3.14.1.m1.1.1.3"><minus id="S1.F3.14.1.m1.1.1.3.1.cmml" xref="S1.F3.14.1.m1.1.1.3"></minus><ci id="S1.F3.14.1.m1.1.1.3.2.cmml" xref="S1.F3.14.1.m1.1.1.3.2">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.14.1.m1.1d">T^{-\ell}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.14.1.m1.1e">italic_T start_POSTSUPERSCRIPT - roman_ℓ end_POSTSUPERSCRIPT</annotation></semantics></math> for different values of the exponent <math alttext="\ell\geq 0" class="ltx_Math" display="inline" id="S1.F3.15.2.m2.1"><semantics id="S1.F3.15.2.m2.1b"><mrow id="S1.F3.15.2.m2.1.1" xref="S1.F3.15.2.m2.1.1.cmml"><mi id="S1.F3.15.2.m2.1.1.2" mathvariant="normal" xref="S1.F3.15.2.m2.1.1.2.cmml">ℓ</mi><mo id="S1.F3.15.2.m2.1.1.1" xref="S1.F3.15.2.m2.1.1.1.cmml">≥</mo><mn id="S1.F3.15.2.m2.1.1.3" xref="S1.F3.15.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.15.2.m2.1c"><apply id="S1.F3.15.2.m2.1.1.cmml" xref="S1.F3.15.2.m2.1.1"><geq id="S1.F3.15.2.m2.1.1.1.cmml" xref="S1.F3.15.2.m2.1.1.1"></geq><ci id="S1.F3.15.2.m2.1.1.2.cmml" xref="S1.F3.15.2.m2.1.1.2">ℓ</ci><cn id="S1.F3.15.2.m2.1.1.3.cmml" type="integer" xref="S1.F3.15.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.15.2.m2.1d">\ell\geq 0</annotation><annotation encoding="application/x-llamapun" id="S1.F3.15.2.m2.1e">roman_ℓ ≥ 0</annotation></semantics></math> (see Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S6" title="6 Experiments ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">6</span></a> for full experimental setup). <span class="ltx_text ltx_font_bold" id="S1.F3.26.13.2">Top row: </span> RBF kernel. <span class="ltx_text ltx_font_bold" id="S1.F3.26.13.3">Bottom row: </span>polynomial kernel. In each plot, we show test error curves as a function of sample size <math alttext="T" class="ltx_Math" display="inline" id="S1.F3.16.3.m3.1"><semantics id="S1.F3.16.3.m3.1b"><mi id="S1.F3.16.3.m3.1.1" xref="S1.F3.16.3.m3.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S1.F3.16.3.m3.1c"><ci id="S1.F3.16.3.m3.1.1.cmml" xref="S1.F3.16.3.m3.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.16.3.m3.1d">T</annotation><annotation encoding="application/x-llamapun" id="S1.F3.16.3.m3.1e">italic_T</annotation></semantics></math>, from different generations (<math alttext="n" class="ltx_Math" display="inline" id="S1.F3.17.4.m4.1"><semantics id="S1.F3.17.4.m4.1b"><mi id="S1.F3.17.4.m4.1.1" xref="S1.F3.17.4.m4.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S1.F3.17.4.m4.1c"><ci id="S1.F3.17.4.m4.1.1.cmml" xref="S1.F3.17.4.m4.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.17.4.m4.1d">n</annotation><annotation encoding="application/x-llamapun" id="S1.F3.17.4.m4.1e">italic_n</annotation></semantics></math>) of fake data. The broken vertical line corresponds to <math alttext="T=T_{0}" class="ltx_Math" display="inline" id="S1.F3.18.5.m5.1"><semantics id="S1.F3.18.5.m5.1b"><mrow id="S1.F3.18.5.m5.1.1" xref="S1.F3.18.5.m5.1.1.cmml"><mi id="S1.F3.18.5.m5.1.1.2" xref="S1.F3.18.5.m5.1.1.2.cmml">T</mi><mo id="S1.F3.18.5.m5.1.1.1" xref="S1.F3.18.5.m5.1.1.1.cmml">=</mo><msub id="S1.F3.18.5.m5.1.1.3" xref="S1.F3.18.5.m5.1.1.3.cmml"><mi id="S1.F3.18.5.m5.1.1.3.2" xref="S1.F3.18.5.m5.1.1.3.2.cmml">T</mi><mn id="S1.F3.18.5.m5.1.1.3.3" xref="S1.F3.18.5.m5.1.1.3.3.cmml">0</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.18.5.m5.1c"><apply id="S1.F3.18.5.m5.1.1.cmml" xref="S1.F3.18.5.m5.1.1"><eq id="S1.F3.18.5.m5.1.1.1.cmml" xref="S1.F3.18.5.m5.1.1.1"></eq><ci id="S1.F3.18.5.m5.1.1.2.cmml" xref="S1.F3.18.5.m5.1.1.2">𝑇</ci><apply id="S1.F3.18.5.m5.1.1.3.cmml" xref="S1.F3.18.5.m5.1.1.3"><csymbol cd="ambiguous" id="S1.F3.18.5.m5.1.1.3.1.cmml" xref="S1.F3.18.5.m5.1.1.3">subscript</csymbol><ci id="S1.F3.18.5.m5.1.1.3.2.cmml" xref="S1.F3.18.5.m5.1.1.3.2">𝑇</ci><cn id="S1.F3.18.5.m5.1.1.3.3.cmml" type="integer" xref="S1.F3.18.5.m5.1.1.3.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.18.5.m5.1d">T=T_{0}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.18.5.m5.1e">italic_T = italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>, where <math alttext="T_{0}" class="ltx_Math" display="inline" id="S1.F3.19.6.m6.1"><semantics id="S1.F3.19.6.m6.1b"><msub id="S1.F3.19.6.m6.1.1" xref="S1.F3.19.6.m6.1.1.cmml"><mi id="S1.F3.19.6.m6.1.1.2" xref="S1.F3.19.6.m6.1.1.2.cmml">T</mi><mn id="S1.F3.19.6.m6.1.1.3" xref="S1.F3.19.6.m6.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S1.F3.19.6.m6.1c"><apply id="S1.F3.19.6.m6.1.1.cmml" xref="S1.F3.19.6.m6.1.1"><csymbol cd="ambiguous" id="S1.F3.19.6.m6.1.1.1.cmml" xref="S1.F3.19.6.m6.1.1">subscript</csymbol><ci id="S1.F3.19.6.m6.1.1.2.cmml" xref="S1.F3.19.6.m6.1.1.2">𝑇</ci><cn id="S1.F3.19.6.m6.1.1.3.cmml" type="integer" xref="S1.F3.19.6.m6.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.19.6.m6.1d">T_{0}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.19.6.m6.1e">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> is the number of samples (from the true data distribution) which was used to train the label faker. The value of the exponent regularization <math alttext="\ell=\ell_{\star}" class="ltx_Math" display="inline" id="S1.F3.20.7.m7.1"><semantics id="S1.F3.20.7.m7.1b"><mrow id="S1.F3.20.7.m7.1.1" xref="S1.F3.20.7.m7.1.1.cmml"><mi id="S1.F3.20.7.m7.1.1.2" mathvariant="normal" xref="S1.F3.20.7.m7.1.1.2.cmml">ℓ</mi><mo id="S1.F3.20.7.m7.1.1.1" xref="S1.F3.20.7.m7.1.1.1.cmml">=</mo><msub id="S1.F3.20.7.m7.1.1.3" xref="S1.F3.20.7.m7.1.1.3.cmml"><mi id="S1.F3.20.7.m7.1.1.3.2" mathvariant="normal" xref="S1.F3.20.7.m7.1.1.3.2.cmml">ℓ</mi><mo id="S1.F3.20.7.m7.1.1.3.3" xref="S1.F3.20.7.m7.1.1.3.3.cmml">⋆</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.20.7.m7.1c"><apply id="S1.F3.20.7.m7.1.1.cmml" xref="S1.F3.20.7.m7.1.1"><eq id="S1.F3.20.7.m7.1.1.1.cmml" xref="S1.F3.20.7.m7.1.1.1"></eq><ci id="S1.F3.20.7.m7.1.1.2.cmml" xref="S1.F3.20.7.m7.1.1.2">ℓ</ci><apply id="S1.F3.20.7.m7.1.1.3.cmml" xref="S1.F3.20.7.m7.1.1.3"><csymbol cd="ambiguous" id="S1.F3.20.7.m7.1.1.3.1.cmml" xref="S1.F3.20.7.m7.1.1.3">subscript</csymbol><ci id="S1.F3.20.7.m7.1.1.3.2.cmml" xref="S1.F3.20.7.m7.1.1.3.2">ℓ</ci><ci id="S1.F3.20.7.m7.1.1.3.3.cmml" xref="S1.F3.20.7.m7.1.1.3.3">⋆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.20.7.m7.1d">\ell=\ell_{\star}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.20.7.m7.1e">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT</annotation></semantics></math> (broken curves) is the optimal value in the presence of iterative data relabeling, while <math alttext="\ell=\ell_{crit}" class="ltx_Math" display="inline" id="S1.F3.21.8.m8.1"><semantics id="S1.F3.21.8.m8.1b"><mrow id="S1.F3.21.8.m8.1.1" xref="S1.F3.21.8.m8.1.1.cmml"><mi id="S1.F3.21.8.m8.1.1.2" mathvariant="normal" xref="S1.F3.21.8.m8.1.1.2.cmml">ℓ</mi><mo id="S1.F3.21.8.m8.1.1.1" xref="S1.F3.21.8.m8.1.1.1.cmml">=</mo><msub id="S1.F3.21.8.m8.1.1.3" xref="S1.F3.21.8.m8.1.1.3.cmml"><mi id="S1.F3.21.8.m8.1.1.3.2" mathvariant="normal" xref="S1.F3.21.8.m8.1.1.3.2.cmml">ℓ</mi><mrow id="S1.F3.21.8.m8.1.1.3.3" xref="S1.F3.21.8.m8.1.1.3.3.cmml"><mi id="S1.F3.21.8.m8.1.1.3.3.2" xref="S1.F3.21.8.m8.1.1.3.3.2.cmml">c</mi><mo id="S1.F3.21.8.m8.1.1.3.3.1" xref="S1.F3.21.8.m8.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.21.8.m8.1.1.3.3.3" xref="S1.F3.21.8.m8.1.1.3.3.3.cmml">r</mi><mo id="S1.F3.21.8.m8.1.1.3.3.1b" xref="S1.F3.21.8.m8.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.21.8.m8.1.1.3.3.4" xref="S1.F3.21.8.m8.1.1.3.3.4.cmml">i</mi><mo id="S1.F3.21.8.m8.1.1.3.3.1c" xref="S1.F3.21.8.m8.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.21.8.m8.1.1.3.3.5" xref="S1.F3.21.8.m8.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.21.8.m8.1c"><apply id="S1.F3.21.8.m8.1.1.cmml" xref="S1.F3.21.8.m8.1.1"><eq id="S1.F3.21.8.m8.1.1.1.cmml" xref="S1.F3.21.8.m8.1.1.1"></eq><ci id="S1.F3.21.8.m8.1.1.2.cmml" xref="S1.F3.21.8.m8.1.1.2">ℓ</ci><apply id="S1.F3.21.8.m8.1.1.3.cmml" xref="S1.F3.21.8.m8.1.1.3"><csymbol cd="ambiguous" id="S1.F3.21.8.m8.1.1.3.1.cmml" xref="S1.F3.21.8.m8.1.1.3">subscript</csymbol><ci id="S1.F3.21.8.m8.1.1.3.2.cmml" xref="S1.F3.21.8.m8.1.1.3.2">ℓ</ci><apply id="S1.F3.21.8.m8.1.1.3.3.cmml" xref="S1.F3.21.8.m8.1.1.3.3"><times id="S1.F3.21.8.m8.1.1.3.3.1.cmml" xref="S1.F3.21.8.m8.1.1.3.3.1"></times><ci id="S1.F3.21.8.m8.1.1.3.3.2.cmml" xref="S1.F3.21.8.m8.1.1.3.3.2">𝑐</ci><ci id="S1.F3.21.8.m8.1.1.3.3.3.cmml" xref="S1.F3.21.8.m8.1.1.3.3.3">𝑟</ci><ci id="S1.F3.21.8.m8.1.1.3.3.4.cmml" xref="S1.F3.21.8.m8.1.1.3.3.4">𝑖</ci><ci id="S1.F3.21.8.m8.1.1.3.3.5.cmml" xref="S1.F3.21.8.m8.1.1.3.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.21.8.m8.1d">\ell=\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.21.8.m8.1e">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math> (solid curves) corresponds to the optimal value without iterative re-labelling (i.e <math alttext="n=0" class="ltx_Math" display="inline" id="S1.F3.22.9.m9.1"><semantics id="S1.F3.22.9.m9.1b"><mrow id="S1.F3.22.9.m9.1.1" xref="S1.F3.22.9.m9.1.1.cmml"><mi id="S1.F3.22.9.m9.1.1.2" xref="S1.F3.22.9.m9.1.1.2.cmml">n</mi><mo id="S1.F3.22.9.m9.1.1.1" xref="S1.F3.22.9.m9.1.1.1.cmml">=</mo><mn id="S1.F3.22.9.m9.1.1.3" xref="S1.F3.22.9.m9.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.22.9.m9.1c"><apply id="S1.F3.22.9.m9.1.1.cmml" xref="S1.F3.22.9.m9.1.1"><eq id="S1.F3.22.9.m9.1.1.1.cmml" xref="S1.F3.22.9.m9.1.1.1"></eq><ci id="S1.F3.22.9.m9.1.1.2.cmml" xref="S1.F3.22.9.m9.1.1.2">𝑛</ci><cn id="S1.F3.22.9.m9.1.1.3.cmml" type="integer" xref="S1.F3.22.9.m9.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.22.9.m9.1d">n=0</annotation><annotation encoding="application/x-llamapun" id="S1.F3.22.9.m9.1e">italic_n = 0</annotation></semantics></math>) proposed in <cite class="ltx_cite ltx_citemacro_citet">Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> (see (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E26" title="26 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">26</span></a>)). Specifically, we take <math alttext="\ell_{\star}=(b-a)\ell_{cirt}=b\ell_{crit}" class="ltx_Math" display="inline" id="S1.F3.23.10.m10.1"><semantics id="S1.F3.23.10.m10.1b"><mrow id="S1.F3.23.10.m10.1.1" xref="S1.F3.23.10.m10.1.1.cmml"><msub id="S1.F3.23.10.m10.1.1.3" xref="S1.F3.23.10.m10.1.1.3.cmml"><mi id="S1.F3.23.10.m10.1.1.3.2" mathvariant="normal" xref="S1.F3.23.10.m10.1.1.3.2.cmml">ℓ</mi><mo id="S1.F3.23.10.m10.1.1.3.3" xref="S1.F3.23.10.m10.1.1.3.3.cmml">⋆</mo></msub><mo id="S1.F3.23.10.m10.1.1.4" xref="S1.F3.23.10.m10.1.1.4.cmml">=</mo><mrow id="S1.F3.23.10.m10.1.1.1" xref="S1.F3.23.10.m10.1.1.1.cmml"><mrow id="S1.F3.23.10.m10.1.1.1.1.1" xref="S1.F3.23.10.m10.1.1.1.1.1.1.cmml"><mo id="S1.F3.23.10.m10.1.1.1.1.1.2" stretchy="false" xref="S1.F3.23.10.m10.1.1.1.1.1.1.cmml">(</mo><mrow id="S1.F3.23.10.m10.1.1.1.1.1.1" xref="S1.F3.23.10.m10.1.1.1.1.1.1.cmml"><mi id="S1.F3.23.10.m10.1.1.1.1.1.1.2" xref="S1.F3.23.10.m10.1.1.1.1.1.1.2.cmml">b</mi><mo id="S1.F3.23.10.m10.1.1.1.1.1.1.1" xref="S1.F3.23.10.m10.1.1.1.1.1.1.1.cmml">−</mo><mi id="S1.F3.23.10.m10.1.1.1.1.1.1.3" xref="S1.F3.23.10.m10.1.1.1.1.1.1.3.cmml">a</mi></mrow><mo id="S1.F3.23.10.m10.1.1.1.1.1.3" stretchy="false" xref="S1.F3.23.10.m10.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="S1.F3.23.10.m10.1.1.1.2" xref="S1.F3.23.10.m10.1.1.1.2.cmml">⁢</mo><msub id="S1.F3.23.10.m10.1.1.1.3" xref="S1.F3.23.10.m10.1.1.1.3.cmml"><mi id="S1.F3.23.10.m10.1.1.1.3.2" mathvariant="normal" xref="S1.F3.23.10.m10.1.1.1.3.2.cmml">ℓ</mi><mrow id="S1.F3.23.10.m10.1.1.1.3.3" xref="S1.F3.23.10.m10.1.1.1.3.3.cmml"><mi id="S1.F3.23.10.m10.1.1.1.3.3.2" xref="S1.F3.23.10.m10.1.1.1.3.3.2.cmml">c</mi><mo id="S1.F3.23.10.m10.1.1.1.3.3.1" xref="S1.F3.23.10.m10.1.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.1.3.3.3" xref="S1.F3.23.10.m10.1.1.1.3.3.3.cmml">i</mi><mo id="S1.F3.23.10.m10.1.1.1.3.3.1b" xref="S1.F3.23.10.m10.1.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.1.3.3.4" xref="S1.F3.23.10.m10.1.1.1.3.3.4.cmml">r</mi><mo id="S1.F3.23.10.m10.1.1.1.3.3.1c" xref="S1.F3.23.10.m10.1.1.1.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.1.3.3.5" xref="S1.F3.23.10.m10.1.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><mo id="S1.F3.23.10.m10.1.1.5" xref="S1.F3.23.10.m10.1.1.5.cmml">=</mo><mrow id="S1.F3.23.10.m10.1.1.6" xref="S1.F3.23.10.m10.1.1.6.cmml"><mi id="S1.F3.23.10.m10.1.1.6.2" xref="S1.F3.23.10.m10.1.1.6.2.cmml">b</mi><mo id="S1.F3.23.10.m10.1.1.6.1" xref="S1.F3.23.10.m10.1.1.6.1.cmml">⁢</mo><msub id="S1.F3.23.10.m10.1.1.6.3" xref="S1.F3.23.10.m10.1.1.6.3.cmml"><mi id="S1.F3.23.10.m10.1.1.6.3.2" mathvariant="normal" xref="S1.F3.23.10.m10.1.1.6.3.2.cmml">ℓ</mi><mrow id="S1.F3.23.10.m10.1.1.6.3.3" xref="S1.F3.23.10.m10.1.1.6.3.3.cmml"><mi id="S1.F3.23.10.m10.1.1.6.3.3.2" xref="S1.F3.23.10.m10.1.1.6.3.3.2.cmml">c</mi><mo id="S1.F3.23.10.m10.1.1.6.3.3.1" xref="S1.F3.23.10.m10.1.1.6.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.6.3.3.3" xref="S1.F3.23.10.m10.1.1.6.3.3.3.cmml">r</mi><mo id="S1.F3.23.10.m10.1.1.6.3.3.1b" xref="S1.F3.23.10.m10.1.1.6.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.6.3.3.4" xref="S1.F3.23.10.m10.1.1.6.3.3.4.cmml">i</mi><mo id="S1.F3.23.10.m10.1.1.6.3.3.1c" xref="S1.F3.23.10.m10.1.1.6.3.3.1.cmml">⁢</mo><mi id="S1.F3.23.10.m10.1.1.6.3.3.5" xref="S1.F3.23.10.m10.1.1.6.3.3.5.cmml">t</mi></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.23.10.m10.1c"><apply id="S1.F3.23.10.m10.1.1.cmml" xref="S1.F3.23.10.m10.1.1"><and id="S1.F3.23.10.m10.1.1a.cmml" xref="S1.F3.23.10.m10.1.1"></and><apply id="S1.F3.23.10.m10.1.1b.cmml" xref="S1.F3.23.10.m10.1.1"><eq id="S1.F3.23.10.m10.1.1.4.cmml" xref="S1.F3.23.10.m10.1.1.4"></eq><apply id="S1.F3.23.10.m10.1.1.3.cmml" xref="S1.F3.23.10.m10.1.1.3"><csymbol cd="ambiguous" id="S1.F3.23.10.m10.1.1.3.1.cmml" xref="S1.F3.23.10.m10.1.1.3">subscript</csymbol><ci id="S1.F3.23.10.m10.1.1.3.2.cmml" xref="S1.F3.23.10.m10.1.1.3.2">ℓ</ci><ci id="S1.F3.23.10.m10.1.1.3.3.cmml" xref="S1.F3.23.10.m10.1.1.3.3">⋆</ci></apply><apply id="S1.F3.23.10.m10.1.1.1.cmml" xref="S1.F3.23.10.m10.1.1.1"><times id="S1.F3.23.10.m10.1.1.1.2.cmml" xref="S1.F3.23.10.m10.1.1.1.2"></times><apply id="S1.F3.23.10.m10.1.1.1.1.1.1.cmml" xref="S1.F3.23.10.m10.1.1.1.1.1"><minus id="S1.F3.23.10.m10.1.1.1.1.1.1.1.cmml" xref="S1.F3.23.10.m10.1.1.1.1.1.1.1"></minus><ci id="S1.F3.23.10.m10.1.1.1.1.1.1.2.cmml" xref="S1.F3.23.10.m10.1.1.1.1.1.1.2">𝑏</ci><ci id="S1.F3.23.10.m10.1.1.1.1.1.1.3.cmml" xref="S1.F3.23.10.m10.1.1.1.1.1.1.3">𝑎</ci></apply><apply id="S1.F3.23.10.m10.1.1.1.3.cmml" xref="S1.F3.23.10.m10.1.1.1.3"><csymbol cd="ambiguous" id="S1.F3.23.10.m10.1.1.1.3.1.cmml" xref="S1.F3.23.10.m10.1.1.1.3">subscript</csymbol><ci id="S1.F3.23.10.m10.1.1.1.3.2.cmml" xref="S1.F3.23.10.m10.1.1.1.3.2">ℓ</ci><apply id="S1.F3.23.10.m10.1.1.1.3.3.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3"><times id="S1.F3.23.10.m10.1.1.1.3.3.1.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3.1"></times><ci id="S1.F3.23.10.m10.1.1.1.3.3.2.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3.2">𝑐</ci><ci id="S1.F3.23.10.m10.1.1.1.3.3.3.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3.3">𝑖</ci><ci id="S1.F3.23.10.m10.1.1.1.3.3.4.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3.4">𝑟</ci><ci id="S1.F3.23.10.m10.1.1.1.3.3.5.cmml" xref="S1.F3.23.10.m10.1.1.1.3.3.5">𝑡</ci></apply></apply></apply></apply><apply id="S1.F3.23.10.m10.1.1c.cmml" xref="S1.F3.23.10.m10.1.1"><eq id="S1.F3.23.10.m10.1.1.5.cmml" xref="S1.F3.23.10.m10.1.1.5"></eq><share href="#S1.F3.23.10.m10.1.1.1.cmml" id="S1.F3.23.10.m10.1.1d.cmml" xref="S1.F3.23.10.m10.1.1"></share><apply id="S1.F3.23.10.m10.1.1.6.cmml" xref="S1.F3.23.10.m10.1.1.6"><times id="S1.F3.23.10.m10.1.1.6.1.cmml" xref="S1.F3.23.10.m10.1.1.6.1"></times><ci id="S1.F3.23.10.m10.1.1.6.2.cmml" xref="S1.F3.23.10.m10.1.1.6.2">𝑏</ci><apply id="S1.F3.23.10.m10.1.1.6.3.cmml" xref="S1.F3.23.10.m10.1.1.6.3"><csymbol cd="ambiguous" id="S1.F3.23.10.m10.1.1.6.3.1.cmml" xref="S1.F3.23.10.m10.1.1.6.3">subscript</csymbol><ci id="S1.F3.23.10.m10.1.1.6.3.2.cmml" xref="S1.F3.23.10.m10.1.1.6.3.2">ℓ</ci><apply id="S1.F3.23.10.m10.1.1.6.3.3.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3"><times id="S1.F3.23.10.m10.1.1.6.3.3.1.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3.1"></times><ci id="S1.F3.23.10.m10.1.1.6.3.3.2.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3.2">𝑐</ci><ci id="S1.F3.23.10.m10.1.1.6.3.3.3.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3.3">𝑟</ci><ci id="S1.F3.23.10.m10.1.1.6.3.3.4.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3.4">𝑖</ci><ci id="S1.F3.23.10.m10.1.1.6.3.3.5.cmml" xref="S1.F3.23.10.m10.1.1.6.3.3.5">𝑡</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.23.10.m10.1d">\ell_{\star}=(b-a)\ell_{cirt}=b\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.23.10.m10.1e">roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT = ( italic_b - italic_a ) roman_ℓ start_POSTSUBSCRIPT italic_c italic_i italic_r italic_t end_POSTSUBSCRIPT = italic_b roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math>, where <math alttext="b=\log T_{0}/\log T" class="ltx_Math" display="inline" id="S1.F3.24.11.m11.1"><semantics id="S1.F3.24.11.m11.1b"><mrow id="S1.F3.24.11.m11.1.1" xref="S1.F3.24.11.m11.1.1.cmml"><mi id="S1.F3.24.11.m11.1.1.2" xref="S1.F3.24.11.m11.1.1.2.cmml">b</mi><mo id="S1.F3.24.11.m11.1.1.1" xref="S1.F3.24.11.m11.1.1.1.cmml">=</mo><mrow id="S1.F3.24.11.m11.1.1.3" xref="S1.F3.24.11.m11.1.1.3.cmml"><mi id="S1.F3.24.11.m11.1.1.3.1" xref="S1.F3.24.11.m11.1.1.3.1.cmml">log</mi><mo id="S1.F3.24.11.m11.1.1.3b" lspace="0.167em" xref="S1.F3.24.11.m11.1.1.3.cmml">⁡</mo><mrow id="S1.F3.24.11.m11.1.1.3.2" xref="S1.F3.24.11.m11.1.1.3.2.cmml"><msub id="S1.F3.24.11.m11.1.1.3.2.2" xref="S1.F3.24.11.m11.1.1.3.2.2.cmml"><mi id="S1.F3.24.11.m11.1.1.3.2.2.2" xref="S1.F3.24.11.m11.1.1.3.2.2.2.cmml">T</mi><mn id="S1.F3.24.11.m11.1.1.3.2.2.3" xref="S1.F3.24.11.m11.1.1.3.2.2.3.cmml">0</mn></msub><mo id="S1.F3.24.11.m11.1.1.3.2.1" xref="S1.F3.24.11.m11.1.1.3.2.1.cmml">/</mo><mrow id="S1.F3.24.11.m11.1.1.3.2.3" xref="S1.F3.24.11.m11.1.1.3.2.3.cmml"><mi id="S1.F3.24.11.m11.1.1.3.2.3.1" xref="S1.F3.24.11.m11.1.1.3.2.3.1.cmml">log</mi><mo id="S1.F3.24.11.m11.1.1.3.2.3b" lspace="0.167em" xref="S1.F3.24.11.m11.1.1.3.2.3.cmml">⁡</mo><mi id="S1.F3.24.11.m11.1.1.3.2.3.2" xref="S1.F3.24.11.m11.1.1.3.2.3.2.cmml">T</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.24.11.m11.1c"><apply id="S1.F3.24.11.m11.1.1.cmml" xref="S1.F3.24.11.m11.1.1"><eq id="S1.F3.24.11.m11.1.1.1.cmml" xref="S1.F3.24.11.m11.1.1.1"></eq><ci id="S1.F3.24.11.m11.1.1.2.cmml" xref="S1.F3.24.11.m11.1.1.2">𝑏</ci><apply id="S1.F3.24.11.m11.1.1.3.cmml" xref="S1.F3.24.11.m11.1.1.3"><log id="S1.F3.24.11.m11.1.1.3.1.cmml" xref="S1.F3.24.11.m11.1.1.3.1"></log><apply id="S1.F3.24.11.m11.1.1.3.2.cmml" xref="S1.F3.24.11.m11.1.1.3.2"><divide id="S1.F3.24.11.m11.1.1.3.2.1.cmml" xref="S1.F3.24.11.m11.1.1.3.2.1"></divide><apply id="S1.F3.24.11.m11.1.1.3.2.2.cmml" xref="S1.F3.24.11.m11.1.1.3.2.2"><csymbol cd="ambiguous" id="S1.F3.24.11.m11.1.1.3.2.2.1.cmml" xref="S1.F3.24.11.m11.1.1.3.2.2">subscript</csymbol><ci id="S1.F3.24.11.m11.1.1.3.2.2.2.cmml" xref="S1.F3.24.11.m11.1.1.3.2.2.2">𝑇</ci><cn id="S1.F3.24.11.m11.1.1.3.2.2.3.cmml" type="integer" xref="S1.F3.24.11.m11.1.1.3.2.2.3">0</cn></apply><apply id="S1.F3.24.11.m11.1.1.3.2.3.cmml" xref="S1.F3.24.11.m11.1.1.3.2.3"><log id="S1.F3.24.11.m11.1.1.3.2.3.1.cmml" xref="S1.F3.24.11.m11.1.1.3.2.3.1"></log><ci id="S1.F3.24.11.m11.1.1.3.2.3.2.cmml" xref="S1.F3.24.11.m11.1.1.3.2.3.2">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.24.11.m11.1d">b=\log T_{0}/\log T</annotation><annotation encoding="application/x-llamapun" id="S1.F3.24.11.m11.1e">italic_b = roman_log italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT / roman_log italic_T</annotation></semantics></math> (so that <math alttext="T_{0}=T^{b}" class="ltx_Math" display="inline" id="S1.F3.25.12.m12.1"><semantics id="S1.F3.25.12.m12.1b"><mrow id="S1.F3.25.12.m12.1.1" xref="S1.F3.25.12.m12.1.1.cmml"><msub id="S1.F3.25.12.m12.1.1.2" xref="S1.F3.25.12.m12.1.1.2.cmml"><mi id="S1.F3.25.12.m12.1.1.2.2" xref="S1.F3.25.12.m12.1.1.2.2.cmml">T</mi><mn id="S1.F3.25.12.m12.1.1.2.3" xref="S1.F3.25.12.m12.1.1.2.3.cmml">0</mn></msub><mo id="S1.F3.25.12.m12.1.1.1" xref="S1.F3.25.12.m12.1.1.1.cmml">=</mo><msup id="S1.F3.25.12.m12.1.1.3" xref="S1.F3.25.12.m12.1.1.3.cmml"><mi id="S1.F3.25.12.m12.1.1.3.2" xref="S1.F3.25.12.m12.1.1.3.2.cmml">T</mi><mi id="S1.F3.25.12.m12.1.1.3.3" xref="S1.F3.25.12.m12.1.1.3.3.cmml">b</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S1.F3.25.12.m12.1c"><apply id="S1.F3.25.12.m12.1.1.cmml" xref="S1.F3.25.12.m12.1.1"><eq id="S1.F3.25.12.m12.1.1.1.cmml" xref="S1.F3.25.12.m12.1.1.1"></eq><apply id="S1.F3.25.12.m12.1.1.2.cmml" xref="S1.F3.25.12.m12.1.1.2"><csymbol cd="ambiguous" id="S1.F3.25.12.m12.1.1.2.1.cmml" xref="S1.F3.25.12.m12.1.1.2">subscript</csymbol><ci id="S1.F3.25.12.m12.1.1.2.2.cmml" xref="S1.F3.25.12.m12.1.1.2.2">𝑇</ci><cn id="S1.F3.25.12.m12.1.1.2.3.cmml" type="integer" xref="S1.F3.25.12.m12.1.1.2.3">0</cn></apply><apply id="S1.F3.25.12.m12.1.1.3.cmml" xref="S1.F3.25.12.m12.1.1.3"><csymbol cd="ambiguous" id="S1.F3.25.12.m12.1.1.3.1.cmml" xref="S1.F3.25.12.m12.1.1.3">superscript</csymbol><ci id="S1.F3.25.12.m12.1.1.3.2.cmml" xref="S1.F3.25.12.m12.1.1.3.2">𝑇</ci><ci id="S1.F3.25.12.m12.1.1.3.3.cmml" xref="S1.F3.25.12.m12.1.1.3.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.25.12.m12.1d">T_{0}=T^{b}</annotation><annotation encoding="application/x-llamapun" id="S1.F3.25.12.m12.1e">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = italic_T start_POSTSUPERSCRIPT italic_b end_POSTSUPERSCRIPT</annotation></semantics></math>), as proposed in Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a>, formula (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E29" title="29 ‣ Corollary 5.3. ‣ 5.2 Optimal Regularization for Mitigating Collapse ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">29</span></a>). Notice how the effect of fake data makes the test error become non decreasing in sample size <math alttext="T" class="ltx_Math" display="inline" id="S1.F3.26.13.m13.1"><semantics id="S1.F3.26.13.m13.1b"><mi id="S1.F3.26.13.m13.1.1" xref="S1.F3.26.13.m13.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S1.F3.26.13.m13.1c"><ci id="S1.F3.26.13.m13.1.1.cmml" xref="S1.F3.26.13.m13.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.F3.26.13.m13.1d">T</annotation><annotation encoding="application/x-llamapun" id="S1.F3.26.13.m13.1e">italic_T</annotation></semantics></math>. This is effectively a collapse of the learned model. </span></figcaption> </figure> <section class="ltx_paragraph" id="S1.SS0.SSS0.Px1"> <h4 class="ltx_title ltx_title_paragraph">Summary of Main Contributions.</h4> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p1"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p1.1">Our main findings can be summarized as follows:</p> </div> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p2"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p2.1"><span class="ltx_text ltx_font_italic" id="S1.SS0.SSS0.Px1.p2.1.1">(1) Exact Characterization of Test Error.</span> In Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4" title="4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4</span></a> (Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem2" title="Theorem 4.2. ‣ 4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.2</span></a>), we obtain analytic formulae for test error under the influence of training data with fake / synthesized labels. For <math alttext="n" class="ltx_Math" display="inline" id="S1.SS0.SSS0.Px1.p2.1.m1.1"><semantics id="S1.SS0.SSS0.Px1.p2.1.m1.1a"><mi id="S1.SS0.SSS0.Px1.p2.1.m1.1.1" xref="S1.SS0.SSS0.Px1.p2.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S1.SS0.SSS0.Px1.p2.1.m1.1b"><ci id="S1.SS0.SSS0.Px1.p2.1.m1.1.1.cmml" xref="S1.SS0.SSS0.Px1.p2.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.SS0.SSS0.Px1.p2.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S1.SS0.SSS0.Px1.p2.1.m1.1d">italic_n</annotation></semantics></math>-fold iteration of data-generation, this formula writes</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx1"> <tbody id="S1.E1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}=E_{test}^{clean}+{\color[rgb]{1,0,0}\definecolor[named]% {pgfstrokecolor}{rgb}{1,0,0}\pgfsys@color@rgb@stroke{1}{0}{0}% \pgfsys@color@rgb@fill{1}{0}{0}n\times\Delta}," class="ltx_Math" display="inline" id="S1.E1.m1.1"><semantics id="S1.E1.m1.1a"><mrow id="S1.E1.m1.1.1.1" xref="S1.E1.m1.1.1.1.1.cmml"><mrow id="S1.E1.m1.1.1.1.1" xref="S1.E1.m1.1.1.1.1.cmml"><msub id="S1.E1.m1.1.1.1.1.2" xref="S1.E1.m1.1.1.1.1.2.cmml"><mi id="S1.E1.m1.1.1.1.1.2.2" xref="S1.E1.m1.1.1.1.1.2.2.cmml">E</mi><mrow id="S1.E1.m1.1.1.1.1.2.3" xref="S1.E1.m1.1.1.1.1.2.3.cmml"><mi id="S1.E1.m1.1.1.1.1.2.3.2" xref="S1.E1.m1.1.1.1.1.2.3.2.cmml">t</mi><mo id="S1.E1.m1.1.1.1.1.2.3.1" xref="S1.E1.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.2.3.3" xref="S1.E1.m1.1.1.1.1.2.3.3.cmml">e</mi><mo id="S1.E1.m1.1.1.1.1.2.3.1a" xref="S1.E1.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.2.3.4" xref="S1.E1.m1.1.1.1.1.2.3.4.cmml">s</mi><mo id="S1.E1.m1.1.1.1.1.2.3.1b" xref="S1.E1.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.2.3.5" xref="S1.E1.m1.1.1.1.1.2.3.5.cmml">t</mi></mrow></msub><mo id="S1.E1.m1.1.1.1.1.1" xref="S1.E1.m1.1.1.1.1.1.cmml">=</mo><mrow id="S1.E1.m1.1.1.1.1.3" xref="S1.E1.m1.1.1.1.1.3.cmml"><msubsup id="S1.E1.m1.1.1.1.1.3.2" xref="S1.E1.m1.1.1.1.1.3.2.cmml"><mi id="S1.E1.m1.1.1.1.1.3.2.2.2" xref="S1.E1.m1.1.1.1.1.3.2.2.2.cmml">E</mi><mrow id="S1.E1.m1.1.1.1.1.3.2.2.3" xref="S1.E1.m1.1.1.1.1.3.2.2.3.cmml"><mi id="S1.E1.m1.1.1.1.1.3.2.2.3.2" xref="S1.E1.m1.1.1.1.1.3.2.2.3.2.cmml">t</mi><mo id="S1.E1.m1.1.1.1.1.3.2.2.3.1" xref="S1.E1.m1.1.1.1.1.3.2.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.2.3.3" xref="S1.E1.m1.1.1.1.1.3.2.2.3.3.cmml">e</mi><mo id="S1.E1.m1.1.1.1.1.3.2.2.3.1a" xref="S1.E1.m1.1.1.1.1.3.2.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.2.3.4" xref="S1.E1.m1.1.1.1.1.3.2.2.3.4.cmml">s</mi><mo id="S1.E1.m1.1.1.1.1.3.2.2.3.1b" xref="S1.E1.m1.1.1.1.1.3.2.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.2.3.5" xref="S1.E1.m1.1.1.1.1.3.2.2.3.5.cmml">t</mi></mrow><mrow id="S1.E1.m1.1.1.1.1.3.2.3" xref="S1.E1.m1.1.1.1.1.3.2.3.cmml"><mi id="S1.E1.m1.1.1.1.1.3.2.3.2" xref="S1.E1.m1.1.1.1.1.3.2.3.2.cmml">c</mi><mo id="S1.E1.m1.1.1.1.1.3.2.3.1" xref="S1.E1.m1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.3.3" xref="S1.E1.m1.1.1.1.1.3.2.3.3.cmml">l</mi><mo id="S1.E1.m1.1.1.1.1.3.2.3.1a" xref="S1.E1.m1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.3.4" xref="S1.E1.m1.1.1.1.1.3.2.3.4.cmml">e</mi><mo id="S1.E1.m1.1.1.1.1.3.2.3.1b" xref="S1.E1.m1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.3.5" xref="S1.E1.m1.1.1.1.1.3.2.3.5.cmml">a</mi><mo id="S1.E1.m1.1.1.1.1.3.2.3.1c" xref="S1.E1.m1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S1.E1.m1.1.1.1.1.3.2.3.6" xref="S1.E1.m1.1.1.1.1.3.2.3.6.cmml">n</mi></mrow></msubsup><mo id="S1.E1.m1.1.1.1.1.3.1" xref="S1.E1.m1.1.1.1.1.3.1.cmml">+</mo><mrow id="S1.E1.m1.1.1.1.1.3.3" xref="S1.E1.m1.1.1.1.1.3.3.cmml"><mi id="S1.E1.m1.1.1.1.1.3.3.2" mathcolor="#FF0000" xref="S1.E1.m1.1.1.1.1.3.3.2.cmml">n</mi><mo id="S1.E1.m1.1.1.1.1.3.3.1" lspace="0.222em" mathcolor="#FF0000" rspace="0.222em" xref="S1.E1.m1.1.1.1.1.3.3.1.cmml">×</mo><mi id="S1.E1.m1.1.1.1.1.3.3.3" mathcolor="#FF0000" mathvariant="normal" xref="S1.E1.m1.1.1.1.1.3.3.3.cmml">Δ</mi></mrow></mrow></mrow><mo id="S1.E1.m1.1.1.1.2" xref="S1.E1.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S1.E1.m1.1b"><apply id="S1.E1.m1.1.1.1.1.cmml" xref="S1.E1.m1.1.1.1"><eq id="S1.E1.m1.1.1.1.1.1.cmml" xref="S1.E1.m1.1.1.1.1.1"></eq><apply id="S1.E1.m1.1.1.1.1.2.cmml" xref="S1.E1.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="S1.E1.m1.1.1.1.1.2.1.cmml" xref="S1.E1.m1.1.1.1.1.2">subscript</csymbol><ci id="S1.E1.m1.1.1.1.1.2.2.cmml" xref="S1.E1.m1.1.1.1.1.2.2">𝐸</ci><apply id="S1.E1.m1.1.1.1.1.2.3.cmml" xref="S1.E1.m1.1.1.1.1.2.3"><times id="S1.E1.m1.1.1.1.1.2.3.1.cmml" xref="S1.E1.m1.1.1.1.1.2.3.1"></times><ci id="S1.E1.m1.1.1.1.1.2.3.2.cmml" xref="S1.E1.m1.1.1.1.1.2.3.2">𝑡</ci><ci id="S1.E1.m1.1.1.1.1.2.3.3.cmml" xref="S1.E1.m1.1.1.1.1.2.3.3">𝑒</ci><ci id="S1.E1.m1.1.1.1.1.2.3.4.cmml" xref="S1.E1.m1.1.1.1.1.2.3.4">𝑠</ci><ci id="S1.E1.m1.1.1.1.1.2.3.5.cmml" xref="S1.E1.m1.1.1.1.1.2.3.5">𝑡</ci></apply></apply><apply id="S1.E1.m1.1.1.1.1.3.cmml" xref="S1.E1.m1.1.1.1.1.3"><plus id="S1.E1.m1.1.1.1.1.3.1.cmml" xref="S1.E1.m1.1.1.1.1.3.1"></plus><apply id="S1.E1.m1.1.1.1.1.3.2.cmml" xref="S1.E1.m1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S1.E1.m1.1.1.1.1.3.2.1.cmml" xref="S1.E1.m1.1.1.1.1.3.2">superscript</csymbol><apply id="S1.E1.m1.1.1.1.1.3.2.2.cmml" xref="S1.E1.m1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S1.E1.m1.1.1.1.1.3.2.2.1.cmml" xref="S1.E1.m1.1.1.1.1.3.2">subscript</csymbol><ci id="S1.E1.m1.1.1.1.1.3.2.2.2.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.2">𝐸</ci><apply id="S1.E1.m1.1.1.1.1.3.2.2.3.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3"><times id="S1.E1.m1.1.1.1.1.3.2.2.3.1.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3.1"></times><ci id="S1.E1.m1.1.1.1.1.3.2.2.3.2.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3.2">𝑡</ci><ci id="S1.E1.m1.1.1.1.1.3.2.2.3.3.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3.3">𝑒</ci><ci id="S1.E1.m1.1.1.1.1.3.2.2.3.4.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3.4">𝑠</ci><ci id="S1.E1.m1.1.1.1.1.3.2.2.3.5.cmml" xref="S1.E1.m1.1.1.1.1.3.2.2.3.5">𝑡</ci></apply></apply><apply id="S1.E1.m1.1.1.1.1.3.2.3.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3"><times id="S1.E1.m1.1.1.1.1.3.2.3.1.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.1"></times><ci id="S1.E1.m1.1.1.1.1.3.2.3.2.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.2">𝑐</ci><ci id="S1.E1.m1.1.1.1.1.3.2.3.3.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.3">𝑙</ci><ci id="S1.E1.m1.1.1.1.1.3.2.3.4.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.4">𝑒</ci><ci id="S1.E1.m1.1.1.1.1.3.2.3.5.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.5">𝑎</ci><ci id="S1.E1.m1.1.1.1.1.3.2.3.6.cmml" xref="S1.E1.m1.1.1.1.1.3.2.3.6">𝑛</ci></apply></apply><apply id="S1.E1.m1.1.1.1.1.3.3.cmml" xref="S1.E1.m1.1.1.1.1.3.3"><times id="S1.E1.m1.1.1.1.1.3.3.1.cmml" xref="S1.E1.m1.1.1.1.1.3.3.1"></times><ci id="S1.E1.m1.1.1.1.1.3.3.2.cmml" xref="S1.E1.m1.1.1.1.1.3.3.2">𝑛</ci><ci id="S1.E1.m1.1.1.1.1.3.3.3.cmml" xref="S1.E1.m1.1.1.1.1.3.3.3">Δ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.E1.m1.1c">\displaystyle E_{test}=E_{test}^{clean}+{\color[rgb]{1,0,0}\definecolor[named]% {pgfstrokecolor}{rgb}{1,0,0}\pgfsys@color@rgb@stroke{1}{0}{0}% \pgfsys@color@rgb@fill{1}{0}{0}n\times\Delta},</annotation><annotation encoding="application/x-llamapun" id="S1.E1.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_c italic_l italic_e italic_a italic_n end_POSTSUPERSCRIPT + italic_n × roman_Δ ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(1)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p2.3">where <math alttext="E_{test}^{clean}" class="ltx_Math" display="inline" id="S1.SS0.SSS0.Px1.p2.2.m1.1"><semantics id="S1.SS0.SSS0.Px1.p2.2.m1.1a"><msubsup id="S1.SS0.SSS0.Px1.p2.2.m1.1.1" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.cmml"><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.2" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.2.cmml">E</mi><mrow id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.cmml"><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.2" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.2.cmml">t</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.3" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.3.cmml">e</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1a" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.4" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.4.cmml">s</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1b" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.5" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.5.cmml">t</mi></mrow><mrow id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.cmml"><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.2" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.2.cmml">c</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.3" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.3.cmml">l</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1a" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.4" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.4.cmml">e</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1b" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.5" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.5.cmml">a</mi><mo id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1c" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1.cmml">⁢</mo><mi id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.6" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.6.cmml">n</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S1.SS0.SSS0.Px1.p2.2.m1.1b"><apply id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1"><csymbol cd="ambiguous" id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.1.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1">superscript</csymbol><apply id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1"><csymbol cd="ambiguous" id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.1.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1">subscript</csymbol><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.2.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.2">𝐸</ci><apply id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3"><times id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.1"></times><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.2.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.2">𝑡</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.3.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.3">𝑒</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.4.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.4">𝑠</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.5.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.2.3.5">𝑡</ci></apply></apply><apply id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3"><times id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.1"></times><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.2.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.2">𝑐</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.3.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.3">𝑙</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.4.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.4">𝑒</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.5.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.5">𝑎</ci><ci id="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.6.cmml" xref="S1.SS0.SSS0.Px1.p2.2.m1.1.1.3.6">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS0.SSS0.Px1.p2.2.m1.1c">E_{test}^{clean}</annotation><annotation encoding="application/x-llamapun" id="S1.SS0.SSS0.Px1.p2.2.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_c italic_l italic_e italic_a italic_n end_POSTSUPERSCRIPT</annotation></semantics></math> is the usual test error of the model trained on clean data (not AI-generated). The term <math alttext="\Delta" class="ltx_Math" display="inline" id="S1.SS0.SSS0.Px1.p2.3.m2.1"><semantics id="S1.SS0.SSS0.Px1.p2.3.m2.1a"><mi id="S1.SS0.SSS0.Px1.p2.3.m2.1.1" mathvariant="normal" xref="S1.SS0.SSS0.Px1.p2.3.m2.1.1.cmml">Δ</mi><annotation-xml encoding="MathML-Content" id="S1.SS0.SSS0.Px1.p2.3.m2.1b"><ci id="S1.SS0.SSS0.Px1.p2.3.m2.1.1.cmml" xref="S1.SS0.SSS0.Px1.p2.3.m2.1.1">Δ</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.SS0.SSS0.Px1.p2.3.m2.1c">\Delta</annotation><annotation encoding="application/x-llamapun" id="S1.SS0.SSS0.Px1.p2.3.m2.1d">roman_Δ</annotation></semantics></math> precisely highlights the effects of all the relevant problems parameters: feature covariance matrix, sample size, strength of data-generator, label noise level in clean data distribution, label noise level in fake data distribution, etc.</p> </div> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p3"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p3.1">A direct consequence of this multiplicative degradation is that, over time (i.e as the number of generations becomes large), the effect of large language models (like ChatGPT) in the wild will be a pollution of the web to the extent that learning will be impossible. This will likely increase the value and cost of clean / non-AI-generated data. </p> </div> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p4"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p4.1"><span class="ltx_text ltx_font_italic" id="S1.SS0.SSS0.Px1.p4.1.1">(2) Modified Scaling Laws.</span> In the case of power-law spectra, which is ubiquitous in machine learning <cite class="ltx_cite ltx_citemacro_citet">Caponnetto & de Vito (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>); Spigler et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib43" title="">2020</a>); Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>); Liang & Rakhlin (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib25" title="">2020</a>)</cite>, we obtain in Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5" title="5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a> (see Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a>) precise scaling laws which clearly highlight quantitatively the negative effect of training on fake data. </p> </div> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p5"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p5.1">Further exploiting our analytic estimates, we obtain (Corollary <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Ex1" title="Corollary 5.3. ‣ 5.2 Optimal Regularization for Mitigating Collapse ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.3</span></a>) the optimal ridge regularization parameter as a function of all the problem parameters (sample size, spectral exponents, strength of fake data-generator, etc.). This new regularization parameter corresponds to a correction of the the value proposed in the classical theory on clean data <cite class="ltx_cite ltx_citemacro_citet">Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, and highlights a novel crossover phenomenon where for an appropriate tuning of the regularization parameter, the effect of training on fake data is a degradation of the fast error rate in the noiseless regime <cite class="ltx_cite ltx_citemacro_citet">Cui et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>); Caponnetto & de Vito (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>)</cite> to a much slower error rate which depends on the amount of true data on which the fake data-generator was trained in the first place. On the other hand, a choice of regularization which is optimal for the classical setting (training on real data), might lead to catastrophic failure: the test error diverges.</p> </div> <div class="ltx_para" id="S1.SS0.SSS0.Px1.p6"> <p class="ltx_p" id="S1.SS0.SSS0.Px1.p6.1">Apart from the above contributions, we modestly believe the arguments and techniques used to derive our results will find broader use in the community.</p> </div> </section> </section> <section class="ltx_section" id="S2"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">2 </span>Review of Literature</h2> <section class="ltx_paragraph" id="S2.SS0.SSS0.Px1"> <h4 class="ltx_title ltx_title_paragraph">Model Collapse.</h4> <div class="ltx_para" id="S2.SS0.SSS0.Px1.p1"> <p class="ltx_p" id="S2.SS0.SSS0.Px1.p1.1">Current LLMs <cite class="ltx_cite ltx_citemacro_citet">Devlin et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib17" title="">2018</a>); Liu et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib26" title="">2019</a>); Brown et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib11" title="">2020</a>); Touvron et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib45" title="">2023</a>)</cite>, including GPT-4 <cite class="ltx_cite ltx_citemacro_citet">Achiam et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib1" title="">2023</a>)</cite>, were trained on predominantly human-generated text; similarly, diffusion models like DALL-E <cite class="ltx_cite ltx_citemacro_citet">Ramesh et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib36" title="">2021</a>)</cite>, Stable Diffusion <cite class="ltx_cite ltx_citemacro_citet">Rombach et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib38" title="">2022</a>)</cite>, Midjourney <cite class="ltx_cite ltx_citemacro_citet">Midjourney (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib31" title="">2023</a>)</cite> are trained on web-scale image datasets. Their training corpora already potentially exhaust all the available clean data on the internet. A growing number of synthetic data generated with these increasingly popular models starts to populate the web, often indistinguishable from ”real” data. We have thus already raced into the future where our training corpora are irreversibly mixed with synthetic data and this situation stands to get worse. Recent works call attention to the potential dramatic deterioration in the resulting models, an effect referred to as <span class="ltx_text ltx_font_italic" id="S2.SS0.SSS0.Px1.p1.1.1">”model collapse”</span> <cite class="ltx_cite ltx_citemacro_citet">Shumailov et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>)</cite>. Several recent works demonstrate facets of this phenomenon <span class="ltx_text ltx_font_italic" id="S2.SS0.SSS0.Px1.p1.1.2">empirically</span> in various settings <cite class="ltx_cite ltx_citemacro_citet">Hataya et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib21" title="">2023</a>); Martínez et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib28" title="">2023a</a>, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib29" title="">b</a>); Bohacek & Farid (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib8" title="">2023</a>); Briesch et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib10" title="">2023</a>); Guo et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib19" title="">2023</a>); Fan et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib18" title="">2023</a>)</cite>. Theoretically, a few works are emerging to analyze the effect of iterative training on self-generated (or mixed) data. <cite class="ltx_cite ltx_citemacro_citet">Shumailov et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>)</cite> attribute model collapse to two mechanisms: a finite sampling bias cutting off low-probability ”tails” and leading to more and more peaked distributions and function approximation errors, and analyze the (single) Gaussian case. In the context of vision models, <cite class="ltx_cite ltx_citemacro_citet">Alemohammad et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib2" title="">2023</a>)</cite> analyze <span class="ltx_text ltx_font_italic" id="S2.SS0.SSS0.Px1.p1.1.3">”self-consuming loops”</span> by introducing a sampling bias that narrows the variance of the data at each generation, and provide theoretical analysis for the Gaussian model. <cite class="ltx_cite ltx_citemacro_citet">Bertrand et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib7" title="">2023</a>)</cite> explore scenarios involving a mix of clean data, representative of the true distribution, and synthesized data from previous iterations of the generator. Their analysis reveals that if the data mix consists exclusively of synthesized data, the generative process is likely to degenerate over time, leading to what they describe as a ’clueless generator’. Thus, the generator collapses: it progressively loses its ability to capture the essence of the data distribution it was intended to model. Conversely, they found that when the proportion of clean data in the mix is sufficiently high, the generator, under certain technical conditions, retains the capability to learn and accurately reflect the true data distribution. Note that such a compounding effect of synthesized data is already reminiscent of our decomposition (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.E1" title="1 ‣ Summary of Main Contributions. ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a>). </p> </div> </section> <section class="ltx_paragraph" id="S2.SS0.SSS0.Px2"> <h4 class="ltx_title ltx_title_paragraph">Self-Distillation.</h4> <div class="ltx_para" id="S2.SS0.SSS0.Px2.p1"> <p class="ltx_p" id="S2.SS0.SSS0.Px2.p1.1">Importantly, the fake data generation process which is responsible for model collapse should not be confused with self-distillation as formulated in <cite class="ltx_cite ltx_citemacro_citet">Mobahi et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib32" title="">2020</a>)</cite> for example. Unlike model collapse, the data generation process in self-distillation actually helps performance of the downstream model. Indeed, self-distillation has control over the data generating process, which is carefully optimized for the next stage training. In the setting of model collapse, there is no control over the data generation process, since it constitutes synthesized data which typically comes from the wide web.</p> </div> </section> </section> <section class="ltx_section" id="S3"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">3 </span>Theoretical Setup</h2> <div class="ltx_para" id="S3.p1"> <p class="ltx_p" id="S3.p1.1">We now present a setup which is simple enough to be analytically tractable, but rich enough to exhibit a wide range regimes for demystifying the phenomenon of <span class="ltx_text ltx_font_italic" id="S3.p1.1.1">model collapse</span> <cite class="ltx_cite ltx_citemacro_citep">(Shumailov et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>; Hataya et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib21" title="">2023</a>; Martínez et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib28" title="">2023a</a>, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib29" title="">b</a>; Bohacek & Farid, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib8" title="">2023</a>; Briesch et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib10" title="">2023</a>; Guo et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib19" title="">2023</a>)</cite> described in Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1" title="1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a> and Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S2" title="2 Review of Literature ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>.</p> </div> <div class="ltx_para" id="S3.p2"> <p class="ltx_p" id="S3.p2.19"><span class="ltx_text ltx_font_bold" id="S3.p2.19.1">Notations.</span> This manuscript will make use of the following standard notations. The set of integers from <math alttext="1" class="ltx_Math" display="inline" id="S3.p2.1.m1.1"><semantics id="S3.p2.1.m1.1a"><mn id="S3.p2.1.m1.1.1" xref="S3.p2.1.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.p2.1.m1.1b"><cn id="S3.p2.1.m1.1.1.cmml" type="integer" xref="S3.p2.1.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.1.m1.1c">1</annotation><annotation encoding="application/x-llamapun" id="S3.p2.1.m1.1d">1</annotation></semantics></math> through <math alttext="d" class="ltx_Math" display="inline" id="S3.p2.2.m2.1"><semantics id="S3.p2.2.m2.1a"><mi id="S3.p2.2.m2.1.1" xref="S3.p2.2.m2.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S3.p2.2.m2.1b"><ci id="S3.p2.2.m2.1.1.cmml" xref="S3.p2.2.m2.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.2.m2.1c">d</annotation><annotation encoding="application/x-llamapun" id="S3.p2.2.m2.1d">italic_d</annotation></semantics></math> is denoted <math alttext="[d]" class="ltx_Math" display="inline" id="S3.p2.3.m3.1"><semantics id="S3.p2.3.m3.1a"><mrow id="S3.p2.3.m3.1.2.2" xref="S3.p2.3.m3.1.2.1.cmml"><mo id="S3.p2.3.m3.1.2.2.1" stretchy="false" xref="S3.p2.3.m3.1.2.1.1.cmml">[</mo><mi id="S3.p2.3.m3.1.1" xref="S3.p2.3.m3.1.1.cmml">d</mi><mo id="S3.p2.3.m3.1.2.2.2" stretchy="false" xref="S3.p2.3.m3.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.3.m3.1b"><apply id="S3.p2.3.m3.1.2.1.cmml" xref="S3.p2.3.m3.1.2.2"><csymbol cd="latexml" id="S3.p2.3.m3.1.2.1.1.cmml" xref="S3.p2.3.m3.1.2.2.1">delimited-[]</csymbol><ci id="S3.p2.3.m3.1.1.cmml" xref="S3.p2.3.m3.1.1">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.3.m3.1c">[d]</annotation><annotation encoding="application/x-llamapun" id="S3.p2.3.m3.1d">[ italic_d ]</annotation></semantics></math>. Given a variable <math alttext="z" class="ltx_Math" display="inline" id="S3.p2.4.m4.1"><semantics id="S3.p2.4.m4.1a"><mi id="S3.p2.4.m4.1.1" xref="S3.p2.4.m4.1.1.cmml">z</mi><annotation-xml encoding="MathML-Content" id="S3.p2.4.m4.1b"><ci id="S3.p2.4.m4.1.1.cmml" xref="S3.p2.4.m4.1.1">𝑧</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.4.m4.1c">z</annotation><annotation encoding="application/x-llamapun" id="S3.p2.4.m4.1d">italic_z</annotation></semantics></math> (which can be the input dimension <math alttext="d" class="ltx_Math" display="inline" id="S3.p2.5.m5.1"><semantics id="S3.p2.5.m5.1a"><mi id="S3.p2.5.m5.1.1" xref="S3.p2.5.m5.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S3.p2.5.m5.1b"><ci id="S3.p2.5.m5.1.1.cmml" xref="S3.p2.5.m5.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.5.m5.1c">d</annotation><annotation encoding="application/x-llamapun" id="S3.p2.5.m5.1d">italic_d</annotation></semantics></math> or the sample size <math alttext="T" class="ltx_Math" display="inline" id="S3.p2.6.m6.1"><semantics id="S3.p2.6.m6.1a"><mi id="S3.p2.6.m6.1.1" xref="S3.p2.6.m6.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.p2.6.m6.1b"><ci id="S3.p2.6.m6.1.1.cmml" xref="S3.p2.6.m6.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.6.m6.1c">T</annotation><annotation encoding="application/x-llamapun" id="S3.p2.6.m6.1d">italic_T</annotation></semantics></math>, etc.) the notation <math alttext="f(z)\lesssim g(z)" class="ltx_Math" display="inline" id="S3.p2.7.m7.2"><semantics id="S3.p2.7.m7.2a"><mrow id="S3.p2.7.m7.2.3" xref="S3.p2.7.m7.2.3.cmml"><mrow id="S3.p2.7.m7.2.3.2" xref="S3.p2.7.m7.2.3.2.cmml"><mi id="S3.p2.7.m7.2.3.2.2" xref="S3.p2.7.m7.2.3.2.2.cmml">f</mi><mo id="S3.p2.7.m7.2.3.2.1" xref="S3.p2.7.m7.2.3.2.1.cmml">⁢</mo><mrow id="S3.p2.7.m7.2.3.2.3.2" xref="S3.p2.7.m7.2.3.2.cmml"><mo id="S3.p2.7.m7.2.3.2.3.2.1" stretchy="false" xref="S3.p2.7.m7.2.3.2.cmml">(</mo><mi id="S3.p2.7.m7.1.1" xref="S3.p2.7.m7.1.1.cmml">z</mi><mo id="S3.p2.7.m7.2.3.2.3.2.2" stretchy="false" xref="S3.p2.7.m7.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.p2.7.m7.2.3.1" xref="S3.p2.7.m7.2.3.1.cmml">≲</mo><mrow id="S3.p2.7.m7.2.3.3" xref="S3.p2.7.m7.2.3.3.cmml"><mi id="S3.p2.7.m7.2.3.3.2" xref="S3.p2.7.m7.2.3.3.2.cmml">g</mi><mo id="S3.p2.7.m7.2.3.3.1" xref="S3.p2.7.m7.2.3.3.1.cmml">⁢</mo><mrow id="S3.p2.7.m7.2.3.3.3.2" xref="S3.p2.7.m7.2.3.3.cmml"><mo id="S3.p2.7.m7.2.3.3.3.2.1" stretchy="false" xref="S3.p2.7.m7.2.3.3.cmml">(</mo><mi id="S3.p2.7.m7.2.2" xref="S3.p2.7.m7.2.2.cmml">z</mi><mo id="S3.p2.7.m7.2.3.3.3.2.2" stretchy="false" xref="S3.p2.7.m7.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.7.m7.2b"><apply id="S3.p2.7.m7.2.3.cmml" xref="S3.p2.7.m7.2.3"><csymbol cd="latexml" id="S3.p2.7.m7.2.3.1.cmml" xref="S3.p2.7.m7.2.3.1">less-than-or-similar-to</csymbol><apply id="S3.p2.7.m7.2.3.2.cmml" xref="S3.p2.7.m7.2.3.2"><times id="S3.p2.7.m7.2.3.2.1.cmml" xref="S3.p2.7.m7.2.3.2.1"></times><ci id="S3.p2.7.m7.2.3.2.2.cmml" xref="S3.p2.7.m7.2.3.2.2">𝑓</ci><ci id="S3.p2.7.m7.1.1.cmml" xref="S3.p2.7.m7.1.1">𝑧</ci></apply><apply id="S3.p2.7.m7.2.3.3.cmml" xref="S3.p2.7.m7.2.3.3"><times id="S3.p2.7.m7.2.3.3.1.cmml" xref="S3.p2.7.m7.2.3.3.1"></times><ci id="S3.p2.7.m7.2.3.3.2.cmml" xref="S3.p2.7.m7.2.3.3.2">𝑔</ci><ci id="S3.p2.7.m7.2.2.cmml" xref="S3.p2.7.m7.2.2">𝑧</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.7.m7.2c">f(z)\lesssim g(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.7.m7.2d">italic_f ( italic_z ) ≲ italic_g ( italic_z )</annotation></semantics></math> means that <math alttext="f(z)\leq Cg(z)" class="ltx_Math" display="inline" id="S3.p2.8.m8.2"><semantics id="S3.p2.8.m8.2a"><mrow id="S3.p2.8.m8.2.3" xref="S3.p2.8.m8.2.3.cmml"><mrow id="S3.p2.8.m8.2.3.2" xref="S3.p2.8.m8.2.3.2.cmml"><mi id="S3.p2.8.m8.2.3.2.2" xref="S3.p2.8.m8.2.3.2.2.cmml">f</mi><mo id="S3.p2.8.m8.2.3.2.1" xref="S3.p2.8.m8.2.3.2.1.cmml">⁢</mo><mrow id="S3.p2.8.m8.2.3.2.3.2" xref="S3.p2.8.m8.2.3.2.cmml"><mo id="S3.p2.8.m8.2.3.2.3.2.1" stretchy="false" xref="S3.p2.8.m8.2.3.2.cmml">(</mo><mi id="S3.p2.8.m8.1.1" xref="S3.p2.8.m8.1.1.cmml">z</mi><mo id="S3.p2.8.m8.2.3.2.3.2.2" stretchy="false" xref="S3.p2.8.m8.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.p2.8.m8.2.3.1" xref="S3.p2.8.m8.2.3.1.cmml">≤</mo><mrow id="S3.p2.8.m8.2.3.3" xref="S3.p2.8.m8.2.3.3.cmml"><mi id="S3.p2.8.m8.2.3.3.2" xref="S3.p2.8.m8.2.3.3.2.cmml">C</mi><mo id="S3.p2.8.m8.2.3.3.1" xref="S3.p2.8.m8.2.3.3.1.cmml">⁢</mo><mi id="S3.p2.8.m8.2.3.3.3" xref="S3.p2.8.m8.2.3.3.3.cmml">g</mi><mo id="S3.p2.8.m8.2.3.3.1a" xref="S3.p2.8.m8.2.3.3.1.cmml">⁢</mo><mrow id="S3.p2.8.m8.2.3.3.4.2" xref="S3.p2.8.m8.2.3.3.cmml"><mo id="S3.p2.8.m8.2.3.3.4.2.1" stretchy="false" xref="S3.p2.8.m8.2.3.3.cmml">(</mo><mi id="S3.p2.8.m8.2.2" xref="S3.p2.8.m8.2.2.cmml">z</mi><mo id="S3.p2.8.m8.2.3.3.4.2.2" stretchy="false" xref="S3.p2.8.m8.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.8.m8.2b"><apply id="S3.p2.8.m8.2.3.cmml" xref="S3.p2.8.m8.2.3"><leq id="S3.p2.8.m8.2.3.1.cmml" xref="S3.p2.8.m8.2.3.1"></leq><apply id="S3.p2.8.m8.2.3.2.cmml" xref="S3.p2.8.m8.2.3.2"><times id="S3.p2.8.m8.2.3.2.1.cmml" xref="S3.p2.8.m8.2.3.2.1"></times><ci id="S3.p2.8.m8.2.3.2.2.cmml" xref="S3.p2.8.m8.2.3.2.2">𝑓</ci><ci id="S3.p2.8.m8.1.1.cmml" xref="S3.p2.8.m8.1.1">𝑧</ci></apply><apply id="S3.p2.8.m8.2.3.3.cmml" xref="S3.p2.8.m8.2.3.3"><times id="S3.p2.8.m8.2.3.3.1.cmml" xref="S3.p2.8.m8.2.3.3.1"></times><ci id="S3.p2.8.m8.2.3.3.2.cmml" xref="S3.p2.8.m8.2.3.3.2">𝐶</ci><ci id="S3.p2.8.m8.2.3.3.3.cmml" xref="S3.p2.8.m8.2.3.3.3">𝑔</ci><ci id="S3.p2.8.m8.2.2.cmml" xref="S3.p2.8.m8.2.2">𝑧</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.8.m8.2c">f(z)\leq Cg(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.8.m8.2d">italic_f ( italic_z ) ≤ italic_C italic_g ( italic_z )</annotation></semantics></math> for sufficiently large <math alttext="z" class="ltx_Math" display="inline" id="S3.p2.9.m9.1"><semantics id="S3.p2.9.m9.1a"><mi id="S3.p2.9.m9.1.1" xref="S3.p2.9.m9.1.1.cmml">z</mi><annotation-xml encoding="MathML-Content" id="S3.p2.9.m9.1b"><ci id="S3.p2.9.m9.1.1.cmml" xref="S3.p2.9.m9.1.1">𝑧</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.9.m9.1c">z</annotation><annotation encoding="application/x-llamapun" id="S3.p2.9.m9.1d">italic_z</annotation></semantics></math> and an absolute constant <math alttext="C" class="ltx_Math" display="inline" id="S3.p2.10.m10.1"><semantics id="S3.p2.10.m10.1a"><mi id="S3.p2.10.m10.1.1" xref="S3.p2.10.m10.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="S3.p2.10.m10.1b"><ci id="S3.p2.10.m10.1.1.cmml" xref="S3.p2.10.m10.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.10.m10.1c">C</annotation><annotation encoding="application/x-llamapun" id="S3.p2.10.m10.1d">italic_C</annotation></semantics></math>, while <math alttext="f(z)\asymp g(z)" class="ltx_Math" display="inline" id="S3.p2.11.m11.2"><semantics id="S3.p2.11.m11.2a"><mrow id="S3.p2.11.m11.2.3" xref="S3.p2.11.m11.2.3.cmml"><mrow id="S3.p2.11.m11.2.3.2" xref="S3.p2.11.m11.2.3.2.cmml"><mi id="S3.p2.11.m11.2.3.2.2" xref="S3.p2.11.m11.2.3.2.2.cmml">f</mi><mo id="S3.p2.11.m11.2.3.2.1" xref="S3.p2.11.m11.2.3.2.1.cmml">⁢</mo><mrow id="S3.p2.11.m11.2.3.2.3.2" xref="S3.p2.11.m11.2.3.2.cmml"><mo id="S3.p2.11.m11.2.3.2.3.2.1" stretchy="false" xref="S3.p2.11.m11.2.3.2.cmml">(</mo><mi id="S3.p2.11.m11.1.1" xref="S3.p2.11.m11.1.1.cmml">z</mi><mo id="S3.p2.11.m11.2.3.2.3.2.2" stretchy="false" xref="S3.p2.11.m11.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.p2.11.m11.2.3.1" xref="S3.p2.11.m11.2.3.1.cmml">≍</mo><mrow id="S3.p2.11.m11.2.3.3" xref="S3.p2.11.m11.2.3.3.cmml"><mi id="S3.p2.11.m11.2.3.3.2" xref="S3.p2.11.m11.2.3.3.2.cmml">g</mi><mo id="S3.p2.11.m11.2.3.3.1" xref="S3.p2.11.m11.2.3.3.1.cmml">⁢</mo><mrow id="S3.p2.11.m11.2.3.3.3.2" xref="S3.p2.11.m11.2.3.3.cmml"><mo id="S3.p2.11.m11.2.3.3.3.2.1" stretchy="false" xref="S3.p2.11.m11.2.3.3.cmml">(</mo><mi id="S3.p2.11.m11.2.2" xref="S3.p2.11.m11.2.2.cmml">z</mi><mo id="S3.p2.11.m11.2.3.3.3.2.2" stretchy="false" xref="S3.p2.11.m11.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.11.m11.2b"><apply id="S3.p2.11.m11.2.3.cmml" xref="S3.p2.11.m11.2.3"><csymbol cd="latexml" id="S3.p2.11.m11.2.3.1.cmml" xref="S3.p2.11.m11.2.3.1">asymptotically-equals</csymbol><apply id="S3.p2.11.m11.2.3.2.cmml" xref="S3.p2.11.m11.2.3.2"><times id="S3.p2.11.m11.2.3.2.1.cmml" xref="S3.p2.11.m11.2.3.2.1"></times><ci id="S3.p2.11.m11.2.3.2.2.cmml" xref="S3.p2.11.m11.2.3.2.2">𝑓</ci><ci id="S3.p2.11.m11.1.1.cmml" xref="S3.p2.11.m11.1.1">𝑧</ci></apply><apply id="S3.p2.11.m11.2.3.3.cmml" xref="S3.p2.11.m11.2.3.3"><times id="S3.p2.11.m11.2.3.3.1.cmml" xref="S3.p2.11.m11.2.3.3.1"></times><ci id="S3.p2.11.m11.2.3.3.2.cmml" xref="S3.p2.11.m11.2.3.3.2">𝑔</ci><ci id="S3.p2.11.m11.2.2.cmml" xref="S3.p2.11.m11.2.2">𝑧</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.11.m11.2c">f(z)\asymp g(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.11.m11.2d">italic_f ( italic_z ) ≍ italic_g ( italic_z )</annotation></semantics></math> means <math alttext="f(z)\lesssim g(z)\lesssim f(z)" class="ltx_Math" display="inline" id="S3.p2.12.m12.3"><semantics id="S3.p2.12.m12.3a"><mrow id="S3.p2.12.m12.3.4" xref="S3.p2.12.m12.3.4.cmml"><mrow id="S3.p2.12.m12.3.4.2" xref="S3.p2.12.m12.3.4.2.cmml"><mi id="S3.p2.12.m12.3.4.2.2" xref="S3.p2.12.m12.3.4.2.2.cmml">f</mi><mo id="S3.p2.12.m12.3.4.2.1" xref="S3.p2.12.m12.3.4.2.1.cmml">⁢</mo><mrow id="S3.p2.12.m12.3.4.2.3.2" xref="S3.p2.12.m12.3.4.2.cmml"><mo id="S3.p2.12.m12.3.4.2.3.2.1" stretchy="false" xref="S3.p2.12.m12.3.4.2.cmml">(</mo><mi id="S3.p2.12.m12.1.1" xref="S3.p2.12.m12.1.1.cmml">z</mi><mo id="S3.p2.12.m12.3.4.2.3.2.2" stretchy="false" xref="S3.p2.12.m12.3.4.2.cmml">)</mo></mrow></mrow><mo id="S3.p2.12.m12.3.4.3" xref="S3.p2.12.m12.3.4.3.cmml">≲</mo><mrow id="S3.p2.12.m12.3.4.4" xref="S3.p2.12.m12.3.4.4.cmml"><mi id="S3.p2.12.m12.3.4.4.2" xref="S3.p2.12.m12.3.4.4.2.cmml">g</mi><mo id="S3.p2.12.m12.3.4.4.1" xref="S3.p2.12.m12.3.4.4.1.cmml">⁢</mo><mrow id="S3.p2.12.m12.3.4.4.3.2" xref="S3.p2.12.m12.3.4.4.cmml"><mo id="S3.p2.12.m12.3.4.4.3.2.1" stretchy="false" xref="S3.p2.12.m12.3.4.4.cmml">(</mo><mi id="S3.p2.12.m12.2.2" xref="S3.p2.12.m12.2.2.cmml">z</mi><mo id="S3.p2.12.m12.3.4.4.3.2.2" stretchy="false" xref="S3.p2.12.m12.3.4.4.cmml">)</mo></mrow></mrow><mo id="S3.p2.12.m12.3.4.5" xref="S3.p2.12.m12.3.4.5.cmml">≲</mo><mrow id="S3.p2.12.m12.3.4.6" xref="S3.p2.12.m12.3.4.6.cmml"><mi id="S3.p2.12.m12.3.4.6.2" xref="S3.p2.12.m12.3.4.6.2.cmml">f</mi><mo id="S3.p2.12.m12.3.4.6.1" xref="S3.p2.12.m12.3.4.6.1.cmml">⁢</mo><mrow id="S3.p2.12.m12.3.4.6.3.2" xref="S3.p2.12.m12.3.4.6.cmml"><mo id="S3.p2.12.m12.3.4.6.3.2.1" stretchy="false" xref="S3.p2.12.m12.3.4.6.cmml">(</mo><mi id="S3.p2.12.m12.3.3" xref="S3.p2.12.m12.3.3.cmml">z</mi><mo id="S3.p2.12.m12.3.4.6.3.2.2" stretchy="false" xref="S3.p2.12.m12.3.4.6.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.12.m12.3b"><apply id="S3.p2.12.m12.3.4.cmml" xref="S3.p2.12.m12.3.4"><and id="S3.p2.12.m12.3.4a.cmml" xref="S3.p2.12.m12.3.4"></and><apply id="S3.p2.12.m12.3.4b.cmml" xref="S3.p2.12.m12.3.4"><csymbol cd="latexml" id="S3.p2.12.m12.3.4.3.cmml" xref="S3.p2.12.m12.3.4.3">less-than-or-similar-to</csymbol><apply id="S3.p2.12.m12.3.4.2.cmml" xref="S3.p2.12.m12.3.4.2"><times id="S3.p2.12.m12.3.4.2.1.cmml" xref="S3.p2.12.m12.3.4.2.1"></times><ci id="S3.p2.12.m12.3.4.2.2.cmml" xref="S3.p2.12.m12.3.4.2.2">𝑓</ci><ci id="S3.p2.12.m12.1.1.cmml" xref="S3.p2.12.m12.1.1">𝑧</ci></apply><apply id="S3.p2.12.m12.3.4.4.cmml" xref="S3.p2.12.m12.3.4.4"><times id="S3.p2.12.m12.3.4.4.1.cmml" xref="S3.p2.12.m12.3.4.4.1"></times><ci id="S3.p2.12.m12.3.4.4.2.cmml" xref="S3.p2.12.m12.3.4.4.2">𝑔</ci><ci id="S3.p2.12.m12.2.2.cmml" xref="S3.p2.12.m12.2.2">𝑧</ci></apply></apply><apply id="S3.p2.12.m12.3.4c.cmml" xref="S3.p2.12.m12.3.4"><csymbol cd="latexml" id="S3.p2.12.m12.3.4.5.cmml" xref="S3.p2.12.m12.3.4.5">less-than-or-similar-to</csymbol><share href="#S3.p2.12.m12.3.4.4.cmml" id="S3.p2.12.m12.3.4d.cmml" xref="S3.p2.12.m12.3.4"></share><apply id="S3.p2.12.m12.3.4.6.cmml" xref="S3.p2.12.m12.3.4.6"><times id="S3.p2.12.m12.3.4.6.1.cmml" xref="S3.p2.12.m12.3.4.6.1"></times><ci id="S3.p2.12.m12.3.4.6.2.cmml" xref="S3.p2.12.m12.3.4.6.2">𝑓</ci><ci id="S3.p2.12.m12.3.3.cmml" xref="S3.p2.12.m12.3.3">𝑧</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.12.m12.3c">f(z)\lesssim g(z)\lesssim f(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.12.m12.3d">italic_f ( italic_z ) ≲ italic_g ( italic_z ) ≲ italic_f ( italic_z )</annotation></semantics></math>. For example, <math alttext="1+z^{2}\asymp\max(1,z^{2})" class="ltx_Math" display="inline" id="S3.p2.13.m13.3"><semantics id="S3.p2.13.m13.3a"><mrow id="S3.p2.13.m13.3.3" xref="S3.p2.13.m13.3.3.cmml"><mrow id="S3.p2.13.m13.3.3.3" xref="S3.p2.13.m13.3.3.3.cmml"><mn id="S3.p2.13.m13.3.3.3.2" xref="S3.p2.13.m13.3.3.3.2.cmml">1</mn><mo id="S3.p2.13.m13.3.3.3.1" xref="S3.p2.13.m13.3.3.3.1.cmml">+</mo><msup id="S3.p2.13.m13.3.3.3.3" xref="S3.p2.13.m13.3.3.3.3.cmml"><mi id="S3.p2.13.m13.3.3.3.3.2" xref="S3.p2.13.m13.3.3.3.3.2.cmml">z</mi><mn id="S3.p2.13.m13.3.3.3.3.3" xref="S3.p2.13.m13.3.3.3.3.3.cmml">2</mn></msup></mrow><mo id="S3.p2.13.m13.3.3.2" xref="S3.p2.13.m13.3.3.2.cmml">≍</mo><mrow id="S3.p2.13.m13.3.3.1.1" xref="S3.p2.13.m13.3.3.1.2.cmml"><mi id="S3.p2.13.m13.1.1" xref="S3.p2.13.m13.1.1.cmml">max</mi><mo id="S3.p2.13.m13.3.3.1.1a" xref="S3.p2.13.m13.3.3.1.2.cmml">⁡</mo><mrow id="S3.p2.13.m13.3.3.1.1.1" xref="S3.p2.13.m13.3.3.1.2.cmml"><mo id="S3.p2.13.m13.3.3.1.1.1.2" stretchy="false" xref="S3.p2.13.m13.3.3.1.2.cmml">(</mo><mn id="S3.p2.13.m13.2.2" xref="S3.p2.13.m13.2.2.cmml">1</mn><mo id="S3.p2.13.m13.3.3.1.1.1.3" xref="S3.p2.13.m13.3.3.1.2.cmml">,</mo><msup id="S3.p2.13.m13.3.3.1.1.1.1" xref="S3.p2.13.m13.3.3.1.1.1.1.cmml"><mi id="S3.p2.13.m13.3.3.1.1.1.1.2" xref="S3.p2.13.m13.3.3.1.1.1.1.2.cmml">z</mi><mn id="S3.p2.13.m13.3.3.1.1.1.1.3" xref="S3.p2.13.m13.3.3.1.1.1.1.3.cmml">2</mn></msup><mo id="S3.p2.13.m13.3.3.1.1.1.4" stretchy="false" xref="S3.p2.13.m13.3.3.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.13.m13.3b"><apply id="S3.p2.13.m13.3.3.cmml" xref="S3.p2.13.m13.3.3"><csymbol cd="latexml" id="S3.p2.13.m13.3.3.2.cmml" xref="S3.p2.13.m13.3.3.2">asymptotically-equals</csymbol><apply id="S3.p2.13.m13.3.3.3.cmml" xref="S3.p2.13.m13.3.3.3"><plus id="S3.p2.13.m13.3.3.3.1.cmml" xref="S3.p2.13.m13.3.3.3.1"></plus><cn id="S3.p2.13.m13.3.3.3.2.cmml" type="integer" xref="S3.p2.13.m13.3.3.3.2">1</cn><apply id="S3.p2.13.m13.3.3.3.3.cmml" xref="S3.p2.13.m13.3.3.3.3"><csymbol cd="ambiguous" id="S3.p2.13.m13.3.3.3.3.1.cmml" xref="S3.p2.13.m13.3.3.3.3">superscript</csymbol><ci id="S3.p2.13.m13.3.3.3.3.2.cmml" xref="S3.p2.13.m13.3.3.3.3.2">𝑧</ci><cn id="S3.p2.13.m13.3.3.3.3.3.cmml" type="integer" xref="S3.p2.13.m13.3.3.3.3.3">2</cn></apply></apply><apply id="S3.p2.13.m13.3.3.1.2.cmml" xref="S3.p2.13.m13.3.3.1.1"><max id="S3.p2.13.m13.1.1.cmml" xref="S3.p2.13.m13.1.1"></max><cn id="S3.p2.13.m13.2.2.cmml" type="integer" xref="S3.p2.13.m13.2.2">1</cn><apply id="S3.p2.13.m13.3.3.1.1.1.1.cmml" xref="S3.p2.13.m13.3.3.1.1.1.1"><csymbol cd="ambiguous" id="S3.p2.13.m13.3.3.1.1.1.1.1.cmml" xref="S3.p2.13.m13.3.3.1.1.1.1">superscript</csymbol><ci id="S3.p2.13.m13.3.3.1.1.1.1.2.cmml" xref="S3.p2.13.m13.3.3.1.1.1.1.2">𝑧</ci><cn id="S3.p2.13.m13.3.3.1.1.1.1.3.cmml" type="integer" xref="S3.p2.13.m13.3.3.1.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.13.m13.3c">1+z^{2}\asymp\max(1,z^{2})</annotation><annotation encoding="application/x-llamapun" id="S3.p2.13.m13.3d">1 + italic_z start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ≍ roman_max ( 1 , italic_z start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT )</annotation></semantics></math>. Further, <math alttext="f(z)\simeq g(z)" class="ltx_Math" display="inline" id="S3.p2.14.m14.2"><semantics id="S3.p2.14.m14.2a"><mrow id="S3.p2.14.m14.2.3" xref="S3.p2.14.m14.2.3.cmml"><mrow id="S3.p2.14.m14.2.3.2" xref="S3.p2.14.m14.2.3.2.cmml"><mi id="S3.p2.14.m14.2.3.2.2" xref="S3.p2.14.m14.2.3.2.2.cmml">f</mi><mo id="S3.p2.14.m14.2.3.2.1" xref="S3.p2.14.m14.2.3.2.1.cmml">⁢</mo><mrow id="S3.p2.14.m14.2.3.2.3.2" xref="S3.p2.14.m14.2.3.2.cmml"><mo id="S3.p2.14.m14.2.3.2.3.2.1" stretchy="false" xref="S3.p2.14.m14.2.3.2.cmml">(</mo><mi id="S3.p2.14.m14.1.1" xref="S3.p2.14.m14.1.1.cmml">z</mi><mo id="S3.p2.14.m14.2.3.2.3.2.2" stretchy="false" xref="S3.p2.14.m14.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.p2.14.m14.2.3.1" xref="S3.p2.14.m14.2.3.1.cmml">≃</mo><mrow id="S3.p2.14.m14.2.3.3" xref="S3.p2.14.m14.2.3.3.cmml"><mi id="S3.p2.14.m14.2.3.3.2" xref="S3.p2.14.m14.2.3.3.2.cmml">g</mi><mo id="S3.p2.14.m14.2.3.3.1" xref="S3.p2.14.m14.2.3.3.1.cmml">⁢</mo><mrow id="S3.p2.14.m14.2.3.3.3.2" xref="S3.p2.14.m14.2.3.3.cmml"><mo id="S3.p2.14.m14.2.3.3.3.2.1" stretchy="false" xref="S3.p2.14.m14.2.3.3.cmml">(</mo><mi id="S3.p2.14.m14.2.2" xref="S3.p2.14.m14.2.2.cmml">z</mi><mo id="S3.p2.14.m14.2.3.3.3.2.2" stretchy="false" xref="S3.p2.14.m14.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.14.m14.2b"><apply id="S3.p2.14.m14.2.3.cmml" xref="S3.p2.14.m14.2.3"><csymbol cd="latexml" id="S3.p2.14.m14.2.3.1.cmml" xref="S3.p2.14.m14.2.3.1">similar-to-or-equals</csymbol><apply id="S3.p2.14.m14.2.3.2.cmml" xref="S3.p2.14.m14.2.3.2"><times id="S3.p2.14.m14.2.3.2.1.cmml" xref="S3.p2.14.m14.2.3.2.1"></times><ci id="S3.p2.14.m14.2.3.2.2.cmml" xref="S3.p2.14.m14.2.3.2.2">𝑓</ci><ci id="S3.p2.14.m14.1.1.cmml" xref="S3.p2.14.m14.1.1">𝑧</ci></apply><apply id="S3.p2.14.m14.2.3.3.cmml" xref="S3.p2.14.m14.2.3.3"><times id="S3.p2.14.m14.2.3.3.1.cmml" xref="S3.p2.14.m14.2.3.3.1"></times><ci id="S3.p2.14.m14.2.3.3.2.cmml" xref="S3.p2.14.m14.2.3.3.2">𝑔</ci><ci id="S3.p2.14.m14.2.2.cmml" xref="S3.p2.14.m14.2.2">𝑧</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.14.m14.2c">f(z)\simeq g(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.14.m14.2d">italic_f ( italic_z ) ≃ italic_g ( italic_z )</annotation></semantics></math> means <math alttext="f(z)=(1+o(1))g(z)" class="ltx_Math" display="inline" id="S3.p2.15.m15.4"><semantics id="S3.p2.15.m15.4a"><mrow id="S3.p2.15.m15.4.4" xref="S3.p2.15.m15.4.4.cmml"><mrow id="S3.p2.15.m15.4.4.3" xref="S3.p2.15.m15.4.4.3.cmml"><mi id="S3.p2.15.m15.4.4.3.2" xref="S3.p2.15.m15.4.4.3.2.cmml">f</mi><mo id="S3.p2.15.m15.4.4.3.1" xref="S3.p2.15.m15.4.4.3.1.cmml">⁢</mo><mrow id="S3.p2.15.m15.4.4.3.3.2" xref="S3.p2.15.m15.4.4.3.cmml"><mo id="S3.p2.15.m15.4.4.3.3.2.1" stretchy="false" xref="S3.p2.15.m15.4.4.3.cmml">(</mo><mi id="S3.p2.15.m15.1.1" xref="S3.p2.15.m15.1.1.cmml">z</mi><mo id="S3.p2.15.m15.4.4.3.3.2.2" stretchy="false" xref="S3.p2.15.m15.4.4.3.cmml">)</mo></mrow></mrow><mo id="S3.p2.15.m15.4.4.2" xref="S3.p2.15.m15.4.4.2.cmml">=</mo><mrow id="S3.p2.15.m15.4.4.1" xref="S3.p2.15.m15.4.4.1.cmml"><mrow id="S3.p2.15.m15.4.4.1.1.1" xref="S3.p2.15.m15.4.4.1.1.1.1.cmml"><mo id="S3.p2.15.m15.4.4.1.1.1.2" stretchy="false" xref="S3.p2.15.m15.4.4.1.1.1.1.cmml">(</mo><mrow id="S3.p2.15.m15.4.4.1.1.1.1" xref="S3.p2.15.m15.4.4.1.1.1.1.cmml"><mn id="S3.p2.15.m15.4.4.1.1.1.1.2" xref="S3.p2.15.m15.4.4.1.1.1.1.2.cmml">1</mn><mo id="S3.p2.15.m15.4.4.1.1.1.1.1" xref="S3.p2.15.m15.4.4.1.1.1.1.1.cmml">+</mo><mrow id="S3.p2.15.m15.4.4.1.1.1.1.3" xref="S3.p2.15.m15.4.4.1.1.1.1.3.cmml"><mi id="S3.p2.15.m15.4.4.1.1.1.1.3.2" xref="S3.p2.15.m15.4.4.1.1.1.1.3.2.cmml">o</mi><mo id="S3.p2.15.m15.4.4.1.1.1.1.3.1" xref="S3.p2.15.m15.4.4.1.1.1.1.3.1.cmml">⁢</mo><mrow id="S3.p2.15.m15.4.4.1.1.1.1.3.3.2" xref="S3.p2.15.m15.4.4.1.1.1.1.3.cmml"><mo id="S3.p2.15.m15.4.4.1.1.1.1.3.3.2.1" stretchy="false" xref="S3.p2.15.m15.4.4.1.1.1.1.3.cmml">(</mo><mn id="S3.p2.15.m15.2.2" xref="S3.p2.15.m15.2.2.cmml">1</mn><mo id="S3.p2.15.m15.4.4.1.1.1.1.3.3.2.2" stretchy="false" xref="S3.p2.15.m15.4.4.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.p2.15.m15.4.4.1.1.1.3" stretchy="false" xref="S3.p2.15.m15.4.4.1.1.1.1.cmml">)</mo></mrow><mo id="S3.p2.15.m15.4.4.1.2" xref="S3.p2.15.m15.4.4.1.2.cmml">⁢</mo><mi id="S3.p2.15.m15.4.4.1.3" xref="S3.p2.15.m15.4.4.1.3.cmml">g</mi><mo id="S3.p2.15.m15.4.4.1.2a" xref="S3.p2.15.m15.4.4.1.2.cmml">⁢</mo><mrow id="S3.p2.15.m15.4.4.1.4.2" xref="S3.p2.15.m15.4.4.1.cmml"><mo id="S3.p2.15.m15.4.4.1.4.2.1" stretchy="false" xref="S3.p2.15.m15.4.4.1.cmml">(</mo><mi id="S3.p2.15.m15.3.3" xref="S3.p2.15.m15.3.3.cmml">z</mi><mo id="S3.p2.15.m15.4.4.1.4.2.2" stretchy="false" xref="S3.p2.15.m15.4.4.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.15.m15.4b"><apply id="S3.p2.15.m15.4.4.cmml" xref="S3.p2.15.m15.4.4"><eq id="S3.p2.15.m15.4.4.2.cmml" xref="S3.p2.15.m15.4.4.2"></eq><apply id="S3.p2.15.m15.4.4.3.cmml" xref="S3.p2.15.m15.4.4.3"><times id="S3.p2.15.m15.4.4.3.1.cmml" xref="S3.p2.15.m15.4.4.3.1"></times><ci id="S3.p2.15.m15.4.4.3.2.cmml" xref="S3.p2.15.m15.4.4.3.2">𝑓</ci><ci id="S3.p2.15.m15.1.1.cmml" xref="S3.p2.15.m15.1.1">𝑧</ci></apply><apply id="S3.p2.15.m15.4.4.1.cmml" xref="S3.p2.15.m15.4.4.1"><times id="S3.p2.15.m15.4.4.1.2.cmml" xref="S3.p2.15.m15.4.4.1.2"></times><apply id="S3.p2.15.m15.4.4.1.1.1.1.cmml" xref="S3.p2.15.m15.4.4.1.1.1"><plus id="S3.p2.15.m15.4.4.1.1.1.1.1.cmml" xref="S3.p2.15.m15.4.4.1.1.1.1.1"></plus><cn id="S3.p2.15.m15.4.4.1.1.1.1.2.cmml" type="integer" xref="S3.p2.15.m15.4.4.1.1.1.1.2">1</cn><apply id="S3.p2.15.m15.4.4.1.1.1.1.3.cmml" xref="S3.p2.15.m15.4.4.1.1.1.1.3"><times id="S3.p2.15.m15.4.4.1.1.1.1.3.1.cmml" xref="S3.p2.15.m15.4.4.1.1.1.1.3.1"></times><ci id="S3.p2.15.m15.4.4.1.1.1.1.3.2.cmml" xref="S3.p2.15.m15.4.4.1.1.1.1.3.2">𝑜</ci><cn id="S3.p2.15.m15.2.2.cmml" type="integer" xref="S3.p2.15.m15.2.2">1</cn></apply></apply><ci id="S3.p2.15.m15.4.4.1.3.cmml" xref="S3.p2.15.m15.4.4.1.3">𝑔</ci><ci id="S3.p2.15.m15.3.3.cmml" xref="S3.p2.15.m15.3.3">𝑧</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.15.m15.4c">f(z)=(1+o(1))g(z)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.15.m15.4d">italic_f ( italic_z ) = ( 1 + italic_o ( 1 ) ) italic_g ( italic_z )</annotation></semantics></math>, where <math alttext="o(1)" class="ltx_Math" display="inline" id="S3.p2.16.m16.1"><semantics id="S3.p2.16.m16.1a"><mrow id="S3.p2.16.m16.1.2" xref="S3.p2.16.m16.1.2.cmml"><mi id="S3.p2.16.m16.1.2.2" xref="S3.p2.16.m16.1.2.2.cmml">o</mi><mo id="S3.p2.16.m16.1.2.1" xref="S3.p2.16.m16.1.2.1.cmml">⁢</mo><mrow id="S3.p2.16.m16.1.2.3.2" xref="S3.p2.16.m16.1.2.cmml"><mo id="S3.p2.16.m16.1.2.3.2.1" stretchy="false" xref="S3.p2.16.m16.1.2.cmml">(</mo><mn id="S3.p2.16.m16.1.1" xref="S3.p2.16.m16.1.1.cmml">1</mn><mo id="S3.p2.16.m16.1.2.3.2.2" stretchy="false" xref="S3.p2.16.m16.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.16.m16.1b"><apply id="S3.p2.16.m16.1.2.cmml" xref="S3.p2.16.m16.1.2"><times id="S3.p2.16.m16.1.2.1.cmml" xref="S3.p2.16.m16.1.2.1"></times><ci id="S3.p2.16.m16.1.2.2.cmml" xref="S3.p2.16.m16.1.2.2">𝑜</ci><cn id="S3.p2.16.m16.1.1.cmml" type="integer" xref="S3.p2.16.m16.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.16.m16.1c">o(1)</annotation><annotation encoding="application/x-llamapun" id="S3.p2.16.m16.1d">italic_o ( 1 )</annotation></semantics></math> stands for a quantity which tends to zero in the limit <math alttext="z\to\infty" class="ltx_Math" display="inline" id="S3.p2.17.m17.1"><semantics id="S3.p2.17.m17.1a"><mrow id="S3.p2.17.m17.1.1" xref="S3.p2.17.m17.1.1.cmml"><mi id="S3.p2.17.m17.1.1.2" xref="S3.p2.17.m17.1.1.2.cmml">z</mi><mo id="S3.p2.17.m17.1.1.1" stretchy="false" xref="S3.p2.17.m17.1.1.1.cmml">→</mo><mi id="S3.p2.17.m17.1.1.3" mathvariant="normal" xref="S3.p2.17.m17.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.17.m17.1b"><apply id="S3.p2.17.m17.1.1.cmml" xref="S3.p2.17.m17.1.1"><ci id="S3.p2.17.m17.1.1.1.cmml" xref="S3.p2.17.m17.1.1.1">→</ci><ci id="S3.p2.17.m17.1.1.2.cmml" xref="S3.p2.17.m17.1.1.2">𝑧</ci><infinity id="S3.p2.17.m17.1.1.3.cmml" xref="S3.p2.17.m17.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.17.m17.1c">z\to\infty</annotation><annotation encoding="application/x-llamapun" id="S3.p2.17.m17.1d">italic_z → ∞</annotation></semantics></math>. Finally, <math alttext="\|u\|_{A}:=\sqrt{u^{\top}Au}" class="ltx_Math" display="inline" id="S3.p2.18.m18.1"><semantics id="S3.p2.18.m18.1a"><mrow id="S3.p2.18.m18.1.2" xref="S3.p2.18.m18.1.2.cmml"><msub id="S3.p2.18.m18.1.2.2" xref="S3.p2.18.m18.1.2.2.cmml"><mrow id="S3.p2.18.m18.1.2.2.2.2" xref="S3.p2.18.m18.1.2.2.2.1.cmml"><mo id="S3.p2.18.m18.1.2.2.2.2.1" stretchy="false" xref="S3.p2.18.m18.1.2.2.2.1.1.cmml">‖</mo><mi id="S3.p2.18.m18.1.1" xref="S3.p2.18.m18.1.1.cmml">u</mi><mo id="S3.p2.18.m18.1.2.2.2.2.2" stretchy="false" xref="S3.p2.18.m18.1.2.2.2.1.1.cmml">‖</mo></mrow><mi id="S3.p2.18.m18.1.2.2.3" xref="S3.p2.18.m18.1.2.2.3.cmml">A</mi></msub><mo id="S3.p2.18.m18.1.2.1" lspace="0.278em" rspace="0.278em" xref="S3.p2.18.m18.1.2.1.cmml">:=</mo><msqrt id="S3.p2.18.m18.1.2.3" xref="S3.p2.18.m18.1.2.3.cmml"><mrow id="S3.p2.18.m18.1.2.3.2" xref="S3.p2.18.m18.1.2.3.2.cmml"><msup id="S3.p2.18.m18.1.2.3.2.2" xref="S3.p2.18.m18.1.2.3.2.2.cmml"><mi id="S3.p2.18.m18.1.2.3.2.2.2" xref="S3.p2.18.m18.1.2.3.2.2.2.cmml">u</mi><mo id="S3.p2.18.m18.1.2.3.2.2.3" xref="S3.p2.18.m18.1.2.3.2.2.3.cmml">⊤</mo></msup><mo id="S3.p2.18.m18.1.2.3.2.1" xref="S3.p2.18.m18.1.2.3.2.1.cmml">⁢</mo><mi id="S3.p2.18.m18.1.2.3.2.3" xref="S3.p2.18.m18.1.2.3.2.3.cmml">A</mi><mo id="S3.p2.18.m18.1.2.3.2.1a" xref="S3.p2.18.m18.1.2.3.2.1.cmml">⁢</mo><mi id="S3.p2.18.m18.1.2.3.2.4" xref="S3.p2.18.m18.1.2.3.2.4.cmml">u</mi></mrow></msqrt></mrow><annotation-xml encoding="MathML-Content" id="S3.p2.18.m18.1b"><apply id="S3.p2.18.m18.1.2.cmml" xref="S3.p2.18.m18.1.2"><csymbol cd="latexml" id="S3.p2.18.m18.1.2.1.cmml" xref="S3.p2.18.m18.1.2.1">assign</csymbol><apply id="S3.p2.18.m18.1.2.2.cmml" xref="S3.p2.18.m18.1.2.2"><csymbol cd="ambiguous" id="S3.p2.18.m18.1.2.2.1.cmml" xref="S3.p2.18.m18.1.2.2">subscript</csymbol><apply id="S3.p2.18.m18.1.2.2.2.1.cmml" xref="S3.p2.18.m18.1.2.2.2.2"><csymbol cd="latexml" id="S3.p2.18.m18.1.2.2.2.1.1.cmml" xref="S3.p2.18.m18.1.2.2.2.2.1">norm</csymbol><ci id="S3.p2.18.m18.1.1.cmml" xref="S3.p2.18.m18.1.1">𝑢</ci></apply><ci id="S3.p2.18.m18.1.2.2.3.cmml" xref="S3.p2.18.m18.1.2.2.3">𝐴</ci></apply><apply id="S3.p2.18.m18.1.2.3.cmml" xref="S3.p2.18.m18.1.2.3"><root id="S3.p2.18.m18.1.2.3a.cmml" xref="S3.p2.18.m18.1.2.3"></root><apply id="S3.p2.18.m18.1.2.3.2.cmml" xref="S3.p2.18.m18.1.2.3.2"><times id="S3.p2.18.m18.1.2.3.2.1.cmml" xref="S3.p2.18.m18.1.2.3.2.1"></times><apply id="S3.p2.18.m18.1.2.3.2.2.cmml" xref="S3.p2.18.m18.1.2.3.2.2"><csymbol cd="ambiguous" id="S3.p2.18.m18.1.2.3.2.2.1.cmml" xref="S3.p2.18.m18.1.2.3.2.2">superscript</csymbol><ci id="S3.p2.18.m18.1.2.3.2.2.2.cmml" xref="S3.p2.18.m18.1.2.3.2.2.2">𝑢</ci><csymbol cd="latexml" id="S3.p2.18.m18.1.2.3.2.2.3.cmml" xref="S3.p2.18.m18.1.2.3.2.2.3">top</csymbol></apply><ci id="S3.p2.18.m18.1.2.3.2.3.cmml" xref="S3.p2.18.m18.1.2.3.2.3">𝐴</ci><ci id="S3.p2.18.m18.1.2.3.2.4.cmml" xref="S3.p2.18.m18.1.2.3.2.4">𝑢</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.18.m18.1c">\|u\|_{A}:=\sqrt{u^{\top}Au}</annotation><annotation encoding="application/x-llamapun" id="S3.p2.18.m18.1d">∥ italic_u ∥ start_POSTSUBSCRIPT italic_A end_POSTSUBSCRIPT := square-root start_ARG italic_u start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_A italic_u end_ARG</annotation></semantics></math> defines the Mahalanobis norm induced by a positive-definite matrix <math alttext="A" class="ltx_Math" display="inline" id="S3.p2.19.m19.1"><semantics id="S3.p2.19.m19.1a"><mi id="S3.p2.19.m19.1.1" xref="S3.p2.19.m19.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="S3.p2.19.m19.1b"><ci id="S3.p2.19.m19.1.1.cmml" xref="S3.p2.19.m19.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p2.19.m19.1c">A</annotation><annotation encoding="application/x-llamapun" id="S3.p2.19.m19.1d">italic_A</annotation></semantics></math>.</p> </div> <div class="ltx_para" id="S3.p3"> <p class="ltx_p" id="S3.p3.14"><span class="ltx_text ltx_font_bold" id="S3.p3.14.2">Data Distribution & Fake Data-Generation Process.</span> Consider a distribution <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p3.1.m1.3"><semantics id="S3.p3.1.m1.3a"><msub id="S3.p3.1.m1.3.4" xref="S3.p3.1.m1.3.4.cmml"><mi id="S3.p3.1.m1.3.4.2" xref="S3.p3.1.m1.3.4.2.cmml">P</mi><mrow id="S3.p3.1.m1.3.3.3.3" xref="S3.p3.1.m1.3.3.3.4.cmml"><mi id="S3.p3.1.m1.1.1.1.1" mathvariant="normal" xref="S3.p3.1.m1.1.1.1.1.cmml">Σ</mi><mo id="S3.p3.1.m1.3.3.3.3.3" xref="S3.p3.1.m1.3.3.3.4.cmml">,</mo><msub id="S3.p3.1.m1.2.2.2.2.1" xref="S3.p3.1.m1.2.2.2.2.1.cmml"><mi id="S3.p3.1.m1.2.2.2.2.1.2" xref="S3.p3.1.m1.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p3.1.m1.2.2.2.2.1.3" xref="S3.p3.1.m1.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p3.1.m1.3.3.3.3.4" xref="S3.p3.1.m1.3.3.3.4.cmml">,</mo><msup id="S3.p3.1.m1.3.3.3.3.2" xref="S3.p3.1.m1.3.3.3.3.2.cmml"><mi id="S3.p3.1.m1.3.3.3.3.2.2" xref="S3.p3.1.m1.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p3.1.m1.3.3.3.3.2.3" xref="S3.p3.1.m1.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p3.1.m1.3b"><apply id="S3.p3.1.m1.3.4.cmml" xref="S3.p3.1.m1.3.4"><csymbol cd="ambiguous" id="S3.p3.1.m1.3.4.1.cmml" xref="S3.p3.1.m1.3.4">subscript</csymbol><ci id="S3.p3.1.m1.3.4.2.cmml" xref="S3.p3.1.m1.3.4.2">𝑃</ci><list id="S3.p3.1.m1.3.3.3.4.cmml" xref="S3.p3.1.m1.3.3.3.3"><ci id="S3.p3.1.m1.1.1.1.1.cmml" xref="S3.p3.1.m1.1.1.1.1">Σ</ci><apply id="S3.p3.1.m1.2.2.2.2.1.cmml" xref="S3.p3.1.m1.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p3.1.m1.2.2.2.2.1.1.cmml" xref="S3.p3.1.m1.2.2.2.2.1">subscript</csymbol><ci id="S3.p3.1.m1.2.2.2.2.1.2.cmml" xref="S3.p3.1.m1.2.2.2.2.1.2">𝑤</ci><cn id="S3.p3.1.m1.2.2.2.2.1.3.cmml" type="integer" xref="S3.p3.1.m1.2.2.2.2.1.3">0</cn></apply><apply id="S3.p3.1.m1.3.3.3.3.2.cmml" xref="S3.p3.1.m1.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p3.1.m1.3.3.3.3.2.1.cmml" xref="S3.p3.1.m1.3.3.3.3.2">superscript</csymbol><ci id="S3.p3.1.m1.3.3.3.3.2.2.cmml" xref="S3.p3.1.m1.3.3.3.3.2.2">𝜎</ci><cn id="S3.p3.1.m1.3.3.3.3.2.3.cmml" type="integer" xref="S3.p3.1.m1.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.1.m1.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.1.m1.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> on <math alttext="\mathbb{R}^{d}\times\mathbb{R}" class="ltx_Math" display="inline" id="S3.p3.2.m2.1"><semantics id="S3.p3.2.m2.1a"><mrow id="S3.p3.2.m2.1.1" xref="S3.p3.2.m2.1.1.cmml"><msup id="S3.p3.2.m2.1.1.2" xref="S3.p3.2.m2.1.1.2.cmml"><mi id="S3.p3.2.m2.1.1.2.2" xref="S3.p3.2.m2.1.1.2.2.cmml">ℝ</mi><mi id="S3.p3.2.m2.1.1.2.3" xref="S3.p3.2.m2.1.1.2.3.cmml">d</mi></msup><mo id="S3.p3.2.m2.1.1.1" lspace="0.222em" rspace="0.222em" xref="S3.p3.2.m2.1.1.1.cmml">×</mo><mi id="S3.p3.2.m2.1.1.3" xref="S3.p3.2.m2.1.1.3.cmml">ℝ</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.2.m2.1b"><apply id="S3.p3.2.m2.1.1.cmml" xref="S3.p3.2.m2.1.1"><times id="S3.p3.2.m2.1.1.1.cmml" xref="S3.p3.2.m2.1.1.1"></times><apply id="S3.p3.2.m2.1.1.2.cmml" xref="S3.p3.2.m2.1.1.2"><csymbol cd="ambiguous" id="S3.p3.2.m2.1.1.2.1.cmml" xref="S3.p3.2.m2.1.1.2">superscript</csymbol><ci id="S3.p3.2.m2.1.1.2.2.cmml" xref="S3.p3.2.m2.1.1.2.2">ℝ</ci><ci id="S3.p3.2.m2.1.1.2.3.cmml" xref="S3.p3.2.m2.1.1.2.3">𝑑</ci></apply><ci id="S3.p3.2.m2.1.1.3.cmml" xref="S3.p3.2.m2.1.1.3">ℝ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.2.m2.1c">\mathbb{R}^{d}\times\mathbb{R}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.2.m2.1d">blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT × blackboard_R</annotation></semantics></math> given by <span class="ltx_inline-block ltx_framed_rectangle" id="S3.p3.3.1" style="border-color: black;"> <span class="ltx_p" id="S3.p3.3.1.1"><math alttext="(x,y)\sim P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p3.3.1.1.m1.5"><semantics id="S3.p3.3.1.1.m1.5a"><mrow id="S3.p3.3.1.1.m1.5.6" xref="S3.p3.3.1.1.m1.5.6.cmml"><mrow id="S3.p3.3.1.1.m1.5.6.2.2" xref="S3.p3.3.1.1.m1.5.6.2.1.cmml"><mo id="S3.p3.3.1.1.m1.5.6.2.2.1" stretchy="false" xref="S3.p3.3.1.1.m1.5.6.2.1.cmml">(</mo><mi id="S3.p3.3.1.1.m1.4.4" xref="S3.p3.3.1.1.m1.4.4.cmml">x</mi><mo id="S3.p3.3.1.1.m1.5.6.2.2.2" xref="S3.p3.3.1.1.m1.5.6.2.1.cmml">,</mo><mi id="S3.p3.3.1.1.m1.5.5" xref="S3.p3.3.1.1.m1.5.5.cmml">y</mi><mo id="S3.p3.3.1.1.m1.5.6.2.2.3" stretchy="false" xref="S3.p3.3.1.1.m1.5.6.2.1.cmml">)</mo></mrow><mo id="S3.p3.3.1.1.m1.5.6.1" xref="S3.p3.3.1.1.m1.5.6.1.cmml">∼</mo><msub id="S3.p3.3.1.1.m1.5.6.3" xref="S3.p3.3.1.1.m1.5.6.3.cmml"><mi id="S3.p3.3.1.1.m1.5.6.3.2" xref="S3.p3.3.1.1.m1.5.6.3.2.cmml">P</mi><mrow id="S3.p3.3.1.1.m1.3.3.3.3" xref="S3.p3.3.1.1.m1.3.3.3.4.cmml"><mi id="S3.p3.3.1.1.m1.1.1.1.1" mathvariant="normal" xref="S3.p3.3.1.1.m1.1.1.1.1.cmml">Σ</mi><mo id="S3.p3.3.1.1.m1.3.3.3.3.3" xref="S3.p3.3.1.1.m1.3.3.3.4.cmml">,</mo><msub id="S3.p3.3.1.1.m1.2.2.2.2.1" xref="S3.p3.3.1.1.m1.2.2.2.2.1.cmml"><mi id="S3.p3.3.1.1.m1.2.2.2.2.1.2" xref="S3.p3.3.1.1.m1.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p3.3.1.1.m1.2.2.2.2.1.3" xref="S3.p3.3.1.1.m1.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p3.3.1.1.m1.3.3.3.3.4" xref="S3.p3.3.1.1.m1.3.3.3.4.cmml">,</mo><msup id="S3.p3.3.1.1.m1.3.3.3.3.2" xref="S3.p3.3.1.1.m1.3.3.3.3.2.cmml"><mi id="S3.p3.3.1.1.m1.3.3.3.3.2.2" xref="S3.p3.3.1.1.m1.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p3.3.1.1.m1.3.3.3.3.2.3" xref="S3.p3.3.1.1.m1.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.3.1.1.m1.5b"><apply id="S3.p3.3.1.1.m1.5.6.cmml" xref="S3.p3.3.1.1.m1.5.6"><csymbol cd="latexml" id="S3.p3.3.1.1.m1.5.6.1.cmml" xref="S3.p3.3.1.1.m1.5.6.1">similar-to</csymbol><interval closure="open" id="S3.p3.3.1.1.m1.5.6.2.1.cmml" xref="S3.p3.3.1.1.m1.5.6.2.2"><ci id="S3.p3.3.1.1.m1.4.4.cmml" xref="S3.p3.3.1.1.m1.4.4">𝑥</ci><ci id="S3.p3.3.1.1.m1.5.5.cmml" xref="S3.p3.3.1.1.m1.5.5">𝑦</ci></interval><apply id="S3.p3.3.1.1.m1.5.6.3.cmml" xref="S3.p3.3.1.1.m1.5.6.3"><csymbol cd="ambiguous" id="S3.p3.3.1.1.m1.5.6.3.1.cmml" xref="S3.p3.3.1.1.m1.5.6.3">subscript</csymbol><ci id="S3.p3.3.1.1.m1.5.6.3.2.cmml" xref="S3.p3.3.1.1.m1.5.6.3.2">𝑃</ci><list id="S3.p3.3.1.1.m1.3.3.3.4.cmml" xref="S3.p3.3.1.1.m1.3.3.3.3"><ci id="S3.p3.3.1.1.m1.1.1.1.1.cmml" xref="S3.p3.3.1.1.m1.1.1.1.1">Σ</ci><apply id="S3.p3.3.1.1.m1.2.2.2.2.1.cmml" xref="S3.p3.3.1.1.m1.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p3.3.1.1.m1.2.2.2.2.1.1.cmml" xref="S3.p3.3.1.1.m1.2.2.2.2.1">subscript</csymbol><ci id="S3.p3.3.1.1.m1.2.2.2.2.1.2.cmml" xref="S3.p3.3.1.1.m1.2.2.2.2.1.2">𝑤</ci><cn id="S3.p3.3.1.1.m1.2.2.2.2.1.3.cmml" type="integer" xref="S3.p3.3.1.1.m1.2.2.2.2.1.3">0</cn></apply><apply id="S3.p3.3.1.1.m1.3.3.3.3.2.cmml" xref="S3.p3.3.1.1.m1.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p3.3.1.1.m1.3.3.3.3.2.1.cmml" xref="S3.p3.3.1.1.m1.3.3.3.3.2">superscript</csymbol><ci id="S3.p3.3.1.1.m1.3.3.3.3.2.2.cmml" xref="S3.p3.3.1.1.m1.3.3.3.3.2.2">𝜎</ci><cn id="S3.p3.3.1.1.m1.3.3.3.3.2.3.cmml" type="integer" xref="S3.p3.3.1.1.m1.3.3.3.3.2.3">2</cn></apply></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.3.1.1.m1.5c">(x,y)\sim P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.3.1.1.m1.5d">( italic_x , italic_y ) ∼ italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> iff</span> <span class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx2"> <span id="S3.E2"><span class="ltx_equation ltx_eqn_row ltx_align_baseline"> <span class="ltx_eqn_cell ltx_eqn_center_padleft"></span> <span class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\textbf{(Input) }x&\sim N(0,\Sigma),\\ \textbf{(Noise) }\epsilon&\sim N(0,\sigma^{2}),\text{ independent of }x,\\ \textbf{(Label) }y&=x^{\top}w_{0}+\epsilon.\end{split}" class="ltx_Math" display="inline" id="S3.E2.m1.38"><semantics id="S3.E2.m1.38a"><mtable columnspacing="0pt" id="S3.E2.m1.38.38.4" rowspacing="0pt"><mtr id="S3.E2.m1.38.38.4a"><mtd class="ltx_align_right" columnalign="right" id="S3.E2.m1.38.38.4b"><mrow id="S3.E2.m1.2.2.2.2.2a"><mtext id="S3.E2.m1.1.1.1.1.1.1" mathvariant="bold" xref="S3.E2.m1.1.1.1.1.1.1a.cmml">(Input) </mtext><mo id="S3.E2.m1.2.2.2.2.2a.3">⁢</mo><mi id="S3.E2.m1.2.2.2.2.2.2" xref="S3.E2.m1.2.2.2.2.2.2.cmml">x</mi></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E2.m1.38.38.4c"><mrow id="S3.E2.m1.36.36.2.35.11.9.9"><mrow id="S3.E2.m1.36.36.2.35.11.9.9.1"><mi id="S3.E2.m1.36.36.2.35.11.9.9.1.1"></mi><mo id="S3.E2.m1.3.3.3.3.1.1" xref="S3.E2.m1.3.3.3.3.1.1.cmml">∼</mo><mrow id="S3.E2.m1.36.36.2.35.11.9.9.1.2"><mi id="S3.E2.m1.4.4.4.4.2.2" xref="S3.E2.m1.4.4.4.4.2.2.cmml">N</mi><mo id="S3.E2.m1.36.36.2.35.11.9.9.1.2.1">⁢</mo><mrow id="S3.E2.m1.36.36.2.35.11.9.9.1.2.2"><mo id="S3.E2.m1.5.5.5.5.3.3" stretchy="false">(</mo><mn id="S3.E2.m1.6.6.6.6.4.4" xref="S3.E2.m1.6.6.6.6.4.4.cmml">0</mn><mo id="S3.E2.m1.7.7.7.7.5.5">,</mo><mi id="S3.E2.m1.8.8.8.8.6.6" mathvariant="normal" xref="S3.E2.m1.8.8.8.8.6.6.cmml">Σ</mi><mo id="S3.E2.m1.9.9.9.9.7.7" stretchy="false">)</mo></mrow></mrow></mrow><mo id="S3.E2.m1.10.10.10.10.8.8">,</mo></mrow></mtd></mtr><mtr id="S3.E2.m1.38.38.4d"><mtd class="ltx_align_right" columnalign="right" id="S3.E2.m1.38.38.4e"><mrow id="S3.E2.m1.12.12.12.2.2a"><mtext id="S3.E2.m1.11.11.11.1.1.1" mathvariant="bold" xref="S3.E2.m1.11.11.11.1.1.1a.cmml">(Noise) </mtext><mo id="S3.E2.m1.12.12.12.2.2a.3">⁢</mo><mi id="S3.E2.m1.12.12.12.2.2.2" xref="S3.E2.m1.12.12.12.2.2.2.cmml">ϵ</mi></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E2.m1.38.38.4f"><mrow id="S3.E2.m1.37.37.3.36.15.13.13"><mrow id="S3.E2.m1.37.37.3.36.15.13.13.1"><mi id="S3.E2.m1.37.37.3.36.15.13.13.1.3"></mi><mo id="S3.E2.m1.13.13.13.3.1.1" xref="S3.E2.m1.13.13.13.3.1.1.cmml">∼</mo><mrow id="S3.E2.m1.37.37.3.36.15.13.13.1.2.2"><mrow id="S3.E2.m1.37.37.3.36.15.13.13.1.1.1.1"><mi id="S3.E2.m1.14.14.14.4.2.2" xref="S3.E2.m1.14.14.14.4.2.2.cmml">N</mi><mo id="S3.E2.m1.37.37.3.36.15.13.13.1.1.1.1.2">⁢</mo><mrow id="S3.E2.m1.37.37.3.36.15.13.13.1.1.1.1.1.1"><mo id="S3.E2.m1.15.15.15.5.3.3" stretchy="false">(</mo><mn id="S3.E2.m1.16.16.16.6.4.4" xref="S3.E2.m1.16.16.16.6.4.4.cmml">0</mn><mo id="S3.E2.m1.17.17.17.7.5.5">,</mo><msup id="S3.E2.m1.37.37.3.36.15.13.13.1.1.1.1.1.1.1"><mi id="S3.E2.m1.18.18.18.8.6.6" xref="S3.E2.m1.18.18.18.8.6.6.cmml">σ</mi><mn id="S3.E2.m1.19.19.19.9.7.7.1" xref="S3.E2.m1.19.19.19.9.7.7.1.cmml">2</mn></msup><mo id="S3.E2.m1.20.20.20.10.8.8" stretchy="false">)</mo></mrow></mrow><mo id="S3.E2.m1.21.21.21.11.9.9">,</mo><mrow id="S3.E2.m1.37.37.3.36.15.13.13.1.2.2.2"><mtext id="S3.E2.m1.22.22.22.12.10.10" xref="S3.E2.m1.22.22.22.12.10.10a.cmml"> independent of </mtext><mo id="S3.E2.m1.37.37.3.36.15.13.13.1.2.2.2.1">⁢</mo><mi id="S3.E2.m1.23.23.23.13.11.11" xref="S3.E2.m1.23.23.23.13.11.11.cmml">x</mi></mrow></mrow></mrow><mo id="S3.E2.m1.24.24.24.14.12.12">,</mo></mrow></mtd></mtr><mtr id="S3.E2.m1.38.38.4g"><mtd class="ltx_align_right" columnalign="right" id="S3.E2.m1.38.38.4h"><mrow id="S3.E2.m1.26.26.26.2.2a"><mtext id="S3.E2.m1.25.25.25.1.1.1" mathvariant="bold" xref="S3.E2.m1.25.25.25.1.1.1a.cmml">(Label) </mtext><mo id="S3.E2.m1.26.26.26.2.2a.3">⁢</mo><mi id="S3.E2.m1.26.26.26.2.2.2" xref="S3.E2.m1.26.26.26.2.2.2.cmml">y</mi></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E2.m1.38.38.4i"><mrow id="S3.E2.m1.38.38.4.37.11.9.9"><mrow id="S3.E2.m1.38.38.4.37.11.9.9.1"><mi id="S3.E2.m1.38.38.4.37.11.9.9.1.1"></mi><mo id="S3.E2.m1.27.27.27.3.1.1" xref="S3.E2.m1.27.27.27.3.1.1.cmml">=</mo><mrow id="S3.E2.m1.38.38.4.37.11.9.9.1.2"><mrow id="S3.E2.m1.38.38.4.37.11.9.9.1.2.1"><msup id="S3.E2.m1.38.38.4.37.11.9.9.1.2.1.2"><mi id="S3.E2.m1.28.28.28.4.2.2" xref="S3.E2.m1.28.28.28.4.2.2.cmml">x</mi><mo id="S3.E2.m1.29.29.29.5.3.3.1" xref="S3.E2.m1.29.29.29.5.3.3.1.cmml">⊤</mo></msup><mo id="S3.E2.m1.38.38.4.37.11.9.9.1.2.1.1">⁢</mo><msub id="S3.E2.m1.38.38.4.37.11.9.9.1.2.1.3"><mi id="S3.E2.m1.30.30.30.6.4.4" xref="S3.E2.m1.30.30.30.6.4.4.cmml">w</mi><mn id="S3.E2.m1.31.31.31.7.5.5.1" xref="S3.E2.m1.31.31.31.7.5.5.1.cmml">0</mn></msub></mrow><mo id="S3.E2.m1.32.32.32.8.6.6" xref="S3.E2.m1.32.32.32.8.6.6.cmml">+</mo><mi id="S3.E2.m1.33.33.33.9.7.7" xref="S3.E2.m1.33.33.33.9.7.7.cmml">ϵ</mi></mrow></mrow><mo id="S3.E2.m1.34.34.34.10.8.8" lspace="0em">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="S3.E2.m1.38b"><apply id="S3.E2.m1.35.35.1.1.1.3.cmml"><csymbol cd="ambiguous" id="S3.E2.m1.35.35.1.1.1.3a.cmml">formulae-sequence</csymbol><apply id="S3.E2.m1.35.35.1.1.1.1.1.cmml"><csymbol cd="latexml" id="S3.E2.m1.3.3.3.3.1.1.cmml" xref="S3.E2.m1.3.3.3.3.1.1">similar-to</csymbol><apply id="S3.E2.m1.35.35.1.1.1.1.1.2.cmml"><times id="S3.E2.m1.35.35.1.1.1.1.1.2.1.cmml"></times><ci id="S3.E2.m1.1.1.1.1.1.1a.cmml" xref="S3.E2.m1.1.1.1.1.1.1"><mtext id="S3.E2.m1.1.1.1.1.1.1.cmml" mathvariant="bold" xref="S3.E2.m1.1.1.1.1.1.1">(Input) </mtext></ci><ci id="S3.E2.m1.2.2.2.2.2.2.cmml" xref="S3.E2.m1.2.2.2.2.2.2">𝑥</ci></apply><apply id="S3.E2.m1.35.35.1.1.1.1.1.3.cmml"><times id="S3.E2.m1.35.35.1.1.1.1.1.3.1.cmml"></times><ci id="S3.E2.m1.4.4.4.4.2.2.cmml" xref="S3.E2.m1.4.4.4.4.2.2">𝑁</ci><interval closure="open" id="S3.E2.m1.35.35.1.1.1.1.1.3.3.cmml"><cn id="S3.E2.m1.6.6.6.6.4.4.cmml" type="integer" xref="S3.E2.m1.6.6.6.6.4.4">0</cn><ci id="S3.E2.m1.8.8.8.8.6.6.cmml" xref="S3.E2.m1.8.8.8.8.6.6">Σ</ci></interval></apply></apply><apply id="S3.E2.m1.35.35.1.1.1.2.2.3.cmml"><csymbol cd="ambiguous" id="S3.E2.m1.35.35.1.1.1.2.2.3a.cmml">formulae-sequence</csymbol><apply id="S3.E2.m1.35.35.1.1.1.2.2.1.1.cmml"><csymbol cd="latexml" id="S3.E2.m1.13.13.13.3.1.1.cmml" xref="S3.E2.m1.13.13.13.3.1.1">similar-to</csymbol><apply id="S3.E2.m1.35.35.1.1.1.2.2.1.1.4.cmml"><times id="S3.E2.m1.35.35.1.1.1.2.2.1.1.4.1.cmml"></times><ci id="S3.E2.m1.11.11.11.1.1.1a.cmml" xref="S3.E2.m1.11.11.11.1.1.1"><mtext id="S3.E2.m1.11.11.11.1.1.1.cmml" mathvariant="bold" xref="S3.E2.m1.11.11.11.1.1.1">(Noise) </mtext></ci><ci id="S3.E2.m1.12.12.12.2.2.2.cmml" xref="S3.E2.m1.12.12.12.2.2.2">italic-ϵ</ci></apply><list id="S3.E2.m1.35.35.1.1.1.2.2.1.1.2.3.cmml"><apply id="S3.E2.m1.35.35.1.1.1.2.2.1.1.1.1.1.cmml"><times id="S3.E2.m1.35.35.1.1.1.2.2.1.1.1.1.1.2.cmml"></times><ci id="S3.E2.m1.14.14.14.4.2.2.cmml" xref="S3.E2.m1.14.14.14.4.2.2">𝑁</ci><interval closure="open" id="S3.E2.m1.35.35.1.1.1.2.2.1.1.1.1.1.1.2.cmml"><cn id="S3.E2.m1.16.16.16.6.4.4.cmml" type="integer" xref="S3.E2.m1.16.16.16.6.4.4">0</cn><apply id="S3.E2.m1.35.35.1.1.1.2.2.1.1.1.1.1.1.1.1.cmml"><csymbol cd="ambiguous" id="S3.E2.m1.35.35.1.1.1.2.2.1.1.1.1.1.1.1.1.1.cmml">superscript</csymbol><ci id="S3.E2.m1.18.18.18.8.6.6.cmml" xref="S3.E2.m1.18.18.18.8.6.6">𝜎</ci><cn id="S3.E2.m1.19.19.19.9.7.7.1.cmml" type="integer" xref="S3.E2.m1.19.19.19.9.7.7.1">2</cn></apply></interval></apply><apply id="S3.E2.m1.35.35.1.1.1.2.2.1.1.2.2.2.cmml"><times id="S3.E2.m1.35.35.1.1.1.2.2.1.1.2.2.2.1.cmml"></times><ci id="S3.E2.m1.22.22.22.12.10.10a.cmml" xref="S3.E2.m1.22.22.22.12.10.10"><mtext id="S3.E2.m1.22.22.22.12.10.10.cmml" xref="S3.E2.m1.22.22.22.12.10.10"> independent of </mtext></ci><ci id="S3.E2.m1.23.23.23.13.11.11.cmml" xref="S3.E2.m1.23.23.23.13.11.11">𝑥</ci></apply></list></apply><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.cmml"><eq id="S3.E2.m1.27.27.27.3.1.1.cmml" xref="S3.E2.m1.27.27.27.3.1.1"></eq><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.2.cmml"><times id="S3.E2.m1.35.35.1.1.1.2.2.2.2.2.1.cmml"></times><ci id="S3.E2.m1.25.25.25.1.1.1a.cmml" xref="S3.E2.m1.25.25.25.1.1.1"><mtext id="S3.E2.m1.25.25.25.1.1.1.cmml" mathvariant="bold" xref="S3.E2.m1.25.25.25.1.1.1">(Label) </mtext></ci><ci id="S3.E2.m1.26.26.26.2.2.2.cmml" xref="S3.E2.m1.26.26.26.2.2.2">𝑦</ci></apply><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.cmml"><plus id="S3.E2.m1.32.32.32.8.6.6.cmml" xref="S3.E2.m1.32.32.32.8.6.6"></plus><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.cmml"><times id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.1.cmml"></times><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.2.cmml"><csymbol cd="ambiguous" id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.2.1.cmml">superscript</csymbol><ci id="S3.E2.m1.28.28.28.4.2.2.cmml" xref="S3.E2.m1.28.28.28.4.2.2">𝑥</ci><csymbol cd="latexml" id="S3.E2.m1.29.29.29.5.3.3.1.cmml" xref="S3.E2.m1.29.29.29.5.3.3.1">top</csymbol></apply><apply id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.3.cmml"><csymbol cd="ambiguous" id="S3.E2.m1.35.35.1.1.1.2.2.2.2.3.2.3.1.cmml">subscript</csymbol><ci id="S3.E2.m1.30.30.30.6.4.4.cmml" xref="S3.E2.m1.30.30.30.6.4.4">𝑤</ci><cn id="S3.E2.m1.31.31.31.7.5.5.1.cmml" type="integer" xref="S3.E2.m1.31.31.31.7.5.5.1">0</cn></apply></apply><ci id="S3.E2.m1.33.33.33.9.7.7.cmml" xref="S3.E2.m1.33.33.33.9.7.7">italic-ϵ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E2.m1.38c">\displaystyle\begin{split}\textbf{(Input) }x&\sim N(0,\Sigma),\\ \textbf{(Noise) }\epsilon&\sim N(0,\sigma^{2}),\text{ independent of }x,\\ \textbf{(Label) }y&=x^{\top}w_{0}+\epsilon.\end{split}</annotation><annotation encoding="application/x-llamapun" id="S3.E2.m1.38d">start_ROW start_CELL (Input) italic_x end_CELL start_CELL ∼ italic_N ( 0 , roman_Σ ) , end_CELL end_ROW start_ROW start_CELL (Noise) italic_ϵ end_CELL start_CELL ∼ italic_N ( 0 , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ) , independent of italic_x , end_CELL end_ROW start_ROW start_CELL (Label) italic_y end_CELL start_CELL = italic_x start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT + italic_ϵ . end_CELL end_ROW</annotation></semantics></math></span> <span class="ltx_eqn_cell ltx_eqn_center_padright"></span> <span class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(2)</span></span></span></span> </span> </span> The positive integer <math alttext="d" class="ltx_Math" display="inline" id="S3.p3.4.m3.1"><semantics id="S3.p3.4.m3.1a"><mi id="S3.p3.4.m3.1.1" xref="S3.p3.4.m3.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S3.p3.4.m3.1b"><ci id="S3.p3.4.m3.1.1.cmml" xref="S3.p3.4.m3.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.4.m3.1c">d</annotation><annotation encoding="application/x-llamapun" id="S3.p3.4.m3.1d">italic_d</annotation></semantics></math> is the input-dimension, the vector <math alttext="w_{0}\in\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S3.p3.5.m4.1"><semantics id="S3.p3.5.m4.1a"><mrow id="S3.p3.5.m4.1.1" xref="S3.p3.5.m4.1.1.cmml"><msub id="S3.p3.5.m4.1.1.2" xref="S3.p3.5.m4.1.1.2.cmml"><mi id="S3.p3.5.m4.1.1.2.2" xref="S3.p3.5.m4.1.1.2.2.cmml">w</mi><mn id="S3.p3.5.m4.1.1.2.3" xref="S3.p3.5.m4.1.1.2.3.cmml">0</mn></msub><mo id="S3.p3.5.m4.1.1.1" xref="S3.p3.5.m4.1.1.1.cmml">∈</mo><msup id="S3.p3.5.m4.1.1.3" xref="S3.p3.5.m4.1.1.3.cmml"><mi id="S3.p3.5.m4.1.1.3.2" xref="S3.p3.5.m4.1.1.3.2.cmml">ℝ</mi><mi id="S3.p3.5.m4.1.1.3.3" xref="S3.p3.5.m4.1.1.3.3.cmml">d</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.5.m4.1b"><apply id="S3.p3.5.m4.1.1.cmml" xref="S3.p3.5.m4.1.1"><in id="S3.p3.5.m4.1.1.1.cmml" xref="S3.p3.5.m4.1.1.1"></in><apply id="S3.p3.5.m4.1.1.2.cmml" xref="S3.p3.5.m4.1.1.2"><csymbol cd="ambiguous" id="S3.p3.5.m4.1.1.2.1.cmml" xref="S3.p3.5.m4.1.1.2">subscript</csymbol><ci id="S3.p3.5.m4.1.1.2.2.cmml" xref="S3.p3.5.m4.1.1.2.2">𝑤</ci><cn id="S3.p3.5.m4.1.1.2.3.cmml" type="integer" xref="S3.p3.5.m4.1.1.2.3">0</cn></apply><apply id="S3.p3.5.m4.1.1.3.cmml" xref="S3.p3.5.m4.1.1.3"><csymbol cd="ambiguous" id="S3.p3.5.m4.1.1.3.1.cmml" xref="S3.p3.5.m4.1.1.3">superscript</csymbol><ci id="S3.p3.5.m4.1.1.3.2.cmml" xref="S3.p3.5.m4.1.1.3.2">ℝ</ci><ci id="S3.p3.5.m4.1.1.3.3.cmml" xref="S3.p3.5.m4.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.5.m4.1c">w_{0}\in\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.5.m4.1d">italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> defines the ground-truth labelling function <math alttext="x\mapsto x^{\top}w_{0}" class="ltx_Math" display="inline" id="S3.p3.6.m5.1"><semantics id="S3.p3.6.m5.1a"><mrow id="S3.p3.6.m5.1.1" xref="S3.p3.6.m5.1.1.cmml"><mi id="S3.p3.6.m5.1.1.2" xref="S3.p3.6.m5.1.1.2.cmml">x</mi><mo id="S3.p3.6.m5.1.1.1" stretchy="false" xref="S3.p3.6.m5.1.1.1.cmml">↦</mo><mrow id="S3.p3.6.m5.1.1.3" xref="S3.p3.6.m5.1.1.3.cmml"><msup id="S3.p3.6.m5.1.1.3.2" xref="S3.p3.6.m5.1.1.3.2.cmml"><mi id="S3.p3.6.m5.1.1.3.2.2" xref="S3.p3.6.m5.1.1.3.2.2.cmml">x</mi><mo id="S3.p3.6.m5.1.1.3.2.3" xref="S3.p3.6.m5.1.1.3.2.3.cmml">⊤</mo></msup><mo id="S3.p3.6.m5.1.1.3.1" xref="S3.p3.6.m5.1.1.3.1.cmml">⁢</mo><msub id="S3.p3.6.m5.1.1.3.3" xref="S3.p3.6.m5.1.1.3.3.cmml"><mi id="S3.p3.6.m5.1.1.3.3.2" xref="S3.p3.6.m5.1.1.3.3.2.cmml">w</mi><mn id="S3.p3.6.m5.1.1.3.3.3" xref="S3.p3.6.m5.1.1.3.3.3.cmml">0</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.6.m5.1b"><apply id="S3.p3.6.m5.1.1.cmml" xref="S3.p3.6.m5.1.1"><csymbol cd="latexml" id="S3.p3.6.m5.1.1.1.cmml" xref="S3.p3.6.m5.1.1.1">maps-to</csymbol><ci id="S3.p3.6.m5.1.1.2.cmml" xref="S3.p3.6.m5.1.1.2">𝑥</ci><apply id="S3.p3.6.m5.1.1.3.cmml" xref="S3.p3.6.m5.1.1.3"><times id="S3.p3.6.m5.1.1.3.1.cmml" xref="S3.p3.6.m5.1.1.3.1"></times><apply id="S3.p3.6.m5.1.1.3.2.cmml" xref="S3.p3.6.m5.1.1.3.2"><csymbol cd="ambiguous" id="S3.p3.6.m5.1.1.3.2.1.cmml" xref="S3.p3.6.m5.1.1.3.2">superscript</csymbol><ci id="S3.p3.6.m5.1.1.3.2.2.cmml" xref="S3.p3.6.m5.1.1.3.2.2">𝑥</ci><csymbol cd="latexml" id="S3.p3.6.m5.1.1.3.2.3.cmml" xref="S3.p3.6.m5.1.1.3.2.3">top</csymbol></apply><apply id="S3.p3.6.m5.1.1.3.3.cmml" xref="S3.p3.6.m5.1.1.3.3"><csymbol cd="ambiguous" id="S3.p3.6.m5.1.1.3.3.1.cmml" xref="S3.p3.6.m5.1.1.3.3">subscript</csymbol><ci id="S3.p3.6.m5.1.1.3.3.2.cmml" xref="S3.p3.6.m5.1.1.3.3.2">𝑤</ci><cn id="S3.p3.6.m5.1.1.3.3.3.cmml" type="integer" xref="S3.p3.6.m5.1.1.3.3.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.6.m5.1c">x\mapsto x^{\top}w_{0}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.6.m5.1d">italic_x ↦ italic_x start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>, the matrix <math alttext="\Sigma\in\mathbb{R}^{d\times d}" class="ltx_Math" display="inline" id="S3.p3.7.m6.1"><semantics id="S3.p3.7.m6.1a"><mrow id="S3.p3.7.m6.1.1" xref="S3.p3.7.m6.1.1.cmml"><mi id="S3.p3.7.m6.1.1.2" mathvariant="normal" xref="S3.p3.7.m6.1.1.2.cmml">Σ</mi><mo id="S3.p3.7.m6.1.1.1" xref="S3.p3.7.m6.1.1.1.cmml">∈</mo><msup id="S3.p3.7.m6.1.1.3" xref="S3.p3.7.m6.1.1.3.cmml"><mi id="S3.p3.7.m6.1.1.3.2" xref="S3.p3.7.m6.1.1.3.2.cmml">ℝ</mi><mrow id="S3.p3.7.m6.1.1.3.3" xref="S3.p3.7.m6.1.1.3.3.cmml"><mi id="S3.p3.7.m6.1.1.3.3.2" xref="S3.p3.7.m6.1.1.3.3.2.cmml">d</mi><mo id="S3.p3.7.m6.1.1.3.3.1" lspace="0.222em" rspace="0.222em" xref="S3.p3.7.m6.1.1.3.3.1.cmml">×</mo><mi id="S3.p3.7.m6.1.1.3.3.3" xref="S3.p3.7.m6.1.1.3.3.3.cmml">d</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.7.m6.1b"><apply id="S3.p3.7.m6.1.1.cmml" xref="S3.p3.7.m6.1.1"><in id="S3.p3.7.m6.1.1.1.cmml" xref="S3.p3.7.m6.1.1.1"></in><ci id="S3.p3.7.m6.1.1.2.cmml" xref="S3.p3.7.m6.1.1.2">Σ</ci><apply id="S3.p3.7.m6.1.1.3.cmml" xref="S3.p3.7.m6.1.1.3"><csymbol cd="ambiguous" id="S3.p3.7.m6.1.1.3.1.cmml" xref="S3.p3.7.m6.1.1.3">superscript</csymbol><ci id="S3.p3.7.m6.1.1.3.2.cmml" xref="S3.p3.7.m6.1.1.3.2">ℝ</ci><apply id="S3.p3.7.m6.1.1.3.3.cmml" xref="S3.p3.7.m6.1.1.3.3"><times id="S3.p3.7.m6.1.1.3.3.1.cmml" xref="S3.p3.7.m6.1.1.3.3.1"></times><ci id="S3.p3.7.m6.1.1.3.3.2.cmml" xref="S3.p3.7.m6.1.1.3.3.2">𝑑</ci><ci id="S3.p3.7.m6.1.1.3.3.3.cmml" xref="S3.p3.7.m6.1.1.3.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.7.m6.1c">\Sigma\in\mathbb{R}^{d\times d}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.7.m6.1d">roman_Σ ∈ blackboard_R start_POSTSUPERSCRIPT italic_d × italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> captures the covariance structure of the input <math alttext="x" class="ltx_Math" display="inline" id="S3.p3.8.m7.1"><semantics id="S3.p3.8.m7.1a"><mi id="S3.p3.8.m7.1.1" xref="S3.p3.8.m7.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.p3.8.m7.1b"><ci id="S3.p3.8.m7.1.1.cmml" xref="S3.p3.8.m7.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.8.m7.1c">x</annotation><annotation encoding="application/x-llamapun" id="S3.p3.8.m7.1d">italic_x</annotation></semantics></math>. The scalar <math alttext="\sigma^{2}" class="ltx_Math" display="inline" id="S3.p3.9.m8.1"><semantics id="S3.p3.9.m8.1a"><msup id="S3.p3.9.m8.1.1" xref="S3.p3.9.m8.1.1.cmml"><mi id="S3.p3.9.m8.1.1.2" xref="S3.p3.9.m8.1.1.2.cmml">σ</mi><mn id="S3.p3.9.m8.1.1.3" xref="S3.p3.9.m8.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S3.p3.9.m8.1b"><apply id="S3.p3.9.m8.1.1.cmml" xref="S3.p3.9.m8.1.1"><csymbol cd="ambiguous" id="S3.p3.9.m8.1.1.1.cmml" xref="S3.p3.9.m8.1.1">superscript</csymbol><ci id="S3.p3.9.m8.1.1.2.cmml" xref="S3.p3.9.m8.1.1.2">𝜎</ci><cn id="S3.p3.9.m8.1.1.3.cmml" type="integer" xref="S3.p3.9.m8.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.9.m8.1c">\sigma^{2}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.9.m8.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math> is the level of label noise. Here, we consider linear models for clarity. We shall discuss kernel at the end of this section. So, in classical linear regression, we are given a sample <math alttext="(X,Y)\equiv\{(x_{1},y_{1}),\ldots,(x_{T},y_{T})\}" class="ltx_Math" display="inline" id="S3.p3.10.m9.5"><semantics id="S3.p3.10.m9.5a"><mrow id="S3.p3.10.m9.5.5" xref="S3.p3.10.m9.5.5.cmml"><mrow id="S3.p3.10.m9.5.5.4.2" xref="S3.p3.10.m9.5.5.4.1.cmml"><mo id="S3.p3.10.m9.5.5.4.2.1" stretchy="false" xref="S3.p3.10.m9.5.5.4.1.cmml">(</mo><mi id="S3.p3.10.m9.1.1" xref="S3.p3.10.m9.1.1.cmml">X</mi><mo id="S3.p3.10.m9.5.5.4.2.2" xref="S3.p3.10.m9.5.5.4.1.cmml">,</mo><mi id="S3.p3.10.m9.2.2" xref="S3.p3.10.m9.2.2.cmml">Y</mi><mo id="S3.p3.10.m9.5.5.4.2.3" stretchy="false" xref="S3.p3.10.m9.5.5.4.1.cmml">)</mo></mrow><mo id="S3.p3.10.m9.5.5.3" xref="S3.p3.10.m9.5.5.3.cmml">≡</mo><mrow id="S3.p3.10.m9.5.5.2.2" xref="S3.p3.10.m9.5.5.2.3.cmml"><mo id="S3.p3.10.m9.5.5.2.2.3" stretchy="false" xref="S3.p3.10.m9.5.5.2.3.cmml">{</mo><mrow id="S3.p3.10.m9.4.4.1.1.1.2" xref="S3.p3.10.m9.4.4.1.1.1.3.cmml"><mo id="S3.p3.10.m9.4.4.1.1.1.2.3" stretchy="false" xref="S3.p3.10.m9.4.4.1.1.1.3.cmml">(</mo><msub id="S3.p3.10.m9.4.4.1.1.1.1.1" xref="S3.p3.10.m9.4.4.1.1.1.1.1.cmml"><mi id="S3.p3.10.m9.4.4.1.1.1.1.1.2" xref="S3.p3.10.m9.4.4.1.1.1.1.1.2.cmml">x</mi><mn id="S3.p3.10.m9.4.4.1.1.1.1.1.3" xref="S3.p3.10.m9.4.4.1.1.1.1.1.3.cmml">1</mn></msub><mo id="S3.p3.10.m9.4.4.1.1.1.2.4" xref="S3.p3.10.m9.4.4.1.1.1.3.cmml">,</mo><msub id="S3.p3.10.m9.4.4.1.1.1.2.2" xref="S3.p3.10.m9.4.4.1.1.1.2.2.cmml"><mi id="S3.p3.10.m9.4.4.1.1.1.2.2.2" xref="S3.p3.10.m9.4.4.1.1.1.2.2.2.cmml">y</mi><mn id="S3.p3.10.m9.4.4.1.1.1.2.2.3" xref="S3.p3.10.m9.4.4.1.1.1.2.2.3.cmml">1</mn></msub><mo id="S3.p3.10.m9.4.4.1.1.1.2.5" stretchy="false" xref="S3.p3.10.m9.4.4.1.1.1.3.cmml">)</mo></mrow><mo id="S3.p3.10.m9.5.5.2.2.4" xref="S3.p3.10.m9.5.5.2.3.cmml">,</mo><mi id="S3.p3.10.m9.3.3" mathvariant="normal" xref="S3.p3.10.m9.3.3.cmml">…</mi><mo id="S3.p3.10.m9.5.5.2.2.5" xref="S3.p3.10.m9.5.5.2.3.cmml">,</mo><mrow id="S3.p3.10.m9.5.5.2.2.2.2" xref="S3.p3.10.m9.5.5.2.2.2.3.cmml"><mo id="S3.p3.10.m9.5.5.2.2.2.2.3" stretchy="false" xref="S3.p3.10.m9.5.5.2.2.2.3.cmml">(</mo><msub id="S3.p3.10.m9.5.5.2.2.2.1.1" xref="S3.p3.10.m9.5.5.2.2.2.1.1.cmml"><mi id="S3.p3.10.m9.5.5.2.2.2.1.1.2" xref="S3.p3.10.m9.5.5.2.2.2.1.1.2.cmml">x</mi><mi id="S3.p3.10.m9.5.5.2.2.2.1.1.3" xref="S3.p3.10.m9.5.5.2.2.2.1.1.3.cmml">T</mi></msub><mo id="S3.p3.10.m9.5.5.2.2.2.2.4" xref="S3.p3.10.m9.5.5.2.2.2.3.cmml">,</mo><msub id="S3.p3.10.m9.5.5.2.2.2.2.2" xref="S3.p3.10.m9.5.5.2.2.2.2.2.cmml"><mi id="S3.p3.10.m9.5.5.2.2.2.2.2.2" xref="S3.p3.10.m9.5.5.2.2.2.2.2.2.cmml">y</mi><mi id="S3.p3.10.m9.5.5.2.2.2.2.2.3" xref="S3.p3.10.m9.5.5.2.2.2.2.2.3.cmml">T</mi></msub><mo id="S3.p3.10.m9.5.5.2.2.2.2.5" stretchy="false" xref="S3.p3.10.m9.5.5.2.2.2.3.cmml">)</mo></mrow><mo id="S3.p3.10.m9.5.5.2.2.6" stretchy="false" xref="S3.p3.10.m9.5.5.2.3.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.10.m9.5b"><apply id="S3.p3.10.m9.5.5.cmml" xref="S3.p3.10.m9.5.5"><equivalent id="S3.p3.10.m9.5.5.3.cmml" xref="S3.p3.10.m9.5.5.3"></equivalent><interval closure="open" id="S3.p3.10.m9.5.5.4.1.cmml" xref="S3.p3.10.m9.5.5.4.2"><ci id="S3.p3.10.m9.1.1.cmml" xref="S3.p3.10.m9.1.1">𝑋</ci><ci id="S3.p3.10.m9.2.2.cmml" xref="S3.p3.10.m9.2.2">𝑌</ci></interval><set id="S3.p3.10.m9.5.5.2.3.cmml" xref="S3.p3.10.m9.5.5.2.2"><interval closure="open" id="S3.p3.10.m9.4.4.1.1.1.3.cmml" xref="S3.p3.10.m9.4.4.1.1.1.2"><apply id="S3.p3.10.m9.4.4.1.1.1.1.1.cmml" xref="S3.p3.10.m9.4.4.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p3.10.m9.4.4.1.1.1.1.1.1.cmml" xref="S3.p3.10.m9.4.4.1.1.1.1.1">subscript</csymbol><ci id="S3.p3.10.m9.4.4.1.1.1.1.1.2.cmml" xref="S3.p3.10.m9.4.4.1.1.1.1.1.2">𝑥</ci><cn id="S3.p3.10.m9.4.4.1.1.1.1.1.3.cmml" type="integer" xref="S3.p3.10.m9.4.4.1.1.1.1.1.3">1</cn></apply><apply id="S3.p3.10.m9.4.4.1.1.1.2.2.cmml" xref="S3.p3.10.m9.4.4.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.p3.10.m9.4.4.1.1.1.2.2.1.cmml" xref="S3.p3.10.m9.4.4.1.1.1.2.2">subscript</csymbol><ci id="S3.p3.10.m9.4.4.1.1.1.2.2.2.cmml" xref="S3.p3.10.m9.4.4.1.1.1.2.2.2">𝑦</ci><cn id="S3.p3.10.m9.4.4.1.1.1.2.2.3.cmml" type="integer" xref="S3.p3.10.m9.4.4.1.1.1.2.2.3">1</cn></apply></interval><ci id="S3.p3.10.m9.3.3.cmml" xref="S3.p3.10.m9.3.3">…</ci><interval closure="open" id="S3.p3.10.m9.5.5.2.2.2.3.cmml" xref="S3.p3.10.m9.5.5.2.2.2.2"><apply id="S3.p3.10.m9.5.5.2.2.2.1.1.cmml" xref="S3.p3.10.m9.5.5.2.2.2.1.1"><csymbol cd="ambiguous" id="S3.p3.10.m9.5.5.2.2.2.1.1.1.cmml" xref="S3.p3.10.m9.5.5.2.2.2.1.1">subscript</csymbol><ci id="S3.p3.10.m9.5.5.2.2.2.1.1.2.cmml" xref="S3.p3.10.m9.5.5.2.2.2.1.1.2">𝑥</ci><ci id="S3.p3.10.m9.5.5.2.2.2.1.1.3.cmml" xref="S3.p3.10.m9.5.5.2.2.2.1.1.3">𝑇</ci></apply><apply id="S3.p3.10.m9.5.5.2.2.2.2.2.cmml" xref="S3.p3.10.m9.5.5.2.2.2.2.2"><csymbol cd="ambiguous" id="S3.p3.10.m9.5.5.2.2.2.2.2.1.cmml" xref="S3.p3.10.m9.5.5.2.2.2.2.2">subscript</csymbol><ci id="S3.p3.10.m9.5.5.2.2.2.2.2.2.cmml" xref="S3.p3.10.m9.5.5.2.2.2.2.2.2">𝑦</ci><ci id="S3.p3.10.m9.5.5.2.2.2.2.2.3.cmml" xref="S3.p3.10.m9.5.5.2.2.2.2.2.3">𝑇</ci></apply></interval></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.10.m9.5c">(X,Y)\equiv\{(x_{1},y_{1}),\ldots,(x_{T},y_{T})\}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.10.m9.5d">( italic_X , italic_Y ) ≡ { ( italic_x start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , italic_y start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ) , … , ( italic_x start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT , italic_y start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT ) }</annotation></semantics></math> of size <math alttext="T" class="ltx_Math" display="inline" id="S3.p3.11.m10.1"><semantics id="S3.p3.11.m10.1a"><mi id="S3.p3.11.m10.1.1" xref="S3.p3.11.m10.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.p3.11.m10.1b"><ci id="S3.p3.11.m10.1.1.cmml" xref="S3.p3.11.m10.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.11.m10.1c">T</annotation><annotation encoding="application/x-llamapun" id="S3.p3.11.m10.1d">italic_T</annotation></semantics></math> from <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p3.12.m11.3"><semantics id="S3.p3.12.m11.3a"><msub id="S3.p3.12.m11.3.4" xref="S3.p3.12.m11.3.4.cmml"><mi id="S3.p3.12.m11.3.4.2" xref="S3.p3.12.m11.3.4.2.cmml">P</mi><mrow id="S3.p3.12.m11.3.3.3.3" xref="S3.p3.12.m11.3.3.3.4.cmml"><mi id="S3.p3.12.m11.1.1.1.1" mathvariant="normal" xref="S3.p3.12.m11.1.1.1.1.cmml">Σ</mi><mo id="S3.p3.12.m11.3.3.3.3.3" xref="S3.p3.12.m11.3.3.3.4.cmml">,</mo><msub id="S3.p3.12.m11.2.2.2.2.1" xref="S3.p3.12.m11.2.2.2.2.1.cmml"><mi id="S3.p3.12.m11.2.2.2.2.1.2" xref="S3.p3.12.m11.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p3.12.m11.2.2.2.2.1.3" xref="S3.p3.12.m11.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p3.12.m11.3.3.3.3.4" xref="S3.p3.12.m11.3.3.3.4.cmml">,</mo><msup id="S3.p3.12.m11.3.3.3.3.2" xref="S3.p3.12.m11.3.3.3.3.2.cmml"><mi id="S3.p3.12.m11.3.3.3.3.2.2" xref="S3.p3.12.m11.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p3.12.m11.3.3.3.3.2.3" xref="S3.p3.12.m11.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p3.12.m11.3b"><apply id="S3.p3.12.m11.3.4.cmml" xref="S3.p3.12.m11.3.4"><csymbol cd="ambiguous" id="S3.p3.12.m11.3.4.1.cmml" xref="S3.p3.12.m11.3.4">subscript</csymbol><ci id="S3.p3.12.m11.3.4.2.cmml" xref="S3.p3.12.m11.3.4.2">𝑃</ci><list id="S3.p3.12.m11.3.3.3.4.cmml" xref="S3.p3.12.m11.3.3.3.3"><ci id="S3.p3.12.m11.1.1.1.1.cmml" xref="S3.p3.12.m11.1.1.1.1">Σ</ci><apply id="S3.p3.12.m11.2.2.2.2.1.cmml" xref="S3.p3.12.m11.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p3.12.m11.2.2.2.2.1.1.cmml" xref="S3.p3.12.m11.2.2.2.2.1">subscript</csymbol><ci id="S3.p3.12.m11.2.2.2.2.1.2.cmml" xref="S3.p3.12.m11.2.2.2.2.1.2">𝑤</ci><cn id="S3.p3.12.m11.2.2.2.2.1.3.cmml" type="integer" xref="S3.p3.12.m11.2.2.2.2.1.3">0</cn></apply><apply id="S3.p3.12.m11.3.3.3.3.2.cmml" xref="S3.p3.12.m11.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p3.12.m11.3.3.3.3.2.1.cmml" xref="S3.p3.12.m11.3.3.3.3.2">superscript</csymbol><ci id="S3.p3.12.m11.3.3.3.3.2.2.cmml" xref="S3.p3.12.m11.3.3.3.3.2.2">𝜎</ci><cn id="S3.p3.12.m11.3.3.3.3.2.3.cmml" type="integer" xref="S3.p3.12.m11.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.12.m11.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.12.m11.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> and we seek a linear model <math alttext="\widehat{w}^{pred}\in\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S3.p3.13.m12.1"><semantics id="S3.p3.13.m12.1a"><mrow id="S3.p3.13.m12.1.1" xref="S3.p3.13.m12.1.1.cmml"><msup id="S3.p3.13.m12.1.1.2" xref="S3.p3.13.m12.1.1.2.cmml"><mover accent="true" id="S3.p3.13.m12.1.1.2.2" xref="S3.p3.13.m12.1.1.2.2.cmml"><mi id="S3.p3.13.m12.1.1.2.2.2" xref="S3.p3.13.m12.1.1.2.2.2.cmml">w</mi><mo id="S3.p3.13.m12.1.1.2.2.1" xref="S3.p3.13.m12.1.1.2.2.1.cmml">^</mo></mover><mrow id="S3.p3.13.m12.1.1.2.3" xref="S3.p3.13.m12.1.1.2.3.cmml"><mi id="S3.p3.13.m12.1.1.2.3.2" xref="S3.p3.13.m12.1.1.2.3.2.cmml">p</mi><mo id="S3.p3.13.m12.1.1.2.3.1" xref="S3.p3.13.m12.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p3.13.m12.1.1.2.3.3" xref="S3.p3.13.m12.1.1.2.3.3.cmml">r</mi><mo id="S3.p3.13.m12.1.1.2.3.1a" xref="S3.p3.13.m12.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p3.13.m12.1.1.2.3.4" xref="S3.p3.13.m12.1.1.2.3.4.cmml">e</mi><mo id="S3.p3.13.m12.1.1.2.3.1b" xref="S3.p3.13.m12.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p3.13.m12.1.1.2.3.5" xref="S3.p3.13.m12.1.1.2.3.5.cmml">d</mi></mrow></msup><mo id="S3.p3.13.m12.1.1.1" xref="S3.p3.13.m12.1.1.1.cmml">∈</mo><msup id="S3.p3.13.m12.1.1.3" xref="S3.p3.13.m12.1.1.3.cmml"><mi id="S3.p3.13.m12.1.1.3.2" xref="S3.p3.13.m12.1.1.3.2.cmml">ℝ</mi><mi id="S3.p3.13.m12.1.1.3.3" xref="S3.p3.13.m12.1.1.3.3.cmml">d</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.13.m12.1b"><apply id="S3.p3.13.m12.1.1.cmml" xref="S3.p3.13.m12.1.1"><in id="S3.p3.13.m12.1.1.1.cmml" xref="S3.p3.13.m12.1.1.1"></in><apply id="S3.p3.13.m12.1.1.2.cmml" xref="S3.p3.13.m12.1.1.2"><csymbol cd="ambiguous" id="S3.p3.13.m12.1.1.2.1.cmml" xref="S3.p3.13.m12.1.1.2">superscript</csymbol><apply id="S3.p3.13.m12.1.1.2.2.cmml" xref="S3.p3.13.m12.1.1.2.2"><ci id="S3.p3.13.m12.1.1.2.2.1.cmml" xref="S3.p3.13.m12.1.1.2.2.1">^</ci><ci id="S3.p3.13.m12.1.1.2.2.2.cmml" xref="S3.p3.13.m12.1.1.2.2.2">𝑤</ci></apply><apply id="S3.p3.13.m12.1.1.2.3.cmml" xref="S3.p3.13.m12.1.1.2.3"><times id="S3.p3.13.m12.1.1.2.3.1.cmml" xref="S3.p3.13.m12.1.1.2.3.1"></times><ci id="S3.p3.13.m12.1.1.2.3.2.cmml" xref="S3.p3.13.m12.1.1.2.3.2">𝑝</ci><ci id="S3.p3.13.m12.1.1.2.3.3.cmml" xref="S3.p3.13.m12.1.1.2.3.3">𝑟</ci><ci id="S3.p3.13.m12.1.1.2.3.4.cmml" xref="S3.p3.13.m12.1.1.2.3.4">𝑒</ci><ci id="S3.p3.13.m12.1.1.2.3.5.cmml" xref="S3.p3.13.m12.1.1.2.3.5">𝑑</ci></apply></apply><apply id="S3.p3.13.m12.1.1.3.cmml" xref="S3.p3.13.m12.1.1.3"><csymbol cd="ambiguous" id="S3.p3.13.m12.1.1.3.1.cmml" xref="S3.p3.13.m12.1.1.3">superscript</csymbol><ci id="S3.p3.13.m12.1.1.3.2.cmml" xref="S3.p3.13.m12.1.1.3.2">ℝ</ci><ci id="S3.p3.13.m12.1.1.3.3.cmml" xref="S3.p3.13.m12.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.13.m12.1c">\widehat{w}^{pred}\in\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.13.m12.1d">over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> with small test error <math alttext="E_{test}(\widehat{w}^{pred})" class="ltx_Math" display="inline" id="S3.p3.14.m13.1"><semantics id="S3.p3.14.m13.1a"><mrow id="S3.p3.14.m13.1.1" xref="S3.p3.14.m13.1.1.cmml"><msub id="S3.p3.14.m13.1.1.3" xref="S3.p3.14.m13.1.1.3.cmml"><mi id="S3.p3.14.m13.1.1.3.2" xref="S3.p3.14.m13.1.1.3.2.cmml">E</mi><mrow id="S3.p3.14.m13.1.1.3.3" xref="S3.p3.14.m13.1.1.3.3.cmml"><mi id="S3.p3.14.m13.1.1.3.3.2" xref="S3.p3.14.m13.1.1.3.3.2.cmml">t</mi><mo id="S3.p3.14.m13.1.1.3.3.1" xref="S3.p3.14.m13.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.3.3.3" xref="S3.p3.14.m13.1.1.3.3.3.cmml">e</mi><mo id="S3.p3.14.m13.1.1.3.3.1a" xref="S3.p3.14.m13.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.3.3.4" xref="S3.p3.14.m13.1.1.3.3.4.cmml">s</mi><mo id="S3.p3.14.m13.1.1.3.3.1b" xref="S3.p3.14.m13.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.3.3.5" xref="S3.p3.14.m13.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S3.p3.14.m13.1.1.2" xref="S3.p3.14.m13.1.1.2.cmml">⁢</mo><mrow id="S3.p3.14.m13.1.1.1.1" xref="S3.p3.14.m13.1.1.1.1.1.cmml"><mo id="S3.p3.14.m13.1.1.1.1.2" stretchy="false" xref="S3.p3.14.m13.1.1.1.1.1.cmml">(</mo><msup id="S3.p3.14.m13.1.1.1.1.1" xref="S3.p3.14.m13.1.1.1.1.1.cmml"><mover accent="true" id="S3.p3.14.m13.1.1.1.1.1.2" xref="S3.p3.14.m13.1.1.1.1.1.2.cmml"><mi id="S3.p3.14.m13.1.1.1.1.1.2.2" xref="S3.p3.14.m13.1.1.1.1.1.2.2.cmml">w</mi><mo id="S3.p3.14.m13.1.1.1.1.1.2.1" xref="S3.p3.14.m13.1.1.1.1.1.2.1.cmml">^</mo></mover><mrow id="S3.p3.14.m13.1.1.1.1.1.3" xref="S3.p3.14.m13.1.1.1.1.1.3.cmml"><mi id="S3.p3.14.m13.1.1.1.1.1.3.2" xref="S3.p3.14.m13.1.1.1.1.1.3.2.cmml">p</mi><mo id="S3.p3.14.m13.1.1.1.1.1.3.1" xref="S3.p3.14.m13.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.1.1.1.3.3" xref="S3.p3.14.m13.1.1.1.1.1.3.3.cmml">r</mi><mo id="S3.p3.14.m13.1.1.1.1.1.3.1a" xref="S3.p3.14.m13.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.1.1.1.3.4" xref="S3.p3.14.m13.1.1.1.1.1.3.4.cmml">e</mi><mo id="S3.p3.14.m13.1.1.1.1.1.3.1b" xref="S3.p3.14.m13.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p3.14.m13.1.1.1.1.1.3.5" xref="S3.p3.14.m13.1.1.1.1.1.3.5.cmml">d</mi></mrow></msup><mo id="S3.p3.14.m13.1.1.1.1.3" stretchy="false" xref="S3.p3.14.m13.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.14.m13.1b"><apply id="S3.p3.14.m13.1.1.cmml" xref="S3.p3.14.m13.1.1"><times id="S3.p3.14.m13.1.1.2.cmml" xref="S3.p3.14.m13.1.1.2"></times><apply id="S3.p3.14.m13.1.1.3.cmml" xref="S3.p3.14.m13.1.1.3"><csymbol cd="ambiguous" id="S3.p3.14.m13.1.1.3.1.cmml" xref="S3.p3.14.m13.1.1.3">subscript</csymbol><ci id="S3.p3.14.m13.1.1.3.2.cmml" xref="S3.p3.14.m13.1.1.3.2">𝐸</ci><apply id="S3.p3.14.m13.1.1.3.3.cmml" xref="S3.p3.14.m13.1.1.3.3"><times id="S3.p3.14.m13.1.1.3.3.1.cmml" xref="S3.p3.14.m13.1.1.3.3.1"></times><ci id="S3.p3.14.m13.1.1.3.3.2.cmml" xref="S3.p3.14.m13.1.1.3.3.2">𝑡</ci><ci id="S3.p3.14.m13.1.1.3.3.3.cmml" xref="S3.p3.14.m13.1.1.3.3.3">𝑒</ci><ci id="S3.p3.14.m13.1.1.3.3.4.cmml" xref="S3.p3.14.m13.1.1.3.3.4">𝑠</ci><ci id="S3.p3.14.m13.1.1.3.3.5.cmml" xref="S3.p3.14.m13.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S3.p3.14.m13.1.1.1.1.1.cmml" xref="S3.p3.14.m13.1.1.1.1"><csymbol cd="ambiguous" id="S3.p3.14.m13.1.1.1.1.1.1.cmml" xref="S3.p3.14.m13.1.1.1.1">superscript</csymbol><apply id="S3.p3.14.m13.1.1.1.1.1.2.cmml" xref="S3.p3.14.m13.1.1.1.1.1.2"><ci id="S3.p3.14.m13.1.1.1.1.1.2.1.cmml" xref="S3.p3.14.m13.1.1.1.1.1.2.1">^</ci><ci id="S3.p3.14.m13.1.1.1.1.1.2.2.cmml" xref="S3.p3.14.m13.1.1.1.1.1.2.2">𝑤</ci></apply><apply id="S3.p3.14.m13.1.1.1.1.1.3.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3"><times id="S3.p3.14.m13.1.1.1.1.1.3.1.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3.1"></times><ci id="S3.p3.14.m13.1.1.1.1.1.3.2.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3.2">𝑝</ci><ci id="S3.p3.14.m13.1.1.1.1.1.3.3.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3.3">𝑟</ci><ci id="S3.p3.14.m13.1.1.1.1.1.3.4.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3.4">𝑒</ci><ci id="S3.p3.14.m13.1.1.1.1.1.3.5.cmml" xref="S3.p3.14.m13.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.14.m13.1c">E_{test}(\widehat{w}^{pred})</annotation><annotation encoding="application/x-llamapun" id="S3.p3.14.m13.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math>, defined by</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx3"> <tbody id="S3.E3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}E_{test}(\widehat{w}^{pred})&:=\mathbb{E}_{X,Y}\,% \mathbb{E}_{x,y}[(x^{\top}\widehat{w}^{pred}-y)^{2}]-\sigma^{2}\\ &=\mathbb{E}_{X,Y}[\|\widehat{w}^{pred}-w_{0}\|_{\Sigma}^{2}],\end{split}" class="ltx_Math" display="inline" id="S3.E3.m1.44"><semantics id="S3.E3.m1.44a"><mtable columnspacing="0pt" id="S3.E3.m1.44.44.4" rowspacing="0pt"><mtr id="S3.E3.m1.44.44.4a"><mtd class="ltx_align_right" columnalign="right" id="S3.E3.m1.44.44.4b"><mrow id="S3.E3.m1.42.42.2.41.26.7"><msub id="S3.E3.m1.42.42.2.41.26.7.9"><mi id="S3.E3.m1.1.1.1.1.1.1" xref="S3.E3.m1.1.1.1.1.1.1.cmml">E</mi><mrow id="S3.E3.m1.2.2.2.2.2.2.1" xref="S3.E3.m1.2.2.2.2.2.2.1.cmml"><mi id="S3.E3.m1.2.2.2.2.2.2.1.2" xref="S3.E3.m1.2.2.2.2.2.2.1.2.cmml">t</mi><mo id="S3.E3.m1.2.2.2.2.2.2.1.1" xref="S3.E3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="S3.E3.m1.2.2.2.2.2.2.1.3" xref="S3.E3.m1.2.2.2.2.2.2.1.3.cmml">e</mi><mo id="S3.E3.m1.2.2.2.2.2.2.1.1a" xref="S3.E3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="S3.E3.m1.2.2.2.2.2.2.1.4" xref="S3.E3.m1.2.2.2.2.2.2.1.4.cmml">s</mi><mo id="S3.E3.m1.2.2.2.2.2.2.1.1b" xref="S3.E3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="S3.E3.m1.2.2.2.2.2.2.1.5" xref="S3.E3.m1.2.2.2.2.2.2.1.5.cmml">t</mi></mrow></msub><mo id="S3.E3.m1.42.42.2.41.26.7.8" xref="S3.E3.m1.41.41.1.1.1.cmml">⁢</mo><mrow id="S3.E3.m1.42.42.2.41.26.7.7.1"><mo id="S3.E3.m1.3.3.3.3.3.3" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">(</mo><msup id="S3.E3.m1.42.42.2.41.26.7.7.1.1"><mover accent="true" id="S3.E3.m1.4.4.4.4.4.4" xref="S3.E3.m1.4.4.4.4.4.4.cmml"><mi id="S3.E3.m1.4.4.4.4.4.4.2" xref="S3.E3.m1.4.4.4.4.4.4.2.cmml">w</mi><mo id="S3.E3.m1.4.4.4.4.4.4.1" xref="S3.E3.m1.4.4.4.4.4.4.1.cmml">^</mo></mover><mrow id="S3.E3.m1.5.5.5.5.5.5.1" xref="S3.E3.m1.5.5.5.5.5.5.1.cmml"><mi id="S3.E3.m1.5.5.5.5.5.5.1.2" xref="S3.E3.m1.5.5.5.5.5.5.1.2.cmml">p</mi><mo id="S3.E3.m1.5.5.5.5.5.5.1.1" xref="S3.E3.m1.5.5.5.5.5.5.1.1.cmml">⁢</mo><mi id="S3.E3.m1.5.5.5.5.5.5.1.3" xref="S3.E3.m1.5.5.5.5.5.5.1.3.cmml">r</mi><mo id="S3.E3.m1.5.5.5.5.5.5.1.1a" xref="S3.E3.m1.5.5.5.5.5.5.1.1.cmml">⁢</mo><mi id="S3.E3.m1.5.5.5.5.5.5.1.4" xref="S3.E3.m1.5.5.5.5.5.5.1.4.cmml">e</mi><mo id="S3.E3.m1.5.5.5.5.5.5.1.1b" xref="S3.E3.m1.5.5.5.5.5.5.1.1.cmml">⁢</mo><mi id="S3.E3.m1.5.5.5.5.5.5.1.5" xref="S3.E3.m1.5.5.5.5.5.5.1.5.cmml">d</mi></mrow></msup><mo id="S3.E3.m1.6.6.6.6.6.6" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.44.44.4c"><mrow id="S3.E3.m1.43.43.3.42.27.20"><mi id="S3.E3.m1.43.43.3.42.27.20.21" xref="S3.E3.m1.41.41.1.1.1.cmml"></mi><mo id="S3.E3.m1.7.7.7.7.1.1" lspace="0.278em" rspace="0.278em" xref="S3.E3.m1.7.7.7.7.1.1.cmml">:=</mo><mrow id="S3.E3.m1.43.43.3.42.27.20.20"><mrow id="S3.E3.m1.43.43.3.42.27.20.20.1"><msub id="S3.E3.m1.43.43.3.42.27.20.20.1.3"><mi id="S3.E3.m1.8.8.8.8.2.2" xref="S3.E3.m1.8.8.8.8.2.2.cmml">𝔼</mi><mrow id="S3.E3.m1.9.9.9.9.3.3.1.4" xref="S3.E3.m1.9.9.9.9.3.3.1.3.cmml"><mi id="S3.E3.m1.9.9.9.9.3.3.1.1" xref="S3.E3.m1.9.9.9.9.3.3.1.1.cmml">X</mi><mo id="S3.E3.m1.9.9.9.9.3.3.1.4.1" xref="S3.E3.m1.9.9.9.9.3.3.1.3.cmml">,</mo><mi id="S3.E3.m1.9.9.9.9.3.3.1.2" xref="S3.E3.m1.9.9.9.9.3.3.1.2.cmml">Y</mi></mrow></msub><mo id="S3.E3.m1.43.43.3.42.27.20.20.1.2" xref="S3.E3.m1.41.41.1.1.1.cmml">⁢</mo><msub id="S3.E3.m1.43.43.3.42.27.20.20.1.4"><mi id="S3.E3.m1.10.10.10.10.4.4" xref="S3.E3.m1.10.10.10.10.4.4.cmml">𝔼</mi><mrow id="S3.E3.m1.11.11.11.11.5.5.1.4" xref="S3.E3.m1.11.11.11.11.5.5.1.3.cmml"><mi id="S3.E3.m1.11.11.11.11.5.5.1.1" xref="S3.E3.m1.11.11.11.11.5.5.1.1.cmml">x</mi><mo id="S3.E3.m1.11.11.11.11.5.5.1.4.1" xref="S3.E3.m1.11.11.11.11.5.5.1.3.cmml">,</mo><mi id="S3.E3.m1.11.11.11.11.5.5.1.2" xref="S3.E3.m1.11.11.11.11.5.5.1.2.cmml">y</mi></mrow></msub><mo id="S3.E3.m1.43.43.3.42.27.20.20.1.2a" xref="S3.E3.m1.41.41.1.1.1.cmml">⁢</mo><mrow id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1"><mo id="S3.E3.m1.12.12.12.12.6.6" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">[</mo><msup id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1"><mrow id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1"><mo id="S3.E3.m1.13.13.13.13.7.7" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">(</mo><mrow id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1.1"><mrow id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1.1.1"><msup id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1.1.1.2"><mi id="S3.E3.m1.14.14.14.14.8.8" xref="S3.E3.m1.14.14.14.14.8.8.cmml">x</mi><mo id="S3.E3.m1.15.15.15.15.9.9.1" xref="S3.E3.m1.15.15.15.15.9.9.1.cmml">⊤</mo></msup><mo id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1.1.1.1" xref="S3.E3.m1.41.41.1.1.1.cmml">⁢</mo><msup id="S3.E3.m1.43.43.3.42.27.20.20.1.1.1.1.1.1.1.1.3"><mover accent="true" id="S3.E3.m1.16.16.16.16.10.10" xref="S3.E3.m1.16.16.16.16.10.10.cmml"><mi id="S3.E3.m1.16.16.16.16.10.10.2" xref="S3.E3.m1.16.16.16.16.10.10.2.cmml">w</mi><mo id="S3.E3.m1.16.16.16.16.10.10.1" xref="S3.E3.m1.16.16.16.16.10.10.1.cmml">^</mo></mover><mrow id="S3.E3.m1.17.17.17.17.11.11.1" xref="S3.E3.m1.17.17.17.17.11.11.1.cmml"><mi id="S3.E3.m1.17.17.17.17.11.11.1.2" xref="S3.E3.m1.17.17.17.17.11.11.1.2.cmml">p</mi><mo id="S3.E3.m1.17.17.17.17.11.11.1.1" xref="S3.E3.m1.17.17.17.17.11.11.1.1.cmml">⁢</mo><mi id="S3.E3.m1.17.17.17.17.11.11.1.3" xref="S3.E3.m1.17.17.17.17.11.11.1.3.cmml">r</mi><mo id="S3.E3.m1.17.17.17.17.11.11.1.1a" xref="S3.E3.m1.17.17.17.17.11.11.1.1.cmml">⁢</mo><mi id="S3.E3.m1.17.17.17.17.11.11.1.4" xref="S3.E3.m1.17.17.17.17.11.11.1.4.cmml">e</mi><mo id="S3.E3.m1.17.17.17.17.11.11.1.1b" xref="S3.E3.m1.17.17.17.17.11.11.1.1.cmml">⁢</mo><mi id="S3.E3.m1.17.17.17.17.11.11.1.5" xref="S3.E3.m1.17.17.17.17.11.11.1.5.cmml">d</mi></mrow></msup></mrow><mo id="S3.E3.m1.18.18.18.18.12.12" xref="S3.E3.m1.18.18.18.18.12.12.cmml">−</mo><mi id="S3.E3.m1.19.19.19.19.13.13" xref="S3.E3.m1.19.19.19.19.13.13.cmml">y</mi></mrow><mo id="S3.E3.m1.20.20.20.20.14.14" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">)</mo></mrow><mn id="S3.E3.m1.21.21.21.21.15.15.1" xref="S3.E3.m1.21.21.21.21.15.15.1.cmml">2</mn></msup><mo id="S3.E3.m1.22.22.22.22.16.16" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">]</mo></mrow></mrow><mo id="S3.E3.m1.23.23.23.23.17.17" xref="S3.E3.m1.23.23.23.23.17.17.cmml">−</mo><msup id="S3.E3.m1.43.43.3.42.27.20.20.2"><mi id="S3.E3.m1.24.24.24.24.18.18" xref="S3.E3.m1.24.24.24.24.18.18.cmml">σ</mi><mn id="S3.E3.m1.25.25.25.25.19.19.1" xref="S3.E3.m1.25.25.25.25.19.19.1.cmml">2</mn></msup></mrow></mrow></mtd></mtr><mtr id="S3.E3.m1.44.44.4d"><mtd id="S3.E3.m1.44.44.4e" xref="S3.E3.m1.41.41.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E3.m1.44.44.4f"><mrow id="S3.E3.m1.44.44.4.43.16.16.16"><mrow id="S3.E3.m1.44.44.4.43.16.16.16.1"><mi id="S3.E3.m1.44.44.4.43.16.16.16.1.2" xref="S3.E3.m1.41.41.1.1.1.cmml"></mi><mo id="S3.E3.m1.26.26.26.1.1.1" xref="S3.E3.m1.26.26.26.1.1.1.cmml">=</mo><mrow id="S3.E3.m1.44.44.4.43.16.16.16.1.1"><msub id="S3.E3.m1.44.44.4.43.16.16.16.1.1.3"><mi id="S3.E3.m1.27.27.27.2.2.2" xref="S3.E3.m1.27.27.27.2.2.2.cmml">𝔼</mi><mrow id="S3.E3.m1.28.28.28.3.3.3.1.4" xref="S3.E3.m1.28.28.28.3.3.3.1.3.cmml"><mi id="S3.E3.m1.28.28.28.3.3.3.1.1" xref="S3.E3.m1.28.28.28.3.3.3.1.1.cmml">X</mi><mo id="S3.E3.m1.28.28.28.3.3.3.1.4.1" xref="S3.E3.m1.28.28.28.3.3.3.1.3.cmml">,</mo><mi id="S3.E3.m1.28.28.28.3.3.3.1.2" xref="S3.E3.m1.28.28.28.3.3.3.1.2.cmml">Y</mi></mrow></msub><mo id="S3.E3.m1.44.44.4.43.16.16.16.1.1.2" xref="S3.E3.m1.41.41.1.1.1.cmml">⁢</mo><mrow id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1"><mo id="S3.E3.m1.29.29.29.4.4.4" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">[</mo><msubsup id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1.1"><mrow id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1.1.1.1.1"><mo id="S3.E3.m1.30.30.30.5.5.5" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">‖</mo><mrow id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1.1.1.1.1.1"><msup id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1.1.1.1.1.1.1"><mover accent="true" id="S3.E3.m1.31.31.31.6.6.6" xref="S3.E3.m1.31.31.31.6.6.6.cmml"><mi id="S3.E3.m1.31.31.31.6.6.6.2" xref="S3.E3.m1.31.31.31.6.6.6.2.cmml">w</mi><mo id="S3.E3.m1.31.31.31.6.6.6.1" xref="S3.E3.m1.31.31.31.6.6.6.1.cmml">^</mo></mover><mrow id="S3.E3.m1.32.32.32.7.7.7.1" xref="S3.E3.m1.32.32.32.7.7.7.1.cmml"><mi id="S3.E3.m1.32.32.32.7.7.7.1.2" xref="S3.E3.m1.32.32.32.7.7.7.1.2.cmml">p</mi><mo id="S3.E3.m1.32.32.32.7.7.7.1.1" xref="S3.E3.m1.32.32.32.7.7.7.1.1.cmml">⁢</mo><mi id="S3.E3.m1.32.32.32.7.7.7.1.3" xref="S3.E3.m1.32.32.32.7.7.7.1.3.cmml">r</mi><mo id="S3.E3.m1.32.32.32.7.7.7.1.1a" xref="S3.E3.m1.32.32.32.7.7.7.1.1.cmml">⁢</mo><mi id="S3.E3.m1.32.32.32.7.7.7.1.4" xref="S3.E3.m1.32.32.32.7.7.7.1.4.cmml">e</mi><mo id="S3.E3.m1.32.32.32.7.7.7.1.1b" xref="S3.E3.m1.32.32.32.7.7.7.1.1.cmml">⁢</mo><mi id="S3.E3.m1.32.32.32.7.7.7.1.5" xref="S3.E3.m1.32.32.32.7.7.7.1.5.cmml">d</mi></mrow></msup><mo id="S3.E3.m1.33.33.33.8.8.8" xref="S3.E3.m1.33.33.33.8.8.8.cmml">−</mo><msub id="S3.E3.m1.44.44.4.43.16.16.16.1.1.1.1.1.1.1.1.1.2"><mi id="S3.E3.m1.34.34.34.9.9.9" xref="S3.E3.m1.34.34.34.9.9.9.cmml">w</mi><mn id="S3.E3.m1.35.35.35.10.10.10.1" xref="S3.E3.m1.35.35.35.10.10.10.1.cmml">0</mn></msub></mrow><mo id="S3.E3.m1.36.36.36.11.11.11" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">‖</mo></mrow><mi id="S3.E3.m1.37.37.37.12.12.12.1" mathvariant="normal" xref="S3.E3.m1.37.37.37.12.12.12.1.cmml">Σ</mi><mn id="S3.E3.m1.38.38.38.13.13.13.1" xref="S3.E3.m1.38.38.38.13.13.13.1.cmml">2</mn></msubsup><mo id="S3.E3.m1.39.39.39.14.14.14" stretchy="false" xref="S3.E3.m1.41.41.1.1.1.cmml">]</mo></mrow></mrow></mrow><mo id="S3.E3.m1.40.40.40.15.15.15" xref="S3.E3.m1.41.41.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="S3.E3.m1.44b"><apply id="S3.E3.m1.41.41.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><and id="S3.E3.m1.41.41.1.1.1a.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></and><apply id="S3.E3.m1.41.41.1.1.1b.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="latexml" id="S3.E3.m1.7.7.7.7.1.1.cmml" xref="S3.E3.m1.7.7.7.7.1.1">assign</csymbol><apply id="S3.E3.m1.41.41.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><times id="S3.E3.m1.41.41.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></times><apply id="S3.E3.m1.41.41.1.1.1.1.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.1.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><ci id="S3.E3.m1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.1.1.1.1.1.1">𝐸</ci><apply id="S3.E3.m1.2.2.2.2.2.2.1.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1"><times id="S3.E3.m1.2.2.2.2.2.2.1.1.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1.1"></times><ci id="S3.E3.m1.2.2.2.2.2.2.1.2.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1.2">𝑡</ci><ci id="S3.E3.m1.2.2.2.2.2.2.1.3.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1.3">𝑒</ci><ci id="S3.E3.m1.2.2.2.2.2.2.1.4.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1.4">𝑠</ci><ci id="S3.E3.m1.2.2.2.2.2.2.1.5.cmml" xref="S3.E3.m1.2.2.2.2.2.2.1.5">𝑡</ci></apply></apply><apply id="S3.E3.m1.41.41.1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><apply id="S3.E3.m1.4.4.4.4.4.4.cmml" xref="S3.E3.m1.4.4.4.4.4.4"><ci id="S3.E3.m1.4.4.4.4.4.4.1.cmml" xref="S3.E3.m1.4.4.4.4.4.4.1">^</ci><ci id="S3.E3.m1.4.4.4.4.4.4.2.cmml" xref="S3.E3.m1.4.4.4.4.4.4.2">𝑤</ci></apply><apply id="S3.E3.m1.5.5.5.5.5.5.1.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1"><times id="S3.E3.m1.5.5.5.5.5.5.1.1.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1.1"></times><ci id="S3.E3.m1.5.5.5.5.5.5.1.2.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1.2">𝑝</ci><ci id="S3.E3.m1.5.5.5.5.5.5.1.3.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1.3">𝑟</ci><ci id="S3.E3.m1.5.5.5.5.5.5.1.4.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1.4">𝑒</ci><ci id="S3.E3.m1.5.5.5.5.5.5.1.5.cmml" xref="S3.E3.m1.5.5.5.5.5.5.1.5">𝑑</ci></apply></apply></apply><apply id="S3.E3.m1.41.41.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><minus id="S3.E3.m1.23.23.23.23.17.17.cmml" xref="S3.E3.m1.23.23.23.23.17.17"></minus><apply id="S3.E3.m1.41.41.1.1.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><times id="S3.E3.m1.41.41.1.1.1.2.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></times><apply id="S3.E3.m1.41.41.1.1.1.2.1.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.1.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><ci id="S3.E3.m1.8.8.8.8.2.2.cmml" xref="S3.E3.m1.8.8.8.8.2.2">𝔼</ci><list id="S3.E3.m1.9.9.9.9.3.3.1.3.cmml" xref="S3.E3.m1.9.9.9.9.3.3.1.4"><ci id="S3.E3.m1.9.9.9.9.3.3.1.1.cmml" xref="S3.E3.m1.9.9.9.9.3.3.1.1">𝑋</ci><ci id="S3.E3.m1.9.9.9.9.3.3.1.2.cmml" xref="S3.E3.m1.9.9.9.9.3.3.1.2">𝑌</ci></list></apply><apply id="S3.E3.m1.41.41.1.1.1.2.1.4.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.1.4.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><ci id="S3.E3.m1.10.10.10.10.4.4.cmml" xref="S3.E3.m1.10.10.10.10.4.4">𝔼</ci><list id="S3.E3.m1.11.11.11.11.5.5.1.3.cmml" xref="S3.E3.m1.11.11.11.11.5.5.1.4"><ci id="S3.E3.m1.11.11.11.11.5.5.1.1.cmml" xref="S3.E3.m1.11.11.11.11.5.5.1.1">𝑥</ci><ci id="S3.E3.m1.11.11.11.11.5.5.1.2.cmml" xref="S3.E3.m1.11.11.11.11.5.5.1.2">𝑦</ci></list></apply><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="latexml" id="S3.E3.m1.41.41.1.1.1.2.1.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">delimited-[]</csymbol><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><minus id="S3.E3.m1.18.18.18.18.12.12.cmml" xref="S3.E3.m1.18.18.18.18.12.12"></minus><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><times id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></times><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><ci id="S3.E3.m1.14.14.14.14.8.8.cmml" xref="S3.E3.m1.14.14.14.14.8.8">𝑥</ci><csymbol cd="latexml" id="S3.E3.m1.15.15.15.15.9.9.1.cmml" xref="S3.E3.m1.15.15.15.15.9.9.1">top</csymbol></apply><apply id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.1.1.1.1.1.1.1.2.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><apply id="S3.E3.m1.16.16.16.16.10.10.cmml" xref="S3.E3.m1.16.16.16.16.10.10"><ci id="S3.E3.m1.16.16.16.16.10.10.1.cmml" xref="S3.E3.m1.16.16.16.16.10.10.1">^</ci><ci id="S3.E3.m1.16.16.16.16.10.10.2.cmml" xref="S3.E3.m1.16.16.16.16.10.10.2">𝑤</ci></apply><apply id="S3.E3.m1.17.17.17.17.11.11.1.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1"><times id="S3.E3.m1.17.17.17.17.11.11.1.1.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1.1"></times><ci id="S3.E3.m1.17.17.17.17.11.11.1.2.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1.2">𝑝</ci><ci id="S3.E3.m1.17.17.17.17.11.11.1.3.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1.3">𝑟</ci><ci id="S3.E3.m1.17.17.17.17.11.11.1.4.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1.4">𝑒</ci><ci id="S3.E3.m1.17.17.17.17.11.11.1.5.cmml" xref="S3.E3.m1.17.17.17.17.11.11.1.5">𝑑</ci></apply></apply></apply><ci id="S3.E3.m1.19.19.19.19.13.13.cmml" xref="S3.E3.m1.19.19.19.19.13.13">𝑦</ci></apply><cn id="S3.E3.m1.21.21.21.21.15.15.1.cmml" type="integer" xref="S3.E3.m1.21.21.21.21.15.15.1">2</cn></apply></apply></apply><apply id="S3.E3.m1.41.41.1.1.1.2.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.2.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><ci id="S3.E3.m1.24.24.24.24.18.18.cmml" xref="S3.E3.m1.24.24.24.24.18.18">𝜎</ci><cn id="S3.E3.m1.25.25.25.25.19.19.1.cmml" type="integer" xref="S3.E3.m1.25.25.25.25.19.19.1">2</cn></apply></apply></apply><apply id="S3.E3.m1.41.41.1.1.1c.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><eq id="S3.E3.m1.26.26.26.1.1.1.cmml" xref="S3.E3.m1.26.26.26.1.1.1"></eq><share href="#S3.E3.m1.41.41.1.1.1.2.cmml" id="S3.E3.m1.41.41.1.1.1d.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></share><apply id="S3.E3.m1.41.41.1.1.1.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><times id="S3.E3.m1.41.41.1.1.1.3.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"></times><apply id="S3.E3.m1.41.41.1.1.1.3.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.3.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><ci id="S3.E3.m1.27.27.27.2.2.2.cmml" xref="S3.E3.m1.27.27.27.2.2.2">𝔼</ci><list id="S3.E3.m1.28.28.28.3.3.3.1.3.cmml" xref="S3.E3.m1.28.28.28.3.3.3.1.4"><ci id="S3.E3.m1.28.28.28.3.3.3.1.1.cmml" xref="S3.E3.m1.28.28.28.3.3.3.1.1">𝑋</ci><ci id="S3.E3.m1.28.28.28.3.3.3.1.2.cmml" xref="S3.E3.m1.28.28.28.3.3.3.1.2">𝑌</ci></list></apply><apply id="S3.E3.m1.41.41.1.1.1.3.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="latexml" id="S3.E3.m1.41.41.1.1.1.3.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">delimited-[]</csymbol><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.3.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="latexml" id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">delimited-∥∥</csymbol><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><minus id="S3.E3.m1.33.33.33.8.8.8.cmml" xref="S3.E3.m1.33.33.33.8.8.8"></minus><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.1.1.2.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">superscript</csymbol><apply id="S3.E3.m1.31.31.31.6.6.6.cmml" xref="S3.E3.m1.31.31.31.6.6.6"><ci id="S3.E3.m1.31.31.31.6.6.6.1.cmml" xref="S3.E3.m1.31.31.31.6.6.6.1">^</ci><ci id="S3.E3.m1.31.31.31.6.6.6.2.cmml" xref="S3.E3.m1.31.31.31.6.6.6.2">𝑤</ci></apply><apply id="S3.E3.m1.32.32.32.7.7.7.1.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1"><times id="S3.E3.m1.32.32.32.7.7.7.1.1.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1.1"></times><ci id="S3.E3.m1.32.32.32.7.7.7.1.2.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1.2">𝑝</ci><ci id="S3.E3.m1.32.32.32.7.7.7.1.3.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1.3">𝑟</ci><ci id="S3.E3.m1.32.32.32.7.7.7.1.4.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1.4">𝑒</ci><ci id="S3.E3.m1.32.32.32.7.7.7.1.5.cmml" xref="S3.E3.m1.32.32.32.7.7.7.1.5">𝑑</ci></apply></apply><apply id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.1.1.3.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8"><csymbol cd="ambiguous" id="S3.E3.m1.41.41.1.1.1.3.1.1.1.1.1.1.1.3.1.cmml" xref="S3.E3.m1.42.42.2.41.26.7.8">subscript</csymbol><ci id="S3.E3.m1.34.34.34.9.9.9.cmml" xref="S3.E3.m1.34.34.34.9.9.9">𝑤</ci><cn id="S3.E3.m1.35.35.35.10.10.10.1.cmml" type="integer" xref="S3.E3.m1.35.35.35.10.10.10.1">0</cn></apply></apply></apply><ci id="S3.E3.m1.37.37.37.12.12.12.1.cmml" xref="S3.E3.m1.37.37.37.12.12.12.1">Σ</ci></apply><cn id="S3.E3.m1.38.38.38.13.13.13.1.cmml" type="integer" xref="S3.E3.m1.38.38.38.13.13.13.1">2</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E3.m1.44c">\displaystyle\begin{split}E_{test}(\widehat{w}^{pred})&:=\mathbb{E}_{X,Y}\,% \mathbb{E}_{x,y}[(x^{\top}\widehat{w}^{pred}-y)^{2}]-\sigma^{2}\\ &=\mathbb{E}_{X,Y}[\|\widehat{w}^{pred}-w_{0}\|_{\Sigma}^{2}],\end{split}</annotation><annotation encoding="application/x-llamapun" id="S3.E3.m1.44d">start_ROW start_CELL italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) end_CELL start_CELL := blackboard_E start_POSTSUBSCRIPT italic_X , italic_Y end_POSTSUBSCRIPT blackboard_E start_POSTSUBSCRIPT italic_x , italic_y end_POSTSUBSCRIPT [ ( italic_x start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_y ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ] - italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = blackboard_E start_POSTSUBSCRIPT italic_X , italic_Y end_POSTSUBSCRIPT [ ∥ over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ] , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(3)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S3.p3.15">where <math alttext="(x,y)\sim P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p3.15.m1.5"><semantics id="S3.p3.15.m1.5a"><mrow id="S3.p3.15.m1.5.6" xref="S3.p3.15.m1.5.6.cmml"><mrow id="S3.p3.15.m1.5.6.2.2" xref="S3.p3.15.m1.5.6.2.1.cmml"><mo id="S3.p3.15.m1.5.6.2.2.1" stretchy="false" xref="S3.p3.15.m1.5.6.2.1.cmml">(</mo><mi id="S3.p3.15.m1.4.4" xref="S3.p3.15.m1.4.4.cmml">x</mi><mo id="S3.p3.15.m1.5.6.2.2.2" xref="S3.p3.15.m1.5.6.2.1.cmml">,</mo><mi id="S3.p3.15.m1.5.5" xref="S3.p3.15.m1.5.5.cmml">y</mi><mo id="S3.p3.15.m1.5.6.2.2.3" stretchy="false" xref="S3.p3.15.m1.5.6.2.1.cmml">)</mo></mrow><mo id="S3.p3.15.m1.5.6.1" xref="S3.p3.15.m1.5.6.1.cmml">∼</mo><msub id="S3.p3.15.m1.5.6.3" xref="S3.p3.15.m1.5.6.3.cmml"><mi id="S3.p3.15.m1.5.6.3.2" xref="S3.p3.15.m1.5.6.3.2.cmml">P</mi><mrow id="S3.p3.15.m1.3.3.3.3" xref="S3.p3.15.m1.3.3.3.4.cmml"><mi id="S3.p3.15.m1.1.1.1.1" mathvariant="normal" xref="S3.p3.15.m1.1.1.1.1.cmml">Σ</mi><mo id="S3.p3.15.m1.3.3.3.3.3" xref="S3.p3.15.m1.3.3.3.4.cmml">,</mo><msub id="S3.p3.15.m1.2.2.2.2.1" xref="S3.p3.15.m1.2.2.2.2.1.cmml"><mi id="S3.p3.15.m1.2.2.2.2.1.2" xref="S3.p3.15.m1.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p3.15.m1.2.2.2.2.1.3" xref="S3.p3.15.m1.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p3.15.m1.3.3.3.3.4" xref="S3.p3.15.m1.3.3.3.4.cmml">,</mo><msup id="S3.p3.15.m1.3.3.3.3.2" xref="S3.p3.15.m1.3.3.3.3.2.cmml"><mi id="S3.p3.15.m1.3.3.3.3.2.2" xref="S3.p3.15.m1.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p3.15.m1.3.3.3.3.2.3" xref="S3.p3.15.m1.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.p3.15.m1.5b"><apply id="S3.p3.15.m1.5.6.cmml" xref="S3.p3.15.m1.5.6"><csymbol cd="latexml" id="S3.p3.15.m1.5.6.1.cmml" xref="S3.p3.15.m1.5.6.1">similar-to</csymbol><interval closure="open" id="S3.p3.15.m1.5.6.2.1.cmml" xref="S3.p3.15.m1.5.6.2.2"><ci id="S3.p3.15.m1.4.4.cmml" xref="S3.p3.15.m1.4.4">𝑥</ci><ci id="S3.p3.15.m1.5.5.cmml" xref="S3.p3.15.m1.5.5">𝑦</ci></interval><apply id="S3.p3.15.m1.5.6.3.cmml" xref="S3.p3.15.m1.5.6.3"><csymbol cd="ambiguous" id="S3.p3.15.m1.5.6.3.1.cmml" xref="S3.p3.15.m1.5.6.3">subscript</csymbol><ci id="S3.p3.15.m1.5.6.3.2.cmml" xref="S3.p3.15.m1.5.6.3.2">𝑃</ci><list id="S3.p3.15.m1.3.3.3.4.cmml" xref="S3.p3.15.m1.3.3.3.3"><ci id="S3.p3.15.m1.1.1.1.1.cmml" xref="S3.p3.15.m1.1.1.1.1">Σ</ci><apply id="S3.p3.15.m1.2.2.2.2.1.cmml" xref="S3.p3.15.m1.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p3.15.m1.2.2.2.2.1.1.cmml" xref="S3.p3.15.m1.2.2.2.2.1">subscript</csymbol><ci id="S3.p3.15.m1.2.2.2.2.1.2.cmml" xref="S3.p3.15.m1.2.2.2.2.1.2">𝑤</ci><cn id="S3.p3.15.m1.2.2.2.2.1.3.cmml" type="integer" xref="S3.p3.15.m1.2.2.2.2.1.3">0</cn></apply><apply id="S3.p3.15.m1.3.3.3.3.2.cmml" xref="S3.p3.15.m1.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p3.15.m1.3.3.3.3.2.1.cmml" xref="S3.p3.15.m1.3.3.3.3.2">superscript</csymbol><ci id="S3.p3.15.m1.3.3.3.3.2.2.cmml" xref="S3.p3.15.m1.3.3.3.3.2.2">𝜎</ci><cn id="S3.p3.15.m1.3.3.3.3.2.3.cmml" type="integer" xref="S3.p3.15.m1.3.3.3.3.2.3">2</cn></apply></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p3.15.m1.5c">(x,y)\sim P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p3.15.m1.5d">( italic_x , italic_y ) ∼ italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> is a random clean test point.</p> </div> <div class="ltx_para" id="S3.p4"> <p class="ltx_p" id="S3.p4.17">In our setup for studying model collapse, the design matrix <math alttext="X\in\mathbb{R}^{T\times d}" class="ltx_Math" display="inline" id="S3.p4.1.m1.1"><semantics id="S3.p4.1.m1.1a"><mrow id="S3.p4.1.m1.1.1" xref="S3.p4.1.m1.1.1.cmml"><mi id="S3.p4.1.m1.1.1.2" xref="S3.p4.1.m1.1.1.2.cmml">X</mi><mo id="S3.p4.1.m1.1.1.1" xref="S3.p4.1.m1.1.1.1.cmml">∈</mo><msup id="S3.p4.1.m1.1.1.3" xref="S3.p4.1.m1.1.1.3.cmml"><mi id="S3.p4.1.m1.1.1.3.2" xref="S3.p4.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="S3.p4.1.m1.1.1.3.3" xref="S3.p4.1.m1.1.1.3.3.cmml"><mi id="S3.p4.1.m1.1.1.3.3.2" xref="S3.p4.1.m1.1.1.3.3.2.cmml">T</mi><mo id="S3.p4.1.m1.1.1.3.3.1" lspace="0.222em" rspace="0.222em" xref="S3.p4.1.m1.1.1.3.3.1.cmml">×</mo><mi id="S3.p4.1.m1.1.1.3.3.3" xref="S3.p4.1.m1.1.1.3.3.3.cmml">d</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.1.m1.1b"><apply id="S3.p4.1.m1.1.1.cmml" xref="S3.p4.1.m1.1.1"><in id="S3.p4.1.m1.1.1.1.cmml" xref="S3.p4.1.m1.1.1.1"></in><ci id="S3.p4.1.m1.1.1.2.cmml" xref="S3.p4.1.m1.1.1.2">𝑋</ci><apply id="S3.p4.1.m1.1.1.3.cmml" xref="S3.p4.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.p4.1.m1.1.1.3.1.cmml" xref="S3.p4.1.m1.1.1.3">superscript</csymbol><ci id="S3.p4.1.m1.1.1.3.2.cmml" xref="S3.p4.1.m1.1.1.3.2">ℝ</ci><apply id="S3.p4.1.m1.1.1.3.3.cmml" xref="S3.p4.1.m1.1.1.3.3"><times id="S3.p4.1.m1.1.1.3.3.1.cmml" xref="S3.p4.1.m1.1.1.3.3.1"></times><ci id="S3.p4.1.m1.1.1.3.3.2.cmml" xref="S3.p4.1.m1.1.1.3.3.2">𝑇</ci><ci id="S3.p4.1.m1.1.1.3.3.3.cmml" xref="S3.p4.1.m1.1.1.3.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.1.m1.1c">X\in\mathbb{R}^{T\times d}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.1.m1.1d">italic_X ∈ blackboard_R start_POSTSUPERSCRIPT italic_T × italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> stays the same, but the vector of labels <math alttext="Y\in\mathbb{R}^{n}" class="ltx_Math" display="inline" id="S3.p4.2.m2.1"><semantics id="S3.p4.2.m2.1a"><mrow id="S3.p4.2.m2.1.1" xref="S3.p4.2.m2.1.1.cmml"><mi id="S3.p4.2.m2.1.1.2" xref="S3.p4.2.m2.1.1.2.cmml">Y</mi><mo id="S3.p4.2.m2.1.1.1" xref="S3.p4.2.m2.1.1.1.cmml">∈</mo><msup id="S3.p4.2.m2.1.1.3" xref="S3.p4.2.m2.1.1.3.cmml"><mi id="S3.p4.2.m2.1.1.3.2" xref="S3.p4.2.m2.1.1.3.2.cmml">ℝ</mi><mi id="S3.p4.2.m2.1.1.3.3" xref="S3.p4.2.m2.1.1.3.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.2.m2.1b"><apply id="S3.p4.2.m2.1.1.cmml" xref="S3.p4.2.m2.1.1"><in id="S3.p4.2.m2.1.1.1.cmml" xref="S3.p4.2.m2.1.1.1"></in><ci id="S3.p4.2.m2.1.1.2.cmml" xref="S3.p4.2.m2.1.1.2">𝑌</ci><apply id="S3.p4.2.m2.1.1.3.cmml" xref="S3.p4.2.m2.1.1.3"><csymbol cd="ambiguous" id="S3.p4.2.m2.1.1.3.1.cmml" xref="S3.p4.2.m2.1.1.3">superscript</csymbol><ci id="S3.p4.2.m2.1.1.3.2.cmml" xref="S3.p4.2.m2.1.1.3.2">ℝ</ci><ci id="S3.p4.2.m2.1.1.3.3.cmml" xref="S3.p4.2.m2.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.2.m2.1c">Y\in\mathbb{R}^{n}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.2.m2.1d">italic_Y ∈ blackboard_R start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT</annotation></semantics></math> is generated by an iterative relabelling process, where each generation of the model serves as the labeller for the data for the next generation. This process is described below. <span class="ltx_inline-block ltx_framed_rectangle" id="S3.p4.14.12" style="border-color: black;"> <span class="ltx_p" id="S3.p4.14.12.13"><span class="ltx_text ltx_font_bold" id="S3.p4.14.12.13.1">Building the Fake / Synthesized Data Generator.</span></span> <span class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx4"> <span id="S3.E4"><span class="ltx_equation ltx_eqn_row ltx_align_baseline"> <span class="ltx_eqn_cell ltx_eqn_center_padleft"></span> <span class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle P_{\Sigma,\widehat{w}_{0},\sigma^{2}}\to P_{\Sigma,\widehat{w}_{% 1},\sigma_{0}^{2}}\to\ldots\to P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}}," class="ltx_Math" display="inline" id="S3.E4.m1.10"><semantics id="S3.E4.m1.10a"><mrow id="S3.E4.m1.10.10.1" xref="S3.E4.m1.10.10.1.1.cmml"><mrow id="S3.E4.m1.10.10.1.1" xref="S3.E4.m1.10.10.1.1.cmml"><msub id="S3.E4.m1.10.10.1.1.2" xref="S3.E4.m1.10.10.1.1.2.cmml"><mi id="S3.E4.m1.10.10.1.1.2.2" xref="S3.E4.m1.10.10.1.1.2.2.cmml">P</mi><mrow id="S3.E4.m1.3.3.3.3" xref="S3.E4.m1.3.3.3.4.cmml"><mi id="S3.E4.m1.1.1.1.1" mathvariant="normal" xref="S3.E4.m1.1.1.1.1.cmml">Σ</mi><mo id="S3.E4.m1.3.3.3.3.3" xref="S3.E4.m1.3.3.3.4.cmml">,</mo><msub id="S3.E4.m1.2.2.2.2.1" xref="S3.E4.m1.2.2.2.2.1.cmml"><mover accent="true" id="S3.E4.m1.2.2.2.2.1.2" xref="S3.E4.m1.2.2.2.2.1.2.cmml"><mi id="S3.E4.m1.2.2.2.2.1.2.2" xref="S3.E4.m1.2.2.2.2.1.2.2.cmml">w</mi><mo id="S3.E4.m1.2.2.2.2.1.2.1" xref="S3.E4.m1.2.2.2.2.1.2.1.cmml">^</mo></mover><mn id="S3.E4.m1.2.2.2.2.1.3" xref="S3.E4.m1.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.E4.m1.3.3.3.3.4" xref="S3.E4.m1.3.3.3.4.cmml">,</mo><msup id="S3.E4.m1.3.3.3.3.2" xref="S3.E4.m1.3.3.3.3.2.cmml"><mi id="S3.E4.m1.3.3.3.3.2.2" xref="S3.E4.m1.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.E4.m1.3.3.3.3.2.3" xref="S3.E4.m1.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><mo id="S3.E4.m1.10.10.1.1.3" stretchy="false" xref="S3.E4.m1.10.10.1.1.3.cmml">→</mo><msub id="S3.E4.m1.10.10.1.1.4" xref="S3.E4.m1.10.10.1.1.4.cmml"><mi id="S3.E4.m1.10.10.1.1.4.2" xref="S3.E4.m1.10.10.1.1.4.2.cmml">P</mi><mrow id="S3.E4.m1.6.6.3.3" xref="S3.E4.m1.6.6.3.4.cmml"><mi id="S3.E4.m1.4.4.1.1" mathvariant="normal" xref="S3.E4.m1.4.4.1.1.cmml">Σ</mi><mo id="S3.E4.m1.6.6.3.3.3" xref="S3.E4.m1.6.6.3.4.cmml">,</mo><msub id="S3.E4.m1.5.5.2.2.1" xref="S3.E4.m1.5.5.2.2.1.cmml"><mover accent="true" id="S3.E4.m1.5.5.2.2.1.2" xref="S3.E4.m1.5.5.2.2.1.2.cmml"><mi id="S3.E4.m1.5.5.2.2.1.2.2" xref="S3.E4.m1.5.5.2.2.1.2.2.cmml">w</mi><mo id="S3.E4.m1.5.5.2.2.1.2.1" xref="S3.E4.m1.5.5.2.2.1.2.1.cmml">^</mo></mover><mn id="S3.E4.m1.5.5.2.2.1.3" xref="S3.E4.m1.5.5.2.2.1.3.cmml">1</mn></msub><mo id="S3.E4.m1.6.6.3.3.4" xref="S3.E4.m1.6.6.3.4.cmml">,</mo><msubsup id="S3.E4.m1.6.6.3.3.2" xref="S3.E4.m1.6.6.3.3.2.cmml"><mi id="S3.E4.m1.6.6.3.3.2.2.2" xref="S3.E4.m1.6.6.3.3.2.2.2.cmml">σ</mi><mn id="S3.E4.m1.6.6.3.3.2.2.3" xref="S3.E4.m1.6.6.3.3.2.2.3.cmml">0</mn><mn id="S3.E4.m1.6.6.3.3.2.3" xref="S3.E4.m1.6.6.3.3.2.3.cmml">2</mn></msubsup></mrow></msub><mo id="S3.E4.m1.10.10.1.1.5" stretchy="false" xref="S3.E4.m1.10.10.1.1.5.cmml">→</mo><mi id="S3.E4.m1.10.10.1.1.6" mathvariant="normal" xref="S3.E4.m1.10.10.1.1.6.cmml">…</mi><mo id="S3.E4.m1.10.10.1.1.7" stretchy="false" xref="S3.E4.m1.10.10.1.1.7.cmml">→</mo><msub id="S3.E4.m1.10.10.1.1.8" xref="S3.E4.m1.10.10.1.1.8.cmml"><mi id="S3.E4.m1.10.10.1.1.8.2" xref="S3.E4.m1.10.10.1.1.8.2.cmml">P</mi><mrow id="S3.E4.m1.9.9.3.3" xref="S3.E4.m1.9.9.3.4.cmml"><mi id="S3.E4.m1.7.7.1.1" mathvariant="normal" xref="S3.E4.m1.7.7.1.1.cmml">Σ</mi><mo id="S3.E4.m1.9.9.3.3.3" xref="S3.E4.m1.9.9.3.4.cmml">,</mo><msub id="S3.E4.m1.8.8.2.2.1" xref="S3.E4.m1.8.8.2.2.1.cmml"><mover accent="true" id="S3.E4.m1.8.8.2.2.1.2" xref="S3.E4.m1.8.8.2.2.1.2.cmml"><mi id="S3.E4.m1.8.8.2.2.1.2.2" xref="S3.E4.m1.8.8.2.2.1.2.2.cmml">w</mi><mo id="S3.E4.m1.8.8.2.2.1.2.1" xref="S3.E4.m1.8.8.2.2.1.2.1.cmml">^</mo></mover><mi id="S3.E4.m1.8.8.2.2.1.3" xref="S3.E4.m1.8.8.2.2.1.3.cmml">n</mi></msub><mo id="S3.E4.m1.9.9.3.3.4" xref="S3.E4.m1.9.9.3.4.cmml">,</mo><msubsup id="S3.E4.m1.9.9.3.3.2" xref="S3.E4.m1.9.9.3.3.2.cmml"><mi id="S3.E4.m1.9.9.3.3.2.2.2" xref="S3.E4.m1.9.9.3.3.2.2.2.cmml">σ</mi><mn id="S3.E4.m1.9.9.3.3.2.2.3" xref="S3.E4.m1.9.9.3.3.2.2.3.cmml">0</mn><mn id="S3.E4.m1.9.9.3.3.2.3" xref="S3.E4.m1.9.9.3.3.2.3.cmml">2</mn></msubsup></mrow></msub></mrow><mo id="S3.E4.m1.10.10.1.2" xref="S3.E4.m1.10.10.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E4.m1.10b"><apply id="S3.E4.m1.10.10.1.1.cmml" xref="S3.E4.m1.10.10.1"><and id="S3.E4.m1.10.10.1.1a.cmml" xref="S3.E4.m1.10.10.1"></and><apply id="S3.E4.m1.10.10.1.1b.cmml" xref="S3.E4.m1.10.10.1"><ci id="S3.E4.m1.10.10.1.1.3.cmml" xref="S3.E4.m1.10.10.1.1.3">→</ci><apply id="S3.E4.m1.10.10.1.1.2.cmml" xref="S3.E4.m1.10.10.1.1.2"><csymbol cd="ambiguous" id="S3.E4.m1.10.10.1.1.2.1.cmml" xref="S3.E4.m1.10.10.1.1.2">subscript</csymbol><ci id="S3.E4.m1.10.10.1.1.2.2.cmml" xref="S3.E4.m1.10.10.1.1.2.2">𝑃</ci><list id="S3.E4.m1.3.3.3.4.cmml" xref="S3.E4.m1.3.3.3.3"><ci id="S3.E4.m1.1.1.1.1.cmml" xref="S3.E4.m1.1.1.1.1">Σ</ci><apply id="S3.E4.m1.2.2.2.2.1.cmml" xref="S3.E4.m1.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.E4.m1.2.2.2.2.1.1.cmml" xref="S3.E4.m1.2.2.2.2.1">subscript</csymbol><apply id="S3.E4.m1.2.2.2.2.1.2.cmml" xref="S3.E4.m1.2.2.2.2.1.2"><ci id="S3.E4.m1.2.2.2.2.1.2.1.cmml" xref="S3.E4.m1.2.2.2.2.1.2.1">^</ci><ci id="S3.E4.m1.2.2.2.2.1.2.2.cmml" xref="S3.E4.m1.2.2.2.2.1.2.2">𝑤</ci></apply><cn id="S3.E4.m1.2.2.2.2.1.3.cmml" type="integer" xref="S3.E4.m1.2.2.2.2.1.3">0</cn></apply><apply id="S3.E4.m1.3.3.3.3.2.cmml" xref="S3.E4.m1.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.E4.m1.3.3.3.3.2.1.cmml" xref="S3.E4.m1.3.3.3.3.2">superscript</csymbol><ci id="S3.E4.m1.3.3.3.3.2.2.cmml" xref="S3.E4.m1.3.3.3.3.2.2">𝜎</ci><cn id="S3.E4.m1.3.3.3.3.2.3.cmml" type="integer" xref="S3.E4.m1.3.3.3.3.2.3">2</cn></apply></list></apply><apply id="S3.E4.m1.10.10.1.1.4.cmml" xref="S3.E4.m1.10.10.1.1.4"><csymbol cd="ambiguous" id="S3.E4.m1.10.10.1.1.4.1.cmml" xref="S3.E4.m1.10.10.1.1.4">subscript</csymbol><ci id="S3.E4.m1.10.10.1.1.4.2.cmml" xref="S3.E4.m1.10.10.1.1.4.2">𝑃</ci><list id="S3.E4.m1.6.6.3.4.cmml" xref="S3.E4.m1.6.6.3.3"><ci id="S3.E4.m1.4.4.1.1.cmml" xref="S3.E4.m1.4.4.1.1">Σ</ci><apply id="S3.E4.m1.5.5.2.2.1.cmml" xref="S3.E4.m1.5.5.2.2.1"><csymbol cd="ambiguous" id="S3.E4.m1.5.5.2.2.1.1.cmml" xref="S3.E4.m1.5.5.2.2.1">subscript</csymbol><apply id="S3.E4.m1.5.5.2.2.1.2.cmml" xref="S3.E4.m1.5.5.2.2.1.2"><ci id="S3.E4.m1.5.5.2.2.1.2.1.cmml" xref="S3.E4.m1.5.5.2.2.1.2.1">^</ci><ci id="S3.E4.m1.5.5.2.2.1.2.2.cmml" xref="S3.E4.m1.5.5.2.2.1.2.2">𝑤</ci></apply><cn id="S3.E4.m1.5.5.2.2.1.3.cmml" type="integer" xref="S3.E4.m1.5.5.2.2.1.3">1</cn></apply><apply id="S3.E4.m1.6.6.3.3.2.cmml" xref="S3.E4.m1.6.6.3.3.2"><csymbol cd="ambiguous" id="S3.E4.m1.6.6.3.3.2.1.cmml" xref="S3.E4.m1.6.6.3.3.2">superscript</csymbol><apply id="S3.E4.m1.6.6.3.3.2.2.cmml" xref="S3.E4.m1.6.6.3.3.2"><csymbol cd="ambiguous" id="S3.E4.m1.6.6.3.3.2.2.1.cmml" xref="S3.E4.m1.6.6.3.3.2">subscript</csymbol><ci id="S3.E4.m1.6.6.3.3.2.2.2.cmml" xref="S3.E4.m1.6.6.3.3.2.2.2">𝜎</ci><cn id="S3.E4.m1.6.6.3.3.2.2.3.cmml" type="integer" xref="S3.E4.m1.6.6.3.3.2.2.3">0</cn></apply><cn id="S3.E4.m1.6.6.3.3.2.3.cmml" type="integer" xref="S3.E4.m1.6.6.3.3.2.3">2</cn></apply></list></apply></apply><apply id="S3.E4.m1.10.10.1.1c.cmml" xref="S3.E4.m1.10.10.1"><ci id="S3.E4.m1.10.10.1.1.5.cmml" xref="S3.E4.m1.10.10.1.1.5">→</ci><share href="#S3.E4.m1.10.10.1.1.4.cmml" id="S3.E4.m1.10.10.1.1d.cmml" xref="S3.E4.m1.10.10.1"></share><ci id="S3.E4.m1.10.10.1.1.6.cmml" xref="S3.E4.m1.10.10.1.1.6">…</ci></apply><apply id="S3.E4.m1.10.10.1.1e.cmml" xref="S3.E4.m1.10.10.1"><ci id="S3.E4.m1.10.10.1.1.7.cmml" xref="S3.E4.m1.10.10.1.1.7">→</ci><share href="#S3.E4.m1.10.10.1.1.6.cmml" id="S3.E4.m1.10.10.1.1f.cmml" xref="S3.E4.m1.10.10.1"></share><apply id="S3.E4.m1.10.10.1.1.8.cmml" xref="S3.E4.m1.10.10.1.1.8"><csymbol cd="ambiguous" id="S3.E4.m1.10.10.1.1.8.1.cmml" xref="S3.E4.m1.10.10.1.1.8">subscript</csymbol><ci id="S3.E4.m1.10.10.1.1.8.2.cmml" xref="S3.E4.m1.10.10.1.1.8.2">𝑃</ci><list id="S3.E4.m1.9.9.3.4.cmml" xref="S3.E4.m1.9.9.3.3"><ci id="S3.E4.m1.7.7.1.1.cmml" xref="S3.E4.m1.7.7.1.1">Σ</ci><apply id="S3.E4.m1.8.8.2.2.1.cmml" xref="S3.E4.m1.8.8.2.2.1"><csymbol cd="ambiguous" id="S3.E4.m1.8.8.2.2.1.1.cmml" xref="S3.E4.m1.8.8.2.2.1">subscript</csymbol><apply id="S3.E4.m1.8.8.2.2.1.2.cmml" xref="S3.E4.m1.8.8.2.2.1.2"><ci id="S3.E4.m1.8.8.2.2.1.2.1.cmml" xref="S3.E4.m1.8.8.2.2.1.2.1">^</ci><ci id="S3.E4.m1.8.8.2.2.1.2.2.cmml" xref="S3.E4.m1.8.8.2.2.1.2.2">𝑤</ci></apply><ci id="S3.E4.m1.8.8.2.2.1.3.cmml" xref="S3.E4.m1.8.8.2.2.1.3">𝑛</ci></apply><apply id="S3.E4.m1.9.9.3.3.2.cmml" xref="S3.E4.m1.9.9.3.3.2"><csymbol cd="ambiguous" id="S3.E4.m1.9.9.3.3.2.1.cmml" xref="S3.E4.m1.9.9.3.3.2">superscript</csymbol><apply id="S3.E4.m1.9.9.3.3.2.2.cmml" xref="S3.E4.m1.9.9.3.3.2"><csymbol cd="ambiguous" id="S3.E4.m1.9.9.3.3.2.2.1.cmml" xref="S3.E4.m1.9.9.3.3.2">subscript</csymbol><ci id="S3.E4.m1.9.9.3.3.2.2.2.cmml" xref="S3.E4.m1.9.9.3.3.2.2.2">𝜎</ci><cn id="S3.E4.m1.9.9.3.3.2.2.3.cmml" type="integer" xref="S3.E4.m1.9.9.3.3.2.2.3">0</cn></apply><cn id="S3.E4.m1.9.9.3.3.2.3.cmml" type="integer" xref="S3.E4.m1.9.9.3.3.2.3">2</cn></apply></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E4.m1.10c">\displaystyle P_{\Sigma,\widehat{w}_{0},\sigma^{2}}\to P_{\Sigma,\widehat{w}_{% 1},\sigma_{0}^{2}}\to\ldots\to P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}},</annotation><annotation encoding="application/x-llamapun" id="S3.E4.m1.10d">italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT → italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT → … → italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT ,</annotation></semantics></math></span> <span class="ltx_eqn_cell ltx_eqn_center_padright"></span> <span class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(4)</span></span></span></span> </span> <span class="ltx_p" id="S3.p4.3.1.1">where <math alttext="n\in\mathbb{N}" class="ltx_Math" display="inline" id="S3.p4.3.1.1.m1.1"><semantics id="S3.p4.3.1.1.m1.1a"><mrow id="S3.p4.3.1.1.m1.1.1" xref="S3.p4.3.1.1.m1.1.1.cmml"><mi id="S3.p4.3.1.1.m1.1.1.2" xref="S3.p4.3.1.1.m1.1.1.2.cmml">n</mi><mo id="S3.p4.3.1.1.m1.1.1.1" xref="S3.p4.3.1.1.m1.1.1.1.cmml">∈</mo><mi id="S3.p4.3.1.1.m1.1.1.3" xref="S3.p4.3.1.1.m1.1.1.3.cmml">ℕ</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.3.1.1.m1.1b"><apply id="S3.p4.3.1.1.m1.1.1.cmml" xref="S3.p4.3.1.1.m1.1.1"><in id="S3.p4.3.1.1.m1.1.1.1.cmml" xref="S3.p4.3.1.1.m1.1.1.1"></in><ci id="S3.p4.3.1.1.m1.1.1.2.cmml" xref="S3.p4.3.1.1.m1.1.1.2">𝑛</ci><ci id="S3.p4.3.1.1.m1.1.1.3.cmml" xref="S3.p4.3.1.1.m1.1.1.3">ℕ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.3.1.1.m1.1c">n\in\mathbb{N}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.3.1.1.m1.1d">italic_n ∈ blackboard_N</annotation></semantics></math> is the number of generations and</span> <span class="ltx_p" id="S3.p4.7.5.5">– For <math alttext="n=0" class="ltx_Math" display="inline" id="S3.p4.4.2.2.m1.1"><semantics id="S3.p4.4.2.2.m1.1a"><mrow id="S3.p4.4.2.2.m1.1.1" xref="S3.p4.4.2.2.m1.1.1.cmml"><mi id="S3.p4.4.2.2.m1.1.1.2" xref="S3.p4.4.2.2.m1.1.1.2.cmml">n</mi><mo id="S3.p4.4.2.2.m1.1.1.1" xref="S3.p4.4.2.2.m1.1.1.1.cmml">=</mo><mn id="S3.p4.4.2.2.m1.1.1.3" xref="S3.p4.4.2.2.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.4.2.2.m1.1b"><apply id="S3.p4.4.2.2.m1.1.1.cmml" xref="S3.p4.4.2.2.m1.1.1"><eq id="S3.p4.4.2.2.m1.1.1.1.cmml" xref="S3.p4.4.2.2.m1.1.1.1"></eq><ci id="S3.p4.4.2.2.m1.1.1.2.cmml" xref="S3.p4.4.2.2.m1.1.1.2">𝑛</ci><cn id="S3.p4.4.2.2.m1.1.1.3.cmml" type="integer" xref="S3.p4.4.2.2.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.4.2.2.m1.1c">n=0</annotation><annotation encoding="application/x-llamapun" id="S3.p4.4.2.2.m1.1d">italic_n = 0</annotation></semantics></math>, we take <math alttext="\widehat{w}_{0}:=w_{0}" class="ltx_Math" display="inline" id="S3.p4.5.3.3.m2.1"><semantics id="S3.p4.5.3.3.m2.1a"><mrow id="S3.p4.5.3.3.m2.1.1" xref="S3.p4.5.3.3.m2.1.1.cmml"><msub id="S3.p4.5.3.3.m2.1.1.2" xref="S3.p4.5.3.3.m2.1.1.2.cmml"><mover accent="true" id="S3.p4.5.3.3.m2.1.1.2.2" xref="S3.p4.5.3.3.m2.1.1.2.2.cmml"><mi id="S3.p4.5.3.3.m2.1.1.2.2.2" xref="S3.p4.5.3.3.m2.1.1.2.2.2.cmml">w</mi><mo id="S3.p4.5.3.3.m2.1.1.2.2.1" xref="S3.p4.5.3.3.m2.1.1.2.2.1.cmml">^</mo></mover><mn id="S3.p4.5.3.3.m2.1.1.2.3" xref="S3.p4.5.3.3.m2.1.1.2.3.cmml">0</mn></msub><mo id="S3.p4.5.3.3.m2.1.1.1" lspace="0.278em" rspace="0.278em" xref="S3.p4.5.3.3.m2.1.1.1.cmml">:=</mo><msub id="S3.p4.5.3.3.m2.1.1.3" xref="S3.p4.5.3.3.m2.1.1.3.cmml"><mi id="S3.p4.5.3.3.m2.1.1.3.2" xref="S3.p4.5.3.3.m2.1.1.3.2.cmml">w</mi><mn id="S3.p4.5.3.3.m2.1.1.3.3" xref="S3.p4.5.3.3.m2.1.1.3.3.cmml">0</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.5.3.3.m2.1b"><apply id="S3.p4.5.3.3.m2.1.1.cmml" xref="S3.p4.5.3.3.m2.1.1"><csymbol cd="latexml" id="S3.p4.5.3.3.m2.1.1.1.cmml" xref="S3.p4.5.3.3.m2.1.1.1">assign</csymbol><apply id="S3.p4.5.3.3.m2.1.1.2.cmml" xref="S3.p4.5.3.3.m2.1.1.2"><csymbol cd="ambiguous" id="S3.p4.5.3.3.m2.1.1.2.1.cmml" xref="S3.p4.5.3.3.m2.1.1.2">subscript</csymbol><apply id="S3.p4.5.3.3.m2.1.1.2.2.cmml" xref="S3.p4.5.3.3.m2.1.1.2.2"><ci id="S3.p4.5.3.3.m2.1.1.2.2.1.cmml" xref="S3.p4.5.3.3.m2.1.1.2.2.1">^</ci><ci id="S3.p4.5.3.3.m2.1.1.2.2.2.cmml" xref="S3.p4.5.3.3.m2.1.1.2.2.2">𝑤</ci></apply><cn id="S3.p4.5.3.3.m2.1.1.2.3.cmml" type="integer" xref="S3.p4.5.3.3.m2.1.1.2.3">0</cn></apply><apply id="S3.p4.5.3.3.m2.1.1.3.cmml" xref="S3.p4.5.3.3.m2.1.1.3"><csymbol cd="ambiguous" id="S3.p4.5.3.3.m2.1.1.3.1.cmml" xref="S3.p4.5.3.3.m2.1.1.3">subscript</csymbol><ci id="S3.p4.5.3.3.m2.1.1.3.2.cmml" xref="S3.p4.5.3.3.m2.1.1.3.2">𝑤</ci><cn id="S3.p4.5.3.3.m2.1.1.3.3.cmml" type="integer" xref="S3.p4.5.3.3.m2.1.1.3.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.5.3.3.m2.1c">\widehat{w}_{0}:=w_{0}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.5.3.3.m2.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> (<span class="ltx_text ltx_font_bold" id="S3.p4.7.5.5.1">the true data</span> labelling function). This corresponds to generating <math alttext="T_{0}" class="ltx_Math" display="inline" id="S3.p4.6.4.4.m3.1"><semantics id="S3.p4.6.4.4.m3.1a"><msub id="S3.p4.6.4.4.m3.1.1" xref="S3.p4.6.4.4.m3.1.1.cmml"><mi id="S3.p4.6.4.4.m3.1.1.2" xref="S3.p4.6.4.4.m3.1.1.2.cmml">T</mi><mn id="S3.p4.6.4.4.m3.1.1.3" xref="S3.p4.6.4.4.m3.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S3.p4.6.4.4.m3.1b"><apply id="S3.p4.6.4.4.m3.1.1.cmml" xref="S3.p4.6.4.4.m3.1.1"><csymbol cd="ambiguous" id="S3.p4.6.4.4.m3.1.1.1.cmml" xref="S3.p4.6.4.4.m3.1.1">subscript</csymbol><ci id="S3.p4.6.4.4.m3.1.1.2.cmml" xref="S3.p4.6.4.4.m3.1.1.2">𝑇</ci><cn id="S3.p4.6.4.4.m3.1.1.3.cmml" type="integer" xref="S3.p4.6.4.4.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.6.4.4.m3.1c">T_{0}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.6.4.4.m3.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> from the true data distribution <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p4.7.5.5.m4.3"><semantics id="S3.p4.7.5.5.m4.3a"><msub id="S3.p4.7.5.5.m4.3.4" xref="S3.p4.7.5.5.m4.3.4.cmml"><mi id="S3.p4.7.5.5.m4.3.4.2" xref="S3.p4.7.5.5.m4.3.4.2.cmml">P</mi><mrow id="S3.p4.7.5.5.m4.3.3.3.3" xref="S3.p4.7.5.5.m4.3.3.3.4.cmml"><mi id="S3.p4.7.5.5.m4.1.1.1.1" mathvariant="normal" xref="S3.p4.7.5.5.m4.1.1.1.1.cmml">Σ</mi><mo id="S3.p4.7.5.5.m4.3.3.3.3.3" xref="S3.p4.7.5.5.m4.3.3.3.4.cmml">,</mo><msub id="S3.p4.7.5.5.m4.2.2.2.2.1" xref="S3.p4.7.5.5.m4.2.2.2.2.1.cmml"><mi id="S3.p4.7.5.5.m4.2.2.2.2.1.2" xref="S3.p4.7.5.5.m4.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p4.7.5.5.m4.2.2.2.2.1.3" xref="S3.p4.7.5.5.m4.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p4.7.5.5.m4.3.3.3.3.4" xref="S3.p4.7.5.5.m4.3.3.3.4.cmml">,</mo><msup id="S3.p4.7.5.5.m4.3.3.3.3.2" xref="S3.p4.7.5.5.m4.3.3.3.3.2.cmml"><mi id="S3.p4.7.5.5.m4.3.3.3.3.2.2" xref="S3.p4.7.5.5.m4.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p4.7.5.5.m4.3.3.3.3.2.3" xref="S3.p4.7.5.5.m4.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.7.5.5.m4.3b"><apply id="S3.p4.7.5.5.m4.3.4.cmml" xref="S3.p4.7.5.5.m4.3.4"><csymbol cd="ambiguous" id="S3.p4.7.5.5.m4.3.4.1.cmml" xref="S3.p4.7.5.5.m4.3.4">subscript</csymbol><ci id="S3.p4.7.5.5.m4.3.4.2.cmml" xref="S3.p4.7.5.5.m4.3.4.2">𝑃</ci><list id="S3.p4.7.5.5.m4.3.3.3.4.cmml" xref="S3.p4.7.5.5.m4.3.3.3.3"><ci id="S3.p4.7.5.5.m4.1.1.1.1.cmml" xref="S3.p4.7.5.5.m4.1.1.1.1">Σ</ci><apply id="S3.p4.7.5.5.m4.2.2.2.2.1.cmml" xref="S3.p4.7.5.5.m4.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p4.7.5.5.m4.2.2.2.2.1.1.cmml" xref="S3.p4.7.5.5.m4.2.2.2.2.1">subscript</csymbol><ci id="S3.p4.7.5.5.m4.2.2.2.2.1.2.cmml" xref="S3.p4.7.5.5.m4.2.2.2.2.1.2">𝑤</ci><cn id="S3.p4.7.5.5.m4.2.2.2.2.1.3.cmml" type="integer" xref="S3.p4.7.5.5.m4.2.2.2.2.1.3">0</cn></apply><apply id="S3.p4.7.5.5.m4.3.3.3.3.2.cmml" xref="S3.p4.7.5.5.m4.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p4.7.5.5.m4.3.3.3.3.2.1.cmml" xref="S3.p4.7.5.5.m4.3.3.3.3.2">superscript</csymbol><ci id="S3.p4.7.5.5.m4.3.3.3.3.2.2.cmml" xref="S3.p4.7.5.5.m4.3.3.3.3.2.2">𝜎</ci><cn id="S3.p4.7.5.5.m4.3.3.3.3.2.3.cmml" type="integer" xref="S3.p4.7.5.5.m4.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.7.5.5.m4.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.7.5.5.m4.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math>.</span> <span class="ltx_p" id="S3.p4.12.10.10">– For any <math alttext="m\in\{1,2,\ldots n\}" class="ltx_Math" display="inline" id="S3.p4.8.6.6.m1.3"><semantics id="S3.p4.8.6.6.m1.3a"><mrow id="S3.p4.8.6.6.m1.3.3" xref="S3.p4.8.6.6.m1.3.3.cmml"><mi id="S3.p4.8.6.6.m1.3.3.3" xref="S3.p4.8.6.6.m1.3.3.3.cmml">m</mi><mo id="S3.p4.8.6.6.m1.3.3.2" xref="S3.p4.8.6.6.m1.3.3.2.cmml">∈</mo><mrow id="S3.p4.8.6.6.m1.3.3.1.1" xref="S3.p4.8.6.6.m1.3.3.1.2.cmml"><mo id="S3.p4.8.6.6.m1.3.3.1.1.2" stretchy="false" xref="S3.p4.8.6.6.m1.3.3.1.2.cmml">{</mo><mn id="S3.p4.8.6.6.m1.1.1" xref="S3.p4.8.6.6.m1.1.1.cmml">1</mn><mo id="S3.p4.8.6.6.m1.3.3.1.1.3" xref="S3.p4.8.6.6.m1.3.3.1.2.cmml">,</mo><mn id="S3.p4.8.6.6.m1.2.2" xref="S3.p4.8.6.6.m1.2.2.cmml">2</mn><mo id="S3.p4.8.6.6.m1.3.3.1.1.4" xref="S3.p4.8.6.6.m1.3.3.1.2.cmml">,</mo><mrow id="S3.p4.8.6.6.m1.3.3.1.1.1" xref="S3.p4.8.6.6.m1.3.3.1.1.1.cmml"><mi id="S3.p4.8.6.6.m1.3.3.1.1.1.2" mathvariant="normal" xref="S3.p4.8.6.6.m1.3.3.1.1.1.2.cmml">…</mi><mo id="S3.p4.8.6.6.m1.3.3.1.1.1.1" xref="S3.p4.8.6.6.m1.3.3.1.1.1.1.cmml">⁢</mo><mi id="S3.p4.8.6.6.m1.3.3.1.1.1.3" xref="S3.p4.8.6.6.m1.3.3.1.1.1.3.cmml">n</mi></mrow><mo id="S3.p4.8.6.6.m1.3.3.1.1.5" stretchy="false" xref="S3.p4.8.6.6.m1.3.3.1.2.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.8.6.6.m1.3b"><apply id="S3.p4.8.6.6.m1.3.3.cmml" xref="S3.p4.8.6.6.m1.3.3"><in id="S3.p4.8.6.6.m1.3.3.2.cmml" xref="S3.p4.8.6.6.m1.3.3.2"></in><ci id="S3.p4.8.6.6.m1.3.3.3.cmml" xref="S3.p4.8.6.6.m1.3.3.3">𝑚</ci><set id="S3.p4.8.6.6.m1.3.3.1.2.cmml" xref="S3.p4.8.6.6.m1.3.3.1.1"><cn id="S3.p4.8.6.6.m1.1.1.cmml" type="integer" xref="S3.p4.8.6.6.m1.1.1">1</cn><cn id="S3.p4.8.6.6.m1.2.2.cmml" type="integer" xref="S3.p4.8.6.6.m1.2.2">2</cn><apply id="S3.p4.8.6.6.m1.3.3.1.1.1.cmml" xref="S3.p4.8.6.6.m1.3.3.1.1.1"><times id="S3.p4.8.6.6.m1.3.3.1.1.1.1.cmml" xref="S3.p4.8.6.6.m1.3.3.1.1.1.1"></times><ci id="S3.p4.8.6.6.m1.3.3.1.1.1.2.cmml" xref="S3.p4.8.6.6.m1.3.3.1.1.1.2">…</ci><ci id="S3.p4.8.6.6.m1.3.3.1.1.1.3.cmml" xref="S3.p4.8.6.6.m1.3.3.1.1.1.3">𝑛</ci></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.8.6.6.m1.3c">m\in\{1,2,\ldots n\}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.8.6.6.m1.3d">italic_m ∈ { 1 , 2 , … italic_n }</annotation></semantics></math>, the <span class="ltx_text ltx_font_bold" id="S3.p4.12.10.10.1">fake data</span> labelling function <math alttext="\widehat{w}_{m}" class="ltx_Math" display="inline" id="S3.p4.9.7.7.m2.1"><semantics id="S3.p4.9.7.7.m2.1a"><msub id="S3.p4.9.7.7.m2.1.1" xref="S3.p4.9.7.7.m2.1.1.cmml"><mover accent="true" id="S3.p4.9.7.7.m2.1.1.2" xref="S3.p4.9.7.7.m2.1.1.2.cmml"><mi id="S3.p4.9.7.7.m2.1.1.2.2" xref="S3.p4.9.7.7.m2.1.1.2.2.cmml">w</mi><mo id="S3.p4.9.7.7.m2.1.1.2.1" xref="S3.p4.9.7.7.m2.1.1.2.1.cmml">^</mo></mover><mi id="S3.p4.9.7.7.m2.1.1.3" xref="S3.p4.9.7.7.m2.1.1.3.cmml">m</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p4.9.7.7.m2.1b"><apply id="S3.p4.9.7.7.m2.1.1.cmml" xref="S3.p4.9.7.7.m2.1.1"><csymbol cd="ambiguous" id="S3.p4.9.7.7.m2.1.1.1.cmml" xref="S3.p4.9.7.7.m2.1.1">subscript</csymbol><apply id="S3.p4.9.7.7.m2.1.1.2.cmml" xref="S3.p4.9.7.7.m2.1.1.2"><ci id="S3.p4.9.7.7.m2.1.1.2.1.cmml" xref="S3.p4.9.7.7.m2.1.1.2.1">^</ci><ci id="S3.p4.9.7.7.m2.1.1.2.2.cmml" xref="S3.p4.9.7.7.m2.1.1.2.2">𝑤</ci></apply><ci id="S3.p4.9.7.7.m2.1.1.3.cmml" xref="S3.p4.9.7.7.m2.1.1.3">𝑚</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.9.7.7.m2.1c">\widehat{w}_{m}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.9.7.7.m2.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT</annotation></semantics></math> is OLS fitted on an iid dataset <math alttext="\mathcal{D}_{m-1}" class="ltx_Math" display="inline" id="S3.p4.10.8.8.m3.1"><semantics id="S3.p4.10.8.8.m3.1a"><msub id="S3.p4.10.8.8.m3.1.1" xref="S3.p4.10.8.8.m3.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.p4.10.8.8.m3.1.1.2" xref="S3.p4.10.8.8.m3.1.1.2.cmml">𝒟</mi><mrow id="S3.p4.10.8.8.m3.1.1.3" xref="S3.p4.10.8.8.m3.1.1.3.cmml"><mi id="S3.p4.10.8.8.m3.1.1.3.2" xref="S3.p4.10.8.8.m3.1.1.3.2.cmml">m</mi><mo id="S3.p4.10.8.8.m3.1.1.3.1" xref="S3.p4.10.8.8.m3.1.1.3.1.cmml">−</mo><mn id="S3.p4.10.8.8.m3.1.1.3.3" xref="S3.p4.10.8.8.m3.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.10.8.8.m3.1b"><apply id="S3.p4.10.8.8.m3.1.1.cmml" xref="S3.p4.10.8.8.m3.1.1"><csymbol cd="ambiguous" id="S3.p4.10.8.8.m3.1.1.1.cmml" xref="S3.p4.10.8.8.m3.1.1">subscript</csymbol><ci id="S3.p4.10.8.8.m3.1.1.2.cmml" xref="S3.p4.10.8.8.m3.1.1.2">𝒟</ci><apply id="S3.p4.10.8.8.m3.1.1.3.cmml" xref="S3.p4.10.8.8.m3.1.1.3"><minus id="S3.p4.10.8.8.m3.1.1.3.1.cmml" xref="S3.p4.10.8.8.m3.1.1.3.1"></minus><ci id="S3.p4.10.8.8.m3.1.1.3.2.cmml" xref="S3.p4.10.8.8.m3.1.1.3.2">𝑚</ci><cn id="S3.p4.10.8.8.m3.1.1.3.3.cmml" type="integer" xref="S3.p4.10.8.8.m3.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.10.8.8.m3.1c">\mathcal{D}_{m-1}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.10.8.8.m3.1d">caligraphic_D start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT</annotation></semantics></math> of size <math alttext="T_{0}" class="ltx_Math" display="inline" id="S3.p4.11.9.9.m4.1"><semantics id="S3.p4.11.9.9.m4.1a"><msub id="S3.p4.11.9.9.m4.1.1" xref="S3.p4.11.9.9.m4.1.1.cmml"><mi id="S3.p4.11.9.9.m4.1.1.2" xref="S3.p4.11.9.9.m4.1.1.2.cmml">T</mi><mn id="S3.p4.11.9.9.m4.1.1.3" xref="S3.p4.11.9.9.m4.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S3.p4.11.9.9.m4.1b"><apply id="S3.p4.11.9.9.m4.1.1.cmml" xref="S3.p4.11.9.9.m4.1.1"><csymbol cd="ambiguous" id="S3.p4.11.9.9.m4.1.1.1.cmml" xref="S3.p4.11.9.9.m4.1.1">subscript</csymbol><ci id="S3.p4.11.9.9.m4.1.1.2.cmml" xref="S3.p4.11.9.9.m4.1.1.2">𝑇</ci><cn id="S3.p4.11.9.9.m4.1.1.3.cmml" type="integer" xref="S3.p4.11.9.9.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.11.9.9.m4.1c">T_{0}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.11.9.9.m4.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> from <math alttext="P_{\Sigma,\widehat{w}_{m-1},\sigma_{0}^{2}}" class="ltx_Math" display="inline" id="S3.p4.12.10.10.m5.3"><semantics id="S3.p4.12.10.10.m5.3a"><msub id="S3.p4.12.10.10.m5.3.4" xref="S3.p4.12.10.10.m5.3.4.cmml"><mi id="S3.p4.12.10.10.m5.3.4.2" xref="S3.p4.12.10.10.m5.3.4.2.cmml">P</mi><mrow id="S3.p4.12.10.10.m5.3.3.3.3" xref="S3.p4.12.10.10.m5.3.3.3.4.cmml"><mi id="S3.p4.12.10.10.m5.1.1.1.1" mathvariant="normal" xref="S3.p4.12.10.10.m5.1.1.1.1.cmml">Σ</mi><mo id="S3.p4.12.10.10.m5.3.3.3.3.3" xref="S3.p4.12.10.10.m5.3.3.3.4.cmml">,</mo><msub id="S3.p4.12.10.10.m5.2.2.2.2.1" xref="S3.p4.12.10.10.m5.2.2.2.2.1.cmml"><mover accent="true" id="S3.p4.12.10.10.m5.2.2.2.2.1.2" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2.cmml"><mi id="S3.p4.12.10.10.m5.2.2.2.2.1.2.2" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2.2.cmml">w</mi><mo id="S3.p4.12.10.10.m5.2.2.2.2.1.2.1" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2.1.cmml">^</mo></mover><mrow id="S3.p4.12.10.10.m5.2.2.2.2.1.3" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.cmml"><mi id="S3.p4.12.10.10.m5.2.2.2.2.1.3.2" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.2.cmml">m</mi><mo id="S3.p4.12.10.10.m5.2.2.2.2.1.3.1" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.1.cmml">−</mo><mn id="S3.p4.12.10.10.m5.2.2.2.2.1.3.3" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.3.cmml">1</mn></mrow></msub><mo id="S3.p4.12.10.10.m5.3.3.3.3.4" xref="S3.p4.12.10.10.m5.3.3.3.4.cmml">,</mo><msubsup id="S3.p4.12.10.10.m5.3.3.3.3.2" xref="S3.p4.12.10.10.m5.3.3.3.3.2.cmml"><mi id="S3.p4.12.10.10.m5.3.3.3.3.2.2.2" xref="S3.p4.12.10.10.m5.3.3.3.3.2.2.2.cmml">σ</mi><mn id="S3.p4.12.10.10.m5.3.3.3.3.2.2.3" xref="S3.p4.12.10.10.m5.3.3.3.3.2.2.3.cmml">0</mn><mn id="S3.p4.12.10.10.m5.3.3.3.3.2.3" xref="S3.p4.12.10.10.m5.3.3.3.3.2.3.cmml">2</mn></msubsup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.12.10.10.m5.3b"><apply id="S3.p4.12.10.10.m5.3.4.cmml" xref="S3.p4.12.10.10.m5.3.4"><csymbol cd="ambiguous" id="S3.p4.12.10.10.m5.3.4.1.cmml" xref="S3.p4.12.10.10.m5.3.4">subscript</csymbol><ci id="S3.p4.12.10.10.m5.3.4.2.cmml" xref="S3.p4.12.10.10.m5.3.4.2">𝑃</ci><list id="S3.p4.12.10.10.m5.3.3.3.4.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3"><ci id="S3.p4.12.10.10.m5.1.1.1.1.cmml" xref="S3.p4.12.10.10.m5.1.1.1.1">Σ</ci><apply id="S3.p4.12.10.10.m5.2.2.2.2.1.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p4.12.10.10.m5.2.2.2.2.1.1.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1">subscript</csymbol><apply id="S3.p4.12.10.10.m5.2.2.2.2.1.2.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2"><ci id="S3.p4.12.10.10.m5.2.2.2.2.1.2.1.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2.1">^</ci><ci id="S3.p4.12.10.10.m5.2.2.2.2.1.2.2.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.2.2">𝑤</ci></apply><apply id="S3.p4.12.10.10.m5.2.2.2.2.1.3.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3"><minus id="S3.p4.12.10.10.m5.2.2.2.2.1.3.1.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.1"></minus><ci id="S3.p4.12.10.10.m5.2.2.2.2.1.3.2.cmml" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.2">𝑚</ci><cn id="S3.p4.12.10.10.m5.2.2.2.2.1.3.3.cmml" type="integer" xref="S3.p4.12.10.10.m5.2.2.2.2.1.3.3">1</cn></apply></apply><apply id="S3.p4.12.10.10.m5.3.3.3.3.2.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p4.12.10.10.m5.3.3.3.3.2.1.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3.2">superscript</csymbol><apply id="S3.p4.12.10.10.m5.3.3.3.3.2.2.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p4.12.10.10.m5.3.3.3.3.2.2.1.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3.2">subscript</csymbol><ci id="S3.p4.12.10.10.m5.3.3.3.3.2.2.2.cmml" xref="S3.p4.12.10.10.m5.3.3.3.3.2.2.2">𝜎</ci><cn id="S3.p4.12.10.10.m5.3.3.3.3.2.2.3.cmml" type="integer" xref="S3.p4.12.10.10.m5.3.3.3.3.2.2.3">0</cn></apply><cn id="S3.p4.12.10.10.m5.3.3.3.3.2.3.cmml" type="integer" xref="S3.p4.12.10.10.m5.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.12.10.10.m5.3c">P_{\Sigma,\widehat{w}_{m-1},\sigma_{0}^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.12.10.10.m5.3d">italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math>. In vector form:</span> <span class="ltx_itemize" id="S3.I1"> <span class="ltx_item" id="S3.I1.i1" style="list-style-type:none;"><span class="ltx_tag ltx_tag_item">•</span> <span class="ltx_para" id="S3.I1.i1.p1"> <span class="ltx_p" id="S3.I1.i1.p1.2"><math alttext="X_{m-1}\sim N(0,\Sigma)^{\otimes T_{0}}" class="ltx_Math" display="inline" id="S3.I1.i1.p1.1.m1.2"><semantics id="S3.I1.i1.p1.1.m1.2a"><mrow id="S3.I1.i1.p1.1.m1.2.3" xref="S3.I1.i1.p1.1.m1.2.3.cmml"><msub id="S3.I1.i1.p1.1.m1.2.3.2" xref="S3.I1.i1.p1.1.m1.2.3.2.cmml"><mi id="S3.I1.i1.p1.1.m1.2.3.2.2" xref="S3.I1.i1.p1.1.m1.2.3.2.2.cmml">X</mi><mrow id="S3.I1.i1.p1.1.m1.2.3.2.3" xref="S3.I1.i1.p1.1.m1.2.3.2.3.cmml"><mi id="S3.I1.i1.p1.1.m1.2.3.2.3.2" xref="S3.I1.i1.p1.1.m1.2.3.2.3.2.cmml">m</mi><mo id="S3.I1.i1.p1.1.m1.2.3.2.3.1" xref="S3.I1.i1.p1.1.m1.2.3.2.3.1.cmml">−</mo><mn id="S3.I1.i1.p1.1.m1.2.3.2.3.3" xref="S3.I1.i1.p1.1.m1.2.3.2.3.3.cmml">1</mn></mrow></msub><mo id="S3.I1.i1.p1.1.m1.2.3.1" xref="S3.I1.i1.p1.1.m1.2.3.1.cmml">∼</mo><mrow id="S3.I1.i1.p1.1.m1.2.3.3" xref="S3.I1.i1.p1.1.m1.2.3.3.cmml"><mi id="S3.I1.i1.p1.1.m1.2.3.3.2" xref="S3.I1.i1.p1.1.m1.2.3.3.2.cmml">N</mi><mo id="S3.I1.i1.p1.1.m1.2.3.3.1" xref="S3.I1.i1.p1.1.m1.2.3.3.1.cmml">⁢</mo><msup id="S3.I1.i1.p1.1.m1.2.3.3.3" xref="S3.I1.i1.p1.1.m1.2.3.3.3.cmml"><mrow id="S3.I1.i1.p1.1.m1.2.3.3.3.2.2" xref="S3.I1.i1.p1.1.m1.2.3.3.3.2.1.cmml"><mo id="S3.I1.i1.p1.1.m1.2.3.3.3.2.2.1" stretchy="false" xref="S3.I1.i1.p1.1.m1.2.3.3.3.2.1.cmml">(</mo><mn id="S3.I1.i1.p1.1.m1.1.1" xref="S3.I1.i1.p1.1.m1.1.1.cmml">0</mn><mo id="S3.I1.i1.p1.1.m1.2.3.3.3.2.2.2" xref="S3.I1.i1.p1.1.m1.2.3.3.3.2.1.cmml">,</mo><mi id="S3.I1.i1.p1.1.m1.2.2" mathvariant="normal" xref="S3.I1.i1.p1.1.m1.2.2.cmml">Σ</mi><mo id="S3.I1.i1.p1.1.m1.2.3.3.3.2.2.3" stretchy="false" xref="S3.I1.i1.p1.1.m1.2.3.3.3.2.1.cmml">)</mo></mrow><mrow id="S3.I1.i1.p1.1.m1.2.3.3.3.3" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.cmml"><mi id="S3.I1.i1.p1.1.m1.2.3.3.3.3.2" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.2.cmml"></mi><mo id="S3.I1.i1.p1.1.m1.2.3.3.3.3.1" lspace="0.222em" rspace="0.222em" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.1.cmml">⊗</mo><msub id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.cmml"><mi id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.2" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.2.cmml">T</mi><mn id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.3" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.3.cmml">0</mn></msub></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i1.p1.1.m1.2b"><apply id="S3.I1.i1.p1.1.m1.2.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3"><csymbol cd="latexml" id="S3.I1.i1.p1.1.m1.2.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.1">similar-to</csymbol><apply id="S3.I1.i1.p1.1.m1.2.3.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2"><csymbol cd="ambiguous" id="S3.I1.i1.p1.1.m1.2.3.2.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2">subscript</csymbol><ci id="S3.I1.i1.p1.1.m1.2.3.2.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2.2">𝑋</ci><apply id="S3.I1.i1.p1.1.m1.2.3.2.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2.3"><minus id="S3.I1.i1.p1.1.m1.2.3.2.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2.3.1"></minus><ci id="S3.I1.i1.p1.1.m1.2.3.2.3.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.2.3.2">𝑚</ci><cn id="S3.I1.i1.p1.1.m1.2.3.2.3.3.cmml" type="integer" xref="S3.I1.i1.p1.1.m1.2.3.2.3.3">1</cn></apply></apply><apply id="S3.I1.i1.p1.1.m1.2.3.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3"><times id="S3.I1.i1.p1.1.m1.2.3.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.1"></times><ci id="S3.I1.i1.p1.1.m1.2.3.3.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.2">𝑁</ci><apply id="S3.I1.i1.p1.1.m1.2.3.3.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3"><csymbol cd="ambiguous" id="S3.I1.i1.p1.1.m1.2.3.3.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3">superscript</csymbol><interval closure="open" id="S3.I1.i1.p1.1.m1.2.3.3.3.2.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.2.2"><cn id="S3.I1.i1.p1.1.m1.1.1.cmml" type="integer" xref="S3.I1.i1.p1.1.m1.1.1">0</cn><ci id="S3.I1.i1.p1.1.m1.2.2.cmml" xref="S3.I1.i1.p1.1.m1.2.2">Σ</ci></interval><apply id="S3.I1.i1.p1.1.m1.2.3.3.3.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3"><csymbol cd="latexml" id="S3.I1.i1.p1.1.m1.2.3.3.3.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.1">tensor-product</csymbol><csymbol cd="latexml" id="S3.I1.i1.p1.1.m1.2.3.3.3.3.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.2">absent</csymbol><apply id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3"><csymbol cd="ambiguous" id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.1.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3">subscript</csymbol><ci id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.2.cmml" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.2">𝑇</ci><cn id="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.3.cmml" type="integer" xref="S3.I1.i1.p1.1.m1.2.3.3.3.3.3.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i1.p1.1.m1.2c">X_{m-1}\sim N(0,\Sigma)^{\otimes T_{0}}</annotation><annotation encoding="application/x-llamapun" id="S3.I1.i1.p1.1.m1.2d">italic_X start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT ∼ italic_N ( 0 , roman_Σ ) start_POSTSUPERSCRIPT ⊗ italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_POSTSUPERSCRIPT</annotation></semantics></math>, <math alttext="E_{m-1}\sim N(0,\sigma_{0}^{2}I_{T_{0}})" class="ltx_Math" display="inline" id="S3.I1.i1.p1.2.m2.2"><semantics id="S3.I1.i1.p1.2.m2.2a"><mrow id="S3.I1.i1.p1.2.m2.2.2" xref="S3.I1.i1.p1.2.m2.2.2.cmml"><msub id="S3.I1.i1.p1.2.m2.2.2.3" xref="S3.I1.i1.p1.2.m2.2.2.3.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.3.2" xref="S3.I1.i1.p1.2.m2.2.2.3.2.cmml">E</mi><mrow id="S3.I1.i1.p1.2.m2.2.2.3.3" xref="S3.I1.i1.p1.2.m2.2.2.3.3.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.3.3.2" xref="S3.I1.i1.p1.2.m2.2.2.3.3.2.cmml">m</mi><mo id="S3.I1.i1.p1.2.m2.2.2.3.3.1" xref="S3.I1.i1.p1.2.m2.2.2.3.3.1.cmml">−</mo><mn id="S3.I1.i1.p1.2.m2.2.2.3.3.3" xref="S3.I1.i1.p1.2.m2.2.2.3.3.3.cmml">1</mn></mrow></msub><mo id="S3.I1.i1.p1.2.m2.2.2.2" xref="S3.I1.i1.p1.2.m2.2.2.2.cmml">∼</mo><mrow id="S3.I1.i1.p1.2.m2.2.2.1" xref="S3.I1.i1.p1.2.m2.2.2.1.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.1.3" xref="S3.I1.i1.p1.2.m2.2.2.1.3.cmml">N</mi><mo id="S3.I1.i1.p1.2.m2.2.2.1.2" xref="S3.I1.i1.p1.2.m2.2.2.1.2.cmml">⁢</mo><mrow id="S3.I1.i1.p1.2.m2.2.2.1.1.1" xref="S3.I1.i1.p1.2.m2.2.2.1.1.2.cmml"><mo id="S3.I1.i1.p1.2.m2.2.2.1.1.1.2" stretchy="false" xref="S3.I1.i1.p1.2.m2.2.2.1.1.2.cmml">(</mo><mn id="S3.I1.i1.p1.2.m2.1.1" xref="S3.I1.i1.p1.2.m2.1.1.cmml">0</mn><mo id="S3.I1.i1.p1.2.m2.2.2.1.1.1.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.2.cmml">,</mo><mrow id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.cmml"><msubsup id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.2" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.2.cmml">σ</mi><mn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.3.cmml">0</mn><mn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.3.cmml">2</mn></msubsup><mo id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.1" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.1.cmml">⁢</mo><msub id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.2" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.2.cmml">I</mi><msub id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.cmml"><mi id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.2" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.2.cmml">T</mi><mn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.3" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.3.cmml">0</mn></msub></msub></mrow><mo id="S3.I1.i1.p1.2.m2.2.2.1.1.1.4" stretchy="false" xref="S3.I1.i1.p1.2.m2.2.2.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i1.p1.2.m2.2b"><apply id="S3.I1.i1.p1.2.m2.2.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2"><csymbol cd="latexml" id="S3.I1.i1.p1.2.m2.2.2.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.2">similar-to</csymbol><apply id="S3.I1.i1.p1.2.m2.2.2.3.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3"><csymbol cd="ambiguous" id="S3.I1.i1.p1.2.m2.2.2.3.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3">subscript</csymbol><ci id="S3.I1.i1.p1.2.m2.2.2.3.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3.2">𝐸</ci><apply id="S3.I1.i1.p1.2.m2.2.2.3.3.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3.3"><minus id="S3.I1.i1.p1.2.m2.2.2.3.3.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3.3.1"></minus><ci id="S3.I1.i1.p1.2.m2.2.2.3.3.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.3.3.2">𝑚</ci><cn id="S3.I1.i1.p1.2.m2.2.2.3.3.3.cmml" type="integer" xref="S3.I1.i1.p1.2.m2.2.2.3.3.3">1</cn></apply></apply><apply id="S3.I1.i1.p1.2.m2.2.2.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1"><times id="S3.I1.i1.p1.2.m2.2.2.1.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.2"></times><ci id="S3.I1.i1.p1.2.m2.2.2.1.3.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.3">𝑁</ci><interval closure="open" id="S3.I1.i1.p1.2.m2.2.2.1.1.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1"><cn id="S3.I1.i1.p1.2.m2.1.1.cmml" type="integer" xref="S3.I1.i1.p1.2.m2.1.1">0</cn><apply id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1"><times id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.1"></times><apply id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2">superscript</csymbol><apply id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2">subscript</csymbol><ci id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.2">𝜎</ci><cn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.3.cmml" type="integer" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.2.3">0</cn></apply><cn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.3.cmml" type="integer" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.2.3">2</cn></apply><apply id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3">subscript</csymbol><ci id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.2">𝐼</ci><apply id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.1.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3">subscript</csymbol><ci id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.2.cmml" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.2">𝑇</ci><cn id="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.3.cmml" type="integer" xref="S3.I1.i1.p1.2.m2.2.2.1.1.1.1.3.3.3">0</cn></apply></apply></apply></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i1.p1.2.m2.2c">E_{m-1}\sim N(0,\sigma_{0}^{2}I_{T_{0}})</annotation><annotation encoding="application/x-llamapun" id="S3.I1.i1.p1.2.m2.2d">italic_E start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT ∼ italic_N ( 0 , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_I start_POSTSUBSCRIPT italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_POSTSUBSCRIPT )</annotation></semantics></math>,</span> </span></span> <span class="ltx_item" id="S3.I1.i2" style="list-style-type:none;"><span class="ltx_tag ltx_tag_item">•</span> <span class="ltx_para" id="S3.I1.i2.p1"> <span class="ltx_p" id="S3.I1.i2.p1.1"><math alttext="\widehat{Y}_{m-1}=X_{m-1}\widehat{w}_{m-1}+E_{m-1}" class="ltx_Math" display="inline" id="S3.I1.i2.p1.1.m1.1"><semantics id="S3.I1.i2.p1.1.m1.1a"><mrow id="S3.I1.i2.p1.1.m1.1.1" xref="S3.I1.i2.p1.1.m1.1.1.cmml"><msub id="S3.I1.i2.p1.1.m1.1.1.2" xref="S3.I1.i2.p1.1.m1.1.1.2.cmml"><mover accent="true" id="S3.I1.i2.p1.1.m1.1.1.2.2" xref="S3.I1.i2.p1.1.m1.1.1.2.2.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.2.2.2" xref="S3.I1.i2.p1.1.m1.1.1.2.2.2.cmml">Y</mi><mo id="S3.I1.i2.p1.1.m1.1.1.2.2.1" xref="S3.I1.i2.p1.1.m1.1.1.2.2.1.cmml">^</mo></mover><mrow id="S3.I1.i2.p1.1.m1.1.1.2.3" xref="S3.I1.i2.p1.1.m1.1.1.2.3.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.2.3.2" xref="S3.I1.i2.p1.1.m1.1.1.2.3.2.cmml">m</mi><mo id="S3.I1.i2.p1.1.m1.1.1.2.3.1" xref="S3.I1.i2.p1.1.m1.1.1.2.3.1.cmml">−</mo><mn id="S3.I1.i2.p1.1.m1.1.1.2.3.3" xref="S3.I1.i2.p1.1.m1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo id="S3.I1.i2.p1.1.m1.1.1.1" xref="S3.I1.i2.p1.1.m1.1.1.1.cmml">=</mo><mrow id="S3.I1.i2.p1.1.m1.1.1.3" xref="S3.I1.i2.p1.1.m1.1.1.3.cmml"><mrow id="S3.I1.i2.p1.1.m1.1.1.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.cmml"><msub id="S3.I1.i2.p1.1.m1.1.1.3.2.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.2.2.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.2.cmml">X</mi><mrow id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.2.cmml">m</mi><mo id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.1" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.1.cmml">−</mo><mn id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.3.cmml">1</mn></mrow></msub><mo id="S3.I1.i2.p1.1.m1.1.1.3.2.1" xref="S3.I1.i2.p1.1.m1.1.1.3.2.1.cmml">⁢</mo><msub id="S3.I1.i2.p1.1.m1.1.1.3.2.3" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.cmml"><mover accent="true" id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.2.cmml">w</mi><mo id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.1" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.1.cmml">^</mo></mover><mrow id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.2.cmml">m</mi><mo id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.1" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.1.cmml">−</mo><mn id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S3.I1.i2.p1.1.m1.1.1.3.1" xref="S3.I1.i2.p1.1.m1.1.1.3.1.cmml">+</mo><msub id="S3.I1.i2.p1.1.m1.1.1.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.3.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.3.2.cmml">E</mi><mrow id="S3.I1.i2.p1.1.m1.1.1.3.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.cmml"><mi id="S3.I1.i2.p1.1.m1.1.1.3.3.3.2" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.2.cmml">m</mi><mo id="S3.I1.i2.p1.1.m1.1.1.3.3.3.1" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.1.cmml">−</mo><mn id="S3.I1.i2.p1.1.m1.1.1.3.3.3.3" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i2.p1.1.m1.1b"><apply id="S3.I1.i2.p1.1.m1.1.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1"><eq id="S3.I1.i2.p1.1.m1.1.1.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.1"></eq><apply id="S3.I1.i2.p1.1.m1.1.1.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.1.1.2.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2">subscript</csymbol><apply id="S3.I1.i2.p1.1.m1.1.1.2.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.2"><ci id="S3.I1.i2.p1.1.m1.1.1.2.2.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.2.1">^</ci><ci id="S3.I1.i2.p1.1.m1.1.1.2.2.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.2.2">𝑌</ci></apply><apply id="S3.I1.i2.p1.1.m1.1.1.2.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.3"><minus id="S3.I1.i2.p1.1.m1.1.1.2.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.3.1"></minus><ci id="S3.I1.i2.p1.1.m1.1.1.2.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.2.3.2">𝑚</ci><cn id="S3.I1.i2.p1.1.m1.1.1.2.3.3.cmml" type="integer" xref="S3.I1.i2.p1.1.m1.1.1.2.3.3">1</cn></apply></apply><apply id="S3.I1.i2.p1.1.m1.1.1.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3"><plus id="S3.I1.i2.p1.1.m1.1.1.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.1"></plus><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2"><times id="S3.I1.i2.p1.1.m1.1.1.3.2.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.1"></times><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.1.1.3.2.2.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2">subscript</csymbol><ci id="S3.I1.i2.p1.1.m1.1.1.3.2.2.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.2">𝑋</ci><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3"><minus id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.1"></minus><ci id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.2">𝑚</ci><cn id="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.3.cmml" type="integer" xref="S3.I1.i2.p1.1.m1.1.1.3.2.2.3.3">1</cn></apply></apply><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.1.1.3.2.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3">subscript</csymbol><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2"><ci id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.1">^</ci><ci id="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.2.2">𝑤</ci></apply><apply id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3"><minus id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.1"></minus><ci id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.2">𝑚</ci><cn id="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.3.cmml" type="integer" xref="S3.I1.i2.p1.1.m1.1.1.3.2.3.3.3">1</cn></apply></apply></apply><apply id="S3.I1.i2.p1.1.m1.1.1.3.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="S3.I1.i2.p1.1.m1.1.1.3.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3">subscript</csymbol><ci id="S3.I1.i2.p1.1.m1.1.1.3.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3.2">𝐸</ci><apply id="S3.I1.i2.p1.1.m1.1.1.3.3.3.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3"><minus id="S3.I1.i2.p1.1.m1.1.1.3.3.3.1.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.1"></minus><ci id="S3.I1.i2.p1.1.m1.1.1.3.3.3.2.cmml" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.2">𝑚</ci><cn id="S3.I1.i2.p1.1.m1.1.1.3.3.3.3.cmml" type="integer" xref="S3.I1.i2.p1.1.m1.1.1.3.3.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i2.p1.1.m1.1c">\widehat{Y}_{m-1}=X_{m-1}\widehat{w}_{m-1}+E_{m-1}</annotation><annotation encoding="application/x-llamapun" id="S3.I1.i2.p1.1.m1.1d">over^ start_ARG italic_Y end_ARG start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT = italic_X start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT + italic_E start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT</annotation></semantics></math>,</span> </span></span> <span class="ltx_item" id="S3.I1.i3" style="list-style-type:none;"><span class="ltx_tag ltx_tag_item">•</span> <span class="ltx_para" id="S3.I1.i3.p1"> <span class="ltx_p" id="S3.I1.i3.p1.1"><math alttext="\widehat{w}_{m}=X_{m-1}^{\dagger}\widehat{Y}_{m-1}" class="ltx_Math" display="inline" id="S3.I1.i3.p1.1.m1.1"><semantics id="S3.I1.i3.p1.1.m1.1a"><mrow id="S3.I1.i3.p1.1.m1.1.1" xref="S3.I1.i3.p1.1.m1.1.1.cmml"><msub id="S3.I1.i3.p1.1.m1.1.1.2" xref="S3.I1.i3.p1.1.m1.1.1.2.cmml"><mover accent="true" id="S3.I1.i3.p1.1.m1.1.1.2.2" xref="S3.I1.i3.p1.1.m1.1.1.2.2.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.2.2.2" xref="S3.I1.i3.p1.1.m1.1.1.2.2.2.cmml">w</mi><mo id="S3.I1.i3.p1.1.m1.1.1.2.2.1" xref="S3.I1.i3.p1.1.m1.1.1.2.2.1.cmml">^</mo></mover><mi id="S3.I1.i3.p1.1.m1.1.1.2.3" xref="S3.I1.i3.p1.1.m1.1.1.2.3.cmml">m</mi></msub><mo id="S3.I1.i3.p1.1.m1.1.1.1" xref="S3.I1.i3.p1.1.m1.1.1.1.cmml">=</mo><mrow id="S3.I1.i3.p1.1.m1.1.1.3" xref="S3.I1.i3.p1.1.m1.1.1.3.cmml"><msubsup id="S3.I1.i3.p1.1.m1.1.1.3.2" xref="S3.I1.i3.p1.1.m1.1.1.3.2.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.3.2.2.2" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.2.cmml">X</mi><mrow id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.2" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.2.cmml">m</mi><mo id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.1" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.1.cmml">−</mo><mn id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.3" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.3.cmml">1</mn></mrow><mo id="S3.I1.i3.p1.1.m1.1.1.3.2.3" xref="S3.I1.i3.p1.1.m1.1.1.3.2.3.cmml">†</mo></msubsup><mo id="S3.I1.i3.p1.1.m1.1.1.3.1" xref="S3.I1.i3.p1.1.m1.1.1.3.1.cmml">⁢</mo><msub id="S3.I1.i3.p1.1.m1.1.1.3.3" xref="S3.I1.i3.p1.1.m1.1.1.3.3.cmml"><mover accent="true" id="S3.I1.i3.p1.1.m1.1.1.3.3.2" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.3.3.2.2" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2.2.cmml">Y</mi><mo id="S3.I1.i3.p1.1.m1.1.1.3.3.2.1" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2.1.cmml">^</mo></mover><mrow id="S3.I1.i3.p1.1.m1.1.1.3.3.3" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.cmml"><mi id="S3.I1.i3.p1.1.m1.1.1.3.3.3.2" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.2.cmml">m</mi><mo id="S3.I1.i3.p1.1.m1.1.1.3.3.3.1" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.1.cmml">−</mo><mn id="S3.I1.i3.p1.1.m1.1.1.3.3.3.3" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.I1.i3.p1.1.m1.1b"><apply id="S3.I1.i3.p1.1.m1.1.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1"><eq id="S3.I1.i3.p1.1.m1.1.1.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.1"></eq><apply id="S3.I1.i3.p1.1.m1.1.1.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.1.1.2.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2">subscript</csymbol><apply id="S3.I1.i3.p1.1.m1.1.1.2.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2.2"><ci id="S3.I1.i3.p1.1.m1.1.1.2.2.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2.2.1">^</ci><ci id="S3.I1.i3.p1.1.m1.1.1.2.2.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2.2.2">𝑤</ci></apply><ci id="S3.I1.i3.p1.1.m1.1.1.2.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.2.3">𝑚</ci></apply><apply id="S3.I1.i3.p1.1.m1.1.1.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3"><times id="S3.I1.i3.p1.1.m1.1.1.3.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.1"></times><apply id="S3.I1.i3.p1.1.m1.1.1.3.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.1.1.3.2.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2">superscript</csymbol><apply id="S3.I1.i3.p1.1.m1.1.1.3.2.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.1.1.3.2.2.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2">subscript</csymbol><ci id="S3.I1.i3.p1.1.m1.1.1.3.2.2.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.2">𝑋</ci><apply id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3"><minus id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.1"></minus><ci id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.2">𝑚</ci><cn id="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.3.cmml" type="integer" xref="S3.I1.i3.p1.1.m1.1.1.3.2.2.3.3">1</cn></apply></apply><ci id="S3.I1.i3.p1.1.m1.1.1.3.2.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.2.3">†</ci></apply><apply id="S3.I1.i3.p1.1.m1.1.1.3.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="S3.I1.i3.p1.1.m1.1.1.3.3.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3">subscript</csymbol><apply id="S3.I1.i3.p1.1.m1.1.1.3.3.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2"><ci id="S3.I1.i3.p1.1.m1.1.1.3.3.2.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2.1">^</ci><ci id="S3.I1.i3.p1.1.m1.1.1.3.3.2.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.2.2">𝑌</ci></apply><apply id="S3.I1.i3.p1.1.m1.1.1.3.3.3.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3"><minus id="S3.I1.i3.p1.1.m1.1.1.3.3.3.1.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.1"></minus><ci id="S3.I1.i3.p1.1.m1.1.1.3.3.3.2.cmml" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.2">𝑚</ci><cn id="S3.I1.i3.p1.1.m1.1.1.3.3.3.3.cmml" type="integer" xref="S3.I1.i3.p1.1.m1.1.1.3.3.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.I1.i3.p1.1.m1.1c">\widehat{w}_{m}=X_{m-1}^{\dagger}\widehat{Y}_{m-1}</annotation><annotation encoding="application/x-llamapun" id="S3.I1.i3.p1.1.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT = italic_X start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT over^ start_ARG italic_Y end_ARG start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT</annotation></semantics></math> (OLS),</span> </span></span> </span> <span class="ltx_p" id="S3.p4.14.12.12">where <math alttext="X_{m-1}" class="ltx_Math" display="inline" id="S3.p4.13.11.11.m1.1"><semantics id="S3.p4.13.11.11.m1.1a"><msub id="S3.p4.13.11.11.m1.1.1" xref="S3.p4.13.11.11.m1.1.1.cmml"><mi id="S3.p4.13.11.11.m1.1.1.2" xref="S3.p4.13.11.11.m1.1.1.2.cmml">X</mi><mrow id="S3.p4.13.11.11.m1.1.1.3" xref="S3.p4.13.11.11.m1.1.1.3.cmml"><mi id="S3.p4.13.11.11.m1.1.1.3.2" xref="S3.p4.13.11.11.m1.1.1.3.2.cmml">m</mi><mo id="S3.p4.13.11.11.m1.1.1.3.1" xref="S3.p4.13.11.11.m1.1.1.3.1.cmml">−</mo><mn id="S3.p4.13.11.11.m1.1.1.3.3" xref="S3.p4.13.11.11.m1.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.13.11.11.m1.1b"><apply id="S3.p4.13.11.11.m1.1.1.cmml" xref="S3.p4.13.11.11.m1.1.1"><csymbol cd="ambiguous" id="S3.p4.13.11.11.m1.1.1.1.cmml" xref="S3.p4.13.11.11.m1.1.1">subscript</csymbol><ci id="S3.p4.13.11.11.m1.1.1.2.cmml" xref="S3.p4.13.11.11.m1.1.1.2">𝑋</ci><apply id="S3.p4.13.11.11.m1.1.1.3.cmml" xref="S3.p4.13.11.11.m1.1.1.3"><minus id="S3.p4.13.11.11.m1.1.1.3.1.cmml" xref="S3.p4.13.11.11.m1.1.1.3.1"></minus><ci id="S3.p4.13.11.11.m1.1.1.3.2.cmml" xref="S3.p4.13.11.11.m1.1.1.3.2">𝑚</ci><cn id="S3.p4.13.11.11.m1.1.1.3.3.cmml" type="integer" xref="S3.p4.13.11.11.m1.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.13.11.11.m1.1c">X_{m-1}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.13.11.11.m1.1d">italic_X start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT</annotation></semantics></math> and <math alttext="E_{m-1}" class="ltx_Math" display="inline" id="S3.p4.14.12.12.m2.1"><semantics id="S3.p4.14.12.12.m2.1a"><msub id="S3.p4.14.12.12.m2.1.1" xref="S3.p4.14.12.12.m2.1.1.cmml"><mi id="S3.p4.14.12.12.m2.1.1.2" xref="S3.p4.14.12.12.m2.1.1.2.cmml">E</mi><mrow id="S3.p4.14.12.12.m2.1.1.3" xref="S3.p4.14.12.12.m2.1.1.3.cmml"><mi id="S3.p4.14.12.12.m2.1.1.3.2" xref="S3.p4.14.12.12.m2.1.1.3.2.cmml">m</mi><mo id="S3.p4.14.12.12.m2.1.1.3.1" xref="S3.p4.14.12.12.m2.1.1.3.1.cmml">−</mo><mn id="S3.p4.14.12.12.m2.1.1.3.3" xref="S3.p4.14.12.12.m2.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p4.14.12.12.m2.1b"><apply id="S3.p4.14.12.12.m2.1.1.cmml" xref="S3.p4.14.12.12.m2.1.1"><csymbol cd="ambiguous" id="S3.p4.14.12.12.m2.1.1.1.cmml" xref="S3.p4.14.12.12.m2.1.1">subscript</csymbol><ci id="S3.p4.14.12.12.m2.1.1.2.cmml" xref="S3.p4.14.12.12.m2.1.1.2">𝐸</ci><apply id="S3.p4.14.12.12.m2.1.1.3.cmml" xref="S3.p4.14.12.12.m2.1.1.3"><minus id="S3.p4.14.12.12.m2.1.1.3.1.cmml" xref="S3.p4.14.12.12.m2.1.1.3.1"></minus><ci id="S3.p4.14.12.12.m2.1.1.3.2.cmml" xref="S3.p4.14.12.12.m2.1.1.3.2">𝑚</ci><cn id="S3.p4.14.12.12.m2.1.1.3.3.cmml" type="integer" xref="S3.p4.14.12.12.m2.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.14.12.12.m2.1c">E_{m-1}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.14.12.12.m2.1d">italic_E start_POSTSUBSCRIPT italic_m - 1 end_POSTSUBSCRIPT</annotation></semantics></math> are independent, and also independent of all previous generations. </span> </span> The motivation for OLS (ordinary least-squares) in defining the <math alttext="\widehat{w}_{m}" class="ltx_Math" display="inline" id="S3.p4.15.m3.1"><semantics id="S3.p4.15.m3.1a"><msub id="S3.p4.15.m3.1.1" xref="S3.p4.15.m3.1.1.cmml"><mover accent="true" id="S3.p4.15.m3.1.1.2" xref="S3.p4.15.m3.1.1.2.cmml"><mi id="S3.p4.15.m3.1.1.2.2" xref="S3.p4.15.m3.1.1.2.2.cmml">w</mi><mo id="S3.p4.15.m3.1.1.2.1" xref="S3.p4.15.m3.1.1.2.1.cmml">^</mo></mover><mi id="S3.p4.15.m3.1.1.3" xref="S3.p4.15.m3.1.1.3.cmml">m</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p4.15.m3.1b"><apply id="S3.p4.15.m3.1.1.cmml" xref="S3.p4.15.m3.1.1"><csymbol cd="ambiguous" id="S3.p4.15.m3.1.1.1.cmml" xref="S3.p4.15.m3.1.1">subscript</csymbol><apply id="S3.p4.15.m3.1.1.2.cmml" xref="S3.p4.15.m3.1.1.2"><ci id="S3.p4.15.m3.1.1.2.1.cmml" xref="S3.p4.15.m3.1.1.2.1">^</ci><ci id="S3.p4.15.m3.1.1.2.2.cmml" xref="S3.p4.15.m3.1.1.2.2">𝑤</ci></apply><ci id="S3.p4.15.m3.1.1.3.cmml" xref="S3.p4.15.m3.1.1.3">𝑚</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.15.m3.1c">\widehat{w}_{m}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.15.m3.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT</annotation></semantics></math>’s is just for analytical tractability. The above process is completely determined by the triplet <math alttext="(n,T_{0},\sigma_{0}^{2})" class="ltx_Math" display="inline" id="S3.p4.16.m4.3"><semantics id="S3.p4.16.m4.3a"><mrow id="S3.p4.16.m4.3.3.2" xref="S3.p4.16.m4.3.3.3.cmml"><mo id="S3.p4.16.m4.3.3.2.3" stretchy="false" xref="S3.p4.16.m4.3.3.3.cmml">(</mo><mi id="S3.p4.16.m4.1.1" xref="S3.p4.16.m4.1.1.cmml">n</mi><mo id="S3.p4.16.m4.3.3.2.4" xref="S3.p4.16.m4.3.3.3.cmml">,</mo><msub id="S3.p4.16.m4.2.2.1.1" xref="S3.p4.16.m4.2.2.1.1.cmml"><mi id="S3.p4.16.m4.2.2.1.1.2" xref="S3.p4.16.m4.2.2.1.1.2.cmml">T</mi><mn id="S3.p4.16.m4.2.2.1.1.3" xref="S3.p4.16.m4.2.2.1.1.3.cmml">0</mn></msub><mo id="S3.p4.16.m4.3.3.2.5" xref="S3.p4.16.m4.3.3.3.cmml">,</mo><msubsup id="S3.p4.16.m4.3.3.2.2" xref="S3.p4.16.m4.3.3.2.2.cmml"><mi id="S3.p4.16.m4.3.3.2.2.2.2" xref="S3.p4.16.m4.3.3.2.2.2.2.cmml">σ</mi><mn id="S3.p4.16.m4.3.3.2.2.2.3" xref="S3.p4.16.m4.3.3.2.2.2.3.cmml">0</mn><mn id="S3.p4.16.m4.3.3.2.2.3" xref="S3.p4.16.m4.3.3.2.2.3.cmml">2</mn></msubsup><mo id="S3.p4.16.m4.3.3.2.6" stretchy="false" xref="S3.p4.16.m4.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.16.m4.3b"><vector id="S3.p4.16.m4.3.3.3.cmml" xref="S3.p4.16.m4.3.3.2"><ci id="S3.p4.16.m4.1.1.cmml" xref="S3.p4.16.m4.1.1">𝑛</ci><apply id="S3.p4.16.m4.2.2.1.1.cmml" xref="S3.p4.16.m4.2.2.1.1"><csymbol cd="ambiguous" id="S3.p4.16.m4.2.2.1.1.1.cmml" xref="S3.p4.16.m4.2.2.1.1">subscript</csymbol><ci id="S3.p4.16.m4.2.2.1.1.2.cmml" xref="S3.p4.16.m4.2.2.1.1.2">𝑇</ci><cn id="S3.p4.16.m4.2.2.1.1.3.cmml" type="integer" xref="S3.p4.16.m4.2.2.1.1.3">0</cn></apply><apply id="S3.p4.16.m4.3.3.2.2.cmml" xref="S3.p4.16.m4.3.3.2.2"><csymbol cd="ambiguous" id="S3.p4.16.m4.3.3.2.2.1.cmml" xref="S3.p4.16.m4.3.3.2.2">superscript</csymbol><apply id="S3.p4.16.m4.3.3.2.2.2.cmml" xref="S3.p4.16.m4.3.3.2.2"><csymbol cd="ambiguous" id="S3.p4.16.m4.3.3.2.2.2.1.cmml" xref="S3.p4.16.m4.3.3.2.2">subscript</csymbol><ci id="S3.p4.16.m4.3.3.2.2.2.2.cmml" xref="S3.p4.16.m4.3.3.2.2.2.2">𝜎</ci><cn id="S3.p4.16.m4.3.3.2.2.2.3.cmml" type="integer" xref="S3.p4.16.m4.3.3.2.2.2.3">0</cn></apply><cn id="S3.p4.16.m4.3.3.2.2.3.cmml" type="integer" xref="S3.p4.16.m4.3.3.2.2.3">2</cn></apply></vector></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.16.m4.3c">(n,T_{0},\sigma_{0}^{2})</annotation><annotation encoding="application/x-llamapun" id="S3.p4.16.m4.3d">( italic_n , italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT )</annotation></semantics></math>. We don’t require <math alttext="\sigma_{0}^{2}=\sigma^{2}" class="ltx_Math" display="inline" id="S3.p4.17.m5.1"><semantics id="S3.p4.17.m5.1a"><mrow id="S3.p4.17.m5.1.1" xref="S3.p4.17.m5.1.1.cmml"><msubsup id="S3.p4.17.m5.1.1.2" xref="S3.p4.17.m5.1.1.2.cmml"><mi id="S3.p4.17.m5.1.1.2.2.2" xref="S3.p4.17.m5.1.1.2.2.2.cmml">σ</mi><mn id="S3.p4.17.m5.1.1.2.2.3" xref="S3.p4.17.m5.1.1.2.2.3.cmml">0</mn><mn id="S3.p4.17.m5.1.1.2.3" xref="S3.p4.17.m5.1.1.2.3.cmml">2</mn></msubsup><mo id="S3.p4.17.m5.1.1.1" xref="S3.p4.17.m5.1.1.1.cmml">=</mo><msup id="S3.p4.17.m5.1.1.3" xref="S3.p4.17.m5.1.1.3.cmml"><mi id="S3.p4.17.m5.1.1.3.2" xref="S3.p4.17.m5.1.1.3.2.cmml">σ</mi><mn id="S3.p4.17.m5.1.1.3.3" xref="S3.p4.17.m5.1.1.3.3.cmml">2</mn></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p4.17.m5.1b"><apply id="S3.p4.17.m5.1.1.cmml" xref="S3.p4.17.m5.1.1"><eq id="S3.p4.17.m5.1.1.1.cmml" xref="S3.p4.17.m5.1.1.1"></eq><apply id="S3.p4.17.m5.1.1.2.cmml" xref="S3.p4.17.m5.1.1.2"><csymbol cd="ambiguous" id="S3.p4.17.m5.1.1.2.1.cmml" xref="S3.p4.17.m5.1.1.2">superscript</csymbol><apply id="S3.p4.17.m5.1.1.2.2.cmml" xref="S3.p4.17.m5.1.1.2"><csymbol cd="ambiguous" id="S3.p4.17.m5.1.1.2.2.1.cmml" xref="S3.p4.17.m5.1.1.2">subscript</csymbol><ci id="S3.p4.17.m5.1.1.2.2.2.cmml" xref="S3.p4.17.m5.1.1.2.2.2">𝜎</ci><cn id="S3.p4.17.m5.1.1.2.2.3.cmml" type="integer" xref="S3.p4.17.m5.1.1.2.2.3">0</cn></apply><cn id="S3.p4.17.m5.1.1.2.3.cmml" type="integer" xref="S3.p4.17.m5.1.1.2.3">2</cn></apply><apply id="S3.p4.17.m5.1.1.3.cmml" xref="S3.p4.17.m5.1.1.3"><csymbol cd="ambiguous" id="S3.p4.17.m5.1.1.3.1.cmml" xref="S3.p4.17.m5.1.1.3">superscript</csymbol><ci id="S3.p4.17.m5.1.1.3.2.cmml" xref="S3.p4.17.m5.1.1.3.2">𝜎</ci><cn id="S3.p4.17.m5.1.1.3.3.cmml" type="integer" xref="S3.p4.17.m5.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p4.17.m5.1c">\sigma_{0}^{2}=\sigma^{2}</annotation><annotation encoding="application/x-llamapun" id="S3.p4.17.m5.1d">italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math>. Note that the distribution of the covariates stays the same all through the above process; only the conditional distribution of the labels is changed.</p> </div> <div class="ltx_theorem ltx_theorem_remark" id="S3.Thmtheorem1"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_italic" id="S3.Thmtheorem1.1.1.1">Remark 3.1</span></span><span class="ltx_text ltx_font_italic" id="S3.Thmtheorem1.2.2">.</span> </h6> <div class="ltx_para" id="S3.Thmtheorem1.p1"> <p class="ltx_p" id="S3.Thmtheorem1.p1.1">Without loss of generality, we could consider different values of <math alttext="(T_{0},\sigma_{0}^{2})" class="ltx_Math" display="inline" id="S3.Thmtheorem1.p1.1.m1.2"><semantics id="S3.Thmtheorem1.p1.1.m1.2a"><mrow id="S3.Thmtheorem1.p1.1.m1.2.2.2" xref="S3.Thmtheorem1.p1.1.m1.2.2.3.cmml"><mo id="S3.Thmtheorem1.p1.1.m1.2.2.2.3" stretchy="false" xref="S3.Thmtheorem1.p1.1.m1.2.2.3.cmml">(</mo><msub id="S3.Thmtheorem1.p1.1.m1.1.1.1.1" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1.cmml"><mi id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.2" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1.2.cmml">T</mi><mn id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.3" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1.3.cmml">0</mn></msub><mo id="S3.Thmtheorem1.p1.1.m1.2.2.2.4" xref="S3.Thmtheorem1.p1.1.m1.2.2.3.cmml">,</mo><msubsup id="S3.Thmtheorem1.p1.1.m1.2.2.2.2" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.cmml"><mi id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.2" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.2.cmml">σ</mi><mn id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.3" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.3.cmml">0</mn><mn id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.3" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.3.cmml">2</mn></msubsup><mo id="S3.Thmtheorem1.p1.1.m1.2.2.2.5" stretchy="false" xref="S3.Thmtheorem1.p1.1.m1.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmtheorem1.p1.1.m1.2b"><interval closure="open" id="S3.Thmtheorem1.p1.1.m1.2.2.3.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2"><apply id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.cmml" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.1.cmml" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1">subscript</csymbol><ci id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.2.cmml" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1.2">𝑇</ci><cn id="S3.Thmtheorem1.p1.1.m1.1.1.1.1.3.cmml" type="integer" xref="S3.Thmtheorem1.p1.1.m1.1.1.1.1.3">0</cn></apply><apply id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.1.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2">superscript</csymbol><apply id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2"><csymbol cd="ambiguous" id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.1.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2">subscript</csymbol><ci id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.2.cmml" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.2">𝜎</ci><cn id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.3.cmml" type="integer" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.2.3">0</cn></apply><cn id="S3.Thmtheorem1.p1.1.m1.2.2.2.2.3.cmml" type="integer" xref="S3.Thmtheorem1.p1.1.m1.2.2.2.2.3">2</cn></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmtheorem1.p1.1.m1.2c">(T_{0},\sigma_{0}^{2})</annotation><annotation encoding="application/x-llamapun" id="S3.Thmtheorem1.p1.1.m1.2d">( italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT )</annotation></semantics></math> for each generation, but we use the same value everywhere for simplicity of presentation. </p> </div> </div> <div class="ltx_para" id="S3.p5"> <p class="ltx_p" id="S3.p5.3">The mental picture is as follows: each generation <math alttext="\widehat{w}_{n}" class="ltx_Math" display="inline" id="S3.p5.1.m1.1"><semantics id="S3.p5.1.m1.1a"><msub id="S3.p5.1.m1.1.1" xref="S3.p5.1.m1.1.1.cmml"><mover accent="true" id="S3.p5.1.m1.1.1.2" xref="S3.p5.1.m1.1.1.2.cmml"><mi id="S3.p5.1.m1.1.1.2.2" xref="S3.p5.1.m1.1.1.2.2.cmml">w</mi><mo id="S3.p5.1.m1.1.1.2.1" xref="S3.p5.1.m1.1.1.2.1.cmml">^</mo></mover><mi id="S3.p5.1.m1.1.1.3" xref="S3.p5.1.m1.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p5.1.m1.1b"><apply id="S3.p5.1.m1.1.1.cmml" xref="S3.p5.1.m1.1.1"><csymbol cd="ambiguous" id="S3.p5.1.m1.1.1.1.cmml" xref="S3.p5.1.m1.1.1">subscript</csymbol><apply id="S3.p5.1.m1.1.1.2.cmml" xref="S3.p5.1.m1.1.1.2"><ci id="S3.p5.1.m1.1.1.2.1.cmml" xref="S3.p5.1.m1.1.1.2.1">^</ci><ci id="S3.p5.1.m1.1.1.2.2.cmml" xref="S3.p5.1.m1.1.1.2.2">𝑤</ci></apply><ci id="S3.p5.1.m1.1.1.3.cmml" xref="S3.p5.1.m1.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p5.1.m1.1c">\widehat{w}_{n}</annotation><annotation encoding="application/x-llamapun" id="S3.p5.1.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT</annotation></semantics></math> can be seen as a proxy for a specific version of ChatGPT, for example. The sample size <math alttext="T_{0}" class="ltx_Math" display="inline" id="S3.p5.2.m2.1"><semantics id="S3.p5.2.m2.1a"><msub id="S3.p5.2.m2.1.1" xref="S3.p5.2.m2.1.1.cmml"><mi id="S3.p5.2.m2.1.1.2" xref="S3.p5.2.m2.1.1.2.cmml">T</mi><mn id="S3.p5.2.m2.1.1.3" xref="S3.p5.2.m2.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S3.p5.2.m2.1b"><apply id="S3.p5.2.m2.1.1.cmml" xref="S3.p5.2.m2.1.1"><csymbol cd="ambiguous" id="S3.p5.2.m2.1.1.1.cmml" xref="S3.p5.2.m2.1.1">subscript</csymbol><ci id="S3.p5.2.m2.1.1.2.cmml" xref="S3.p5.2.m2.1.1.2">𝑇</ci><cn id="S3.p5.2.m2.1.1.3.cmml" type="integer" xref="S3.p5.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p5.2.m2.1c">T_{0}</annotation><annotation encoding="application/x-llamapun" id="S3.p5.2.m2.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> used to create the fake labelling functions <math alttext="\widehat{w}_{n}" class="ltx_Math" display="inline" id="S3.p5.3.m3.1"><semantics id="S3.p5.3.m3.1a"><msub id="S3.p5.3.m3.1.1" xref="S3.p5.3.m3.1.1.cmml"><mover accent="true" id="S3.p5.3.m3.1.1.2" xref="S3.p5.3.m3.1.1.2.cmml"><mi id="S3.p5.3.m3.1.1.2.2" xref="S3.p5.3.m3.1.1.2.2.cmml">w</mi><mo id="S3.p5.3.m3.1.1.2.1" xref="S3.p5.3.m3.1.1.2.1.cmml">^</mo></mover><mi id="S3.p5.3.m3.1.1.3" xref="S3.p5.3.m3.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p5.3.m3.1b"><apply id="S3.p5.3.m3.1.1.cmml" xref="S3.p5.3.m3.1.1"><csymbol cd="ambiguous" id="S3.p5.3.m3.1.1.1.cmml" xref="S3.p5.3.m3.1.1">subscript</csymbol><apply id="S3.p5.3.m3.1.1.2.cmml" xref="S3.p5.3.m3.1.1.2"><ci id="S3.p5.3.m3.1.1.2.1.cmml" xref="S3.p5.3.m3.1.1.2.1">^</ci><ci id="S3.p5.3.m3.1.1.2.2.cmml" xref="S3.p5.3.m3.1.1.2.2">𝑤</ci></apply><ci id="S3.p5.3.m3.1.1.3.cmml" xref="S3.p5.3.m3.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p5.3.m3.1c">\widehat{w}_{n}</annotation><annotation encoding="application/x-llamapun" id="S3.p5.3.m3.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT</annotation></semantics></math> is a proxy for the strength of the fake data-generator thus constructed. Other works which have considered model collapse under such a self-looping training process include <cite class="ltx_cite ltx_citemacro_citep">(Shumailov et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>; Alemohammad et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib2" title="">2023</a>; Bertrand et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib7" title="">2023</a>)</cite>.</p> </div> <div class="ltx_para" id="S3.p6"> <p class="ltx_p" id="S3.p6.1">Finally, note that this setup is not self-distillation (as defined in <cite class="ltx_cite ltx_citemacro_citet">Mobahi et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib32" title="">2020</a>)</cite> for example), as the downstream model has no control whatsoever on the generation of the synthetic / fake labels. </p> </div> <div class="ltx_para" id="S3.p7"> <p class="ltx_p" id="S3.p7.10"><span class="ltx_text ltx_font_bold" id="S3.p7.10.5">The Downstream Model: Ridge Regression.</span> For a regularization parameter <math alttext="\lambda\geq 0" class="ltx_Math" display="inline" id="S3.p7.1.m1.1"><semantics id="S3.p7.1.m1.1a"><mrow id="S3.p7.1.m1.1.1" xref="S3.p7.1.m1.1.1.cmml"><mi id="S3.p7.1.m1.1.1.2" xref="S3.p7.1.m1.1.1.2.cmml">λ</mi><mo id="S3.p7.1.m1.1.1.1" xref="S3.p7.1.m1.1.1.1.cmml">≥</mo><mn id="S3.p7.1.m1.1.1.3" xref="S3.p7.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.1.m1.1b"><apply id="S3.p7.1.m1.1.1.cmml" xref="S3.p7.1.m1.1.1"><geq id="S3.p7.1.m1.1.1.1.cmml" xref="S3.p7.1.m1.1.1.1"></geq><ci id="S3.p7.1.m1.1.1.2.cmml" xref="S3.p7.1.m1.1.1.2">𝜆</ci><cn id="S3.p7.1.m1.1.1.3.cmml" type="integer" xref="S3.p7.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.1.m1.1c">\lambda\geq 0</annotation><annotation encoding="application/x-llamapun" id="S3.p7.1.m1.1d">italic_λ ≥ 0</annotation></semantics></math>, let <math alttext="\widehat{w}_{n}^{pred}=\widehat{w}^{pred}_{n,T_{0},\sigma_{0}^{2},T,\lambda}% \in\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S3.p7.2.m2.5"><semantics id="S3.p7.2.m2.5a"><mrow id="S3.p7.2.m2.5.6" xref="S3.p7.2.m2.5.6.cmml"><msubsup id="S3.p7.2.m2.5.6.2" xref="S3.p7.2.m2.5.6.2.cmml"><mover accent="true" id="S3.p7.2.m2.5.6.2.2.2" xref="S3.p7.2.m2.5.6.2.2.2.cmml"><mi id="S3.p7.2.m2.5.6.2.2.2.2" xref="S3.p7.2.m2.5.6.2.2.2.2.cmml">w</mi><mo id="S3.p7.2.m2.5.6.2.2.2.1" xref="S3.p7.2.m2.5.6.2.2.2.1.cmml">^</mo></mover><mi id="S3.p7.2.m2.5.6.2.2.3" xref="S3.p7.2.m2.5.6.2.2.3.cmml">n</mi><mrow id="S3.p7.2.m2.5.6.2.3" xref="S3.p7.2.m2.5.6.2.3.cmml"><mi id="S3.p7.2.m2.5.6.2.3.2" xref="S3.p7.2.m2.5.6.2.3.2.cmml">p</mi><mo id="S3.p7.2.m2.5.6.2.3.1" xref="S3.p7.2.m2.5.6.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.2.3.3" xref="S3.p7.2.m2.5.6.2.3.3.cmml">r</mi><mo id="S3.p7.2.m2.5.6.2.3.1a" xref="S3.p7.2.m2.5.6.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.2.3.4" xref="S3.p7.2.m2.5.6.2.3.4.cmml">e</mi><mo id="S3.p7.2.m2.5.6.2.3.1b" xref="S3.p7.2.m2.5.6.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.2.3.5" xref="S3.p7.2.m2.5.6.2.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.p7.2.m2.5.6.3" xref="S3.p7.2.m2.5.6.3.cmml">=</mo><msubsup id="S3.p7.2.m2.5.6.4" xref="S3.p7.2.m2.5.6.4.cmml"><mover accent="true" id="S3.p7.2.m2.5.6.4.2.2" xref="S3.p7.2.m2.5.6.4.2.2.cmml"><mi id="S3.p7.2.m2.5.6.4.2.2.2" xref="S3.p7.2.m2.5.6.4.2.2.2.cmml">w</mi><mo id="S3.p7.2.m2.5.6.4.2.2.1" xref="S3.p7.2.m2.5.6.4.2.2.1.cmml">^</mo></mover><mrow id="S3.p7.2.m2.5.5.5.5" xref="S3.p7.2.m2.5.5.5.6.cmml"><mi id="S3.p7.2.m2.1.1.1.1" xref="S3.p7.2.m2.1.1.1.1.cmml">n</mi><mo id="S3.p7.2.m2.5.5.5.5.3" xref="S3.p7.2.m2.5.5.5.6.cmml">,</mo><msub id="S3.p7.2.m2.4.4.4.4.1" xref="S3.p7.2.m2.4.4.4.4.1.cmml"><mi id="S3.p7.2.m2.4.4.4.4.1.2" xref="S3.p7.2.m2.4.4.4.4.1.2.cmml">T</mi><mn id="S3.p7.2.m2.4.4.4.4.1.3" xref="S3.p7.2.m2.4.4.4.4.1.3.cmml">0</mn></msub><mo id="S3.p7.2.m2.5.5.5.5.4" xref="S3.p7.2.m2.5.5.5.6.cmml">,</mo><msubsup id="S3.p7.2.m2.5.5.5.5.2" xref="S3.p7.2.m2.5.5.5.5.2.cmml"><mi id="S3.p7.2.m2.5.5.5.5.2.2.2" xref="S3.p7.2.m2.5.5.5.5.2.2.2.cmml">σ</mi><mn id="S3.p7.2.m2.5.5.5.5.2.2.3" xref="S3.p7.2.m2.5.5.5.5.2.2.3.cmml">0</mn><mn id="S3.p7.2.m2.5.5.5.5.2.3" xref="S3.p7.2.m2.5.5.5.5.2.3.cmml">2</mn></msubsup><mo id="S3.p7.2.m2.5.5.5.5.5" xref="S3.p7.2.m2.5.5.5.6.cmml">,</mo><mi id="S3.p7.2.m2.2.2.2.2" xref="S3.p7.2.m2.2.2.2.2.cmml">T</mi><mo id="S3.p7.2.m2.5.5.5.5.6" xref="S3.p7.2.m2.5.5.5.6.cmml">,</mo><mi id="S3.p7.2.m2.3.3.3.3" xref="S3.p7.2.m2.3.3.3.3.cmml">λ</mi></mrow><mrow id="S3.p7.2.m2.5.6.4.2.3" xref="S3.p7.2.m2.5.6.4.2.3.cmml"><mi id="S3.p7.2.m2.5.6.4.2.3.2" xref="S3.p7.2.m2.5.6.4.2.3.2.cmml">p</mi><mo id="S3.p7.2.m2.5.6.4.2.3.1" xref="S3.p7.2.m2.5.6.4.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.4.2.3.3" xref="S3.p7.2.m2.5.6.4.2.3.3.cmml">r</mi><mo id="S3.p7.2.m2.5.6.4.2.3.1a" xref="S3.p7.2.m2.5.6.4.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.4.2.3.4" xref="S3.p7.2.m2.5.6.4.2.3.4.cmml">e</mi><mo id="S3.p7.2.m2.5.6.4.2.3.1b" xref="S3.p7.2.m2.5.6.4.2.3.1.cmml">⁢</mo><mi id="S3.p7.2.m2.5.6.4.2.3.5" xref="S3.p7.2.m2.5.6.4.2.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.p7.2.m2.5.6.5" xref="S3.p7.2.m2.5.6.5.cmml">∈</mo><msup id="S3.p7.2.m2.5.6.6" xref="S3.p7.2.m2.5.6.6.cmml"><mi id="S3.p7.2.m2.5.6.6.2" xref="S3.p7.2.m2.5.6.6.2.cmml">ℝ</mi><mi id="S3.p7.2.m2.5.6.6.3" xref="S3.p7.2.m2.5.6.6.3.cmml">d</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.2.m2.5b"><apply id="S3.p7.2.m2.5.6.cmml" xref="S3.p7.2.m2.5.6"><and id="S3.p7.2.m2.5.6a.cmml" xref="S3.p7.2.m2.5.6"></and><apply id="S3.p7.2.m2.5.6b.cmml" xref="S3.p7.2.m2.5.6"><eq id="S3.p7.2.m2.5.6.3.cmml" xref="S3.p7.2.m2.5.6.3"></eq><apply id="S3.p7.2.m2.5.6.2.cmml" xref="S3.p7.2.m2.5.6.2"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.6.2.1.cmml" xref="S3.p7.2.m2.5.6.2">superscript</csymbol><apply id="S3.p7.2.m2.5.6.2.2.cmml" xref="S3.p7.2.m2.5.6.2"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.6.2.2.1.cmml" xref="S3.p7.2.m2.5.6.2">subscript</csymbol><apply id="S3.p7.2.m2.5.6.2.2.2.cmml" xref="S3.p7.2.m2.5.6.2.2.2"><ci id="S3.p7.2.m2.5.6.2.2.2.1.cmml" xref="S3.p7.2.m2.5.6.2.2.2.1">^</ci><ci id="S3.p7.2.m2.5.6.2.2.2.2.cmml" xref="S3.p7.2.m2.5.6.2.2.2.2">𝑤</ci></apply><ci id="S3.p7.2.m2.5.6.2.2.3.cmml" xref="S3.p7.2.m2.5.6.2.2.3">𝑛</ci></apply><apply id="S3.p7.2.m2.5.6.2.3.cmml" xref="S3.p7.2.m2.5.6.2.3"><times id="S3.p7.2.m2.5.6.2.3.1.cmml" xref="S3.p7.2.m2.5.6.2.3.1"></times><ci id="S3.p7.2.m2.5.6.2.3.2.cmml" xref="S3.p7.2.m2.5.6.2.3.2">𝑝</ci><ci id="S3.p7.2.m2.5.6.2.3.3.cmml" xref="S3.p7.2.m2.5.6.2.3.3">𝑟</ci><ci id="S3.p7.2.m2.5.6.2.3.4.cmml" xref="S3.p7.2.m2.5.6.2.3.4">𝑒</ci><ci id="S3.p7.2.m2.5.6.2.3.5.cmml" xref="S3.p7.2.m2.5.6.2.3.5">𝑑</ci></apply></apply><apply id="S3.p7.2.m2.5.6.4.cmml" xref="S3.p7.2.m2.5.6.4"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.6.4.1.cmml" xref="S3.p7.2.m2.5.6.4">subscript</csymbol><apply id="S3.p7.2.m2.5.6.4.2.cmml" xref="S3.p7.2.m2.5.6.4"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.6.4.2.1.cmml" xref="S3.p7.2.m2.5.6.4">superscript</csymbol><apply id="S3.p7.2.m2.5.6.4.2.2.cmml" xref="S3.p7.2.m2.5.6.4.2.2"><ci id="S3.p7.2.m2.5.6.4.2.2.1.cmml" xref="S3.p7.2.m2.5.6.4.2.2.1">^</ci><ci id="S3.p7.2.m2.5.6.4.2.2.2.cmml" xref="S3.p7.2.m2.5.6.4.2.2.2">𝑤</ci></apply><apply id="S3.p7.2.m2.5.6.4.2.3.cmml" xref="S3.p7.2.m2.5.6.4.2.3"><times id="S3.p7.2.m2.5.6.4.2.3.1.cmml" xref="S3.p7.2.m2.5.6.4.2.3.1"></times><ci id="S3.p7.2.m2.5.6.4.2.3.2.cmml" xref="S3.p7.2.m2.5.6.4.2.3.2">𝑝</ci><ci id="S3.p7.2.m2.5.6.4.2.3.3.cmml" xref="S3.p7.2.m2.5.6.4.2.3.3">𝑟</ci><ci id="S3.p7.2.m2.5.6.4.2.3.4.cmml" xref="S3.p7.2.m2.5.6.4.2.3.4">𝑒</ci><ci id="S3.p7.2.m2.5.6.4.2.3.5.cmml" xref="S3.p7.2.m2.5.6.4.2.3.5">𝑑</ci></apply></apply><list id="S3.p7.2.m2.5.5.5.6.cmml" xref="S3.p7.2.m2.5.5.5.5"><ci id="S3.p7.2.m2.1.1.1.1.cmml" xref="S3.p7.2.m2.1.1.1.1">𝑛</ci><apply id="S3.p7.2.m2.4.4.4.4.1.cmml" xref="S3.p7.2.m2.4.4.4.4.1"><csymbol cd="ambiguous" id="S3.p7.2.m2.4.4.4.4.1.1.cmml" xref="S3.p7.2.m2.4.4.4.4.1">subscript</csymbol><ci id="S3.p7.2.m2.4.4.4.4.1.2.cmml" xref="S3.p7.2.m2.4.4.4.4.1.2">𝑇</ci><cn id="S3.p7.2.m2.4.4.4.4.1.3.cmml" type="integer" xref="S3.p7.2.m2.4.4.4.4.1.3">0</cn></apply><apply id="S3.p7.2.m2.5.5.5.5.2.cmml" xref="S3.p7.2.m2.5.5.5.5.2"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.5.5.5.2.1.cmml" xref="S3.p7.2.m2.5.5.5.5.2">superscript</csymbol><apply id="S3.p7.2.m2.5.5.5.5.2.2.cmml" xref="S3.p7.2.m2.5.5.5.5.2"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.5.5.5.2.2.1.cmml" xref="S3.p7.2.m2.5.5.5.5.2">subscript</csymbol><ci id="S3.p7.2.m2.5.5.5.5.2.2.2.cmml" xref="S3.p7.2.m2.5.5.5.5.2.2.2">𝜎</ci><cn id="S3.p7.2.m2.5.5.5.5.2.2.3.cmml" type="integer" xref="S3.p7.2.m2.5.5.5.5.2.2.3">0</cn></apply><cn id="S3.p7.2.m2.5.5.5.5.2.3.cmml" type="integer" xref="S3.p7.2.m2.5.5.5.5.2.3">2</cn></apply><ci id="S3.p7.2.m2.2.2.2.2.cmml" xref="S3.p7.2.m2.2.2.2.2">𝑇</ci><ci id="S3.p7.2.m2.3.3.3.3.cmml" xref="S3.p7.2.m2.3.3.3.3">𝜆</ci></list></apply></apply><apply id="S3.p7.2.m2.5.6c.cmml" xref="S3.p7.2.m2.5.6"><in id="S3.p7.2.m2.5.6.5.cmml" xref="S3.p7.2.m2.5.6.5"></in><share href="#S3.p7.2.m2.5.6.4.cmml" id="S3.p7.2.m2.5.6d.cmml" xref="S3.p7.2.m2.5.6"></share><apply id="S3.p7.2.m2.5.6.6.cmml" xref="S3.p7.2.m2.5.6.6"><csymbol cd="ambiguous" id="S3.p7.2.m2.5.6.6.1.cmml" xref="S3.p7.2.m2.5.6.6">superscript</csymbol><ci id="S3.p7.2.m2.5.6.6.2.cmml" xref="S3.p7.2.m2.5.6.6.2">ℝ</ci><ci id="S3.p7.2.m2.5.6.6.3.cmml" xref="S3.p7.2.m2.5.6.6.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.2.m2.5c">\widehat{w}_{n}^{pred}=\widehat{w}^{pred}_{n,T_{0},\sigma_{0}^{2},T,\lambda}% \in\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.2.m2.5d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT = over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT start_POSTSUBSCRIPT italic_n , italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT , italic_T , italic_λ end_POSTSUBSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> be the ridge predictor constructed from and iid sample <math alttext="\{(x_{1},y_{1}),\ldots,(x_{T},y_{T})\}" class="ltx_Math" display="inline" id="S3.p7.3.m3.3"><semantics id="S3.p7.3.m3.3a"><mrow id="S3.p7.3.m3.3.3.2" xref="S3.p7.3.m3.3.3.3.cmml"><mo id="S3.p7.3.m3.3.3.2.3" stretchy="false" xref="S3.p7.3.m3.3.3.3.cmml">{</mo><mrow id="S3.p7.3.m3.2.2.1.1.2" xref="S3.p7.3.m3.2.2.1.1.3.cmml"><mo id="S3.p7.3.m3.2.2.1.1.2.3" stretchy="false" xref="S3.p7.3.m3.2.2.1.1.3.cmml">(</mo><msub id="S3.p7.3.m3.2.2.1.1.1.1" xref="S3.p7.3.m3.2.2.1.1.1.1.cmml"><mi id="S3.p7.3.m3.2.2.1.1.1.1.2" xref="S3.p7.3.m3.2.2.1.1.1.1.2.cmml">x</mi><mn id="S3.p7.3.m3.2.2.1.1.1.1.3" xref="S3.p7.3.m3.2.2.1.1.1.1.3.cmml">1</mn></msub><mo id="S3.p7.3.m3.2.2.1.1.2.4" xref="S3.p7.3.m3.2.2.1.1.3.cmml">,</mo><msub id="S3.p7.3.m3.2.2.1.1.2.2" xref="S3.p7.3.m3.2.2.1.1.2.2.cmml"><mi id="S3.p7.3.m3.2.2.1.1.2.2.2" xref="S3.p7.3.m3.2.2.1.1.2.2.2.cmml">y</mi><mn id="S3.p7.3.m3.2.2.1.1.2.2.3" xref="S3.p7.3.m3.2.2.1.1.2.2.3.cmml">1</mn></msub><mo id="S3.p7.3.m3.2.2.1.1.2.5" stretchy="false" xref="S3.p7.3.m3.2.2.1.1.3.cmml">)</mo></mrow><mo id="S3.p7.3.m3.3.3.2.4" xref="S3.p7.3.m3.3.3.3.cmml">,</mo><mi id="S3.p7.3.m3.1.1" mathvariant="normal" xref="S3.p7.3.m3.1.1.cmml">…</mi><mo id="S3.p7.3.m3.3.3.2.5" xref="S3.p7.3.m3.3.3.3.cmml">,</mo><mrow id="S3.p7.3.m3.3.3.2.2.2" xref="S3.p7.3.m3.3.3.2.2.3.cmml"><mo id="S3.p7.3.m3.3.3.2.2.2.3" stretchy="false" xref="S3.p7.3.m3.3.3.2.2.3.cmml">(</mo><msub id="S3.p7.3.m3.3.3.2.2.1.1" xref="S3.p7.3.m3.3.3.2.2.1.1.cmml"><mi id="S3.p7.3.m3.3.3.2.2.1.1.2" xref="S3.p7.3.m3.3.3.2.2.1.1.2.cmml">x</mi><mi id="S3.p7.3.m3.3.3.2.2.1.1.3" xref="S3.p7.3.m3.3.3.2.2.1.1.3.cmml">T</mi></msub><mo id="S3.p7.3.m3.3.3.2.2.2.4" xref="S3.p7.3.m3.3.3.2.2.3.cmml">,</mo><msub id="S3.p7.3.m3.3.3.2.2.2.2" xref="S3.p7.3.m3.3.3.2.2.2.2.cmml"><mi id="S3.p7.3.m3.3.3.2.2.2.2.2" xref="S3.p7.3.m3.3.3.2.2.2.2.2.cmml">y</mi><mi id="S3.p7.3.m3.3.3.2.2.2.2.3" xref="S3.p7.3.m3.3.3.2.2.2.2.3.cmml">T</mi></msub><mo id="S3.p7.3.m3.3.3.2.2.2.5" stretchy="false" xref="S3.p7.3.m3.3.3.2.2.3.cmml">)</mo></mrow><mo id="S3.p7.3.m3.3.3.2.6" stretchy="false" xref="S3.p7.3.m3.3.3.3.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.3.m3.3b"><set id="S3.p7.3.m3.3.3.3.cmml" xref="S3.p7.3.m3.3.3.2"><interval closure="open" id="S3.p7.3.m3.2.2.1.1.3.cmml" xref="S3.p7.3.m3.2.2.1.1.2"><apply id="S3.p7.3.m3.2.2.1.1.1.1.cmml" xref="S3.p7.3.m3.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.p7.3.m3.2.2.1.1.1.1.1.cmml" xref="S3.p7.3.m3.2.2.1.1.1.1">subscript</csymbol><ci id="S3.p7.3.m3.2.2.1.1.1.1.2.cmml" xref="S3.p7.3.m3.2.2.1.1.1.1.2">𝑥</ci><cn id="S3.p7.3.m3.2.2.1.1.1.1.3.cmml" type="integer" xref="S3.p7.3.m3.2.2.1.1.1.1.3">1</cn></apply><apply id="S3.p7.3.m3.2.2.1.1.2.2.cmml" xref="S3.p7.3.m3.2.2.1.1.2.2"><csymbol cd="ambiguous" id="S3.p7.3.m3.2.2.1.1.2.2.1.cmml" xref="S3.p7.3.m3.2.2.1.1.2.2">subscript</csymbol><ci id="S3.p7.3.m3.2.2.1.1.2.2.2.cmml" xref="S3.p7.3.m3.2.2.1.1.2.2.2">𝑦</ci><cn id="S3.p7.3.m3.2.2.1.1.2.2.3.cmml" type="integer" xref="S3.p7.3.m3.2.2.1.1.2.2.3">1</cn></apply></interval><ci id="S3.p7.3.m3.1.1.cmml" xref="S3.p7.3.m3.1.1">…</ci><interval closure="open" id="S3.p7.3.m3.3.3.2.2.3.cmml" xref="S3.p7.3.m3.3.3.2.2.2"><apply id="S3.p7.3.m3.3.3.2.2.1.1.cmml" xref="S3.p7.3.m3.3.3.2.2.1.1"><csymbol cd="ambiguous" id="S3.p7.3.m3.3.3.2.2.1.1.1.cmml" xref="S3.p7.3.m3.3.3.2.2.1.1">subscript</csymbol><ci id="S3.p7.3.m3.3.3.2.2.1.1.2.cmml" xref="S3.p7.3.m3.3.3.2.2.1.1.2">𝑥</ci><ci id="S3.p7.3.m3.3.3.2.2.1.1.3.cmml" xref="S3.p7.3.m3.3.3.2.2.1.1.3">𝑇</ci></apply><apply id="S3.p7.3.m3.3.3.2.2.2.2.cmml" xref="S3.p7.3.m3.3.3.2.2.2.2"><csymbol cd="ambiguous" id="S3.p7.3.m3.3.3.2.2.2.2.1.cmml" xref="S3.p7.3.m3.3.3.2.2.2.2">subscript</csymbol><ci id="S3.p7.3.m3.3.3.2.2.2.2.2.cmml" xref="S3.p7.3.m3.3.3.2.2.2.2.2">𝑦</ci><ci id="S3.p7.3.m3.3.3.2.2.2.2.3.cmml" xref="S3.p7.3.m3.3.3.2.2.2.2.3">𝑇</ci></apply></interval></set></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.3.m3.3c">\{(x_{1},y_{1}),\ldots,(x_{T},y_{T})\}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.3.m3.3d">{ ( italic_x start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , italic_y start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ) , … , ( italic_x start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT , italic_y start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT ) }</annotation></semantics></math> of size <math alttext="T" class="ltx_Math" display="inline" id="S3.p7.4.m4.1"><semantics id="S3.p7.4.m4.1a"><mi id="S3.p7.4.m4.1.1" xref="S3.p7.4.m4.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.p7.4.m4.1b"><ci id="S3.p7.4.m4.1.1.cmml" xref="S3.p7.4.m4.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.4.m4.1c">T</annotation><annotation encoding="application/x-llamapun" id="S3.p7.4.m4.1d">italic_T</annotation></semantics></math> from the <math alttext="n" class="ltx_Math" display="inline" id="S3.p7.5.m5.1"><semantics id="S3.p7.5.m5.1a"><mi id="S3.p7.5.m5.1.1" xref="S3.p7.5.m5.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S3.p7.5.m5.1b"><ci id="S3.p7.5.m5.1.1.cmml" xref="S3.p7.5.m5.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.5.m5.1c">n</annotation><annotation encoding="application/x-llamapun" id="S3.p7.5.m5.1d">italic_n</annotation></semantics></math>-fold fake data distribution <math alttext="P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}}" class="ltx_Math" display="inline" id="S3.p7.6.m6.3"><semantics id="S3.p7.6.m6.3a"><msub id="S3.p7.6.m6.3.4" xref="S3.p7.6.m6.3.4.cmml"><mi id="S3.p7.6.m6.3.4.2" xref="S3.p7.6.m6.3.4.2.cmml">P</mi><mrow id="S3.p7.6.m6.3.3.3.3" xref="S3.p7.6.m6.3.3.3.4.cmml"><mi id="S3.p7.6.m6.1.1.1.1" mathvariant="normal" xref="S3.p7.6.m6.1.1.1.1.cmml">Σ</mi><mo id="S3.p7.6.m6.3.3.3.3.3" xref="S3.p7.6.m6.3.3.3.4.cmml">,</mo><msub id="S3.p7.6.m6.2.2.2.2.1" xref="S3.p7.6.m6.2.2.2.2.1.cmml"><mover accent="true" id="S3.p7.6.m6.2.2.2.2.1.2" xref="S3.p7.6.m6.2.2.2.2.1.2.cmml"><mi id="S3.p7.6.m6.2.2.2.2.1.2.2" xref="S3.p7.6.m6.2.2.2.2.1.2.2.cmml">w</mi><mo id="S3.p7.6.m6.2.2.2.2.1.2.1" xref="S3.p7.6.m6.2.2.2.2.1.2.1.cmml">^</mo></mover><mi id="S3.p7.6.m6.2.2.2.2.1.3" xref="S3.p7.6.m6.2.2.2.2.1.3.cmml">n</mi></msub><mo id="S3.p7.6.m6.3.3.3.3.4" xref="S3.p7.6.m6.3.3.3.4.cmml">,</mo><msubsup id="S3.p7.6.m6.3.3.3.3.2" xref="S3.p7.6.m6.3.3.3.3.2.cmml"><mi id="S3.p7.6.m6.3.3.3.3.2.2.2" xref="S3.p7.6.m6.3.3.3.3.2.2.2.cmml">σ</mi><mn id="S3.p7.6.m6.3.3.3.3.2.2.3" xref="S3.p7.6.m6.3.3.3.3.2.2.3.cmml">0</mn><mn id="S3.p7.6.m6.3.3.3.3.2.3" xref="S3.p7.6.m6.3.3.3.3.2.3.cmml">2</mn></msubsup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p7.6.m6.3b"><apply id="S3.p7.6.m6.3.4.cmml" xref="S3.p7.6.m6.3.4"><csymbol cd="ambiguous" id="S3.p7.6.m6.3.4.1.cmml" xref="S3.p7.6.m6.3.4">subscript</csymbol><ci id="S3.p7.6.m6.3.4.2.cmml" xref="S3.p7.6.m6.3.4.2">𝑃</ci><list id="S3.p7.6.m6.3.3.3.4.cmml" xref="S3.p7.6.m6.3.3.3.3"><ci id="S3.p7.6.m6.1.1.1.1.cmml" xref="S3.p7.6.m6.1.1.1.1">Σ</ci><apply id="S3.p7.6.m6.2.2.2.2.1.cmml" xref="S3.p7.6.m6.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p7.6.m6.2.2.2.2.1.1.cmml" xref="S3.p7.6.m6.2.2.2.2.1">subscript</csymbol><apply id="S3.p7.6.m6.2.2.2.2.1.2.cmml" xref="S3.p7.6.m6.2.2.2.2.1.2"><ci id="S3.p7.6.m6.2.2.2.2.1.2.1.cmml" xref="S3.p7.6.m6.2.2.2.2.1.2.1">^</ci><ci id="S3.p7.6.m6.2.2.2.2.1.2.2.cmml" xref="S3.p7.6.m6.2.2.2.2.1.2.2">𝑤</ci></apply><ci id="S3.p7.6.m6.2.2.2.2.1.3.cmml" xref="S3.p7.6.m6.2.2.2.2.1.3">𝑛</ci></apply><apply id="S3.p7.6.m6.3.3.3.3.2.cmml" xref="S3.p7.6.m6.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p7.6.m6.3.3.3.3.2.1.cmml" xref="S3.p7.6.m6.3.3.3.3.2">superscript</csymbol><apply id="S3.p7.6.m6.3.3.3.3.2.2.cmml" xref="S3.p7.6.m6.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p7.6.m6.3.3.3.3.2.2.1.cmml" xref="S3.p7.6.m6.3.3.3.3.2">subscript</csymbol><ci id="S3.p7.6.m6.3.3.3.3.2.2.2.cmml" xref="S3.p7.6.m6.3.3.3.3.2.2.2">𝜎</ci><cn id="S3.p7.6.m6.3.3.3.3.2.2.3.cmml" type="integer" xref="S3.p7.6.m6.3.3.3.3.2.2.3">0</cn></apply><cn id="S3.p7.6.m6.3.3.3.3.2.3.cmml" type="integer" xref="S3.p7.6.m6.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.6.m6.3c">P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.6.m6.3d">italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E4" title="4 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4</span></a>), i.e <span class="ltx_inline-block ltx_framed_rectangle" id="S3.p7.10.4" style="border-color: black;"> <span class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx5"> <span id="S3.E5"><span class="ltx_equation ltx_eqn_row ltx_align_baseline"> <span class="ltx_eqn_cell ltx_eqn_center_padleft"></span> <span class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\widehat{w}_{n}^{pred}=\begin{cases}X^{\dagger}Y,&\mbox{ if }% \lambda=0,\\ (\widehat{\Sigma}+\lambda I_{d})^{-1}X^{\top}Y/T,&\mbox{ otherwise,}\end{cases}" class="ltx_Math" display="inline" id="S3.E5.m1.4"><semantics id="S3.E5.m1.4a"><mrow id="S3.E5.m1.4.5" xref="S3.E5.m1.4.5.cmml"><msubsup id="S3.E5.m1.4.5.2" xref="S3.E5.m1.4.5.2.cmml"><mover accent="true" id="S3.E5.m1.4.5.2.2.2" xref="S3.E5.m1.4.5.2.2.2.cmml"><mi id="S3.E5.m1.4.5.2.2.2.2" xref="S3.E5.m1.4.5.2.2.2.2.cmml">w</mi><mo id="S3.E5.m1.4.5.2.2.2.1" xref="S3.E5.m1.4.5.2.2.2.1.cmml">^</mo></mover><mi id="S3.E5.m1.4.5.2.2.3" xref="S3.E5.m1.4.5.2.2.3.cmml">n</mi><mrow id="S3.E5.m1.4.5.2.3" xref="S3.E5.m1.4.5.2.3.cmml"><mi id="S3.E5.m1.4.5.2.3.2" xref="S3.E5.m1.4.5.2.3.2.cmml">p</mi><mo id="S3.E5.m1.4.5.2.3.1" xref="S3.E5.m1.4.5.2.3.1.cmml">⁢</mo><mi id="S3.E5.m1.4.5.2.3.3" xref="S3.E5.m1.4.5.2.3.3.cmml">r</mi><mo id="S3.E5.m1.4.5.2.3.1a" xref="S3.E5.m1.4.5.2.3.1.cmml">⁢</mo><mi id="S3.E5.m1.4.5.2.3.4" xref="S3.E5.m1.4.5.2.3.4.cmml">e</mi><mo id="S3.E5.m1.4.5.2.3.1b" xref="S3.E5.m1.4.5.2.3.1.cmml">⁢</mo><mi id="S3.E5.m1.4.5.2.3.5" xref="S3.E5.m1.4.5.2.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.E5.m1.4.5.1" xref="S3.E5.m1.4.5.1.cmml">=</mo><mrow id="S3.E5.m1.4.4a" xref="S3.E5.m1.4.5.3.1.cmml"><mo id="S3.E5.m1.4.4a.5" xref="S3.E5.m1.4.5.3.1.1.cmml">{</mo><mtable columnspacing="5pt" id="S3.E5.m1.4.4.4a" rowspacing="0pt" xref="S3.E5.m1.4.5.3.1.cmml"><mtr id="S3.E5.m1.4.4.4aa" xref="S3.E5.m1.4.5.3.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="S3.E5.m1.4.4.4ab" xref="S3.E5.m1.4.5.3.1.cmml"><mrow id="S3.E5.m1.1.1.1.1.1.1.1" xref="S3.E5.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="S3.E5.m1.1.1.1.1.1.1.1.1" xref="S3.E5.m1.1.1.1.1.1.1.1.1.cmml"><msup id="S3.E5.m1.1.1.1.1.1.1.1.1.2" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S3.E5.m1.1.1.1.1.1.1.1.1.2.2" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2.2.cmml">X</mi><mo id="S3.E5.m1.1.1.1.1.1.1.1.1.2.3" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2.3.cmml">†</mo></msup><mo id="S3.E5.m1.1.1.1.1.1.1.1.1.1" xref="S3.E5.m1.1.1.1.1.1.1.1.1.1.cmml">⁢</mo><mi id="S3.E5.m1.1.1.1.1.1.1.1.1.3" xref="S3.E5.m1.1.1.1.1.1.1.1.1.3.cmml">Y</mi></mrow><mo id="S3.E5.m1.1.1.1.1.1.1.1.2" xref="S3.E5.m1.1.1.1.1.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E5.m1.4.4.4ac" xref="S3.E5.m1.4.5.3.1.cmml"><mrow id="S3.E5.m1.2.2.2.2.2.1.1" xref="S3.E5.m1.2.2.2.2.2.1.1.1.cmml"><mrow id="S3.E5.m1.2.2.2.2.2.1.1.1" xref="S3.E5.m1.2.2.2.2.2.1.1.1.cmml"><mrow id="S3.E5.m1.2.2.2.2.2.1.1.1.2" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.cmml"><mtext id="S3.E5.m1.2.2.2.2.2.1.1.1.2.2" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.2a.cmml"> if </mtext><mo id="S3.E5.m1.2.2.2.2.2.1.1.1.2.1" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.1.cmml">⁢</mo><mi id="S3.E5.m1.2.2.2.2.2.1.1.1.2.3" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.3.cmml">λ</mi></mrow><mo id="S3.E5.m1.2.2.2.2.2.1.1.1.1" xref="S3.E5.m1.2.2.2.2.2.1.1.1.1.cmml">=</mo><mn id="S3.E5.m1.2.2.2.2.2.1.1.1.3" xref="S3.E5.m1.2.2.2.2.2.1.1.1.3.cmml">0</mn></mrow><mo id="S3.E5.m1.2.2.2.2.2.1.1.2" xref="S3.E5.m1.2.2.2.2.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="S3.E5.m1.4.4.4ad" xref="S3.E5.m1.4.5.3.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="S3.E5.m1.4.4.4ae" xref="S3.E5.m1.4.5.3.1.cmml"><mrow id="S3.E5.m1.3.3.3.3.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.cmml"><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.cmml"><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.cmml"><msup id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.cmml"><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.cmml"><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.2" mathvariant="normal" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.2.cmml">Σ</mi><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.1.cmml">^</mo></mover><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.1" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.cmml"><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3a" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.cmml">−</mo><mn id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.2.cmml">⁢</mo><msup id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.cmml"><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.2.cmml">X</mi><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.3.cmml">⊤</mo></msup><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.1.2a" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.2.cmml">⁢</mo><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.1.4" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.4.cmml">Y</mi></mrow><mo id="S3.E5.m1.3.3.3.3.1.1.1.1.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.2.cmml">/</mo><mi id="S3.E5.m1.3.3.3.3.1.1.1.1.3" xref="S3.E5.m1.3.3.3.3.1.1.1.1.3.cmml">T</mi></mrow><mo id="S3.E5.m1.3.3.3.3.1.1.1.2" xref="S3.E5.m1.3.3.3.3.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S3.E5.m1.4.4.4af" xref="S3.E5.m1.4.5.3.1.cmml"><mtext id="S3.E5.m1.4.4.4.4.2.1" xref="S3.E5.m1.4.4.4.4.2.1a.cmml"> otherwise,</mtext></mtd></mtr></mtable></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.E5.m1.4b"><apply id="S3.E5.m1.4.5.cmml" xref="S3.E5.m1.4.5"><eq id="S3.E5.m1.4.5.1.cmml" xref="S3.E5.m1.4.5.1"></eq><apply id="S3.E5.m1.4.5.2.cmml" xref="S3.E5.m1.4.5.2"><csymbol cd="ambiguous" id="S3.E5.m1.4.5.2.1.cmml" xref="S3.E5.m1.4.5.2">superscript</csymbol><apply id="S3.E5.m1.4.5.2.2.cmml" xref="S3.E5.m1.4.5.2"><csymbol cd="ambiguous" id="S3.E5.m1.4.5.2.2.1.cmml" xref="S3.E5.m1.4.5.2">subscript</csymbol><apply id="S3.E5.m1.4.5.2.2.2.cmml" xref="S3.E5.m1.4.5.2.2.2"><ci id="S3.E5.m1.4.5.2.2.2.1.cmml" xref="S3.E5.m1.4.5.2.2.2.1">^</ci><ci id="S3.E5.m1.4.5.2.2.2.2.cmml" xref="S3.E5.m1.4.5.2.2.2.2">𝑤</ci></apply><ci id="S3.E5.m1.4.5.2.2.3.cmml" xref="S3.E5.m1.4.5.2.2.3">𝑛</ci></apply><apply id="S3.E5.m1.4.5.2.3.cmml" xref="S3.E5.m1.4.5.2.3"><times id="S3.E5.m1.4.5.2.3.1.cmml" xref="S3.E5.m1.4.5.2.3.1"></times><ci id="S3.E5.m1.4.5.2.3.2.cmml" xref="S3.E5.m1.4.5.2.3.2">𝑝</ci><ci id="S3.E5.m1.4.5.2.3.3.cmml" xref="S3.E5.m1.4.5.2.3.3">𝑟</ci><ci id="S3.E5.m1.4.5.2.3.4.cmml" xref="S3.E5.m1.4.5.2.3.4">𝑒</ci><ci id="S3.E5.m1.4.5.2.3.5.cmml" xref="S3.E5.m1.4.5.2.3.5">𝑑</ci></apply></apply><apply id="S3.E5.m1.4.5.3.1.cmml" xref="S3.E5.m1.4.4a"><csymbol cd="latexml" id="S3.E5.m1.4.5.3.1.1.cmml" xref="S3.E5.m1.4.4a.5">cases</csymbol><apply id="S3.E5.m1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1"><times id="S3.E5.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.1"></times><apply id="S3.E5.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E5.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="S3.E5.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2.2">𝑋</ci><ci id="S3.E5.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.2.3">†</ci></apply><ci id="S3.E5.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E5.m1.1.1.1.1.1.1.1.1.3">𝑌</ci></apply><apply id="S3.E5.m1.2.2.2.2.2.1.1.1.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1"><eq id="S3.E5.m1.2.2.2.2.2.1.1.1.1.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.1"></eq><apply id="S3.E5.m1.2.2.2.2.2.1.1.1.2.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2"><times id="S3.E5.m1.2.2.2.2.2.1.1.1.2.1.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.1"></times><ci id="S3.E5.m1.2.2.2.2.2.1.1.1.2.2a.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.2"><mtext id="S3.E5.m1.2.2.2.2.2.1.1.1.2.2.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.2"> if </mtext></ci><ci id="S3.E5.m1.2.2.2.2.2.1.1.1.2.3.cmml" xref="S3.E5.m1.2.2.2.2.2.1.1.1.2.3">𝜆</ci></apply><cn id="S3.E5.m1.2.2.2.2.2.1.1.1.3.cmml" type="integer" xref="S3.E5.m1.2.2.2.2.2.1.1.1.3">0</cn></apply><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1"><divide id="S3.E5.m1.3.3.3.3.1.1.1.1.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.2"></divide><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1"><times id="S3.E5.m1.3.3.3.3.1.1.1.1.1.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.2"></times><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1">superscript</csymbol><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1"><plus id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.1"></plus><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2"><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.1">^</ci><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.2.2">Σ</ci></apply><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3"><times id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.2">𝜆</ci><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3"><minus id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3"></minus><cn id="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.2.cmml" type="integer" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.1.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3">superscript</csymbol><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.2.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.2">𝑋</ci><csymbol cd="latexml" id="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.3.3">top</csymbol></apply><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.1.4.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.1.4">𝑌</ci></apply><ci id="S3.E5.m1.3.3.3.3.1.1.1.1.3.cmml" xref="S3.E5.m1.3.3.3.3.1.1.1.1.3">𝑇</ci></apply><ci id="S3.E5.m1.4.4.4.4.2.1a.cmml" xref="S3.E5.m1.4.4.4.4.2.1"><mtext id="S3.E5.m1.4.4.4.4.2.1.cmml" xref="S3.E5.m1.4.4.4.4.2.1"> otherwise,</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E5.m1.4c">\displaystyle\widehat{w}_{n}^{pred}=\begin{cases}X^{\dagger}Y,&\mbox{ if }% \lambda=0,\\ (\widehat{\Sigma}+\lambda I_{d})^{-1}X^{\top}Y/T,&\mbox{ otherwise,}\end{cases}</annotation><annotation encoding="application/x-llamapun" id="S3.E5.m1.4d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT = { start_ROW start_CELL italic_X start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT italic_Y , end_CELL start_CELL if italic_λ = 0 , end_CELL end_ROW start_ROW start_CELL ( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_Y / italic_T , end_CELL start_CELL otherwise, end_CELL end_ROW</annotation></semantics></math></span> <span class="ltx_eqn_cell ltx_eqn_center_padright"></span> <span class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(5)</span></span></span></span> </span> <span class="ltx_p" id="S3.p7.10.4.4">where <math alttext="X=(x_{1},\ldots,x_{T})\in\mathbb{R}^{T\times d}" class="ltx_Math" display="inline" id="S3.p7.7.1.1.m1.3"><semantics id="S3.p7.7.1.1.m1.3a"><mrow id="S3.p7.7.1.1.m1.3.3" xref="S3.p7.7.1.1.m1.3.3.cmml"><mi id="S3.p7.7.1.1.m1.3.3.4" xref="S3.p7.7.1.1.m1.3.3.4.cmml">X</mi><mo id="S3.p7.7.1.1.m1.3.3.5" xref="S3.p7.7.1.1.m1.3.3.5.cmml">=</mo><mrow id="S3.p7.7.1.1.m1.3.3.2.2" xref="S3.p7.7.1.1.m1.3.3.2.3.cmml"><mo id="S3.p7.7.1.1.m1.3.3.2.2.3" stretchy="false" xref="S3.p7.7.1.1.m1.3.3.2.3.cmml">(</mo><msub id="S3.p7.7.1.1.m1.2.2.1.1.1" xref="S3.p7.7.1.1.m1.2.2.1.1.1.cmml"><mi id="S3.p7.7.1.1.m1.2.2.1.1.1.2" xref="S3.p7.7.1.1.m1.2.2.1.1.1.2.cmml">x</mi><mn id="S3.p7.7.1.1.m1.2.2.1.1.1.3" xref="S3.p7.7.1.1.m1.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S3.p7.7.1.1.m1.3.3.2.2.4" xref="S3.p7.7.1.1.m1.3.3.2.3.cmml">,</mo><mi id="S3.p7.7.1.1.m1.1.1" mathvariant="normal" xref="S3.p7.7.1.1.m1.1.1.cmml">…</mi><mo id="S3.p7.7.1.1.m1.3.3.2.2.5" xref="S3.p7.7.1.1.m1.3.3.2.3.cmml">,</mo><msub id="S3.p7.7.1.1.m1.3.3.2.2.2" xref="S3.p7.7.1.1.m1.3.3.2.2.2.cmml"><mi id="S3.p7.7.1.1.m1.3.3.2.2.2.2" xref="S3.p7.7.1.1.m1.3.3.2.2.2.2.cmml">x</mi><mi id="S3.p7.7.1.1.m1.3.3.2.2.2.3" xref="S3.p7.7.1.1.m1.3.3.2.2.2.3.cmml">T</mi></msub><mo id="S3.p7.7.1.1.m1.3.3.2.2.6" stretchy="false" xref="S3.p7.7.1.1.m1.3.3.2.3.cmml">)</mo></mrow><mo id="S3.p7.7.1.1.m1.3.3.6" xref="S3.p7.7.1.1.m1.3.3.6.cmml">∈</mo><msup id="S3.p7.7.1.1.m1.3.3.7" xref="S3.p7.7.1.1.m1.3.3.7.cmml"><mi id="S3.p7.7.1.1.m1.3.3.7.2" xref="S3.p7.7.1.1.m1.3.3.7.2.cmml">ℝ</mi><mrow id="S3.p7.7.1.1.m1.3.3.7.3" xref="S3.p7.7.1.1.m1.3.3.7.3.cmml"><mi id="S3.p7.7.1.1.m1.3.3.7.3.2" xref="S3.p7.7.1.1.m1.3.3.7.3.2.cmml">T</mi><mo id="S3.p7.7.1.1.m1.3.3.7.3.1" lspace="0.222em" rspace="0.222em" xref="S3.p7.7.1.1.m1.3.3.7.3.1.cmml">×</mo><mi id="S3.p7.7.1.1.m1.3.3.7.3.3" xref="S3.p7.7.1.1.m1.3.3.7.3.3.cmml">d</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.7.1.1.m1.3b"><apply id="S3.p7.7.1.1.m1.3.3.cmml" xref="S3.p7.7.1.1.m1.3.3"><and id="S3.p7.7.1.1.m1.3.3a.cmml" xref="S3.p7.7.1.1.m1.3.3"></and><apply id="S3.p7.7.1.1.m1.3.3b.cmml" xref="S3.p7.7.1.1.m1.3.3"><eq id="S3.p7.7.1.1.m1.3.3.5.cmml" xref="S3.p7.7.1.1.m1.3.3.5"></eq><ci id="S3.p7.7.1.1.m1.3.3.4.cmml" xref="S3.p7.7.1.1.m1.3.3.4">𝑋</ci><vector id="S3.p7.7.1.1.m1.3.3.2.3.cmml" xref="S3.p7.7.1.1.m1.3.3.2.2"><apply id="S3.p7.7.1.1.m1.2.2.1.1.1.cmml" xref="S3.p7.7.1.1.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.p7.7.1.1.m1.2.2.1.1.1.1.cmml" xref="S3.p7.7.1.1.m1.2.2.1.1.1">subscript</csymbol><ci id="S3.p7.7.1.1.m1.2.2.1.1.1.2.cmml" xref="S3.p7.7.1.1.m1.2.2.1.1.1.2">𝑥</ci><cn id="S3.p7.7.1.1.m1.2.2.1.1.1.3.cmml" type="integer" xref="S3.p7.7.1.1.m1.2.2.1.1.1.3">1</cn></apply><ci id="S3.p7.7.1.1.m1.1.1.cmml" xref="S3.p7.7.1.1.m1.1.1">…</ci><apply id="S3.p7.7.1.1.m1.3.3.2.2.2.cmml" xref="S3.p7.7.1.1.m1.3.3.2.2.2"><csymbol cd="ambiguous" id="S3.p7.7.1.1.m1.3.3.2.2.2.1.cmml" xref="S3.p7.7.1.1.m1.3.3.2.2.2">subscript</csymbol><ci id="S3.p7.7.1.1.m1.3.3.2.2.2.2.cmml" xref="S3.p7.7.1.1.m1.3.3.2.2.2.2">𝑥</ci><ci id="S3.p7.7.1.1.m1.3.3.2.2.2.3.cmml" xref="S3.p7.7.1.1.m1.3.3.2.2.2.3">𝑇</ci></apply></vector></apply><apply id="S3.p7.7.1.1.m1.3.3c.cmml" xref="S3.p7.7.1.1.m1.3.3"><in id="S3.p7.7.1.1.m1.3.3.6.cmml" xref="S3.p7.7.1.1.m1.3.3.6"></in><share href="#S3.p7.7.1.1.m1.3.3.2.cmml" id="S3.p7.7.1.1.m1.3.3d.cmml" xref="S3.p7.7.1.1.m1.3.3"></share><apply id="S3.p7.7.1.1.m1.3.3.7.cmml" xref="S3.p7.7.1.1.m1.3.3.7"><csymbol cd="ambiguous" id="S3.p7.7.1.1.m1.3.3.7.1.cmml" xref="S3.p7.7.1.1.m1.3.3.7">superscript</csymbol><ci id="S3.p7.7.1.1.m1.3.3.7.2.cmml" xref="S3.p7.7.1.1.m1.3.3.7.2">ℝ</ci><apply id="S3.p7.7.1.1.m1.3.3.7.3.cmml" xref="S3.p7.7.1.1.m1.3.3.7.3"><times id="S3.p7.7.1.1.m1.3.3.7.3.1.cmml" xref="S3.p7.7.1.1.m1.3.3.7.3.1"></times><ci id="S3.p7.7.1.1.m1.3.3.7.3.2.cmml" xref="S3.p7.7.1.1.m1.3.3.7.3.2">𝑇</ci><ci id="S3.p7.7.1.1.m1.3.3.7.3.3.cmml" xref="S3.p7.7.1.1.m1.3.3.7.3.3">𝑑</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.7.1.1.m1.3c">X=(x_{1},\ldots,x_{T})\in\mathbb{R}^{T\times d}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.7.1.1.m1.3d">italic_X = ( italic_x start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , … , italic_x start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT ) ∈ blackboard_R start_POSTSUPERSCRIPT italic_T × italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> is the design matrix, <math alttext="X^{\dagger}" class="ltx_Math" display="inline" id="S3.p7.8.2.2.m2.1"><semantics id="S3.p7.8.2.2.m2.1a"><msup id="S3.p7.8.2.2.m2.1.1" xref="S3.p7.8.2.2.m2.1.1.cmml"><mi id="S3.p7.8.2.2.m2.1.1.2" xref="S3.p7.8.2.2.m2.1.1.2.cmml">X</mi><mo id="S3.p7.8.2.2.m2.1.1.3" xref="S3.p7.8.2.2.m2.1.1.3.cmml">†</mo></msup><annotation-xml encoding="MathML-Content" id="S3.p7.8.2.2.m2.1b"><apply id="S3.p7.8.2.2.m2.1.1.cmml" xref="S3.p7.8.2.2.m2.1.1"><csymbol cd="ambiguous" id="S3.p7.8.2.2.m2.1.1.1.cmml" xref="S3.p7.8.2.2.m2.1.1">superscript</csymbol><ci id="S3.p7.8.2.2.m2.1.1.2.cmml" xref="S3.p7.8.2.2.m2.1.1.2">𝑋</ci><ci id="S3.p7.8.2.2.m2.1.1.3.cmml" xref="S3.p7.8.2.2.m2.1.1.3">†</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.8.2.2.m2.1c">X^{\dagger}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.8.2.2.m2.1d">italic_X start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT</annotation></semantics></math> is its Moore-Penrose pseudo-inverse, <math alttext="Y:=(y_{1},\ldots,y_{T})\in\mathbb{R}^{T}" class="ltx_Math" display="inline" id="S3.p7.9.3.3.m3.3"><semantics id="S3.p7.9.3.3.m3.3a"><mrow id="S3.p7.9.3.3.m3.3.3" xref="S3.p7.9.3.3.m3.3.3.cmml"><mi id="S3.p7.9.3.3.m3.3.3.4" xref="S3.p7.9.3.3.m3.3.3.4.cmml">Y</mi><mo id="S3.p7.9.3.3.m3.3.3.5" lspace="0.278em" rspace="0.278em" xref="S3.p7.9.3.3.m3.3.3.5.cmml">:=</mo><mrow id="S3.p7.9.3.3.m3.3.3.2.2" xref="S3.p7.9.3.3.m3.3.3.2.3.cmml"><mo id="S3.p7.9.3.3.m3.3.3.2.2.3" stretchy="false" xref="S3.p7.9.3.3.m3.3.3.2.3.cmml">(</mo><msub id="S3.p7.9.3.3.m3.2.2.1.1.1" xref="S3.p7.9.3.3.m3.2.2.1.1.1.cmml"><mi id="S3.p7.9.3.3.m3.2.2.1.1.1.2" xref="S3.p7.9.3.3.m3.2.2.1.1.1.2.cmml">y</mi><mn id="S3.p7.9.3.3.m3.2.2.1.1.1.3" xref="S3.p7.9.3.3.m3.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S3.p7.9.3.3.m3.3.3.2.2.4" xref="S3.p7.9.3.3.m3.3.3.2.3.cmml">,</mo><mi id="S3.p7.9.3.3.m3.1.1" mathvariant="normal" xref="S3.p7.9.3.3.m3.1.1.cmml">…</mi><mo id="S3.p7.9.3.3.m3.3.3.2.2.5" xref="S3.p7.9.3.3.m3.3.3.2.3.cmml">,</mo><msub id="S3.p7.9.3.3.m3.3.3.2.2.2" xref="S3.p7.9.3.3.m3.3.3.2.2.2.cmml"><mi id="S3.p7.9.3.3.m3.3.3.2.2.2.2" xref="S3.p7.9.3.3.m3.3.3.2.2.2.2.cmml">y</mi><mi id="S3.p7.9.3.3.m3.3.3.2.2.2.3" xref="S3.p7.9.3.3.m3.3.3.2.2.2.3.cmml">T</mi></msub><mo id="S3.p7.9.3.3.m3.3.3.2.2.6" stretchy="false" xref="S3.p7.9.3.3.m3.3.3.2.3.cmml">)</mo></mrow><mo id="S3.p7.9.3.3.m3.3.3.6" xref="S3.p7.9.3.3.m3.3.3.6.cmml">∈</mo><msup id="S3.p7.9.3.3.m3.3.3.7" xref="S3.p7.9.3.3.m3.3.3.7.cmml"><mi id="S3.p7.9.3.3.m3.3.3.7.2" xref="S3.p7.9.3.3.m3.3.3.7.2.cmml">ℝ</mi><mi id="S3.p7.9.3.3.m3.3.3.7.3" xref="S3.p7.9.3.3.m3.3.3.7.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.9.3.3.m3.3b"><apply id="S3.p7.9.3.3.m3.3.3.cmml" xref="S3.p7.9.3.3.m3.3.3"><and id="S3.p7.9.3.3.m3.3.3a.cmml" xref="S3.p7.9.3.3.m3.3.3"></and><apply id="S3.p7.9.3.3.m3.3.3b.cmml" xref="S3.p7.9.3.3.m3.3.3"><csymbol cd="latexml" id="S3.p7.9.3.3.m3.3.3.5.cmml" xref="S3.p7.9.3.3.m3.3.3.5">assign</csymbol><ci id="S3.p7.9.3.3.m3.3.3.4.cmml" xref="S3.p7.9.3.3.m3.3.3.4">𝑌</ci><vector id="S3.p7.9.3.3.m3.3.3.2.3.cmml" xref="S3.p7.9.3.3.m3.3.3.2.2"><apply id="S3.p7.9.3.3.m3.2.2.1.1.1.cmml" xref="S3.p7.9.3.3.m3.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.p7.9.3.3.m3.2.2.1.1.1.1.cmml" xref="S3.p7.9.3.3.m3.2.2.1.1.1">subscript</csymbol><ci id="S3.p7.9.3.3.m3.2.2.1.1.1.2.cmml" xref="S3.p7.9.3.3.m3.2.2.1.1.1.2">𝑦</ci><cn id="S3.p7.9.3.3.m3.2.2.1.1.1.3.cmml" type="integer" xref="S3.p7.9.3.3.m3.2.2.1.1.1.3">1</cn></apply><ci id="S3.p7.9.3.3.m3.1.1.cmml" xref="S3.p7.9.3.3.m3.1.1">…</ci><apply id="S3.p7.9.3.3.m3.3.3.2.2.2.cmml" xref="S3.p7.9.3.3.m3.3.3.2.2.2"><csymbol cd="ambiguous" id="S3.p7.9.3.3.m3.3.3.2.2.2.1.cmml" xref="S3.p7.9.3.3.m3.3.3.2.2.2">subscript</csymbol><ci id="S3.p7.9.3.3.m3.3.3.2.2.2.2.cmml" xref="S3.p7.9.3.3.m3.3.3.2.2.2.2">𝑦</ci><ci id="S3.p7.9.3.3.m3.3.3.2.2.2.3.cmml" xref="S3.p7.9.3.3.m3.3.3.2.2.2.3">𝑇</ci></apply></vector></apply><apply id="S3.p7.9.3.3.m3.3.3c.cmml" xref="S3.p7.9.3.3.m3.3.3"><in id="S3.p7.9.3.3.m3.3.3.6.cmml" xref="S3.p7.9.3.3.m3.3.3.6"></in><share href="#S3.p7.9.3.3.m3.3.3.2.cmml" id="S3.p7.9.3.3.m3.3.3d.cmml" xref="S3.p7.9.3.3.m3.3.3"></share><apply id="S3.p7.9.3.3.m3.3.3.7.cmml" xref="S3.p7.9.3.3.m3.3.3.7"><csymbol cd="ambiguous" id="S3.p7.9.3.3.m3.3.3.7.1.cmml" xref="S3.p7.9.3.3.m3.3.3.7">superscript</csymbol><ci id="S3.p7.9.3.3.m3.3.3.7.2.cmml" xref="S3.p7.9.3.3.m3.3.3.7.2">ℝ</ci><ci id="S3.p7.9.3.3.m3.3.3.7.3.cmml" xref="S3.p7.9.3.3.m3.3.3.7.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.9.3.3.m3.3c">Y:=(y_{1},\ldots,y_{T})\in\mathbb{R}^{T}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.9.3.3.m3.3d">italic_Y := ( italic_y start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , … , italic_y start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT ) ∈ blackboard_R start_POSTSUPERSCRIPT italic_T end_POSTSUPERSCRIPT</annotation></semantics></math> is the vector of labels, and <math alttext="\widehat{\Sigma}:=X^{\top}X/T\in\mathbb{R}^{d\times d}" class="ltx_Math" display="inline" id="S3.p7.10.4.4.m4.1"><semantics id="S3.p7.10.4.4.m4.1a"><mrow id="S3.p7.10.4.4.m4.1.1" xref="S3.p7.10.4.4.m4.1.1.cmml"><mover accent="true" id="S3.p7.10.4.4.m4.1.1.2" xref="S3.p7.10.4.4.m4.1.1.2.cmml"><mi id="S3.p7.10.4.4.m4.1.1.2.2" mathvariant="normal" xref="S3.p7.10.4.4.m4.1.1.2.2.cmml">Σ</mi><mo id="S3.p7.10.4.4.m4.1.1.2.1" xref="S3.p7.10.4.4.m4.1.1.2.1.cmml">^</mo></mover><mo id="S3.p7.10.4.4.m4.1.1.3" lspace="0.278em" rspace="0.278em" xref="S3.p7.10.4.4.m4.1.1.3.cmml">:=</mo><mrow id="S3.p7.10.4.4.m4.1.1.4" xref="S3.p7.10.4.4.m4.1.1.4.cmml"><mrow id="S3.p7.10.4.4.m4.1.1.4.2" xref="S3.p7.10.4.4.m4.1.1.4.2.cmml"><msup id="S3.p7.10.4.4.m4.1.1.4.2.2" xref="S3.p7.10.4.4.m4.1.1.4.2.2.cmml"><mi id="S3.p7.10.4.4.m4.1.1.4.2.2.2" xref="S3.p7.10.4.4.m4.1.1.4.2.2.2.cmml">X</mi><mo id="S3.p7.10.4.4.m4.1.1.4.2.2.3" xref="S3.p7.10.4.4.m4.1.1.4.2.2.3.cmml">⊤</mo></msup><mo id="S3.p7.10.4.4.m4.1.1.4.2.1" xref="S3.p7.10.4.4.m4.1.1.4.2.1.cmml">⁢</mo><mi id="S3.p7.10.4.4.m4.1.1.4.2.3" xref="S3.p7.10.4.4.m4.1.1.4.2.3.cmml">X</mi></mrow><mo id="S3.p7.10.4.4.m4.1.1.4.1" xref="S3.p7.10.4.4.m4.1.1.4.1.cmml">/</mo><mi id="S3.p7.10.4.4.m4.1.1.4.3" xref="S3.p7.10.4.4.m4.1.1.4.3.cmml">T</mi></mrow><mo id="S3.p7.10.4.4.m4.1.1.5" xref="S3.p7.10.4.4.m4.1.1.5.cmml">∈</mo><msup id="S3.p7.10.4.4.m4.1.1.6" xref="S3.p7.10.4.4.m4.1.1.6.cmml"><mi id="S3.p7.10.4.4.m4.1.1.6.2" xref="S3.p7.10.4.4.m4.1.1.6.2.cmml">ℝ</mi><mrow id="S3.p7.10.4.4.m4.1.1.6.3" xref="S3.p7.10.4.4.m4.1.1.6.3.cmml"><mi id="S3.p7.10.4.4.m4.1.1.6.3.2" xref="S3.p7.10.4.4.m4.1.1.6.3.2.cmml">d</mi><mo id="S3.p7.10.4.4.m4.1.1.6.3.1" lspace="0.222em" rspace="0.222em" xref="S3.p7.10.4.4.m4.1.1.6.3.1.cmml">×</mo><mi id="S3.p7.10.4.4.m4.1.1.6.3.3" xref="S3.p7.10.4.4.m4.1.1.6.3.3.cmml">d</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p7.10.4.4.m4.1b"><apply id="S3.p7.10.4.4.m4.1.1.cmml" xref="S3.p7.10.4.4.m4.1.1"><and id="S3.p7.10.4.4.m4.1.1a.cmml" xref="S3.p7.10.4.4.m4.1.1"></and><apply id="S3.p7.10.4.4.m4.1.1b.cmml" xref="S3.p7.10.4.4.m4.1.1"><csymbol cd="latexml" id="S3.p7.10.4.4.m4.1.1.3.cmml" xref="S3.p7.10.4.4.m4.1.1.3">assign</csymbol><apply id="S3.p7.10.4.4.m4.1.1.2.cmml" xref="S3.p7.10.4.4.m4.1.1.2"><ci id="S3.p7.10.4.4.m4.1.1.2.1.cmml" xref="S3.p7.10.4.4.m4.1.1.2.1">^</ci><ci id="S3.p7.10.4.4.m4.1.1.2.2.cmml" xref="S3.p7.10.4.4.m4.1.1.2.2">Σ</ci></apply><apply id="S3.p7.10.4.4.m4.1.1.4.cmml" xref="S3.p7.10.4.4.m4.1.1.4"><divide id="S3.p7.10.4.4.m4.1.1.4.1.cmml" xref="S3.p7.10.4.4.m4.1.1.4.1"></divide><apply id="S3.p7.10.4.4.m4.1.1.4.2.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2"><times id="S3.p7.10.4.4.m4.1.1.4.2.1.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.1"></times><apply id="S3.p7.10.4.4.m4.1.1.4.2.2.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.2"><csymbol cd="ambiguous" id="S3.p7.10.4.4.m4.1.1.4.2.2.1.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.2">superscript</csymbol><ci id="S3.p7.10.4.4.m4.1.1.4.2.2.2.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.2.2">𝑋</ci><csymbol cd="latexml" id="S3.p7.10.4.4.m4.1.1.4.2.2.3.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.2.3">top</csymbol></apply><ci id="S3.p7.10.4.4.m4.1.1.4.2.3.cmml" xref="S3.p7.10.4.4.m4.1.1.4.2.3">𝑋</ci></apply><ci id="S3.p7.10.4.4.m4.1.1.4.3.cmml" xref="S3.p7.10.4.4.m4.1.1.4.3">𝑇</ci></apply></apply><apply id="S3.p7.10.4.4.m4.1.1c.cmml" xref="S3.p7.10.4.4.m4.1.1"><in id="S3.p7.10.4.4.m4.1.1.5.cmml" xref="S3.p7.10.4.4.m4.1.1.5"></in><share href="#S3.p7.10.4.4.m4.1.1.4.cmml" id="S3.p7.10.4.4.m4.1.1d.cmml" xref="S3.p7.10.4.4.m4.1.1"></share><apply id="S3.p7.10.4.4.m4.1.1.6.cmml" xref="S3.p7.10.4.4.m4.1.1.6"><csymbol cd="ambiguous" id="S3.p7.10.4.4.m4.1.1.6.1.cmml" xref="S3.p7.10.4.4.m4.1.1.6">superscript</csymbol><ci id="S3.p7.10.4.4.m4.1.1.6.2.cmml" xref="S3.p7.10.4.4.m4.1.1.6.2">ℝ</ci><apply id="S3.p7.10.4.4.m4.1.1.6.3.cmml" xref="S3.p7.10.4.4.m4.1.1.6.3"><times id="S3.p7.10.4.4.m4.1.1.6.3.1.cmml" xref="S3.p7.10.4.4.m4.1.1.6.3.1"></times><ci id="S3.p7.10.4.4.m4.1.1.6.3.2.cmml" xref="S3.p7.10.4.4.m4.1.1.6.3.2">𝑑</ci><ci id="S3.p7.10.4.4.m4.1.1.6.3.3.cmml" xref="S3.p7.10.4.4.m4.1.1.6.3.3">𝑑</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p7.10.4.4.m4.1c">\widehat{\Sigma}:=X^{\top}X/T\in\mathbb{R}^{d\times d}</annotation><annotation encoding="application/x-llamapun" id="S3.p7.10.4.4.m4.1d">over^ start_ARG roman_Σ end_ARG := italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X / italic_T ∈ blackboard_R start_POSTSUPERSCRIPT italic_d × italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> is the sample covariance matrix.</span> </span></p> </div> <div class="ltx_para" id="S3.p8"> <p class="ltx_p" id="S3.p8.5">We are interested in the dynamics of the test error <math alttext="E_{test}(\widehat{w}^{pred}_{n})" class="ltx_Math" display="inline" id="S3.p8.1.m1.1"><semantics id="S3.p8.1.m1.1a"><mrow id="S3.p8.1.m1.1.1" xref="S3.p8.1.m1.1.1.cmml"><msub id="S3.p8.1.m1.1.1.3" xref="S3.p8.1.m1.1.1.3.cmml"><mi id="S3.p8.1.m1.1.1.3.2" xref="S3.p8.1.m1.1.1.3.2.cmml">E</mi><mrow id="S3.p8.1.m1.1.1.3.3" xref="S3.p8.1.m1.1.1.3.3.cmml"><mi id="S3.p8.1.m1.1.1.3.3.2" xref="S3.p8.1.m1.1.1.3.3.2.cmml">t</mi><mo id="S3.p8.1.m1.1.1.3.3.1" xref="S3.p8.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.3.3.3" xref="S3.p8.1.m1.1.1.3.3.3.cmml">e</mi><mo id="S3.p8.1.m1.1.1.3.3.1a" xref="S3.p8.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.3.3.4" xref="S3.p8.1.m1.1.1.3.3.4.cmml">s</mi><mo id="S3.p8.1.m1.1.1.3.3.1b" xref="S3.p8.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.3.3.5" xref="S3.p8.1.m1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S3.p8.1.m1.1.1.2" xref="S3.p8.1.m1.1.1.2.cmml">⁢</mo><mrow id="S3.p8.1.m1.1.1.1.1" xref="S3.p8.1.m1.1.1.1.1.1.cmml"><mo id="S3.p8.1.m1.1.1.1.1.2" stretchy="false" xref="S3.p8.1.m1.1.1.1.1.1.cmml">(</mo><msubsup id="S3.p8.1.m1.1.1.1.1.1" xref="S3.p8.1.m1.1.1.1.1.1.cmml"><mover accent="true" id="S3.p8.1.m1.1.1.1.1.1.2.2" xref="S3.p8.1.m1.1.1.1.1.1.2.2.cmml"><mi id="S3.p8.1.m1.1.1.1.1.1.2.2.2" xref="S3.p8.1.m1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S3.p8.1.m1.1.1.1.1.1.2.2.1" xref="S3.p8.1.m1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S3.p8.1.m1.1.1.1.1.1.3" xref="S3.p8.1.m1.1.1.1.1.1.3.cmml">n</mi><mrow id="S3.p8.1.m1.1.1.1.1.1.2.3" xref="S3.p8.1.m1.1.1.1.1.1.2.3.cmml"><mi id="S3.p8.1.m1.1.1.1.1.1.2.3.2" xref="S3.p8.1.m1.1.1.1.1.1.2.3.2.cmml">p</mi><mo id="S3.p8.1.m1.1.1.1.1.1.2.3.1" xref="S3.p8.1.m1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.1.1.1.2.3.3" xref="S3.p8.1.m1.1.1.1.1.1.2.3.3.cmml">r</mi><mo id="S3.p8.1.m1.1.1.1.1.1.2.3.1a" xref="S3.p8.1.m1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.1.1.1.2.3.4" xref="S3.p8.1.m1.1.1.1.1.1.2.3.4.cmml">e</mi><mo id="S3.p8.1.m1.1.1.1.1.1.2.3.1b" xref="S3.p8.1.m1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S3.p8.1.m1.1.1.1.1.1.2.3.5" xref="S3.p8.1.m1.1.1.1.1.1.2.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.p8.1.m1.1.1.1.1.3" stretchy="false" xref="S3.p8.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p8.1.m1.1b"><apply id="S3.p8.1.m1.1.1.cmml" xref="S3.p8.1.m1.1.1"><times id="S3.p8.1.m1.1.1.2.cmml" xref="S3.p8.1.m1.1.1.2"></times><apply id="S3.p8.1.m1.1.1.3.cmml" xref="S3.p8.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.p8.1.m1.1.1.3.1.cmml" xref="S3.p8.1.m1.1.1.3">subscript</csymbol><ci id="S3.p8.1.m1.1.1.3.2.cmml" xref="S3.p8.1.m1.1.1.3.2">𝐸</ci><apply id="S3.p8.1.m1.1.1.3.3.cmml" xref="S3.p8.1.m1.1.1.3.3"><times id="S3.p8.1.m1.1.1.3.3.1.cmml" xref="S3.p8.1.m1.1.1.3.3.1"></times><ci id="S3.p8.1.m1.1.1.3.3.2.cmml" xref="S3.p8.1.m1.1.1.3.3.2">𝑡</ci><ci id="S3.p8.1.m1.1.1.3.3.3.cmml" xref="S3.p8.1.m1.1.1.3.3.3">𝑒</ci><ci id="S3.p8.1.m1.1.1.3.3.4.cmml" xref="S3.p8.1.m1.1.1.3.3.4">𝑠</ci><ci id="S3.p8.1.m1.1.1.3.3.5.cmml" xref="S3.p8.1.m1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S3.p8.1.m1.1.1.1.1.1.cmml" xref="S3.p8.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p8.1.m1.1.1.1.1.1.1.cmml" xref="S3.p8.1.m1.1.1.1.1">subscript</csymbol><apply id="S3.p8.1.m1.1.1.1.1.1.2.cmml" xref="S3.p8.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p8.1.m1.1.1.1.1.1.2.1.cmml" xref="S3.p8.1.m1.1.1.1.1">superscript</csymbol><apply id="S3.p8.1.m1.1.1.1.1.1.2.2.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.2"><ci id="S3.p8.1.m1.1.1.1.1.1.2.2.1.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.2.1">^</ci><ci id="S3.p8.1.m1.1.1.1.1.1.2.2.2.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.2.2">𝑤</ci></apply><apply id="S3.p8.1.m1.1.1.1.1.1.2.3.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3"><times id="S3.p8.1.m1.1.1.1.1.1.2.3.1.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3.1"></times><ci id="S3.p8.1.m1.1.1.1.1.1.2.3.2.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3.2">𝑝</ci><ci id="S3.p8.1.m1.1.1.1.1.1.2.3.3.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3.3">𝑟</ci><ci id="S3.p8.1.m1.1.1.1.1.1.2.3.4.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3.4">𝑒</ci><ci id="S3.p8.1.m1.1.1.1.1.1.2.3.5.cmml" xref="S3.p8.1.m1.1.1.1.1.1.2.3.5">𝑑</ci></apply></apply><ci id="S3.p8.1.m1.1.1.1.1.1.3.cmml" xref="S3.p8.1.m1.1.1.1.1.1.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p8.1.m1.1c">E_{test}(\widehat{w}^{pred}_{n})</annotation><annotation encoding="application/x-llamapun" id="S3.p8.1.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT )</annotation></semantics></math> (according to formula (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E3" title="3 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">3</span></a>)) of this linear model. Note that the evaluation of the model is done on the true data distribution <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S3.p8.2.m2.3"><semantics id="S3.p8.2.m2.3a"><msub id="S3.p8.2.m2.3.4" xref="S3.p8.2.m2.3.4.cmml"><mi id="S3.p8.2.m2.3.4.2" xref="S3.p8.2.m2.3.4.2.cmml">P</mi><mrow id="S3.p8.2.m2.3.3.3.3" xref="S3.p8.2.m2.3.3.3.4.cmml"><mi id="S3.p8.2.m2.1.1.1.1" mathvariant="normal" xref="S3.p8.2.m2.1.1.1.1.cmml">Σ</mi><mo id="S3.p8.2.m2.3.3.3.3.3" xref="S3.p8.2.m2.3.3.3.4.cmml">,</mo><msub id="S3.p8.2.m2.2.2.2.2.1" xref="S3.p8.2.m2.2.2.2.2.1.cmml"><mi id="S3.p8.2.m2.2.2.2.2.1.2" xref="S3.p8.2.m2.2.2.2.2.1.2.cmml">w</mi><mn id="S3.p8.2.m2.2.2.2.2.1.3" xref="S3.p8.2.m2.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S3.p8.2.m2.3.3.3.3.4" xref="S3.p8.2.m2.3.3.3.4.cmml">,</mo><msup id="S3.p8.2.m2.3.3.3.3.2" xref="S3.p8.2.m2.3.3.3.3.2.cmml"><mi id="S3.p8.2.m2.3.3.3.3.2.2" xref="S3.p8.2.m2.3.3.3.3.2.2.cmml">σ</mi><mn id="S3.p8.2.m2.3.3.3.3.2.3" xref="S3.p8.2.m2.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p8.2.m2.3b"><apply id="S3.p8.2.m2.3.4.cmml" xref="S3.p8.2.m2.3.4"><csymbol cd="ambiguous" id="S3.p8.2.m2.3.4.1.cmml" xref="S3.p8.2.m2.3.4">subscript</csymbol><ci id="S3.p8.2.m2.3.4.2.cmml" xref="S3.p8.2.m2.3.4.2">𝑃</ci><list id="S3.p8.2.m2.3.3.3.4.cmml" xref="S3.p8.2.m2.3.3.3.3"><ci id="S3.p8.2.m2.1.1.1.1.cmml" xref="S3.p8.2.m2.1.1.1.1">Σ</ci><apply id="S3.p8.2.m2.2.2.2.2.1.cmml" xref="S3.p8.2.m2.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p8.2.m2.2.2.2.2.1.1.cmml" xref="S3.p8.2.m2.2.2.2.2.1">subscript</csymbol><ci id="S3.p8.2.m2.2.2.2.2.1.2.cmml" xref="S3.p8.2.m2.2.2.2.2.1.2">𝑤</ci><cn id="S3.p8.2.m2.2.2.2.2.1.3.cmml" type="integer" xref="S3.p8.2.m2.2.2.2.2.1.3">0</cn></apply><apply id="S3.p8.2.m2.3.3.3.3.2.cmml" xref="S3.p8.2.m2.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p8.2.m2.3.3.3.3.2.1.cmml" xref="S3.p8.2.m2.3.3.3.3.2">superscript</csymbol><ci id="S3.p8.2.m2.3.3.3.3.2.2.cmml" xref="S3.p8.2.m2.3.3.3.3.2.2">𝜎</ci><cn id="S3.p8.2.m2.3.3.3.3.2.3.cmml" type="integer" xref="S3.p8.2.m2.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p8.2.m2.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p8.2.m2.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math>, even though the model is trained on fake data distribution <math alttext="P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}}" class="ltx_Math" display="inline" id="S3.p8.3.m3.3"><semantics id="S3.p8.3.m3.3a"><msub id="S3.p8.3.m3.3.4" xref="S3.p8.3.m3.3.4.cmml"><mi id="S3.p8.3.m3.3.4.2" xref="S3.p8.3.m3.3.4.2.cmml">P</mi><mrow id="S3.p8.3.m3.3.3.3.3" xref="S3.p8.3.m3.3.3.3.4.cmml"><mi id="S3.p8.3.m3.1.1.1.1" mathvariant="normal" xref="S3.p8.3.m3.1.1.1.1.cmml">Σ</mi><mo id="S3.p8.3.m3.3.3.3.3.3" xref="S3.p8.3.m3.3.3.3.4.cmml">,</mo><msub id="S3.p8.3.m3.2.2.2.2.1" xref="S3.p8.3.m3.2.2.2.2.1.cmml"><mover accent="true" id="S3.p8.3.m3.2.2.2.2.1.2" xref="S3.p8.3.m3.2.2.2.2.1.2.cmml"><mi id="S3.p8.3.m3.2.2.2.2.1.2.2" xref="S3.p8.3.m3.2.2.2.2.1.2.2.cmml">w</mi><mo id="S3.p8.3.m3.2.2.2.2.1.2.1" xref="S3.p8.3.m3.2.2.2.2.1.2.1.cmml">^</mo></mover><mi id="S3.p8.3.m3.2.2.2.2.1.3" xref="S3.p8.3.m3.2.2.2.2.1.3.cmml">n</mi></msub><mo id="S3.p8.3.m3.3.3.3.3.4" xref="S3.p8.3.m3.3.3.3.4.cmml">,</mo><msubsup id="S3.p8.3.m3.3.3.3.3.2" xref="S3.p8.3.m3.3.3.3.3.2.cmml"><mi id="S3.p8.3.m3.3.3.3.3.2.2.2" xref="S3.p8.3.m3.3.3.3.3.2.2.2.cmml">σ</mi><mn id="S3.p8.3.m3.3.3.3.3.2.2.3" xref="S3.p8.3.m3.3.3.3.3.2.2.3.cmml">0</mn><mn id="S3.p8.3.m3.3.3.3.3.2.3" xref="S3.p8.3.m3.3.3.3.3.2.3.cmml">2</mn></msubsup></mrow></msub><annotation-xml encoding="MathML-Content" id="S3.p8.3.m3.3b"><apply id="S3.p8.3.m3.3.4.cmml" xref="S3.p8.3.m3.3.4"><csymbol cd="ambiguous" id="S3.p8.3.m3.3.4.1.cmml" xref="S3.p8.3.m3.3.4">subscript</csymbol><ci id="S3.p8.3.m3.3.4.2.cmml" xref="S3.p8.3.m3.3.4.2">𝑃</ci><list id="S3.p8.3.m3.3.3.3.4.cmml" xref="S3.p8.3.m3.3.3.3.3"><ci id="S3.p8.3.m3.1.1.1.1.cmml" xref="S3.p8.3.m3.1.1.1.1">Σ</ci><apply id="S3.p8.3.m3.2.2.2.2.1.cmml" xref="S3.p8.3.m3.2.2.2.2.1"><csymbol cd="ambiguous" id="S3.p8.3.m3.2.2.2.2.1.1.cmml" xref="S3.p8.3.m3.2.2.2.2.1">subscript</csymbol><apply id="S3.p8.3.m3.2.2.2.2.1.2.cmml" xref="S3.p8.3.m3.2.2.2.2.1.2"><ci id="S3.p8.3.m3.2.2.2.2.1.2.1.cmml" xref="S3.p8.3.m3.2.2.2.2.1.2.1">^</ci><ci id="S3.p8.3.m3.2.2.2.2.1.2.2.cmml" xref="S3.p8.3.m3.2.2.2.2.1.2.2">𝑤</ci></apply><ci id="S3.p8.3.m3.2.2.2.2.1.3.cmml" xref="S3.p8.3.m3.2.2.2.2.1.3">𝑛</ci></apply><apply id="S3.p8.3.m3.3.3.3.3.2.cmml" xref="S3.p8.3.m3.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p8.3.m3.3.3.3.3.2.1.cmml" xref="S3.p8.3.m3.3.3.3.3.2">superscript</csymbol><apply id="S3.p8.3.m3.3.3.3.3.2.2.cmml" xref="S3.p8.3.m3.3.3.3.3.2"><csymbol cd="ambiguous" id="S3.p8.3.m3.3.3.3.3.2.2.1.cmml" xref="S3.p8.3.m3.3.3.3.3.2">subscript</csymbol><ci id="S3.p8.3.m3.3.3.3.3.2.2.2.cmml" xref="S3.p8.3.m3.3.3.3.3.2.2.2">𝜎</ci><cn id="S3.p8.3.m3.3.3.3.3.2.2.3.cmml" type="integer" xref="S3.p8.3.m3.3.3.3.3.2.2.3">0</cn></apply><cn id="S3.p8.3.m3.3.3.3.3.2.3.cmml" type="integer" xref="S3.p8.3.m3.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p8.3.m3.3c">P_{\Sigma,\widehat{w}_{n},\sigma_{0}^{2}}</annotation><annotation encoding="application/x-llamapun" id="S3.p8.3.m3.3d">italic_P start_POSTSUBSCRIPT roman_Σ , over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math>. Also note that for <math alttext="n=0" class="ltx_Math" display="inline" id="S3.p8.4.m4.1"><semantics id="S3.p8.4.m4.1a"><mrow id="S3.p8.4.m4.1.1" xref="S3.p8.4.m4.1.1.cmml"><mi id="S3.p8.4.m4.1.1.2" xref="S3.p8.4.m4.1.1.2.cmml">n</mi><mo id="S3.p8.4.m4.1.1.1" xref="S3.p8.4.m4.1.1.1.cmml">=</mo><mn id="S3.p8.4.m4.1.1.3" xref="S3.p8.4.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.p8.4.m4.1b"><apply id="S3.p8.4.m4.1.1.cmml" xref="S3.p8.4.m4.1.1"><eq id="S3.p8.4.m4.1.1.1.cmml" xref="S3.p8.4.m4.1.1.1"></eq><ci id="S3.p8.4.m4.1.1.2.cmml" xref="S3.p8.4.m4.1.1.2">𝑛</ci><cn id="S3.p8.4.m4.1.1.3.cmml" type="integer" xref="S3.p8.4.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p8.4.m4.1c">n=0</annotation><annotation encoding="application/x-llamapun" id="S3.p8.4.m4.1d">italic_n = 0</annotation></semantics></math>, <math alttext="E_{test}^{clean}:=E_{test}(\widehat{w}_{0}^{pred})" class="ltx_Math" display="inline" id="S3.p8.5.m5.1"><semantics id="S3.p8.5.m5.1a"><mrow id="S3.p8.5.m5.1.1" xref="S3.p8.5.m5.1.1.cmml"><msubsup id="S3.p8.5.m5.1.1.3" xref="S3.p8.5.m5.1.1.3.cmml"><mi id="S3.p8.5.m5.1.1.3.2.2" xref="S3.p8.5.m5.1.1.3.2.2.cmml">E</mi><mrow id="S3.p8.5.m5.1.1.3.2.3" xref="S3.p8.5.m5.1.1.3.2.3.cmml"><mi id="S3.p8.5.m5.1.1.3.2.3.2" xref="S3.p8.5.m5.1.1.3.2.3.2.cmml">t</mi><mo id="S3.p8.5.m5.1.1.3.2.3.1" xref="S3.p8.5.m5.1.1.3.2.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.2.3.3" xref="S3.p8.5.m5.1.1.3.2.3.3.cmml">e</mi><mo id="S3.p8.5.m5.1.1.3.2.3.1a" xref="S3.p8.5.m5.1.1.3.2.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.2.3.4" xref="S3.p8.5.m5.1.1.3.2.3.4.cmml">s</mi><mo id="S3.p8.5.m5.1.1.3.2.3.1b" xref="S3.p8.5.m5.1.1.3.2.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.2.3.5" xref="S3.p8.5.m5.1.1.3.2.3.5.cmml">t</mi></mrow><mrow id="S3.p8.5.m5.1.1.3.3" xref="S3.p8.5.m5.1.1.3.3.cmml"><mi id="S3.p8.5.m5.1.1.3.3.2" xref="S3.p8.5.m5.1.1.3.3.2.cmml">c</mi><mo id="S3.p8.5.m5.1.1.3.3.1" xref="S3.p8.5.m5.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.3.3" xref="S3.p8.5.m5.1.1.3.3.3.cmml">l</mi><mo id="S3.p8.5.m5.1.1.3.3.1a" xref="S3.p8.5.m5.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.3.4" xref="S3.p8.5.m5.1.1.3.3.4.cmml">e</mi><mo id="S3.p8.5.m5.1.1.3.3.1b" xref="S3.p8.5.m5.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.3.5" xref="S3.p8.5.m5.1.1.3.3.5.cmml">a</mi><mo id="S3.p8.5.m5.1.1.3.3.1c" xref="S3.p8.5.m5.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.3.3.6" xref="S3.p8.5.m5.1.1.3.3.6.cmml">n</mi></mrow></msubsup><mo id="S3.p8.5.m5.1.1.2" lspace="0.278em" rspace="0.278em" xref="S3.p8.5.m5.1.1.2.cmml">:=</mo><mrow id="S3.p8.5.m5.1.1.1" xref="S3.p8.5.m5.1.1.1.cmml"><msub id="S3.p8.5.m5.1.1.1.3" xref="S3.p8.5.m5.1.1.1.3.cmml"><mi id="S3.p8.5.m5.1.1.1.3.2" xref="S3.p8.5.m5.1.1.1.3.2.cmml">E</mi><mrow id="S3.p8.5.m5.1.1.1.3.3" xref="S3.p8.5.m5.1.1.1.3.3.cmml"><mi id="S3.p8.5.m5.1.1.1.3.3.2" xref="S3.p8.5.m5.1.1.1.3.3.2.cmml">t</mi><mo id="S3.p8.5.m5.1.1.1.3.3.1" xref="S3.p8.5.m5.1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.3.3.3" xref="S3.p8.5.m5.1.1.1.3.3.3.cmml">e</mi><mo id="S3.p8.5.m5.1.1.1.3.3.1a" xref="S3.p8.5.m5.1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.3.3.4" xref="S3.p8.5.m5.1.1.1.3.3.4.cmml">s</mi><mo id="S3.p8.5.m5.1.1.1.3.3.1b" xref="S3.p8.5.m5.1.1.1.3.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.3.3.5" xref="S3.p8.5.m5.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S3.p8.5.m5.1.1.1.2" xref="S3.p8.5.m5.1.1.1.2.cmml">⁢</mo><mrow id="S3.p8.5.m5.1.1.1.1.1" xref="S3.p8.5.m5.1.1.1.1.1.1.cmml"><mo id="S3.p8.5.m5.1.1.1.1.1.2" stretchy="false" xref="S3.p8.5.m5.1.1.1.1.1.1.cmml">(</mo><msubsup id="S3.p8.5.m5.1.1.1.1.1.1" xref="S3.p8.5.m5.1.1.1.1.1.1.cmml"><mover accent="true" id="S3.p8.5.m5.1.1.1.1.1.1.2.2" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2.cmml"><mi id="S3.p8.5.m5.1.1.1.1.1.1.2.2.2" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S3.p8.5.m5.1.1.1.1.1.1.2.2.1" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S3.p8.5.m5.1.1.1.1.1.1.2.3" xref="S3.p8.5.m5.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S3.p8.5.m5.1.1.1.1.1.1.3" xref="S3.p8.5.m5.1.1.1.1.1.1.3.cmml"><mi id="S3.p8.5.m5.1.1.1.1.1.1.3.2" xref="S3.p8.5.m5.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S3.p8.5.m5.1.1.1.1.1.1.3.1" xref="S3.p8.5.m5.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.1.1.1.3.3" xref="S3.p8.5.m5.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S3.p8.5.m5.1.1.1.1.1.1.3.1a" xref="S3.p8.5.m5.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.1.1.1.3.4" xref="S3.p8.5.m5.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S3.p8.5.m5.1.1.1.1.1.1.3.1b" xref="S3.p8.5.m5.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p8.5.m5.1.1.1.1.1.1.3.5" xref="S3.p8.5.m5.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.p8.5.m5.1.1.1.1.1.3" stretchy="false" xref="S3.p8.5.m5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p8.5.m5.1b"><apply id="S3.p8.5.m5.1.1.cmml" xref="S3.p8.5.m5.1.1"><csymbol cd="latexml" id="S3.p8.5.m5.1.1.2.cmml" xref="S3.p8.5.m5.1.1.2">assign</csymbol><apply id="S3.p8.5.m5.1.1.3.cmml" xref="S3.p8.5.m5.1.1.3"><csymbol cd="ambiguous" id="S3.p8.5.m5.1.1.3.1.cmml" xref="S3.p8.5.m5.1.1.3">superscript</csymbol><apply id="S3.p8.5.m5.1.1.3.2.cmml" xref="S3.p8.5.m5.1.1.3"><csymbol cd="ambiguous" id="S3.p8.5.m5.1.1.3.2.1.cmml" xref="S3.p8.5.m5.1.1.3">subscript</csymbol><ci id="S3.p8.5.m5.1.1.3.2.2.cmml" xref="S3.p8.5.m5.1.1.3.2.2">𝐸</ci><apply id="S3.p8.5.m5.1.1.3.2.3.cmml" xref="S3.p8.5.m5.1.1.3.2.3"><times id="S3.p8.5.m5.1.1.3.2.3.1.cmml" xref="S3.p8.5.m5.1.1.3.2.3.1"></times><ci id="S3.p8.5.m5.1.1.3.2.3.2.cmml" xref="S3.p8.5.m5.1.1.3.2.3.2">𝑡</ci><ci id="S3.p8.5.m5.1.1.3.2.3.3.cmml" xref="S3.p8.5.m5.1.1.3.2.3.3">𝑒</ci><ci id="S3.p8.5.m5.1.1.3.2.3.4.cmml" xref="S3.p8.5.m5.1.1.3.2.3.4">𝑠</ci><ci id="S3.p8.5.m5.1.1.3.2.3.5.cmml" xref="S3.p8.5.m5.1.1.3.2.3.5">𝑡</ci></apply></apply><apply id="S3.p8.5.m5.1.1.3.3.cmml" xref="S3.p8.5.m5.1.1.3.3"><times id="S3.p8.5.m5.1.1.3.3.1.cmml" xref="S3.p8.5.m5.1.1.3.3.1"></times><ci id="S3.p8.5.m5.1.1.3.3.2.cmml" xref="S3.p8.5.m5.1.1.3.3.2">𝑐</ci><ci id="S3.p8.5.m5.1.1.3.3.3.cmml" xref="S3.p8.5.m5.1.1.3.3.3">𝑙</ci><ci id="S3.p8.5.m5.1.1.3.3.4.cmml" xref="S3.p8.5.m5.1.1.3.3.4">𝑒</ci><ci id="S3.p8.5.m5.1.1.3.3.5.cmml" xref="S3.p8.5.m5.1.1.3.3.5">𝑎</ci><ci id="S3.p8.5.m5.1.1.3.3.6.cmml" xref="S3.p8.5.m5.1.1.3.3.6">𝑛</ci></apply></apply><apply id="S3.p8.5.m5.1.1.1.cmml" xref="S3.p8.5.m5.1.1.1"><times id="S3.p8.5.m5.1.1.1.2.cmml" xref="S3.p8.5.m5.1.1.1.2"></times><apply id="S3.p8.5.m5.1.1.1.3.cmml" xref="S3.p8.5.m5.1.1.1.3"><csymbol cd="ambiguous" id="S3.p8.5.m5.1.1.1.3.1.cmml" xref="S3.p8.5.m5.1.1.1.3">subscript</csymbol><ci id="S3.p8.5.m5.1.1.1.3.2.cmml" xref="S3.p8.5.m5.1.1.1.3.2">𝐸</ci><apply id="S3.p8.5.m5.1.1.1.3.3.cmml" xref="S3.p8.5.m5.1.1.1.3.3"><times id="S3.p8.5.m5.1.1.1.3.3.1.cmml" xref="S3.p8.5.m5.1.1.1.3.3.1"></times><ci id="S3.p8.5.m5.1.1.1.3.3.2.cmml" xref="S3.p8.5.m5.1.1.1.3.3.2">𝑡</ci><ci id="S3.p8.5.m5.1.1.1.3.3.3.cmml" xref="S3.p8.5.m5.1.1.1.3.3.3">𝑒</ci><ci id="S3.p8.5.m5.1.1.1.3.3.4.cmml" xref="S3.p8.5.m5.1.1.1.3.3.4">𝑠</ci><ci id="S3.p8.5.m5.1.1.1.3.3.5.cmml" xref="S3.p8.5.m5.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S3.p8.5.m5.1.1.1.1.1.1.cmml" xref="S3.p8.5.m5.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p8.5.m5.1.1.1.1.1.1.1.cmml" xref="S3.p8.5.m5.1.1.1.1.1">superscript</csymbol><apply id="S3.p8.5.m5.1.1.1.1.1.1.2.cmml" xref="S3.p8.5.m5.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p8.5.m5.1.1.1.1.1.1.2.1.cmml" xref="S3.p8.5.m5.1.1.1.1.1">subscript</csymbol><apply id="S3.p8.5.m5.1.1.1.1.1.1.2.2.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2"><ci id="S3.p8.5.m5.1.1.1.1.1.1.2.2.1.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2.1">^</ci><ci id="S3.p8.5.m5.1.1.1.1.1.1.2.2.2.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S3.p8.5.m5.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S3.p8.5.m5.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S3.p8.5.m5.1.1.1.1.1.1.3.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3"><times id="S3.p8.5.m5.1.1.1.1.1.1.3.1.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3.1"></times><ci id="S3.p8.5.m5.1.1.1.1.1.1.3.2.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S3.p8.5.m5.1.1.1.1.1.1.3.3.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S3.p8.5.m5.1.1.1.1.1.1.3.4.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S3.p8.5.m5.1.1.1.1.1.1.3.5.cmml" xref="S3.p8.5.m5.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p8.5.m5.1c">E_{test}^{clean}:=E_{test}(\widehat{w}_{0}^{pred})</annotation><annotation encoding="application/x-llamapun" id="S3.p8.5.m5.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_c italic_l italic_e italic_a italic_n end_POSTSUPERSCRIPT := italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math> corresponds to the usual test error when the downstream model is trained on clean data.</p> </div> <div class="ltx_para" id="S3.p9"> <p class="ltx_p" id="S3.p9.13"><span class="ltx_text ltx_font_bold" id="S3.p9.13.1">A Note on Extension to Kernel Methods.</span> Though we present our results in the case of linear regression in <math alttext="\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S3.p9.1.m1.1"><semantics id="S3.p9.1.m1.1a"><msup id="S3.p9.1.m1.1.1" xref="S3.p9.1.m1.1.1.cmml"><mi id="S3.p9.1.m1.1.1.2" xref="S3.p9.1.m1.1.1.2.cmml">ℝ</mi><mi id="S3.p9.1.m1.1.1.3" xref="S3.p9.1.m1.1.1.3.cmml">d</mi></msup><annotation-xml encoding="MathML-Content" id="S3.p9.1.m1.1b"><apply id="S3.p9.1.m1.1.1.cmml" xref="S3.p9.1.m1.1.1"><csymbol cd="ambiguous" id="S3.p9.1.m1.1.1.1.cmml" xref="S3.p9.1.m1.1.1">superscript</csymbol><ci id="S3.p9.1.m1.1.1.2.cmml" xref="S3.p9.1.m1.1.1.2">ℝ</ci><ci id="S3.p9.1.m1.1.1.3.cmml" xref="S3.p9.1.m1.1.1.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.1.m1.1c">\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.1.m1.1d">blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> for clarity, they can be rewritten in equivalent form in the kernel setting. Indeed, like in <cite class="ltx_cite ltx_citemacro_citep">(Caponnetto & de Vito, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>; Simon et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib42" title="">2021</a>; Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>; Wei et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib46" title="">2022</a>)</cite>, it suffices to replace <math alttext="x" class="ltx_Math" display="inline" id="S3.p9.2.m2.1"><semantics id="S3.p9.2.m2.1a"><mi id="S3.p9.2.m2.1.1" xref="S3.p9.2.m2.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.p9.2.m2.1b"><ci id="S3.p9.2.m2.1.1.cmml" xref="S3.p9.2.m2.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.2.m2.1c">x</annotation><annotation encoding="application/x-llamapun" id="S3.p9.2.m2.1d">italic_x</annotation></semantics></math> with a feature map induced by a kernel <math alttext="K" class="ltx_Math" display="inline" id="S3.p9.3.m3.1"><semantics id="S3.p9.3.m3.1a"><mi id="S3.p9.3.m3.1.1" xref="S3.p9.3.m3.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="S3.p9.3.m3.1b"><ci id="S3.p9.3.m3.1.1.cmml" xref="S3.p9.3.m3.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.3.m3.1c">K</annotation><annotation encoding="application/x-llamapun" id="S3.p9.3.m3.1d">italic_K</annotation></semantics></math>, namely <math alttext="\psi(x):=K_{x}\in\mathcal{H}_{K}" class="ltx_Math" display="inline" id="S3.p9.4.m4.1"><semantics id="S3.p9.4.m4.1a"><mrow id="S3.p9.4.m4.1.2" xref="S3.p9.4.m4.1.2.cmml"><mrow id="S3.p9.4.m4.1.2.2" xref="S3.p9.4.m4.1.2.2.cmml"><mi id="S3.p9.4.m4.1.2.2.2" xref="S3.p9.4.m4.1.2.2.2.cmml">ψ</mi><mo id="S3.p9.4.m4.1.2.2.1" xref="S3.p9.4.m4.1.2.2.1.cmml">⁢</mo><mrow id="S3.p9.4.m4.1.2.2.3.2" xref="S3.p9.4.m4.1.2.2.cmml"><mo id="S3.p9.4.m4.1.2.2.3.2.1" stretchy="false" xref="S3.p9.4.m4.1.2.2.cmml">(</mo><mi id="S3.p9.4.m4.1.1" xref="S3.p9.4.m4.1.1.cmml">x</mi><mo id="S3.p9.4.m4.1.2.2.3.2.2" rspace="0.278em" stretchy="false" xref="S3.p9.4.m4.1.2.2.cmml">)</mo></mrow></mrow><mo id="S3.p9.4.m4.1.2.3" rspace="0.278em" xref="S3.p9.4.m4.1.2.3.cmml">:=</mo><msub id="S3.p9.4.m4.1.2.4" xref="S3.p9.4.m4.1.2.4.cmml"><mi id="S3.p9.4.m4.1.2.4.2" xref="S3.p9.4.m4.1.2.4.2.cmml">K</mi><mi id="S3.p9.4.m4.1.2.4.3" xref="S3.p9.4.m4.1.2.4.3.cmml">x</mi></msub><mo id="S3.p9.4.m4.1.2.5" xref="S3.p9.4.m4.1.2.5.cmml">∈</mo><msub id="S3.p9.4.m4.1.2.6" xref="S3.p9.4.m4.1.2.6.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.p9.4.m4.1.2.6.2" xref="S3.p9.4.m4.1.2.6.2.cmml">ℋ</mi><mi id="S3.p9.4.m4.1.2.6.3" xref="S3.p9.4.m4.1.2.6.3.cmml">K</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.4.m4.1b"><apply id="S3.p9.4.m4.1.2.cmml" xref="S3.p9.4.m4.1.2"><and id="S3.p9.4.m4.1.2a.cmml" xref="S3.p9.4.m4.1.2"></and><apply id="S3.p9.4.m4.1.2b.cmml" xref="S3.p9.4.m4.1.2"><csymbol cd="latexml" id="S3.p9.4.m4.1.2.3.cmml" xref="S3.p9.4.m4.1.2.3">assign</csymbol><apply id="S3.p9.4.m4.1.2.2.cmml" xref="S3.p9.4.m4.1.2.2"><times id="S3.p9.4.m4.1.2.2.1.cmml" xref="S3.p9.4.m4.1.2.2.1"></times><ci id="S3.p9.4.m4.1.2.2.2.cmml" xref="S3.p9.4.m4.1.2.2.2">𝜓</ci><ci id="S3.p9.4.m4.1.1.cmml" xref="S3.p9.4.m4.1.1">𝑥</ci></apply><apply id="S3.p9.4.m4.1.2.4.cmml" xref="S3.p9.4.m4.1.2.4"><csymbol cd="ambiguous" id="S3.p9.4.m4.1.2.4.1.cmml" xref="S3.p9.4.m4.1.2.4">subscript</csymbol><ci id="S3.p9.4.m4.1.2.4.2.cmml" xref="S3.p9.4.m4.1.2.4.2">𝐾</ci><ci id="S3.p9.4.m4.1.2.4.3.cmml" xref="S3.p9.4.m4.1.2.4.3">𝑥</ci></apply></apply><apply id="S3.p9.4.m4.1.2c.cmml" xref="S3.p9.4.m4.1.2"><in id="S3.p9.4.m4.1.2.5.cmml" xref="S3.p9.4.m4.1.2.5"></in><share href="#S3.p9.4.m4.1.2.4.cmml" id="S3.p9.4.m4.1.2d.cmml" xref="S3.p9.4.m4.1.2"></share><apply id="S3.p9.4.m4.1.2.6.cmml" xref="S3.p9.4.m4.1.2.6"><csymbol cd="ambiguous" id="S3.p9.4.m4.1.2.6.1.cmml" xref="S3.p9.4.m4.1.2.6">subscript</csymbol><ci id="S3.p9.4.m4.1.2.6.2.cmml" xref="S3.p9.4.m4.1.2.6.2">ℋ</ci><ci id="S3.p9.4.m4.1.2.6.3.cmml" xref="S3.p9.4.m4.1.2.6.3">𝐾</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.4.m4.1c">\psi(x):=K_{x}\in\mathcal{H}_{K}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.4.m4.1d">italic_ψ ( italic_x ) := italic_K start_POSTSUBSCRIPT italic_x end_POSTSUBSCRIPT ∈ caligraphic_H start_POSTSUBSCRIPT italic_K end_POSTSUBSCRIPT</annotation></semantics></math>. Here, <math alttext="\mathcal{H}_{K}" class="ltx_Math" display="inline" id="S3.p9.5.m5.1"><semantics id="S3.p9.5.m5.1a"><msub id="S3.p9.5.m5.1.1" xref="S3.p9.5.m5.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.p9.5.m5.1.1.2" xref="S3.p9.5.m5.1.1.2.cmml">ℋ</mi><mi id="S3.p9.5.m5.1.1.3" xref="S3.p9.5.m5.1.1.3.cmml">K</mi></msub><annotation-xml encoding="MathML-Content" id="S3.p9.5.m5.1b"><apply id="S3.p9.5.m5.1.1.cmml" xref="S3.p9.5.m5.1.1"><csymbol cd="ambiguous" id="S3.p9.5.m5.1.1.1.cmml" xref="S3.p9.5.m5.1.1">subscript</csymbol><ci id="S3.p9.5.m5.1.1.2.cmml" xref="S3.p9.5.m5.1.1.2">ℋ</ci><ci id="S3.p9.5.m5.1.1.3.cmml" xref="S3.p9.5.m5.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.5.m5.1c">\mathcal{H}_{K}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.5.m5.1d">caligraphic_H start_POSTSUBSCRIPT italic_K end_POSTSUBSCRIPT</annotation></semantics></math> is the reproducing kernel Hilbert space (RKHS) induced by <math alttext="K" class="ltx_Math" display="inline" id="S3.p9.6.m6.1"><semantics id="S3.p9.6.m6.1a"><mi id="S3.p9.6.m6.1.1" xref="S3.p9.6.m6.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="S3.p9.6.m6.1b"><ci id="S3.p9.6.m6.1.1.cmml" xref="S3.p9.6.m6.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.6.m6.1c">K</annotation><annotation encoding="application/x-llamapun" id="S3.p9.6.m6.1d">italic_K</annotation></semantics></math>. In the data distribution (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E2" title="2 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>), we must now replace the Gaussian marginal distribution condition <math alttext="x\sim N(0,\Sigma)" class="ltx_Math" display="inline" id="S3.p9.7.m7.2"><semantics id="S3.p9.7.m7.2a"><mrow id="S3.p9.7.m7.2.3" xref="S3.p9.7.m7.2.3.cmml"><mi id="S3.p9.7.m7.2.3.2" xref="S3.p9.7.m7.2.3.2.cmml">x</mi><mo id="S3.p9.7.m7.2.3.1" xref="S3.p9.7.m7.2.3.1.cmml">∼</mo><mrow id="S3.p9.7.m7.2.3.3" xref="S3.p9.7.m7.2.3.3.cmml"><mi id="S3.p9.7.m7.2.3.3.2" xref="S3.p9.7.m7.2.3.3.2.cmml">N</mi><mo id="S3.p9.7.m7.2.3.3.1" xref="S3.p9.7.m7.2.3.3.1.cmml">⁢</mo><mrow id="S3.p9.7.m7.2.3.3.3.2" xref="S3.p9.7.m7.2.3.3.3.1.cmml"><mo id="S3.p9.7.m7.2.3.3.3.2.1" stretchy="false" xref="S3.p9.7.m7.2.3.3.3.1.cmml">(</mo><mn id="S3.p9.7.m7.1.1" xref="S3.p9.7.m7.1.1.cmml">0</mn><mo id="S3.p9.7.m7.2.3.3.3.2.2" xref="S3.p9.7.m7.2.3.3.3.1.cmml">,</mo><mi id="S3.p9.7.m7.2.2" mathvariant="normal" xref="S3.p9.7.m7.2.2.cmml">Σ</mi><mo id="S3.p9.7.m7.2.3.3.3.2.3" stretchy="false" xref="S3.p9.7.m7.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.7.m7.2b"><apply id="S3.p9.7.m7.2.3.cmml" xref="S3.p9.7.m7.2.3"><csymbol cd="latexml" id="S3.p9.7.m7.2.3.1.cmml" xref="S3.p9.7.m7.2.3.1">similar-to</csymbol><ci id="S3.p9.7.m7.2.3.2.cmml" xref="S3.p9.7.m7.2.3.2">𝑥</ci><apply id="S3.p9.7.m7.2.3.3.cmml" xref="S3.p9.7.m7.2.3.3"><times id="S3.p9.7.m7.2.3.3.1.cmml" xref="S3.p9.7.m7.2.3.3.1"></times><ci id="S3.p9.7.m7.2.3.3.2.cmml" xref="S3.p9.7.m7.2.3.3.2">𝑁</ci><interval closure="open" id="S3.p9.7.m7.2.3.3.3.1.cmml" xref="S3.p9.7.m7.2.3.3.3.2"><cn id="S3.p9.7.m7.1.1.cmml" type="integer" xref="S3.p9.7.m7.1.1">0</cn><ci id="S3.p9.7.m7.2.2.cmml" xref="S3.p9.7.m7.2.2">Σ</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.7.m7.2c">x\sim N(0,\Sigma)</annotation><annotation encoding="application/x-llamapun" id="S3.p9.7.m7.2d">italic_x ∼ italic_N ( 0 , roman_Σ )</annotation></semantics></math> with <math alttext="\psi(x)\sim N(0,\Sigma)" class="ltx_Math" display="inline" id="S3.p9.8.m8.3"><semantics id="S3.p9.8.m8.3a"><mrow id="S3.p9.8.m8.3.4" xref="S3.p9.8.m8.3.4.cmml"><mrow id="S3.p9.8.m8.3.4.2" xref="S3.p9.8.m8.3.4.2.cmml"><mi id="S3.p9.8.m8.3.4.2.2" xref="S3.p9.8.m8.3.4.2.2.cmml">ψ</mi><mo id="S3.p9.8.m8.3.4.2.1" xref="S3.p9.8.m8.3.4.2.1.cmml">⁢</mo><mrow id="S3.p9.8.m8.3.4.2.3.2" xref="S3.p9.8.m8.3.4.2.cmml"><mo id="S3.p9.8.m8.3.4.2.3.2.1" stretchy="false" xref="S3.p9.8.m8.3.4.2.cmml">(</mo><mi id="S3.p9.8.m8.1.1" xref="S3.p9.8.m8.1.1.cmml">x</mi><mo id="S3.p9.8.m8.3.4.2.3.2.2" stretchy="false" xref="S3.p9.8.m8.3.4.2.cmml">)</mo></mrow></mrow><mo id="S3.p9.8.m8.3.4.1" xref="S3.p9.8.m8.3.4.1.cmml">∼</mo><mrow id="S3.p9.8.m8.3.4.3" xref="S3.p9.8.m8.3.4.3.cmml"><mi id="S3.p9.8.m8.3.4.3.2" xref="S3.p9.8.m8.3.4.3.2.cmml">N</mi><mo id="S3.p9.8.m8.3.4.3.1" xref="S3.p9.8.m8.3.4.3.1.cmml">⁢</mo><mrow id="S3.p9.8.m8.3.4.3.3.2" xref="S3.p9.8.m8.3.4.3.3.1.cmml"><mo id="S3.p9.8.m8.3.4.3.3.2.1" stretchy="false" xref="S3.p9.8.m8.3.4.3.3.1.cmml">(</mo><mn id="S3.p9.8.m8.2.2" xref="S3.p9.8.m8.2.2.cmml">0</mn><mo id="S3.p9.8.m8.3.4.3.3.2.2" xref="S3.p9.8.m8.3.4.3.3.1.cmml">,</mo><mi id="S3.p9.8.m8.3.3" mathvariant="normal" xref="S3.p9.8.m8.3.3.cmml">Σ</mi><mo id="S3.p9.8.m8.3.4.3.3.2.3" stretchy="false" xref="S3.p9.8.m8.3.4.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.8.m8.3b"><apply id="S3.p9.8.m8.3.4.cmml" xref="S3.p9.8.m8.3.4"><csymbol cd="latexml" id="S3.p9.8.m8.3.4.1.cmml" xref="S3.p9.8.m8.3.4.1">similar-to</csymbol><apply id="S3.p9.8.m8.3.4.2.cmml" xref="S3.p9.8.m8.3.4.2"><times id="S3.p9.8.m8.3.4.2.1.cmml" xref="S3.p9.8.m8.3.4.2.1"></times><ci id="S3.p9.8.m8.3.4.2.2.cmml" xref="S3.p9.8.m8.3.4.2.2">𝜓</ci><ci id="S3.p9.8.m8.1.1.cmml" xref="S3.p9.8.m8.1.1">𝑥</ci></apply><apply id="S3.p9.8.m8.3.4.3.cmml" xref="S3.p9.8.m8.3.4.3"><times id="S3.p9.8.m8.3.4.3.1.cmml" xref="S3.p9.8.m8.3.4.3.1"></times><ci id="S3.p9.8.m8.3.4.3.2.cmml" xref="S3.p9.8.m8.3.4.3.2">𝑁</ci><interval closure="open" id="S3.p9.8.m8.3.4.3.3.1.cmml" xref="S3.p9.8.m8.3.4.3.3.2"><cn id="S3.p9.8.m8.2.2.cmml" type="integer" xref="S3.p9.8.m8.2.2">0</cn><ci id="S3.p9.8.m8.3.3.cmml" xref="S3.p9.8.m8.3.3">Σ</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.8.m8.3c">\psi(x)\sim N(0,\Sigma)</annotation><annotation encoding="application/x-llamapun" id="S3.p9.8.m8.3d">italic_ψ ( italic_x ) ∼ italic_N ( 0 , roman_Σ )</annotation></semantics></math>. The ground-truth labeling linear function in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E2" title="2 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>) is now a just a general function <math alttext="f_{0}\in L^{2}(P_{x})" class="ltx_Math" display="inline" id="S3.p9.9.m9.1"><semantics id="S3.p9.9.m9.1a"><mrow id="S3.p9.9.m9.1.1" xref="S3.p9.9.m9.1.1.cmml"><msub id="S3.p9.9.m9.1.1.3" xref="S3.p9.9.m9.1.1.3.cmml"><mi id="S3.p9.9.m9.1.1.3.2" xref="S3.p9.9.m9.1.1.3.2.cmml">f</mi><mn id="S3.p9.9.m9.1.1.3.3" xref="S3.p9.9.m9.1.1.3.3.cmml">0</mn></msub><mo id="S3.p9.9.m9.1.1.2" xref="S3.p9.9.m9.1.1.2.cmml">∈</mo><mrow id="S3.p9.9.m9.1.1.1" xref="S3.p9.9.m9.1.1.1.cmml"><msup id="S3.p9.9.m9.1.1.1.3" xref="S3.p9.9.m9.1.1.1.3.cmml"><mi id="S3.p9.9.m9.1.1.1.3.2" xref="S3.p9.9.m9.1.1.1.3.2.cmml">L</mi><mn id="S3.p9.9.m9.1.1.1.3.3" xref="S3.p9.9.m9.1.1.1.3.3.cmml">2</mn></msup><mo id="S3.p9.9.m9.1.1.1.2" xref="S3.p9.9.m9.1.1.1.2.cmml">⁢</mo><mrow id="S3.p9.9.m9.1.1.1.1.1" xref="S3.p9.9.m9.1.1.1.1.1.1.cmml"><mo id="S3.p9.9.m9.1.1.1.1.1.2" stretchy="false" xref="S3.p9.9.m9.1.1.1.1.1.1.cmml">(</mo><msub id="S3.p9.9.m9.1.1.1.1.1.1" xref="S3.p9.9.m9.1.1.1.1.1.1.cmml"><mi id="S3.p9.9.m9.1.1.1.1.1.1.2" xref="S3.p9.9.m9.1.1.1.1.1.1.2.cmml">P</mi><mi id="S3.p9.9.m9.1.1.1.1.1.1.3" xref="S3.p9.9.m9.1.1.1.1.1.1.3.cmml">x</mi></msub><mo id="S3.p9.9.m9.1.1.1.1.1.3" stretchy="false" xref="S3.p9.9.m9.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.9.m9.1b"><apply id="S3.p9.9.m9.1.1.cmml" xref="S3.p9.9.m9.1.1"><in id="S3.p9.9.m9.1.1.2.cmml" xref="S3.p9.9.m9.1.1.2"></in><apply id="S3.p9.9.m9.1.1.3.cmml" xref="S3.p9.9.m9.1.1.3"><csymbol cd="ambiguous" id="S3.p9.9.m9.1.1.3.1.cmml" xref="S3.p9.9.m9.1.1.3">subscript</csymbol><ci id="S3.p9.9.m9.1.1.3.2.cmml" xref="S3.p9.9.m9.1.1.3.2">𝑓</ci><cn id="S3.p9.9.m9.1.1.3.3.cmml" type="integer" xref="S3.p9.9.m9.1.1.3.3">0</cn></apply><apply id="S3.p9.9.m9.1.1.1.cmml" xref="S3.p9.9.m9.1.1.1"><times id="S3.p9.9.m9.1.1.1.2.cmml" xref="S3.p9.9.m9.1.1.1.2"></times><apply id="S3.p9.9.m9.1.1.1.3.cmml" xref="S3.p9.9.m9.1.1.1.3"><csymbol cd="ambiguous" id="S3.p9.9.m9.1.1.1.3.1.cmml" xref="S3.p9.9.m9.1.1.1.3">superscript</csymbol><ci id="S3.p9.9.m9.1.1.1.3.2.cmml" xref="S3.p9.9.m9.1.1.1.3.2">𝐿</ci><cn id="S3.p9.9.m9.1.1.1.3.3.cmml" type="integer" xref="S3.p9.9.m9.1.1.1.3.3">2</cn></apply><apply id="S3.p9.9.m9.1.1.1.1.1.1.cmml" xref="S3.p9.9.m9.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p9.9.m9.1.1.1.1.1.1.1.cmml" xref="S3.p9.9.m9.1.1.1.1.1">subscript</csymbol><ci id="S3.p9.9.m9.1.1.1.1.1.1.2.cmml" xref="S3.p9.9.m9.1.1.1.1.1.1.2">𝑃</ci><ci id="S3.p9.9.m9.1.1.1.1.1.1.3.cmml" xref="S3.p9.9.m9.1.1.1.1.1.1.3">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.9.m9.1c">f_{0}\in L^{2}(P_{x})</annotation><annotation encoding="application/x-llamapun" id="S3.p9.9.m9.1d">italic_f start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ italic_L start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ( italic_P start_POSTSUBSCRIPT italic_x end_POSTSUBSCRIPT )</annotation></semantics></math>. The ridge predictor (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>) is then given by (<span class="ltx_text ltx_font_italic" id="S3.p9.13.2">Representer Theorem</span>) <math alttext="\widehat{f}_{n}^{pred}(x):=K(X,x)^{\top}\widehat{c}_{n}" class="ltx_Math" display="inline" id="S3.p9.10.m10.3"><semantics id="S3.p9.10.m10.3a"><mrow id="S3.p9.10.m10.3.4" xref="S3.p9.10.m10.3.4.cmml"><mrow id="S3.p9.10.m10.3.4.2" xref="S3.p9.10.m10.3.4.2.cmml"><msubsup id="S3.p9.10.m10.3.4.2.2" xref="S3.p9.10.m10.3.4.2.2.cmml"><mover accent="true" id="S3.p9.10.m10.3.4.2.2.2.2" xref="S3.p9.10.m10.3.4.2.2.2.2.cmml"><mi id="S3.p9.10.m10.3.4.2.2.2.2.2" xref="S3.p9.10.m10.3.4.2.2.2.2.2.cmml">f</mi><mo id="S3.p9.10.m10.3.4.2.2.2.2.1" xref="S3.p9.10.m10.3.4.2.2.2.2.1.cmml">^</mo></mover><mi id="S3.p9.10.m10.3.4.2.2.2.3" xref="S3.p9.10.m10.3.4.2.2.2.3.cmml">n</mi><mrow id="S3.p9.10.m10.3.4.2.2.3" xref="S3.p9.10.m10.3.4.2.2.3.cmml"><mi id="S3.p9.10.m10.3.4.2.2.3.2" xref="S3.p9.10.m10.3.4.2.2.3.2.cmml">p</mi><mo id="S3.p9.10.m10.3.4.2.2.3.1" xref="S3.p9.10.m10.3.4.2.2.3.1.cmml">⁢</mo><mi id="S3.p9.10.m10.3.4.2.2.3.3" xref="S3.p9.10.m10.3.4.2.2.3.3.cmml">r</mi><mo id="S3.p9.10.m10.3.4.2.2.3.1a" xref="S3.p9.10.m10.3.4.2.2.3.1.cmml">⁢</mo><mi id="S3.p9.10.m10.3.4.2.2.3.4" xref="S3.p9.10.m10.3.4.2.2.3.4.cmml">e</mi><mo id="S3.p9.10.m10.3.4.2.2.3.1b" xref="S3.p9.10.m10.3.4.2.2.3.1.cmml">⁢</mo><mi id="S3.p9.10.m10.3.4.2.2.3.5" xref="S3.p9.10.m10.3.4.2.2.3.5.cmml">d</mi></mrow></msubsup><mo id="S3.p9.10.m10.3.4.2.1" xref="S3.p9.10.m10.3.4.2.1.cmml">⁢</mo><mrow id="S3.p9.10.m10.3.4.2.3.2" xref="S3.p9.10.m10.3.4.2.cmml"><mo id="S3.p9.10.m10.3.4.2.3.2.1" stretchy="false" xref="S3.p9.10.m10.3.4.2.cmml">(</mo><mi id="S3.p9.10.m10.1.1" xref="S3.p9.10.m10.1.1.cmml">x</mi><mo id="S3.p9.10.m10.3.4.2.3.2.2" rspace="0.278em" stretchy="false" xref="S3.p9.10.m10.3.4.2.cmml">)</mo></mrow></mrow><mo id="S3.p9.10.m10.3.4.1" rspace="0.278em" xref="S3.p9.10.m10.3.4.1.cmml">:=</mo><mrow id="S3.p9.10.m10.3.4.3" xref="S3.p9.10.m10.3.4.3.cmml"><mi id="S3.p9.10.m10.3.4.3.2" xref="S3.p9.10.m10.3.4.3.2.cmml">K</mi><mo id="S3.p9.10.m10.3.4.3.1" xref="S3.p9.10.m10.3.4.3.1.cmml">⁢</mo><msup id="S3.p9.10.m10.3.4.3.3" xref="S3.p9.10.m10.3.4.3.3.cmml"><mrow id="S3.p9.10.m10.3.4.3.3.2.2" xref="S3.p9.10.m10.3.4.3.3.2.1.cmml"><mo id="S3.p9.10.m10.3.4.3.3.2.2.1" stretchy="false" xref="S3.p9.10.m10.3.4.3.3.2.1.cmml">(</mo><mi id="S3.p9.10.m10.2.2" xref="S3.p9.10.m10.2.2.cmml">X</mi><mo id="S3.p9.10.m10.3.4.3.3.2.2.2" xref="S3.p9.10.m10.3.4.3.3.2.1.cmml">,</mo><mi id="S3.p9.10.m10.3.3" xref="S3.p9.10.m10.3.3.cmml">x</mi><mo id="S3.p9.10.m10.3.4.3.3.2.2.3" stretchy="false" xref="S3.p9.10.m10.3.4.3.3.2.1.cmml">)</mo></mrow><mo id="S3.p9.10.m10.3.4.3.3.3" xref="S3.p9.10.m10.3.4.3.3.3.cmml">⊤</mo></msup><mo id="S3.p9.10.m10.3.4.3.1a" xref="S3.p9.10.m10.3.4.3.1.cmml">⁢</mo><msub id="S3.p9.10.m10.3.4.3.4" xref="S3.p9.10.m10.3.4.3.4.cmml"><mover accent="true" id="S3.p9.10.m10.3.4.3.4.2" xref="S3.p9.10.m10.3.4.3.4.2.cmml"><mi id="S3.p9.10.m10.3.4.3.4.2.2" xref="S3.p9.10.m10.3.4.3.4.2.2.cmml">c</mi><mo id="S3.p9.10.m10.3.4.3.4.2.1" xref="S3.p9.10.m10.3.4.3.4.2.1.cmml">^</mo></mover><mi id="S3.p9.10.m10.3.4.3.4.3" xref="S3.p9.10.m10.3.4.3.4.3.cmml">n</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.10.m10.3b"><apply id="S3.p9.10.m10.3.4.cmml" xref="S3.p9.10.m10.3.4"><csymbol cd="latexml" id="S3.p9.10.m10.3.4.1.cmml" xref="S3.p9.10.m10.3.4.1">assign</csymbol><apply id="S3.p9.10.m10.3.4.2.cmml" xref="S3.p9.10.m10.3.4.2"><times id="S3.p9.10.m10.3.4.2.1.cmml" xref="S3.p9.10.m10.3.4.2.1"></times><apply id="S3.p9.10.m10.3.4.2.2.cmml" xref="S3.p9.10.m10.3.4.2.2"><csymbol cd="ambiguous" id="S3.p9.10.m10.3.4.2.2.1.cmml" xref="S3.p9.10.m10.3.4.2.2">superscript</csymbol><apply id="S3.p9.10.m10.3.4.2.2.2.cmml" xref="S3.p9.10.m10.3.4.2.2"><csymbol cd="ambiguous" id="S3.p9.10.m10.3.4.2.2.2.1.cmml" xref="S3.p9.10.m10.3.4.2.2">subscript</csymbol><apply id="S3.p9.10.m10.3.4.2.2.2.2.cmml" xref="S3.p9.10.m10.3.4.2.2.2.2"><ci id="S3.p9.10.m10.3.4.2.2.2.2.1.cmml" xref="S3.p9.10.m10.3.4.2.2.2.2.1">^</ci><ci id="S3.p9.10.m10.3.4.2.2.2.2.2.cmml" xref="S3.p9.10.m10.3.4.2.2.2.2.2">𝑓</ci></apply><ci id="S3.p9.10.m10.3.4.2.2.2.3.cmml" xref="S3.p9.10.m10.3.4.2.2.2.3">𝑛</ci></apply><apply id="S3.p9.10.m10.3.4.2.2.3.cmml" xref="S3.p9.10.m10.3.4.2.2.3"><times id="S3.p9.10.m10.3.4.2.2.3.1.cmml" xref="S3.p9.10.m10.3.4.2.2.3.1"></times><ci id="S3.p9.10.m10.3.4.2.2.3.2.cmml" xref="S3.p9.10.m10.3.4.2.2.3.2">𝑝</ci><ci id="S3.p9.10.m10.3.4.2.2.3.3.cmml" xref="S3.p9.10.m10.3.4.2.2.3.3">𝑟</ci><ci id="S3.p9.10.m10.3.4.2.2.3.4.cmml" xref="S3.p9.10.m10.3.4.2.2.3.4">𝑒</ci><ci id="S3.p9.10.m10.3.4.2.2.3.5.cmml" xref="S3.p9.10.m10.3.4.2.2.3.5">𝑑</ci></apply></apply><ci id="S3.p9.10.m10.1.1.cmml" xref="S3.p9.10.m10.1.1">𝑥</ci></apply><apply id="S3.p9.10.m10.3.4.3.cmml" xref="S3.p9.10.m10.3.4.3"><times id="S3.p9.10.m10.3.4.3.1.cmml" xref="S3.p9.10.m10.3.4.3.1"></times><ci id="S3.p9.10.m10.3.4.3.2.cmml" xref="S3.p9.10.m10.3.4.3.2">𝐾</ci><apply id="S3.p9.10.m10.3.4.3.3.cmml" xref="S3.p9.10.m10.3.4.3.3"><csymbol cd="ambiguous" id="S3.p9.10.m10.3.4.3.3.1.cmml" xref="S3.p9.10.m10.3.4.3.3">superscript</csymbol><interval closure="open" id="S3.p9.10.m10.3.4.3.3.2.1.cmml" xref="S3.p9.10.m10.3.4.3.3.2.2"><ci id="S3.p9.10.m10.2.2.cmml" xref="S3.p9.10.m10.2.2">𝑋</ci><ci id="S3.p9.10.m10.3.3.cmml" xref="S3.p9.10.m10.3.3">𝑥</ci></interval><csymbol cd="latexml" id="S3.p9.10.m10.3.4.3.3.3.cmml" xref="S3.p9.10.m10.3.4.3.3.3">top</csymbol></apply><apply id="S3.p9.10.m10.3.4.3.4.cmml" xref="S3.p9.10.m10.3.4.3.4"><csymbol cd="ambiguous" id="S3.p9.10.m10.3.4.3.4.1.cmml" xref="S3.p9.10.m10.3.4.3.4">subscript</csymbol><apply id="S3.p9.10.m10.3.4.3.4.2.cmml" xref="S3.p9.10.m10.3.4.3.4.2"><ci id="S3.p9.10.m10.3.4.3.4.2.1.cmml" xref="S3.p9.10.m10.3.4.3.4.2.1">^</ci><ci id="S3.p9.10.m10.3.4.3.4.2.2.cmml" xref="S3.p9.10.m10.3.4.3.4.2.2">𝑐</ci></apply><ci id="S3.p9.10.m10.3.4.3.4.3.cmml" xref="S3.p9.10.m10.3.4.3.4.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.10.m10.3c">\widehat{f}_{n}^{pred}(x):=K(X,x)^{\top}\widehat{c}_{n}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.10.m10.3d">over^ start_ARG italic_f end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ( italic_x ) := italic_K ( italic_X , italic_x ) start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT over^ start_ARG italic_c end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT</annotation></semantics></math>, with <math alttext="\widehat{c}_{n}=(G+\lambda TI_{n})^{-1}Y\in\mathbb{R}^{n}" class="ltx_Math" display="inline" id="S3.p9.11.m11.1"><semantics id="S3.p9.11.m11.1a"><mrow id="S3.p9.11.m11.1.1" xref="S3.p9.11.m11.1.1.cmml"><msub id="S3.p9.11.m11.1.1.3" xref="S3.p9.11.m11.1.1.3.cmml"><mover accent="true" id="S3.p9.11.m11.1.1.3.2" xref="S3.p9.11.m11.1.1.3.2.cmml"><mi id="S3.p9.11.m11.1.1.3.2.2" xref="S3.p9.11.m11.1.1.3.2.2.cmml">c</mi><mo id="S3.p9.11.m11.1.1.3.2.1" xref="S3.p9.11.m11.1.1.3.2.1.cmml">^</mo></mover><mi id="S3.p9.11.m11.1.1.3.3" xref="S3.p9.11.m11.1.1.3.3.cmml">n</mi></msub><mo id="S3.p9.11.m11.1.1.4" xref="S3.p9.11.m11.1.1.4.cmml">=</mo><mrow id="S3.p9.11.m11.1.1.1" xref="S3.p9.11.m11.1.1.1.cmml"><msup id="S3.p9.11.m11.1.1.1.1" xref="S3.p9.11.m11.1.1.1.1.cmml"><mrow id="S3.p9.11.m11.1.1.1.1.1.1" xref="S3.p9.11.m11.1.1.1.1.1.1.1.cmml"><mo id="S3.p9.11.m11.1.1.1.1.1.1.2" stretchy="false" xref="S3.p9.11.m11.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.p9.11.m11.1.1.1.1.1.1.1" xref="S3.p9.11.m11.1.1.1.1.1.1.1.cmml"><mi id="S3.p9.11.m11.1.1.1.1.1.1.1.2" xref="S3.p9.11.m11.1.1.1.1.1.1.1.2.cmml">G</mi><mo id="S3.p9.11.m11.1.1.1.1.1.1.1.1" xref="S3.p9.11.m11.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.p9.11.m11.1.1.1.1.1.1.1.3" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.cmml"><mi id="S3.p9.11.m11.1.1.1.1.1.1.1.3.2" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="S3.p9.11.m11.1.1.1.1.1.1.1.3.1" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S3.p9.11.m11.1.1.1.1.1.1.1.3.3" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.3.cmml">T</mi><mo id="S3.p9.11.m11.1.1.1.1.1.1.1.3.1a" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.cmml"><mi id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.2" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.2.cmml">I</mi><mi id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.3" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.3.cmml">n</mi></msub></mrow></mrow><mo id="S3.p9.11.m11.1.1.1.1.1.1.3" stretchy="false" xref="S3.p9.11.m11.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S3.p9.11.m11.1.1.1.1.3" xref="S3.p9.11.m11.1.1.1.1.3.cmml"><mo id="S3.p9.11.m11.1.1.1.1.3a" xref="S3.p9.11.m11.1.1.1.1.3.cmml">−</mo><mn id="S3.p9.11.m11.1.1.1.1.3.2" xref="S3.p9.11.m11.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="S3.p9.11.m11.1.1.1.2" xref="S3.p9.11.m11.1.1.1.2.cmml">⁢</mo><mi id="S3.p9.11.m11.1.1.1.3" xref="S3.p9.11.m11.1.1.1.3.cmml">Y</mi></mrow><mo id="S3.p9.11.m11.1.1.5" xref="S3.p9.11.m11.1.1.5.cmml">∈</mo><msup id="S3.p9.11.m11.1.1.6" xref="S3.p9.11.m11.1.1.6.cmml"><mi id="S3.p9.11.m11.1.1.6.2" xref="S3.p9.11.m11.1.1.6.2.cmml">ℝ</mi><mi id="S3.p9.11.m11.1.1.6.3" xref="S3.p9.11.m11.1.1.6.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.11.m11.1b"><apply id="S3.p9.11.m11.1.1.cmml" xref="S3.p9.11.m11.1.1"><and id="S3.p9.11.m11.1.1a.cmml" xref="S3.p9.11.m11.1.1"></and><apply id="S3.p9.11.m11.1.1b.cmml" xref="S3.p9.11.m11.1.1"><eq id="S3.p9.11.m11.1.1.4.cmml" xref="S3.p9.11.m11.1.1.4"></eq><apply id="S3.p9.11.m11.1.1.3.cmml" xref="S3.p9.11.m11.1.1.3"><csymbol cd="ambiguous" id="S3.p9.11.m11.1.1.3.1.cmml" xref="S3.p9.11.m11.1.1.3">subscript</csymbol><apply id="S3.p9.11.m11.1.1.3.2.cmml" xref="S3.p9.11.m11.1.1.3.2"><ci id="S3.p9.11.m11.1.1.3.2.1.cmml" xref="S3.p9.11.m11.1.1.3.2.1">^</ci><ci id="S3.p9.11.m11.1.1.3.2.2.cmml" xref="S3.p9.11.m11.1.1.3.2.2">𝑐</ci></apply><ci id="S3.p9.11.m11.1.1.3.3.cmml" xref="S3.p9.11.m11.1.1.3.3">𝑛</ci></apply><apply id="S3.p9.11.m11.1.1.1.cmml" xref="S3.p9.11.m11.1.1.1"><times id="S3.p9.11.m11.1.1.1.2.cmml" xref="S3.p9.11.m11.1.1.1.2"></times><apply id="S3.p9.11.m11.1.1.1.1.cmml" xref="S3.p9.11.m11.1.1.1.1"><csymbol cd="ambiguous" id="S3.p9.11.m11.1.1.1.1.2.cmml" xref="S3.p9.11.m11.1.1.1.1">superscript</csymbol><apply id="S3.p9.11.m11.1.1.1.1.1.1.1.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1"><plus id="S3.p9.11.m11.1.1.1.1.1.1.1.1.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.1"></plus><ci id="S3.p9.11.m11.1.1.1.1.1.1.1.2.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.2">𝐺</ci><apply id="S3.p9.11.m11.1.1.1.1.1.1.1.3.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3"><times id="S3.p9.11.m11.1.1.1.1.1.1.1.3.1.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.1"></times><ci id="S3.p9.11.m11.1.1.1.1.1.1.1.3.2.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.2">𝜆</ci><ci id="S3.p9.11.m11.1.1.1.1.1.1.1.3.3.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.3">𝑇</ci><apply id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4"><csymbol cd="ambiguous" id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.1.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4">subscript</csymbol><ci id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.2.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.2">𝐼</ci><ci id="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.3.cmml" xref="S3.p9.11.m11.1.1.1.1.1.1.1.3.4.3">𝑛</ci></apply></apply></apply><apply id="S3.p9.11.m11.1.1.1.1.3.cmml" xref="S3.p9.11.m11.1.1.1.1.3"><minus id="S3.p9.11.m11.1.1.1.1.3.1.cmml" xref="S3.p9.11.m11.1.1.1.1.3"></minus><cn id="S3.p9.11.m11.1.1.1.1.3.2.cmml" type="integer" xref="S3.p9.11.m11.1.1.1.1.3.2">1</cn></apply></apply><ci id="S3.p9.11.m11.1.1.1.3.cmml" xref="S3.p9.11.m11.1.1.1.3">𝑌</ci></apply></apply><apply id="S3.p9.11.m11.1.1c.cmml" xref="S3.p9.11.m11.1.1"><in id="S3.p9.11.m11.1.1.5.cmml" xref="S3.p9.11.m11.1.1.5"></in><share href="#S3.p9.11.m11.1.1.1.cmml" id="S3.p9.11.m11.1.1d.cmml" xref="S3.p9.11.m11.1.1"></share><apply id="S3.p9.11.m11.1.1.6.cmml" xref="S3.p9.11.m11.1.1.6"><csymbol cd="ambiguous" id="S3.p9.11.m11.1.1.6.1.cmml" xref="S3.p9.11.m11.1.1.6">superscript</csymbol><ci id="S3.p9.11.m11.1.1.6.2.cmml" xref="S3.p9.11.m11.1.1.6.2">ℝ</ci><ci id="S3.p9.11.m11.1.1.6.3.cmml" xref="S3.p9.11.m11.1.1.6.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.11.m11.1c">\widehat{c}_{n}=(G+\lambda TI_{n})^{-1}Y\in\mathbb{R}^{n}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.11.m11.1d">over^ start_ARG italic_c end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT = ( italic_G + italic_λ italic_T italic_I start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_Y ∈ blackboard_R start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT</annotation></semantics></math>, where <math alttext="K(X):=(K_{x_{1}},\ldots,K_{x_{T}})" class="ltx_Math" display="inline" id="S3.p9.12.m12.4"><semantics id="S3.p9.12.m12.4a"><mrow id="S3.p9.12.m12.4.4" xref="S3.p9.12.m12.4.4.cmml"><mrow id="S3.p9.12.m12.4.4.4" xref="S3.p9.12.m12.4.4.4.cmml"><mi id="S3.p9.12.m12.4.4.4.2" xref="S3.p9.12.m12.4.4.4.2.cmml">K</mi><mo id="S3.p9.12.m12.4.4.4.1" xref="S3.p9.12.m12.4.4.4.1.cmml">⁢</mo><mrow id="S3.p9.12.m12.4.4.4.3.2" xref="S3.p9.12.m12.4.4.4.cmml"><mo id="S3.p9.12.m12.4.4.4.3.2.1" stretchy="false" xref="S3.p9.12.m12.4.4.4.cmml">(</mo><mi id="S3.p9.12.m12.1.1" xref="S3.p9.12.m12.1.1.cmml">X</mi><mo id="S3.p9.12.m12.4.4.4.3.2.2" rspace="0.278em" stretchy="false" xref="S3.p9.12.m12.4.4.4.cmml">)</mo></mrow></mrow><mo id="S3.p9.12.m12.4.4.3" rspace="0.278em" xref="S3.p9.12.m12.4.4.3.cmml">:=</mo><mrow id="S3.p9.12.m12.4.4.2.2" xref="S3.p9.12.m12.4.4.2.3.cmml"><mo id="S3.p9.12.m12.4.4.2.2.3" stretchy="false" xref="S3.p9.12.m12.4.4.2.3.cmml">(</mo><msub id="S3.p9.12.m12.3.3.1.1.1" xref="S3.p9.12.m12.3.3.1.1.1.cmml"><mi id="S3.p9.12.m12.3.3.1.1.1.2" xref="S3.p9.12.m12.3.3.1.1.1.2.cmml">K</mi><msub id="S3.p9.12.m12.3.3.1.1.1.3" xref="S3.p9.12.m12.3.3.1.1.1.3.cmml"><mi id="S3.p9.12.m12.3.3.1.1.1.3.2" xref="S3.p9.12.m12.3.3.1.1.1.3.2.cmml">x</mi><mn id="S3.p9.12.m12.3.3.1.1.1.3.3" xref="S3.p9.12.m12.3.3.1.1.1.3.3.cmml">1</mn></msub></msub><mo id="S3.p9.12.m12.4.4.2.2.4" xref="S3.p9.12.m12.4.4.2.3.cmml">,</mo><mi id="S3.p9.12.m12.2.2" mathvariant="normal" xref="S3.p9.12.m12.2.2.cmml">…</mi><mo id="S3.p9.12.m12.4.4.2.2.5" xref="S3.p9.12.m12.4.4.2.3.cmml">,</mo><msub id="S3.p9.12.m12.4.4.2.2.2" xref="S3.p9.12.m12.4.4.2.2.2.cmml"><mi id="S3.p9.12.m12.4.4.2.2.2.2" xref="S3.p9.12.m12.4.4.2.2.2.2.cmml">K</mi><msub id="S3.p9.12.m12.4.4.2.2.2.3" xref="S3.p9.12.m12.4.4.2.2.2.3.cmml"><mi id="S3.p9.12.m12.4.4.2.2.2.3.2" xref="S3.p9.12.m12.4.4.2.2.2.3.2.cmml">x</mi><mi id="S3.p9.12.m12.4.4.2.2.2.3.3" xref="S3.p9.12.m12.4.4.2.2.2.3.3.cmml">T</mi></msub></msub><mo id="S3.p9.12.m12.4.4.2.2.6" stretchy="false" xref="S3.p9.12.m12.4.4.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.12.m12.4b"><apply id="S3.p9.12.m12.4.4.cmml" xref="S3.p9.12.m12.4.4"><csymbol cd="latexml" id="S3.p9.12.m12.4.4.3.cmml" xref="S3.p9.12.m12.4.4.3">assign</csymbol><apply id="S3.p9.12.m12.4.4.4.cmml" xref="S3.p9.12.m12.4.4.4"><times id="S3.p9.12.m12.4.4.4.1.cmml" xref="S3.p9.12.m12.4.4.4.1"></times><ci id="S3.p9.12.m12.4.4.4.2.cmml" xref="S3.p9.12.m12.4.4.4.2">𝐾</ci><ci id="S3.p9.12.m12.1.1.cmml" xref="S3.p9.12.m12.1.1">𝑋</ci></apply><vector id="S3.p9.12.m12.4.4.2.3.cmml" xref="S3.p9.12.m12.4.4.2.2"><apply id="S3.p9.12.m12.3.3.1.1.1.cmml" xref="S3.p9.12.m12.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.p9.12.m12.3.3.1.1.1.1.cmml" xref="S3.p9.12.m12.3.3.1.1.1">subscript</csymbol><ci id="S3.p9.12.m12.3.3.1.1.1.2.cmml" xref="S3.p9.12.m12.3.3.1.1.1.2">𝐾</ci><apply id="S3.p9.12.m12.3.3.1.1.1.3.cmml" xref="S3.p9.12.m12.3.3.1.1.1.3"><csymbol cd="ambiguous" id="S3.p9.12.m12.3.3.1.1.1.3.1.cmml" xref="S3.p9.12.m12.3.3.1.1.1.3">subscript</csymbol><ci id="S3.p9.12.m12.3.3.1.1.1.3.2.cmml" xref="S3.p9.12.m12.3.3.1.1.1.3.2">𝑥</ci><cn id="S3.p9.12.m12.3.3.1.1.1.3.3.cmml" type="integer" xref="S3.p9.12.m12.3.3.1.1.1.3.3">1</cn></apply></apply><ci id="S3.p9.12.m12.2.2.cmml" xref="S3.p9.12.m12.2.2">…</ci><apply id="S3.p9.12.m12.4.4.2.2.2.cmml" xref="S3.p9.12.m12.4.4.2.2.2"><csymbol cd="ambiguous" id="S3.p9.12.m12.4.4.2.2.2.1.cmml" xref="S3.p9.12.m12.4.4.2.2.2">subscript</csymbol><ci id="S3.p9.12.m12.4.4.2.2.2.2.cmml" xref="S3.p9.12.m12.4.4.2.2.2.2">𝐾</ci><apply id="S3.p9.12.m12.4.4.2.2.2.3.cmml" xref="S3.p9.12.m12.4.4.2.2.2.3"><csymbol cd="ambiguous" id="S3.p9.12.m12.4.4.2.2.2.3.1.cmml" xref="S3.p9.12.m12.4.4.2.2.2.3">subscript</csymbol><ci id="S3.p9.12.m12.4.4.2.2.2.3.2.cmml" xref="S3.p9.12.m12.4.4.2.2.2.3.2">𝑥</ci><ci id="S3.p9.12.m12.4.4.2.2.2.3.3.cmml" xref="S3.p9.12.m12.4.4.2.2.2.3.3">𝑇</ci></apply></apply></vector></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.12.m12.4c">K(X):=(K_{x_{1}},\ldots,K_{x_{T}})</annotation><annotation encoding="application/x-llamapun" id="S3.p9.12.m12.4d">italic_K ( italic_X ) := ( italic_K start_POSTSUBSCRIPT italic_x start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT end_POSTSUBSCRIPT , … , italic_K start_POSTSUBSCRIPT italic_x start_POSTSUBSCRIPT italic_T end_POSTSUBSCRIPT end_POSTSUBSCRIPT )</annotation></semantics></math>, and <math alttext="G=K(X)K(X)^{\top}=(K(x_{i},x_{j}))_{1\leq i,j\leq T}\in\mathbb{R}^{n\times n}" class="ltx_Math" display="inline" id="S3.p9.13.m13.5"><semantics id="S3.p9.13.m13.5a"><mrow id="S3.p9.13.m13.5.5" xref="S3.p9.13.m13.5.5.cmml"><mi id="S3.p9.13.m13.5.5.3" xref="S3.p9.13.m13.5.5.3.cmml">G</mi><mo id="S3.p9.13.m13.5.5.4" xref="S3.p9.13.m13.5.5.4.cmml">=</mo><mrow id="S3.p9.13.m13.5.5.5" xref="S3.p9.13.m13.5.5.5.cmml"><mi id="S3.p9.13.m13.5.5.5.2" xref="S3.p9.13.m13.5.5.5.2.cmml">K</mi><mo id="S3.p9.13.m13.5.5.5.1" xref="S3.p9.13.m13.5.5.5.1.cmml">⁢</mo><mrow id="S3.p9.13.m13.5.5.5.3.2" xref="S3.p9.13.m13.5.5.5.cmml"><mo id="S3.p9.13.m13.5.5.5.3.2.1" stretchy="false" xref="S3.p9.13.m13.5.5.5.cmml">(</mo><mi id="S3.p9.13.m13.3.3" xref="S3.p9.13.m13.3.3.cmml">X</mi><mo id="S3.p9.13.m13.5.5.5.3.2.2" stretchy="false" xref="S3.p9.13.m13.5.5.5.cmml">)</mo></mrow><mo id="S3.p9.13.m13.5.5.5.1a" xref="S3.p9.13.m13.5.5.5.1.cmml">⁢</mo><mi id="S3.p9.13.m13.5.5.5.4" xref="S3.p9.13.m13.5.5.5.4.cmml">K</mi><mo id="S3.p9.13.m13.5.5.5.1b" xref="S3.p9.13.m13.5.5.5.1.cmml">⁢</mo><msup id="S3.p9.13.m13.5.5.5.5" xref="S3.p9.13.m13.5.5.5.5.cmml"><mrow id="S3.p9.13.m13.5.5.5.5.2.2" xref="S3.p9.13.m13.5.5.5.5.cmml"><mo id="S3.p9.13.m13.5.5.5.5.2.2.1" stretchy="false" xref="S3.p9.13.m13.5.5.5.5.cmml">(</mo><mi id="S3.p9.13.m13.4.4" xref="S3.p9.13.m13.4.4.cmml">X</mi><mo id="S3.p9.13.m13.5.5.5.5.2.2.2" stretchy="false" xref="S3.p9.13.m13.5.5.5.5.cmml">)</mo></mrow><mo id="S3.p9.13.m13.5.5.5.5.3" xref="S3.p9.13.m13.5.5.5.5.3.cmml">⊤</mo></msup></mrow><mo id="S3.p9.13.m13.5.5.6" xref="S3.p9.13.m13.5.5.6.cmml">=</mo><msub id="S3.p9.13.m13.5.5.1" xref="S3.p9.13.m13.5.5.1.cmml"><mrow id="S3.p9.13.m13.5.5.1.1.1" xref="S3.p9.13.m13.5.5.1.1.1.1.cmml"><mo id="S3.p9.13.m13.5.5.1.1.1.2" stretchy="false" xref="S3.p9.13.m13.5.5.1.1.1.1.cmml">(</mo><mrow id="S3.p9.13.m13.5.5.1.1.1.1" xref="S3.p9.13.m13.5.5.1.1.1.1.cmml"><mi id="S3.p9.13.m13.5.5.1.1.1.1.4" xref="S3.p9.13.m13.5.5.1.1.1.1.4.cmml">K</mi><mo id="S3.p9.13.m13.5.5.1.1.1.1.3" xref="S3.p9.13.m13.5.5.1.1.1.1.3.cmml">⁢</mo><mrow id="S3.p9.13.m13.5.5.1.1.1.1.2.2" xref="S3.p9.13.m13.5.5.1.1.1.1.2.3.cmml"><mo id="S3.p9.13.m13.5.5.1.1.1.1.2.2.3" stretchy="false" xref="S3.p9.13.m13.5.5.1.1.1.1.2.3.cmml">(</mo><msub id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.cmml"><mi id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.2" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.2.cmml">x</mi><mi id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.3" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo id="S3.p9.13.m13.5.5.1.1.1.1.2.2.4" xref="S3.p9.13.m13.5.5.1.1.1.1.2.3.cmml">,</mo><msub id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.cmml"><mi id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.2" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.2.cmml">x</mi><mi id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.3" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.3.cmml">j</mi></msub><mo id="S3.p9.13.m13.5.5.1.1.1.1.2.2.5" stretchy="false" xref="S3.p9.13.m13.5.5.1.1.1.1.2.3.cmml">)</mo></mrow></mrow><mo id="S3.p9.13.m13.5.5.1.1.1.3" stretchy="false" xref="S3.p9.13.m13.5.5.1.1.1.1.cmml">)</mo></mrow><mrow id="S3.p9.13.m13.2.2.2.2" xref="S3.p9.13.m13.2.2.2.3.cmml"><mrow id="S3.p9.13.m13.1.1.1.1.1" xref="S3.p9.13.m13.1.1.1.1.1.cmml"><mn id="S3.p9.13.m13.1.1.1.1.1.2" xref="S3.p9.13.m13.1.1.1.1.1.2.cmml">1</mn><mo id="S3.p9.13.m13.1.1.1.1.1.1" xref="S3.p9.13.m13.1.1.1.1.1.1.cmml">≤</mo><mi id="S3.p9.13.m13.1.1.1.1.1.3" xref="S3.p9.13.m13.1.1.1.1.1.3.cmml">i</mi></mrow><mo id="S3.p9.13.m13.2.2.2.2.3" xref="S3.p9.13.m13.2.2.2.3a.cmml">,</mo><mrow id="S3.p9.13.m13.2.2.2.2.2" xref="S3.p9.13.m13.2.2.2.2.2.cmml"><mi id="S3.p9.13.m13.2.2.2.2.2.2" xref="S3.p9.13.m13.2.2.2.2.2.2.cmml">j</mi><mo id="S3.p9.13.m13.2.2.2.2.2.1" xref="S3.p9.13.m13.2.2.2.2.2.1.cmml">≤</mo><mi id="S3.p9.13.m13.2.2.2.2.2.3" xref="S3.p9.13.m13.2.2.2.2.2.3.cmml">T</mi></mrow></mrow></msub><mo id="S3.p9.13.m13.5.5.7" xref="S3.p9.13.m13.5.5.7.cmml">∈</mo><msup id="S3.p9.13.m13.5.5.8" xref="S3.p9.13.m13.5.5.8.cmml"><mi id="S3.p9.13.m13.5.5.8.2" xref="S3.p9.13.m13.5.5.8.2.cmml">ℝ</mi><mrow id="S3.p9.13.m13.5.5.8.3" xref="S3.p9.13.m13.5.5.8.3.cmml"><mi id="S3.p9.13.m13.5.5.8.3.2" xref="S3.p9.13.m13.5.5.8.3.2.cmml">n</mi><mo id="S3.p9.13.m13.5.5.8.3.1" lspace="0.222em" rspace="0.222em" xref="S3.p9.13.m13.5.5.8.3.1.cmml">×</mo><mi id="S3.p9.13.m13.5.5.8.3.3" xref="S3.p9.13.m13.5.5.8.3.3.cmml">n</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.p9.13.m13.5b"><apply id="S3.p9.13.m13.5.5.cmml" xref="S3.p9.13.m13.5.5"><and id="S3.p9.13.m13.5.5a.cmml" xref="S3.p9.13.m13.5.5"></and><apply id="S3.p9.13.m13.5.5b.cmml" xref="S3.p9.13.m13.5.5"><eq id="S3.p9.13.m13.5.5.4.cmml" xref="S3.p9.13.m13.5.5.4"></eq><ci id="S3.p9.13.m13.5.5.3.cmml" xref="S3.p9.13.m13.5.5.3">𝐺</ci><apply id="S3.p9.13.m13.5.5.5.cmml" xref="S3.p9.13.m13.5.5.5"><times id="S3.p9.13.m13.5.5.5.1.cmml" xref="S3.p9.13.m13.5.5.5.1"></times><ci id="S3.p9.13.m13.5.5.5.2.cmml" xref="S3.p9.13.m13.5.5.5.2">𝐾</ci><ci id="S3.p9.13.m13.3.3.cmml" xref="S3.p9.13.m13.3.3">𝑋</ci><ci id="S3.p9.13.m13.5.5.5.4.cmml" xref="S3.p9.13.m13.5.5.5.4">𝐾</ci><apply id="S3.p9.13.m13.5.5.5.5.cmml" xref="S3.p9.13.m13.5.5.5.5"><csymbol cd="ambiguous" id="S3.p9.13.m13.5.5.5.5.1.cmml" xref="S3.p9.13.m13.5.5.5.5">superscript</csymbol><ci id="S3.p9.13.m13.4.4.cmml" xref="S3.p9.13.m13.4.4">𝑋</ci><csymbol cd="latexml" id="S3.p9.13.m13.5.5.5.5.3.cmml" xref="S3.p9.13.m13.5.5.5.5.3">top</csymbol></apply></apply></apply><apply id="S3.p9.13.m13.5.5c.cmml" xref="S3.p9.13.m13.5.5"><eq id="S3.p9.13.m13.5.5.6.cmml" xref="S3.p9.13.m13.5.5.6"></eq><share href="#S3.p9.13.m13.5.5.5.cmml" id="S3.p9.13.m13.5.5d.cmml" xref="S3.p9.13.m13.5.5"></share><apply id="S3.p9.13.m13.5.5.1.cmml" xref="S3.p9.13.m13.5.5.1"><csymbol cd="ambiguous" id="S3.p9.13.m13.5.5.1.2.cmml" xref="S3.p9.13.m13.5.5.1">subscript</csymbol><apply id="S3.p9.13.m13.5.5.1.1.1.1.cmml" xref="S3.p9.13.m13.5.5.1.1.1"><times id="S3.p9.13.m13.5.5.1.1.1.1.3.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.3"></times><ci id="S3.p9.13.m13.5.5.1.1.1.1.4.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.4">𝐾</ci><interval closure="open" id="S3.p9.13.m13.5.5.1.1.1.1.2.3.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2"><apply id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.1.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.2.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.2">𝑥</ci><ci id="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.3.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.1.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2">subscript</csymbol><ci id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.2.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.2">𝑥</ci><ci id="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.3.cmml" xref="S3.p9.13.m13.5.5.1.1.1.1.2.2.2.3">𝑗</ci></apply></interval></apply><apply id="S3.p9.13.m13.2.2.2.3.cmml" xref="S3.p9.13.m13.2.2.2.2"><csymbol cd="ambiguous" id="S3.p9.13.m13.2.2.2.3a.cmml" xref="S3.p9.13.m13.2.2.2.2.3">formulae-sequence</csymbol><apply id="S3.p9.13.m13.1.1.1.1.1.cmml" xref="S3.p9.13.m13.1.1.1.1.1"><leq id="S3.p9.13.m13.1.1.1.1.1.1.cmml" xref="S3.p9.13.m13.1.1.1.1.1.1"></leq><cn id="S3.p9.13.m13.1.1.1.1.1.2.cmml" type="integer" xref="S3.p9.13.m13.1.1.1.1.1.2">1</cn><ci id="S3.p9.13.m13.1.1.1.1.1.3.cmml" xref="S3.p9.13.m13.1.1.1.1.1.3">𝑖</ci></apply><apply id="S3.p9.13.m13.2.2.2.2.2.cmml" xref="S3.p9.13.m13.2.2.2.2.2"><leq id="S3.p9.13.m13.2.2.2.2.2.1.cmml" xref="S3.p9.13.m13.2.2.2.2.2.1"></leq><ci id="S3.p9.13.m13.2.2.2.2.2.2.cmml" xref="S3.p9.13.m13.2.2.2.2.2.2">𝑗</ci><ci id="S3.p9.13.m13.2.2.2.2.2.3.cmml" xref="S3.p9.13.m13.2.2.2.2.2.3">𝑇</ci></apply></apply></apply></apply><apply id="S3.p9.13.m13.5.5e.cmml" xref="S3.p9.13.m13.5.5"><in id="S3.p9.13.m13.5.5.7.cmml" xref="S3.p9.13.m13.5.5.7"></in><share href="#S3.p9.13.m13.5.5.1.cmml" id="S3.p9.13.m13.5.5f.cmml" xref="S3.p9.13.m13.5.5"></share><apply id="S3.p9.13.m13.5.5.8.cmml" xref="S3.p9.13.m13.5.5.8"><csymbol cd="ambiguous" id="S3.p9.13.m13.5.5.8.1.cmml" xref="S3.p9.13.m13.5.5.8">superscript</csymbol><ci id="S3.p9.13.m13.5.5.8.2.cmml" xref="S3.p9.13.m13.5.5.8.2">ℝ</ci><apply id="S3.p9.13.m13.5.5.8.3.cmml" xref="S3.p9.13.m13.5.5.8.3"><times id="S3.p9.13.m13.5.5.8.3.1.cmml" xref="S3.p9.13.m13.5.5.8.3.1"></times><ci id="S3.p9.13.m13.5.5.8.3.2.cmml" xref="S3.p9.13.m13.5.5.8.3.2">𝑛</ci><ci id="S3.p9.13.m13.5.5.8.3.3.cmml" xref="S3.p9.13.m13.5.5.8.3.3">𝑛</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.p9.13.m13.5c">G=K(X)K(X)^{\top}=(K(x_{i},x_{j}))_{1\leq i,j\leq T}\in\mathbb{R}^{n\times n}</annotation><annotation encoding="application/x-llamapun" id="S3.p9.13.m13.5d">italic_G = italic_K ( italic_X ) italic_K ( italic_X ) start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT = ( italic_K ( italic_x start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT , italic_x start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT ) ) start_POSTSUBSCRIPT 1 ≤ italic_i , italic_j ≤ italic_T end_POSTSUBSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_n × italic_n end_POSTSUPERSCRIPT</annotation></semantics></math> is the Gram matrix. </p> </div> </section> <section class="ltx_section" id="S4"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">4 </span>Exact Test Error Characterization</h2> <div class="ltx_para" id="S4.p1"> <p class="ltx_p" id="S4.p1.2">In this section we establish generic analytic formulae for the test error of the downstream model <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S4.p1.1.m1.1"><semantics id="S4.p1.1.m1.1a"><msubsup id="S4.p1.1.m1.1.1" xref="S4.p1.1.m1.1.1.cmml"><mover accent="true" id="S4.p1.1.m1.1.1.2.2" xref="S4.p1.1.m1.1.1.2.2.cmml"><mi id="S4.p1.1.m1.1.1.2.2.2" xref="S4.p1.1.m1.1.1.2.2.2.cmml">w</mi><mo id="S4.p1.1.m1.1.1.2.2.1" xref="S4.p1.1.m1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.p1.1.m1.1.1.2.3" xref="S4.p1.1.m1.1.1.2.3.cmml">n</mi><mrow id="S4.p1.1.m1.1.1.3" xref="S4.p1.1.m1.1.1.3.cmml"><mi id="S4.p1.1.m1.1.1.3.2" xref="S4.p1.1.m1.1.1.3.2.cmml">p</mi><mo id="S4.p1.1.m1.1.1.3.1" xref="S4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.p1.1.m1.1.1.3.3" xref="S4.p1.1.m1.1.1.3.3.cmml">r</mi><mo id="S4.p1.1.m1.1.1.3.1a" xref="S4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.p1.1.m1.1.1.3.4" xref="S4.p1.1.m1.1.1.3.4.cmml">e</mi><mo id="S4.p1.1.m1.1.1.3.1b" xref="S4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.p1.1.m1.1.1.3.5" xref="S4.p1.1.m1.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S4.p1.1.m1.1b"><apply id="S4.p1.1.m1.1.1.cmml" xref="S4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p1.1.m1.1.1.1.cmml" xref="S4.p1.1.m1.1.1">superscript</csymbol><apply id="S4.p1.1.m1.1.1.2.cmml" xref="S4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p1.1.m1.1.1.2.1.cmml" xref="S4.p1.1.m1.1.1">subscript</csymbol><apply id="S4.p1.1.m1.1.1.2.2.cmml" xref="S4.p1.1.m1.1.1.2.2"><ci id="S4.p1.1.m1.1.1.2.2.1.cmml" xref="S4.p1.1.m1.1.1.2.2.1">^</ci><ci id="S4.p1.1.m1.1.1.2.2.2.cmml" xref="S4.p1.1.m1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.p1.1.m1.1.1.2.3.cmml" xref="S4.p1.1.m1.1.1.2.3">𝑛</ci></apply><apply id="S4.p1.1.m1.1.1.3.cmml" xref="S4.p1.1.m1.1.1.3"><times id="S4.p1.1.m1.1.1.3.1.cmml" xref="S4.p1.1.m1.1.1.3.1"></times><ci id="S4.p1.1.m1.1.1.3.2.cmml" xref="S4.p1.1.m1.1.1.3.2">𝑝</ci><ci id="S4.p1.1.m1.1.1.3.3.cmml" xref="S4.p1.1.m1.1.1.3.3">𝑟</ci><ci id="S4.p1.1.m1.1.1.3.4.cmml" xref="S4.p1.1.m1.1.1.3.4">𝑒</ci><ci id="S4.p1.1.m1.1.1.3.5.cmml" xref="S4.p1.1.m1.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.1.m1.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S4.p1.1.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>) trained on <math alttext="n" class="ltx_Math" display="inline" id="S4.p1.2.m2.1"><semantics id="S4.p1.2.m2.1a"><mi id="S4.p1.2.m2.1.1" xref="S4.p1.2.m2.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.p1.2.m2.1b"><ci id="S4.p1.2.m2.1.1.cmml" xref="S4.p1.2.m2.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.2.m2.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.p1.2.m2.1d">italic_n</annotation></semantics></math>-fold fake data-generation as outlined in Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3" title="3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">3</span></a>.</p> </div> <section class="ltx_subsection" id="S4.SS1"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">4.1 </span>Warm-up: Unregularized Downstream Model</h3> <div class="ltx_para" id="S4.SS1.p1"> <p class="ltx_p" id="S4.SS1.p1.1">For a start, let us first consider the case of ridgeless regression (corresponding to <math alttext="\lambda=0" class="ltx_Math" display="inline" id="S4.SS1.p1.1.m1.1"><semantics id="S4.SS1.p1.1.m1.1a"><mrow id="S4.SS1.p1.1.m1.1.1" xref="S4.SS1.p1.1.m1.1.1.cmml"><mi id="S4.SS1.p1.1.m1.1.1.2" xref="S4.SS1.p1.1.m1.1.1.2.cmml">λ</mi><mo id="S4.SS1.p1.1.m1.1.1.1" xref="S4.SS1.p1.1.m1.1.1.1.cmml">=</mo><mn id="S4.SS1.p1.1.m1.1.1.3" xref="S4.SS1.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p1.1.m1.1b"><apply id="S4.SS1.p1.1.m1.1.1.cmml" xref="S4.SS1.p1.1.m1.1.1"><eq id="S4.SS1.p1.1.m1.1.1.1.cmml" xref="S4.SS1.p1.1.m1.1.1.1"></eq><ci id="S4.SS1.p1.1.m1.1.1.2.cmml" xref="S4.SS1.p1.1.m1.1.1.2">𝜆</ci><cn id="S4.SS1.p1.1.m1.1.1.3.cmml" type="integer" xref="S4.SS1.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p1.1.m1.1c">\lambda=0</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.p1.1.m1.1d">italic_λ = 0</annotation></semantics></math> in Equation (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>)).</p> </div> <div class="ltx_theorem ltx_theorem_theorem" id="S4.Thmtheorem1"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem1.1.1.1">Theorem 4.1</span></span><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem1.2.2">.</span> </h6> <div class="ltx_para" id="S4.Thmtheorem1.p1"> <p class="ltx_p" id="S4.Thmtheorem1.p1.6"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem1.p1.6.6">For an <math alttext="n" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.1.1.m1.1"><semantics id="S4.Thmtheorem1.p1.1.1.m1.1a"><mi id="S4.Thmtheorem1.p1.1.1.m1.1.1" xref="S4.Thmtheorem1.p1.1.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.1.1.m1.1b"><ci id="S4.Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="S4.Thmtheorem1.p1.1.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.1.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.1.1.m1.1d">italic_n</annotation></semantics></math>-fold fake data generation process with <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.2.2.m2.1"><semantics id="S4.Thmtheorem1.p1.2.2.m2.1a"><mrow id="S4.Thmtheorem1.p1.2.2.m2.1.1" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.cmml"><msub id="S4.Thmtheorem1.p1.2.2.m2.1.1.2" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2.cmml"><mi id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.2" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2.2.cmml">T</mi><mn id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.3" mathvariant="normal" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2.3.cmml">0</mn></msub><mo id="S4.Thmtheorem1.p1.2.2.m2.1.1.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.1.cmml">≥</mo><mrow id="S4.Thmtheorem1.p1.2.2.m2.1.1.3" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.cmml"><mi id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.2" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.1.cmml">+</mo><mn id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.2.2.m2.1b"><apply id="S4.Thmtheorem1.p1.2.2.m2.1.1.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1"><geq id="S4.Thmtheorem1.p1.2.2.m2.1.1.1.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.1"></geq><apply id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2"><csymbol cd="ambiguous" id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.1.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2">subscript</csymbol><ci id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.2.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2.2">𝑇</ci><cn id="S4.Thmtheorem1.p1.2.2.m2.1.1.2.3.cmml" type="integer" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.2.3">0</cn></apply><apply id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3"><plus id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.1.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.1"></plus><ci id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.2.cmml" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.2">𝑑</ci><cn id="S4.Thmtheorem1.p1.2.2.m2.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem1.p1.2.2.m2.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.2.2.m2.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.2.2.m2.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math> samples, the test error for the linear predictor <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.3.3.m3.1"><semantics id="S4.Thmtheorem1.p1.3.3.m3.1a"><msubsup id="S4.Thmtheorem1.p1.3.3.m3.1.1" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.cmml"><mover accent="true" id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.cmml"><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.2" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.2.cmml">w</mi><mo id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.3" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.3.cmml">n</mi><mrow id="S4.Thmtheorem1.p1.3.3.m3.1.1.3" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.cmml"><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.2" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.2.cmml">p</mi><mo id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1" mathvariant="italic" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.3" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.3.cmml">r</mi><mo id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1a" mathvariant="italic" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.4" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.4.cmml">e</mi><mo id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1b" mathvariant="italic" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.5" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.3.3.m3.1b"><apply id="S4.Thmtheorem1.p1.3.3.m3.1.1.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem1.p1.3.3.m3.1.1.1.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1">superscript</csymbol><apply id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.1.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1">subscript</csymbol><apply id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2"><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.1.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.1">normal-^</ci><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.2.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.2.2">𝑤</ci></apply><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.2.3.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.2.3">𝑛</ci></apply><apply id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3"><times id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.1"></times><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.2.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.2">𝑝</ci><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.3.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.3">𝑟</ci><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.4.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.4">𝑒</ci><ci id="S4.Thmtheorem1.p1.3.3.m3.1.1.3.5.cmml" xref="S4.Thmtheorem1.p1.3.3.m3.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.3.3.m3.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.3.3.m3.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>) learned on <math alttext="T\geq d+2" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.4.4.m4.1"><semantics id="S4.Thmtheorem1.p1.4.4.m4.1a"><mrow id="S4.Thmtheorem1.p1.4.4.m4.1.1" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.cmml"><mi id="S4.Thmtheorem1.p1.4.4.m4.1.1.2" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.2.cmml">T</mi><mo id="S4.Thmtheorem1.p1.4.4.m4.1.1.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.1.cmml">≥</mo><mrow id="S4.Thmtheorem1.p1.4.4.m4.1.1.3" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.cmml"><mi id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.2" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.1.cmml">+</mo><mn id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.4.4.m4.1b"><apply id="S4.Thmtheorem1.p1.4.4.m4.1.1.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1"><geq id="S4.Thmtheorem1.p1.4.4.m4.1.1.1.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.1"></geq><ci id="S4.Thmtheorem1.p1.4.4.m4.1.1.2.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.2">𝑇</ci><apply id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3"><plus id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.1.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.1"></plus><ci id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.2.cmml" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.2">𝑑</ci><cn id="S4.Thmtheorem1.p1.4.4.m4.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem1.p1.4.4.m4.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.4.4.m4.1c">T\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.4.4.m4.1d">italic_T ≥ italic_d + 2</annotation></semantics></math> samples, with <math alttext="\lambda=0" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.5.5.m5.1"><semantics id="S4.Thmtheorem1.p1.5.5.m5.1a"><mrow id="S4.Thmtheorem1.p1.5.5.m5.1.1" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.cmml"><mi id="S4.Thmtheorem1.p1.5.5.m5.1.1.2" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.2.cmml">λ</mi><mo id="S4.Thmtheorem1.p1.5.5.m5.1.1.1" mathvariant="normal" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.1.cmml">=</mo><mn id="S4.Thmtheorem1.p1.5.5.m5.1.1.3" mathvariant="normal" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.5.5.m5.1b"><apply id="S4.Thmtheorem1.p1.5.5.m5.1.1.cmml" xref="S4.Thmtheorem1.p1.5.5.m5.1.1"><eq id="S4.Thmtheorem1.p1.5.5.m5.1.1.1.cmml" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.1"></eq><ci id="S4.Thmtheorem1.p1.5.5.m5.1.1.2.cmml" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.2">𝜆</ci><cn id="S4.Thmtheorem1.p1.5.5.m5.1.1.3.cmml" type="integer" xref="S4.Thmtheorem1.p1.5.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.5.5.m5.1c">\lambda=0</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.5.5.m5.1d">italic_λ = 0</annotation></semantics></math>, is given for <math alttext="T\to\infty" class="ltx_Math" display="inline" id="S4.Thmtheorem1.p1.6.6.m6.1"><semantics id="S4.Thmtheorem1.p1.6.6.m6.1a"><mrow id="S4.Thmtheorem1.p1.6.6.m6.1.1" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.cmml"><mi id="S4.Thmtheorem1.p1.6.6.m6.1.1.2" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.2.cmml">T</mi><mo id="S4.Thmtheorem1.p1.6.6.m6.1.1.1" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.1.cmml">→</mo><mi id="S4.Thmtheorem1.p1.6.6.m6.1.1.3" mathvariant="normal" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem1.p1.6.6.m6.1b"><apply id="S4.Thmtheorem1.p1.6.6.m6.1.1.cmml" xref="S4.Thmtheorem1.p1.6.6.m6.1.1"><ci id="S4.Thmtheorem1.p1.6.6.m6.1.1.1.cmml" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.1">normal-→</ci><ci id="S4.Thmtheorem1.p1.6.6.m6.1.1.2.cmml" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.2">𝑇</ci><infinity id="S4.Thmtheorem1.p1.6.6.m6.1.1.3.cmml" xref="S4.Thmtheorem1.p1.6.6.m6.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem1.p1.6.6.m6.1c">T\to\infty</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem1.p1.6.6.m6.1d">italic_T → ∞</annotation></semantics></math> by</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx6"> <tbody id="S4.E6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})\simeq\frac{\sigma^{2}\phi}{1-% \phi}+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}\frac{n\sigma_% {0}^{2}\phi_{0}}{1-\phi_{0}}},\,\phi=\frac{d}{T},\phi_{0}=\frac{d}{T_{0}}." class="ltx_Math" display="inline" id="S4.E6.m1.1"><semantics id="S4.E6.m1.1a"><mrow id="S4.E6.m1.1.1.1"><mrow id="S4.E6.m1.1.1.1.1.2" xref="S4.E6.m1.1.1.1.1.3.cmml"><mrow id="S4.E6.m1.1.1.1.1.1.1" xref="S4.E6.m1.1.1.1.1.1.1.cmml"><mrow id="S4.E6.m1.1.1.1.1.1.1.1" xref="S4.E6.m1.1.1.1.1.1.1.1.cmml"><msub id="S4.E6.m1.1.1.1.1.1.1.1.3" xref="S4.E6.m1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.1.3.2" xref="S4.E6.m1.1.1.1.1.1.1.1.3.2.cmml">E</mi><mrow id="S4.E6.m1.1.1.1.1.1.1.1.3.3" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.1.3.3.2" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.3.3.1" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.3.3.3" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.3.3.1a" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.3.3.4" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.3.3.1b" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.3.3.5" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E6.m1.1.1.1.1.1.1.1.2" xref="S4.E6.m1.1.1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="S4.E6.m1.1.1.1.1.1.1.1.1.1" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.1" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.3" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1a" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.4" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1b" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.5" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.E6.m1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E6.m1.1.1.1.1.1.1.2" xref="S4.E6.m1.1.1.1.1.1.1.2.cmml">≃</mo><mrow id="S4.E6.m1.1.1.1.1.1.1.3" xref="S4.E6.m1.1.1.1.1.1.1.3.cmml"><mstyle displaystyle="true" id="S4.E6.m1.1.1.1.1.1.1.3.2" xref="S4.E6.m1.1.1.1.1.1.1.3.2.cmml"><mfrac id="S4.E6.m1.1.1.1.1.1.1.3.2a" xref="S4.E6.m1.1.1.1.1.1.1.3.2.cmml"><mrow id="S4.E6.m1.1.1.1.1.1.1.3.2.2" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.cmml"><msup id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.2" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.2.cmml">σ</mi><mn id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.3" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.3.cmml">2</mn></msup><mo id="S4.E6.m1.1.1.1.1.1.1.3.2.2.1" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.1.cmml">⁢</mo><mi id="S4.E6.m1.1.1.1.1.1.1.3.2.2.3" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.3.cmml">ϕ</mi></mrow><mrow id="S4.E6.m1.1.1.1.1.1.1.3.2.3" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.cmml"><mn id="S4.E6.m1.1.1.1.1.1.1.3.2.3.2" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.2.cmml">1</mn><mo id="S4.E6.m1.1.1.1.1.1.1.3.2.3.1" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.1.cmml">−</mo><mi id="S4.E6.m1.1.1.1.1.1.1.3.2.3.3" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.3.cmml">ϕ</mi></mrow></mfrac></mstyle><mo id="S4.E6.m1.1.1.1.1.1.1.3.1" xref="S4.E6.m1.1.1.1.1.1.1.3.1.cmml">+</mo><mstyle displaystyle="true" id="S4.E6.m1.1.1.1.1.1.1.3.3" xref="S4.E6.m1.1.1.1.1.1.1.3.3.cmml"><mfrac id="S4.E6.m1.1.1.1.1.1.1.3.3a" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.cmml"><mrow id="S4.E6.m1.1.1.1.1.1.1.3.3.2" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.3.3.2.2" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.2.cmml">n</mi><mo id="S4.E6.m1.1.1.1.1.1.1.3.3.2.1" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.1.cmml">⁢</mo><msubsup id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.2" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.2.cmml">σ</mi><mn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.3" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.3.cmml">0</mn><mn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.3" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.3.cmml">2</mn></msubsup><mo id="S4.E6.m1.1.1.1.1.1.1.3.3.2.1a" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.1.cmml">⁢</mo><msub id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.2" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.2.cmml">ϕ</mi><mn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.3" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.3.cmml">0</mn></msub></mrow><mrow id="S4.E6.m1.1.1.1.1.1.1.3.3.3" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.cmml"><mn id="S4.E6.m1.1.1.1.1.1.1.3.3.3.2" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.2.cmml">1</mn><mo id="S4.E6.m1.1.1.1.1.1.1.3.3.3.1" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.1.cmml">−</mo><msub id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.cmml"><mi id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.2" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.2.cmml">ϕ</mi><mn id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.3" mathcolor="#FF0000" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle></mrow></mrow><mo id="S4.E6.m1.1.1.1.1.2.3" rspace="0.337em" xref="S4.E6.m1.1.1.1.1.3a.cmml">,</mo><mrow id="S4.E6.m1.1.1.1.1.2.2.2" xref="S4.E6.m1.1.1.1.1.2.2.3.cmml"><mrow id="S4.E6.m1.1.1.1.1.2.2.1.1" xref="S4.E6.m1.1.1.1.1.2.2.1.1.cmml"><mi id="S4.E6.m1.1.1.1.1.2.2.1.1.2" xref="S4.E6.m1.1.1.1.1.2.2.1.1.2.cmml">ϕ</mi><mo id="S4.E6.m1.1.1.1.1.2.2.1.1.1" xref="S4.E6.m1.1.1.1.1.2.2.1.1.1.cmml">=</mo><mstyle displaystyle="true" id="S4.E6.m1.1.1.1.1.2.2.1.1.3" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.cmml"><mfrac id="S4.E6.m1.1.1.1.1.2.2.1.1.3a" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.cmml"><mi id="S4.E6.m1.1.1.1.1.2.2.1.1.3.2" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.2.cmml">d</mi><mi id="S4.E6.m1.1.1.1.1.2.2.1.1.3.3" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.3.cmml">T</mi></mfrac></mstyle></mrow><mo id="S4.E6.m1.1.1.1.1.2.2.2.3" xref="S4.E6.m1.1.1.1.1.2.2.3a.cmml">,</mo><mrow id="S4.E6.m1.1.1.1.1.2.2.2.2" xref="S4.E6.m1.1.1.1.1.2.2.2.2.cmml"><msub id="S4.E6.m1.1.1.1.1.2.2.2.2.2" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2.cmml"><mi id="S4.E6.m1.1.1.1.1.2.2.2.2.2.2" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2.2.cmml">ϕ</mi><mn id="S4.E6.m1.1.1.1.1.2.2.2.2.2.3" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2.3.cmml">0</mn></msub><mo id="S4.E6.m1.1.1.1.1.2.2.2.2.1" xref="S4.E6.m1.1.1.1.1.2.2.2.2.1.cmml">=</mo><mstyle displaystyle="true" id="S4.E6.m1.1.1.1.1.2.2.2.2.3" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.cmml"><mfrac id="S4.E6.m1.1.1.1.1.2.2.2.2.3a" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.cmml"><mi id="S4.E6.m1.1.1.1.1.2.2.2.2.3.2" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.2.cmml">d</mi><msub id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.cmml"><mi id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.2" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.2.cmml">T</mi><mn id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.3" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.3.cmml">0</mn></msub></mfrac></mstyle></mrow></mrow></mrow><mo id="S4.E6.m1.1.1.1.2" lspace="0em">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E6.m1.1b"><apply id="S4.E6.m1.1.1.1.1.3.cmml" xref="S4.E6.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.3a.cmml" xref="S4.E6.m1.1.1.1.1.2.3">formulae-sequence</csymbol><apply id="S4.E6.m1.1.1.1.1.1.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E6.m1.1.1.1.1.1.1.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.2">similar-to-or-equals</csymbol><apply id="S4.E6.m1.1.1.1.1.1.1.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1"><times id="S4.E6.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.2"></times><apply id="S4.E6.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.2">𝐸</ci><apply id="S4.E6.m1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3"><times id="S4.E6.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.1"></times><ci id="S4.E6.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.2">𝑡</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.3">𝑒</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.3.3.4.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.4">𝑠</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.3.3.5.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1">subscript</csymbol><apply id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2"><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3"><times id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.4.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.5.cmml" xref="S4.E6.m1.1.1.1.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.E6.m1.1.1.1.1.1.1.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3"><plus id="S4.E6.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.1"></plus><apply id="S4.E6.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2"><divide id="S4.E6.m1.1.1.1.1.1.1.3.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2"></divide><apply id="S4.E6.m1.1.1.1.1.1.1.3.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2"><times id="S4.E6.m1.1.1.1.1.1.1.3.2.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.1"></times><apply id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2">superscript</csymbol><ci id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.2">𝜎</ci><cn id="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.2.3">2</cn></apply><ci id="S4.E6.m1.1.1.1.1.1.1.3.2.2.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.2.3">italic-ϕ</ci></apply><apply id="S4.E6.m1.1.1.1.1.1.1.3.2.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3"><minus id="S4.E6.m1.1.1.1.1.1.1.3.2.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.1"></minus><cn id="S4.E6.m1.1.1.1.1.1.1.3.2.3.2.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.2">1</cn><ci id="S4.E6.m1.1.1.1.1.1.1.3.2.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.2.3.3">italic-ϕ</ci></apply></apply><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3"><divide id="S4.E6.m1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3"></divide><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2"><times id="S4.E6.m1.1.1.1.1.1.1.3.3.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.1"></times><ci id="S4.E6.m1.1.1.1.1.1.1.3.3.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.2">𝑛</ci><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3">superscript</csymbol><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.2">𝜎</ci><cn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.2.3">0</cn></apply><cn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.3.3">2</cn></apply><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.2">italic-ϕ</ci><cn id="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.3.2.4.3">0</cn></apply></apply><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3"><minus id="S4.E6.m1.1.1.1.1.1.1.3.3.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.1"></minus><cn id="S4.E6.m1.1.1.1.1.1.1.3.3.3.2.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.2">1</cn><apply id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.1.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.2.cmml" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.2">italic-ϕ</ci><cn id="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.1.1.3.3.3.3.3">0</cn></apply></apply></apply></apply></apply><apply id="S4.E6.m1.1.1.1.1.2.2.3.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.2.2.3a.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="S4.E6.m1.1.1.1.1.2.2.1.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1"><eq id="S4.E6.m1.1.1.1.1.2.2.1.1.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.1"></eq><ci id="S4.E6.m1.1.1.1.1.2.2.1.1.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.2">italic-ϕ</ci><apply id="S4.E6.m1.1.1.1.1.2.2.1.1.3.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3"><divide id="S4.E6.m1.1.1.1.1.2.2.1.1.3.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3"></divide><ci id="S4.E6.m1.1.1.1.1.2.2.1.1.3.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.2">𝑑</ci><ci id="S4.E6.m1.1.1.1.1.2.2.1.1.3.3.cmml" xref="S4.E6.m1.1.1.1.1.2.2.1.1.3.3">𝑇</ci></apply></apply><apply id="S4.E6.m1.1.1.1.1.2.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2"><eq id="S4.E6.m1.1.1.1.1.2.2.2.2.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.1"></eq><apply id="S4.E6.m1.1.1.1.1.2.2.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.2.2.2.2.2.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.2.2.2.2.2.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2.2">italic-ϕ</ci><cn id="S4.E6.m1.1.1.1.1.2.2.2.2.2.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.2.2.2.2.2.3">0</cn></apply><apply id="S4.E6.m1.1.1.1.1.2.2.2.2.3.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3"><divide id="S4.E6.m1.1.1.1.1.2.2.2.2.3.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3"></divide><ci id="S4.E6.m1.1.1.1.1.2.2.2.2.3.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.2">𝑑</ci><apply id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3"><csymbol cd="ambiguous" id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.1.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3">subscript</csymbol><ci id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.2.cmml" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.2">𝑇</ci><cn id="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.3.cmml" type="integer" xref="S4.E6.m1.1.1.1.1.2.2.2.2.3.3.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E6.m1.1c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})\simeq\frac{\sigma^{2}\phi}{1-% \phi}+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}\frac{n\sigma_% {0}^{2}\phi_{0}}{1-\phi_{0}}},\,\phi=\frac{d}{T},\phi_{0}=\frac{d}{T_{0}}.</annotation><annotation encoding="application/x-llamapun" id="S4.E6.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≃ divide start_ARG italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ end_ARG start_ARG 1 - italic_ϕ end_ARG + divide start_ARG italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG , italic_ϕ = divide start_ARG italic_d end_ARG start_ARG italic_T end_ARG , italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = divide start_ARG italic_d end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(6)</span></td> </tr></tbody> </table> </div> </div> <div class="ltx_para" id="S4.SS1.p2"> <p class="ltx_p" id="S4.SS1.p2.3">The first term <math alttext="E_{test}(\widehat{w}_{0}^{pred})\simeq\sigma^{2}\phi/(1-\phi)" class="ltx_Math" display="inline" id="S4.SS1.p2.1.m1.2"><semantics id="S4.SS1.p2.1.m1.2a"><mrow id="S4.SS1.p2.1.m1.2.2" xref="S4.SS1.p2.1.m1.2.2.cmml"><mrow id="S4.SS1.p2.1.m1.1.1.1" xref="S4.SS1.p2.1.m1.1.1.1.cmml"><msub id="S4.SS1.p2.1.m1.1.1.1.3" xref="S4.SS1.p2.1.m1.1.1.1.3.cmml"><mi id="S4.SS1.p2.1.m1.1.1.1.3.2" xref="S4.SS1.p2.1.m1.1.1.1.3.2.cmml">E</mi><mrow id="S4.SS1.p2.1.m1.1.1.1.3.3" xref="S4.SS1.p2.1.m1.1.1.1.3.3.cmml"><mi id="S4.SS1.p2.1.m1.1.1.1.3.3.2" xref="S4.SS1.p2.1.m1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.SS1.p2.1.m1.1.1.1.3.3.1" xref="S4.SS1.p2.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.3.3.3" xref="S4.SS1.p2.1.m1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.SS1.p2.1.m1.1.1.1.3.3.1a" xref="S4.SS1.p2.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.3.3.4" xref="S4.SS1.p2.1.m1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.SS1.p2.1.m1.1.1.1.3.3.1b" xref="S4.SS1.p2.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.3.3.5" xref="S4.SS1.p2.1.m1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS1.p2.1.m1.1.1.1.2" xref="S4.SS1.p2.1.m1.1.1.1.2.cmml">⁢</mo><mrow id="S4.SS1.p2.1.m1.1.1.1.1.1" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.cmml"><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS1.p2.1.m1.1.1.1.1.1.1" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.2" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.1" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.3" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.2" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.3" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1a" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.4" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1b" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.5" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS1.p2.1.m1.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.SS1.p2.1.m1.2.2.3" xref="S4.SS1.p2.1.m1.2.2.3.cmml">≃</mo><mrow id="S4.SS1.p2.1.m1.2.2.2" xref="S4.SS1.p2.1.m1.2.2.2.cmml"><mrow id="S4.SS1.p2.1.m1.2.2.2.3" xref="S4.SS1.p2.1.m1.2.2.2.3.cmml"><msup id="S4.SS1.p2.1.m1.2.2.2.3.2" xref="S4.SS1.p2.1.m1.2.2.2.3.2.cmml"><mi id="S4.SS1.p2.1.m1.2.2.2.3.2.2" xref="S4.SS1.p2.1.m1.2.2.2.3.2.2.cmml">σ</mi><mn id="S4.SS1.p2.1.m1.2.2.2.3.2.3" xref="S4.SS1.p2.1.m1.2.2.2.3.2.3.cmml">2</mn></msup><mo id="S4.SS1.p2.1.m1.2.2.2.3.1" xref="S4.SS1.p2.1.m1.2.2.2.3.1.cmml">⁢</mo><mi id="S4.SS1.p2.1.m1.2.2.2.3.3" xref="S4.SS1.p2.1.m1.2.2.2.3.3.cmml">ϕ</mi></mrow><mo id="S4.SS1.p2.1.m1.2.2.2.2" xref="S4.SS1.p2.1.m1.2.2.2.2.cmml">/</mo><mrow id="S4.SS1.p2.1.m1.2.2.2.1.1" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.cmml"><mo id="S4.SS1.p2.1.m1.2.2.2.1.1.2" stretchy="false" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S4.SS1.p2.1.m1.2.2.2.1.1.1" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.cmml"><mn id="S4.SS1.p2.1.m1.2.2.2.1.1.1.2" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.2.cmml">1</mn><mo id="S4.SS1.p2.1.m1.2.2.2.1.1.1.1" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.1.cmml">−</mo><mi id="S4.SS1.p2.1.m1.2.2.2.1.1.1.3" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.3.cmml">ϕ</mi></mrow><mo id="S4.SS1.p2.1.m1.2.2.2.1.1.3" stretchy="false" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p2.1.m1.2b"><apply id="S4.SS1.p2.1.m1.2.2.cmml" xref="S4.SS1.p2.1.m1.2.2"><csymbol cd="latexml" id="S4.SS1.p2.1.m1.2.2.3.cmml" xref="S4.SS1.p2.1.m1.2.2.3">similar-to-or-equals</csymbol><apply id="S4.SS1.p2.1.m1.1.1.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1"><times id="S4.SS1.p2.1.m1.1.1.1.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.2"></times><apply id="S4.SS1.p2.1.m1.1.1.1.3.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.p2.1.m1.1.1.1.3.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3">subscript</csymbol><ci id="S4.SS1.p2.1.m1.1.1.1.3.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.2">𝐸</ci><apply id="S4.SS1.p2.1.m1.1.1.1.3.3.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3"><times id="S4.SS1.p2.1.m1.1.1.1.3.3.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3.1"></times><ci id="S4.SS1.p2.1.m1.1.1.1.3.3.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3.2">𝑡</ci><ci id="S4.SS1.p2.1.m1.1.1.1.3.3.3.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3.3">𝑒</ci><ci id="S4.SS1.p2.1.m1.1.1.1.3.3.4.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3.4">𝑠</ci><ci id="S4.SS1.p2.1.m1.1.1.1.3.3.5.cmml" xref="S4.SS1.p2.1.m1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS1.p2.1.m1.1.1.1.1.1.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.p2.1.m1.1.1.1.1.1.1.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1">superscript</csymbol><apply id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1">subscript</csymbol><apply id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2"><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3"><times id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.1"></times><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.4.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.5.cmml" xref="S4.SS1.p2.1.m1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.SS1.p2.1.m1.2.2.2.cmml" xref="S4.SS1.p2.1.m1.2.2.2"><divide id="S4.SS1.p2.1.m1.2.2.2.2.cmml" xref="S4.SS1.p2.1.m1.2.2.2.2"></divide><apply id="S4.SS1.p2.1.m1.2.2.2.3.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3"><times id="S4.SS1.p2.1.m1.2.2.2.3.1.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3.1"></times><apply id="S4.SS1.p2.1.m1.2.2.2.3.2.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3.2"><csymbol cd="ambiguous" id="S4.SS1.p2.1.m1.2.2.2.3.2.1.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3.2">superscript</csymbol><ci id="S4.SS1.p2.1.m1.2.2.2.3.2.2.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3.2.2">𝜎</ci><cn id="S4.SS1.p2.1.m1.2.2.2.3.2.3.cmml" type="integer" xref="S4.SS1.p2.1.m1.2.2.2.3.2.3">2</cn></apply><ci id="S4.SS1.p2.1.m1.2.2.2.3.3.cmml" xref="S4.SS1.p2.1.m1.2.2.2.3.3">italic-ϕ</ci></apply><apply id="S4.SS1.p2.1.m1.2.2.2.1.1.1.cmml" xref="S4.SS1.p2.1.m1.2.2.2.1.1"><minus id="S4.SS1.p2.1.m1.2.2.2.1.1.1.1.cmml" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.1"></minus><cn id="S4.SS1.p2.1.m1.2.2.2.1.1.1.2.cmml" type="integer" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.2">1</cn><ci id="S4.SS1.p2.1.m1.2.2.2.1.1.1.3.cmml" xref="S4.SS1.p2.1.m1.2.2.2.1.1.1.3">italic-ϕ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p2.1.m1.2c">E_{test}(\widehat{w}_{0}^{pred})\simeq\sigma^{2}\phi/(1-\phi)</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.p2.1.m1.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≃ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ / ( 1 - italic_ϕ )</annotation></semantics></math> in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E6" title="6 ‣ Theorem 4.1. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">6</span></a>) corresponds the to the usual error when the downstream model is fitted on clean data (see <cite class="ltx_cite ltx_citemacro_citet">Hastie et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib20" title="">2022</a>)</cite>, for example). The additional term <math alttext="n\sigma_{0}^{2}\phi_{0}/(1-\phi_{0})" class="ltx_Math" display="inline" id="S4.SS1.p2.2.m2.1"><semantics id="S4.SS1.p2.2.m2.1a"><mrow id="S4.SS1.p2.2.m2.1.1" xref="S4.SS1.p2.2.m2.1.1.cmml"><mrow id="S4.SS1.p2.2.m2.1.1.3" xref="S4.SS1.p2.2.m2.1.1.3.cmml"><mi id="S4.SS1.p2.2.m2.1.1.3.2" xref="S4.SS1.p2.2.m2.1.1.3.2.cmml">n</mi><mo id="S4.SS1.p2.2.m2.1.1.3.1" xref="S4.SS1.p2.2.m2.1.1.3.1.cmml">⁢</mo><msubsup id="S4.SS1.p2.2.m2.1.1.3.3" xref="S4.SS1.p2.2.m2.1.1.3.3.cmml"><mi id="S4.SS1.p2.2.m2.1.1.3.3.2.2" xref="S4.SS1.p2.2.m2.1.1.3.3.2.2.cmml">σ</mi><mn id="S4.SS1.p2.2.m2.1.1.3.3.2.3" xref="S4.SS1.p2.2.m2.1.1.3.3.2.3.cmml">0</mn><mn id="S4.SS1.p2.2.m2.1.1.3.3.3" xref="S4.SS1.p2.2.m2.1.1.3.3.3.cmml">2</mn></msubsup><mo id="S4.SS1.p2.2.m2.1.1.3.1a" xref="S4.SS1.p2.2.m2.1.1.3.1.cmml">⁢</mo><msub id="S4.SS1.p2.2.m2.1.1.3.4" xref="S4.SS1.p2.2.m2.1.1.3.4.cmml"><mi id="S4.SS1.p2.2.m2.1.1.3.4.2" xref="S4.SS1.p2.2.m2.1.1.3.4.2.cmml">ϕ</mi><mn id="S4.SS1.p2.2.m2.1.1.3.4.3" xref="S4.SS1.p2.2.m2.1.1.3.4.3.cmml">0</mn></msub></mrow><mo id="S4.SS1.p2.2.m2.1.1.2" xref="S4.SS1.p2.2.m2.1.1.2.cmml">/</mo><mrow id="S4.SS1.p2.2.m2.1.1.1.1" xref="S4.SS1.p2.2.m2.1.1.1.1.1.cmml"><mo id="S4.SS1.p2.2.m2.1.1.1.1.2" stretchy="false" xref="S4.SS1.p2.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS1.p2.2.m2.1.1.1.1.1" xref="S4.SS1.p2.2.m2.1.1.1.1.1.cmml"><mn id="S4.SS1.p2.2.m2.1.1.1.1.1.2" xref="S4.SS1.p2.2.m2.1.1.1.1.1.2.cmml">1</mn><mo id="S4.SS1.p2.2.m2.1.1.1.1.1.1" xref="S4.SS1.p2.2.m2.1.1.1.1.1.1.cmml">−</mo><msub id="S4.SS1.p2.2.m2.1.1.1.1.1.3" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3.cmml"><mi id="S4.SS1.p2.2.m2.1.1.1.1.1.3.2" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3.2.cmml">ϕ</mi><mn id="S4.SS1.p2.2.m2.1.1.1.1.1.3.3" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="S4.SS1.p2.2.m2.1.1.1.1.3" stretchy="false" xref="S4.SS1.p2.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.p2.2.m2.1b"><apply id="S4.SS1.p2.2.m2.1.1.cmml" xref="S4.SS1.p2.2.m2.1.1"><divide id="S4.SS1.p2.2.m2.1.1.2.cmml" xref="S4.SS1.p2.2.m2.1.1.2"></divide><apply id="S4.SS1.p2.2.m2.1.1.3.cmml" xref="S4.SS1.p2.2.m2.1.1.3"><times id="S4.SS1.p2.2.m2.1.1.3.1.cmml" xref="S4.SS1.p2.2.m2.1.1.3.1"></times><ci id="S4.SS1.p2.2.m2.1.1.3.2.cmml" xref="S4.SS1.p2.2.m2.1.1.3.2">𝑛</ci><apply id="S4.SS1.p2.2.m2.1.1.3.3.cmml" xref="S4.SS1.p2.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS1.p2.2.m2.1.1.3.3.1.cmml" xref="S4.SS1.p2.2.m2.1.1.3.3">superscript</csymbol><apply id="S4.SS1.p2.2.m2.1.1.3.3.2.cmml" xref="S4.SS1.p2.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS1.p2.2.m2.1.1.3.3.2.1.cmml" xref="S4.SS1.p2.2.m2.1.1.3.3">subscript</csymbol><ci id="S4.SS1.p2.2.m2.1.1.3.3.2.2.cmml" xref="S4.SS1.p2.2.m2.1.1.3.3.2.2">𝜎</ci><cn id="S4.SS1.p2.2.m2.1.1.3.3.2.3.cmml" type="integer" xref="S4.SS1.p2.2.m2.1.1.3.3.2.3">0</cn></apply><cn id="S4.SS1.p2.2.m2.1.1.3.3.3.cmml" type="integer" xref="S4.SS1.p2.2.m2.1.1.3.3.3">2</cn></apply><apply id="S4.SS1.p2.2.m2.1.1.3.4.cmml" xref="S4.SS1.p2.2.m2.1.1.3.4"><csymbol cd="ambiguous" id="S4.SS1.p2.2.m2.1.1.3.4.1.cmml" xref="S4.SS1.p2.2.m2.1.1.3.4">subscript</csymbol><ci id="S4.SS1.p2.2.m2.1.1.3.4.2.cmml" xref="S4.SS1.p2.2.m2.1.1.3.4.2">italic-ϕ</ci><cn id="S4.SS1.p2.2.m2.1.1.3.4.3.cmml" type="integer" xref="S4.SS1.p2.2.m2.1.1.3.4.3">0</cn></apply></apply><apply id="S4.SS1.p2.2.m2.1.1.1.1.1.cmml" xref="S4.SS1.p2.2.m2.1.1.1.1"><minus id="S4.SS1.p2.2.m2.1.1.1.1.1.1.cmml" xref="S4.SS1.p2.2.m2.1.1.1.1.1.1"></minus><cn id="S4.SS1.p2.2.m2.1.1.1.1.1.2.cmml" type="integer" xref="S4.SS1.p2.2.m2.1.1.1.1.1.2">1</cn><apply id="S4.SS1.p2.2.m2.1.1.1.1.1.3.cmml" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.p2.2.m2.1.1.1.1.1.3.1.cmml" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3">subscript</csymbol><ci id="S4.SS1.p2.2.m2.1.1.1.1.1.3.2.cmml" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3.2">italic-ϕ</ci><cn id="S4.SS1.p2.2.m2.1.1.1.1.1.3.3.cmml" type="integer" xref="S4.SS1.p2.2.m2.1.1.1.1.1.3.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p2.2.m2.1c">n\sigma_{0}^{2}\phi_{0}/(1-\phi_{0})</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.p2.2.m2.1d">italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT / ( 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT )</annotation></semantics></math>, proportional to the number of generations <math alttext="n" class="ltx_Math" display="inline" id="S4.SS1.p2.3.m3.1"><semantics id="S4.SS1.p2.3.m3.1a"><mi id="S4.SS1.p2.3.m3.1.1" xref="S4.SS1.p2.3.m3.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.SS1.p2.3.m3.1b"><ci id="S4.SS1.p2.3.m3.1.1.cmml" xref="S4.SS1.p2.3.m3.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.p2.3.m3.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.p2.3.m3.1d">italic_n</annotation></semantics></math> is responsible for model collapse. </p> </div> <section class="ltx_paragraph" id="S4.SS1.SSS0.Px1"> <h4 class="ltx_title ltx_title_paragraph">Low-Dimensional Regime.</h4> <div class="ltx_para" id="S4.SS1.SSS0.Px1.p1"> <p class="ltx_p" id="S4.SS1.SSS0.Px1.p1.4">In the low-dimensional problems (fixed <math alttext="d" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px1.p1.1.m1.1"><semantics id="S4.SS1.SSS0.Px1.p1.1.m1.1a"><mi id="S4.SS1.SSS0.Px1.p1.1.m1.1.1" xref="S4.SS1.SSS0.Px1.p1.1.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px1.p1.1.m1.1b"><ci id="S4.SS1.SSS0.Px1.p1.1.m1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.1.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px1.p1.1.m1.1c">d</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px1.p1.1.m1.1d">italic_d</annotation></semantics></math>), Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem1" title="Theorem 4.1. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.1</span></a> already predicts a change of scaling law from <math alttext="E_{test}(\widehat{w}_{0}^{pred})\asymp\sigma^{2}T^{-1}" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px1.p1.2.m2.1"><semantics id="S4.SS1.SSS0.Px1.p1.2.m2.1a"><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.cmml"><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.cmml"><msub id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.2.cmml">E</mi><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.2.cmml">t</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.3.cmml">e</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1a" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.4" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.4.cmml">s</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1b" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.5" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.2.cmml">⁢</mo><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.cmml"><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1a" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.4" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1b" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.5" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.2.cmml">≍</mo><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.cmml"><msup id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.2.cmml">σ</mi><mn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.3.cmml">2</mn></msup><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.1" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.1.cmml">⁢</mo><msup id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.2.cmml">T</mi><mrow id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.cmml"><mo id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3a" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.cmml">−</mo><mn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.2" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px1.p1.2.m2.1b"><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.2">asymptotically-equals</csymbol><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1"><times id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.2"></times><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.2">𝐸</ci><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3"><times id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.1"></times><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.2">𝑡</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.3">𝑒</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.4.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.4">𝑠</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.5.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1">superscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1">subscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2"><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3"><times id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.1"></times><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.4.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.5.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3"><times id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.1"></times><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2">superscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.2">𝜎</ci><cn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.2.3">2</cn></apply><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3">superscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.2">𝑇</ci><apply id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3"><minus id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3"></minus><cn id="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.2.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.2.m2.1.1.3.3.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px1.p1.2.m2.1c">E_{test}(\widehat{w}_{0}^{pred})\asymp\sigma^{2}T^{-1}</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px1.p1.2.m2.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_T start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math> to <math alttext="E_{test}(\widehat{w}_{n}^{pred})\asymp\sigma^{2}T^{-1}+n\sigma_{0}^{2}T_{0}^{-1}" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px1.p1.3.m3.1"><semantics id="S4.SS1.SSS0.Px1.p1.3.m3.1a"><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.cmml"><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.cmml"><msub id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.2.cmml">E</mi><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.2.cmml">t</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.3.cmml">e</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1a" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.4" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.4.cmml">s</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1b" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.5" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.2.cmml">⁢</mo><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml"><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1a" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.4" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1b" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.5" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.2.cmml">≍</mo><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.cmml"><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.cmml"><msup id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.2.cmml">σ</mi><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.3.cmml">2</mn></msup><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.1.cmml">⁢</mo><msup id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.2.cmml">T</mi><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.cmml"><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3a" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.cmml">−</mo><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.2.cmml">1</mn></mrow></msup></mrow><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.1.cmml">+</mo><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.2.cmml">n</mi><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1.cmml">⁢</mo><msubsup id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.2.cmml">σ</mi><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.3.cmml">0</mn><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.3.cmml">2</mn></msubsup><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1a" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1.cmml">⁢</mo><msubsup id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.cmml"><mi id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.2.cmml">T</mi><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.3.cmml">0</mn><mrow id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.cmml"><mo id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3a" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.cmml">−</mo><mn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.2" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.2.cmml">1</mn></mrow></msubsup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px1.p1.3.m3.1b"><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.2">asymptotically-equals</csymbol><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1"><times id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.2"></times><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.2">𝐸</ci><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3"><times id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.1"></times><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.2">𝑡</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.3">𝑒</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.4.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.4">𝑠</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.5.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1">superscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1">subscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2"><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3"><times id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.1"></times><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.4.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.5.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3"><plus id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.1"></plus><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2"><times id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.1"></times><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2">superscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.2">𝜎</ci><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.2.3">2</cn></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3">superscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.2">𝑇</ci><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3"><minus id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3"></minus><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.2.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.2.3.3.2">1</cn></apply></apply></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3"><times id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.1"></times><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.2">𝑛</ci><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3">superscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.2">𝜎</ci><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.2.3">0</cn></apply><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.3.3">2</cn></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4">superscript</csymbol><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4">subscript</csymbol><ci id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.2.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.2">𝑇</ci><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.2.3">0</cn></apply><apply id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3"><minus id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.1.cmml" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3"></minus><cn id="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.2.cmml" type="integer" xref="S4.SS1.SSS0.Px1.p1.3.m3.1.1.3.3.4.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px1.p1.3.m3.1c">E_{test}(\widehat{w}_{n}^{pred})\asymp\sigma^{2}T^{-1}+n\sigma_{0}^{2}T_{0}^{-1}</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px1.p1.3.m3.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_T start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT + italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math>. Thus, as the sample size <math alttext="T" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px1.p1.4.m4.1"><semantics id="S4.SS1.SSS0.Px1.p1.4.m4.1a"><mi id="S4.SS1.SSS0.Px1.p1.4.m4.1.1" xref="S4.SS1.SSS0.Px1.p1.4.m4.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px1.p1.4.m4.1b"><ci id="S4.SS1.SSS0.Px1.p1.4.m4.1.1.cmml" xref="S4.SS1.SSS0.Px1.p1.4.m4.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px1.p1.4.m4.1c">T</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px1.p1.4.m4.1d">italic_T</annotation></semantics></math> is scaled up, the test error eventually plateaus and doesn’t vanish. This phenomenon is clearly visible in Figure <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a>. In section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5" title="5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>, we shall establish a similar picture in a high-dimensional regime.</p> </div> </section> <section class="ltx_paragraph" id="S4.SS1.SSS0.Px2"> <h4 class="ltx_title ltx_title_paragraph">Regularize ?</h4> <div class="ltx_para" id="S4.SS1.SSS0.Px2.p1"> <p class="ltx_p" id="S4.SS1.SSS0.Px2.p1.2">Note that the test error of the null predictor <math alttext="w_{null}=0" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px2.p1.1.m1.1"><semantics id="S4.SS1.SSS0.Px2.p1.1.m1.1a"><mrow id="S4.SS1.SSS0.Px2.p1.1.m1.1.1" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.cmml"><msub id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.cmml"><mi id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.2" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.2.cmml">w</mi><mrow id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.2" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.2.cmml">n</mi><mo id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.3" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.3.cmml">u</mi><mo id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1a" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.4" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.4.cmml">l</mi><mo id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1b" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.5" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.5.cmml">l</mi></mrow></msub><mo id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.1.cmml">=</mo><mn id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px2.p1.1.m1.1b"><apply id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1"><eq id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.1"></eq><apply id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.2.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.2">𝑤</ci><apply id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3"><times id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.1"></times><ci id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.2">𝑛</ci><ci id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.3.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.3">𝑢</ci><ci id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.4.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.4">𝑙</ci><ci id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.5.cmml" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.2.3.5">𝑙</ci></apply></apply><cn id="S4.SS1.SSS0.Px2.p1.1.m1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px2.p1.1.m1.1c">w_{null}=0</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px2.p1.1.m1.1d">italic_w start_POSTSUBSCRIPT italic_n italic_u italic_l italic_l end_POSTSUBSCRIPT = 0</annotation></semantics></math> is <math alttext="E_{test}(w_{null})=\|w_{0}\|_{\Sigma}^{2}" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px2.p1.2.m2.2"><semantics id="S4.SS1.SSS0.Px2.p1.2.m2.2a"><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.2.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.cmml"><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.cmml"><msub id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.2.cmml">E</mi><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.2.cmml">t</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.3.cmml">e</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1a" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.4" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.4.cmml">s</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1b" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.5" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.2.cmml">⁢</mo><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.cmml"><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.cmml">(</mo><msub id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.cmml"><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.2.cmml">w</mi><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.2.cmml">n</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.3.cmml">u</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1a" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.4" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.4.cmml">l</mi><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1b" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.5" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.5.cmml">l</mi></mrow></msub><mo id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.3.cmml">=</mo><msubsup id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.cmml"><mrow id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.2.cmml"><mo id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.2.1.cmml">‖</mo><msub id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.cmml"><mi id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.2.cmml">w</mi><mn id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.3.cmml">0</mn></msub><mo id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.2.1.cmml">‖</mo></mrow><mi id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.3" mathvariant="normal" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.3.cmml">Σ</mi><mn id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.3" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.3.cmml">2</mn></msubsup></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px2.p1.2.m2.2b"><apply id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2"><eq id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.3"></eq><apply id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1"><times id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.2"></times><apply id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.2">𝐸</ci><apply id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3"><times id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.1"></times><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.2">𝑡</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.3">𝑒</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.4.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.4">𝑠</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.5.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.2">𝑤</ci><apply id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3"><times id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.1"></times><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.2">𝑛</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.3">𝑢</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.4.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.4">𝑙</ci><ci id="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.5.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.1.1.1.1.1.1.3.5">𝑙</ci></apply></apply></apply><apply id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2">superscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2">subscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.2">norm</csymbol><apply id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.2">𝑤</ci><cn id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.1.1.1.3">0</cn></apply></apply><ci id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.1.3">Σ</ci></apply><cn id="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.2.m2.2.2.2.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px2.p1.2.m2.2c">E_{test}(w_{null})=\|w_{0}\|_{\Sigma}^{2}</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px2.p1.2.m2.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( italic_w start_POSTSUBSCRIPT italic_n italic_u italic_l italic_l end_POSTSUBSCRIPT ) = ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math>, and so</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx7"> <tbody id="S4.E7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\frac{E_{test}(\widehat{w}_{n}^{pred})}{E_{test}(w_{null})}=\frac% {1}{\text{SNR}}\frac{\phi}{1-\phi}+\frac{n}{\text{SNR}_{0}}\frac{\phi_{0}}{1-% \phi_{0}}," class="ltx_Math" display="inline" id="S4.E7.m1.3"><semantics id="S4.E7.m1.3a"><mrow id="S4.E7.m1.3.3.1" xref="S4.E7.m1.3.3.1.1.cmml"><mrow id="S4.E7.m1.3.3.1.1" xref="S4.E7.m1.3.3.1.1.cmml"><mstyle displaystyle="true" id="S4.E7.m1.2.2" xref="S4.E7.m1.2.2.cmml"><mfrac id="S4.E7.m1.2.2a" xref="S4.E7.m1.2.2.cmml"><mrow id="S4.E7.m1.1.1.1" xref="S4.E7.m1.1.1.1.cmml"><msub id="S4.E7.m1.1.1.1.3" xref="S4.E7.m1.1.1.1.3.cmml"><mi id="S4.E7.m1.1.1.1.3.2" xref="S4.E7.m1.1.1.1.3.2.cmml">E</mi><mrow id="S4.E7.m1.1.1.1.3.3" xref="S4.E7.m1.1.1.1.3.3.cmml"><mi id="S4.E7.m1.1.1.1.3.3.2" xref="S4.E7.m1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.E7.m1.1.1.1.3.3.1" xref="S4.E7.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.3.3.3" xref="S4.E7.m1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.E7.m1.1.1.1.3.3.1a" xref="S4.E7.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.3.3.4" xref="S4.E7.m1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.E7.m1.1.1.1.3.3.1b" xref="S4.E7.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.3.3.5" xref="S4.E7.m1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E7.m1.1.1.1.2" xref="S4.E7.m1.1.1.1.2.cmml">⁢</mo><mrow id="S4.E7.m1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.cmml"><mo id="S4.E7.m1.1.1.1.1.1.2" stretchy="false" xref="S4.E7.m1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.E7.m1.1.1.1.1.1.1" xref="S4.E7.m1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.E7.m1.1.1.1.1.1.1.2.2" xref="S4.E7.m1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.2.2.2" xref="S4.E7.m1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.E7.m1.1.1.1.1.1.1.2.2.1" xref="S4.E7.m1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.E7.m1.1.1.1.1.1.1.2.3" xref="S4.E7.m1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.E7.m1.1.1.1.1.1.1.3" xref="S4.E7.m1.1.1.1.1.1.1.3.cmml"><mi id="S4.E7.m1.1.1.1.1.1.1.3.2" xref="S4.E7.m1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.E7.m1.1.1.1.1.1.1.3.1" xref="S4.E7.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.1.1.1.3.3" xref="S4.E7.m1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.E7.m1.1.1.1.1.1.1.3.1a" xref="S4.E7.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.1.1.1.3.4" xref="S4.E7.m1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.E7.m1.1.1.1.1.1.1.3.1b" xref="S4.E7.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.1.1.1.1.1.1.3.5" xref="S4.E7.m1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.E7.m1.1.1.1.1.1.3" stretchy="false" xref="S4.E7.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="S4.E7.m1.2.2.2" xref="S4.E7.m1.2.2.2.cmml"><msub id="S4.E7.m1.2.2.2.3" xref="S4.E7.m1.2.2.2.3.cmml"><mi id="S4.E7.m1.2.2.2.3.2" xref="S4.E7.m1.2.2.2.3.2.cmml">E</mi><mrow id="S4.E7.m1.2.2.2.3.3" xref="S4.E7.m1.2.2.2.3.3.cmml"><mi id="S4.E7.m1.2.2.2.3.3.2" xref="S4.E7.m1.2.2.2.3.3.2.cmml">t</mi><mo id="S4.E7.m1.2.2.2.3.3.1" xref="S4.E7.m1.2.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.3.3.3" xref="S4.E7.m1.2.2.2.3.3.3.cmml">e</mi><mo id="S4.E7.m1.2.2.2.3.3.1a" xref="S4.E7.m1.2.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.3.3.4" xref="S4.E7.m1.2.2.2.3.3.4.cmml">s</mi><mo id="S4.E7.m1.2.2.2.3.3.1b" xref="S4.E7.m1.2.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.3.3.5" xref="S4.E7.m1.2.2.2.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E7.m1.2.2.2.2" xref="S4.E7.m1.2.2.2.2.cmml">⁢</mo><mrow id="S4.E7.m1.2.2.2.1.1" xref="S4.E7.m1.2.2.2.1.1.1.cmml"><mo id="S4.E7.m1.2.2.2.1.1.2" stretchy="false" xref="S4.E7.m1.2.2.2.1.1.1.cmml">(</mo><msub id="S4.E7.m1.2.2.2.1.1.1" xref="S4.E7.m1.2.2.2.1.1.1.cmml"><mi id="S4.E7.m1.2.2.2.1.1.1.2" xref="S4.E7.m1.2.2.2.1.1.1.2.cmml">w</mi><mrow id="S4.E7.m1.2.2.2.1.1.1.3" xref="S4.E7.m1.2.2.2.1.1.1.3.cmml"><mi id="S4.E7.m1.2.2.2.1.1.1.3.2" xref="S4.E7.m1.2.2.2.1.1.1.3.2.cmml">n</mi><mo id="S4.E7.m1.2.2.2.1.1.1.3.1" xref="S4.E7.m1.2.2.2.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.1.1.1.3.3" xref="S4.E7.m1.2.2.2.1.1.1.3.3.cmml">u</mi><mo id="S4.E7.m1.2.2.2.1.1.1.3.1a" xref="S4.E7.m1.2.2.2.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.1.1.1.3.4" xref="S4.E7.m1.2.2.2.1.1.1.3.4.cmml">l</mi><mo id="S4.E7.m1.2.2.2.1.1.1.3.1b" xref="S4.E7.m1.2.2.2.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E7.m1.2.2.2.1.1.1.3.5" xref="S4.E7.m1.2.2.2.1.1.1.3.5.cmml">l</mi></mrow></msub><mo id="S4.E7.m1.2.2.2.1.1.3" stretchy="false" xref="S4.E7.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mfrac></mstyle><mo id="S4.E7.m1.3.3.1.1.1" xref="S4.E7.m1.3.3.1.1.1.cmml">=</mo><mrow id="S4.E7.m1.3.3.1.1.2" xref="S4.E7.m1.3.3.1.1.2.cmml"><mrow id="S4.E7.m1.3.3.1.1.2.2" xref="S4.E7.m1.3.3.1.1.2.2.cmml"><mstyle displaystyle="true" id="S4.E7.m1.3.3.1.1.2.2.2" xref="S4.E7.m1.3.3.1.1.2.2.2.cmml"><mfrac id="S4.E7.m1.3.3.1.1.2.2.2a" xref="S4.E7.m1.3.3.1.1.2.2.2.cmml"><mn id="S4.E7.m1.3.3.1.1.2.2.2.2" xref="S4.E7.m1.3.3.1.1.2.2.2.2.cmml">1</mn><mtext id="S4.E7.m1.3.3.1.1.2.2.2.3" xref="S4.E7.m1.3.3.1.1.2.2.2.3a.cmml">SNR</mtext></mfrac></mstyle><mo id="S4.E7.m1.3.3.1.1.2.2.1" xref="S4.E7.m1.3.3.1.1.2.2.1.cmml">⁢</mo><mstyle displaystyle="true" id="S4.E7.m1.3.3.1.1.2.2.3" xref="S4.E7.m1.3.3.1.1.2.2.3.cmml"><mfrac id="S4.E7.m1.3.3.1.1.2.2.3a" xref="S4.E7.m1.3.3.1.1.2.2.3.cmml"><mi id="S4.E7.m1.3.3.1.1.2.2.3.2" xref="S4.E7.m1.3.3.1.1.2.2.3.2.cmml">ϕ</mi><mrow id="S4.E7.m1.3.3.1.1.2.2.3.3" xref="S4.E7.m1.3.3.1.1.2.2.3.3.cmml"><mn id="S4.E7.m1.3.3.1.1.2.2.3.3.2" xref="S4.E7.m1.3.3.1.1.2.2.3.3.2.cmml">1</mn><mo id="S4.E7.m1.3.3.1.1.2.2.3.3.1" xref="S4.E7.m1.3.3.1.1.2.2.3.3.1.cmml">−</mo><mi id="S4.E7.m1.3.3.1.1.2.2.3.3.3" xref="S4.E7.m1.3.3.1.1.2.2.3.3.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow><mo id="S4.E7.m1.3.3.1.1.2.1" xref="S4.E7.m1.3.3.1.1.2.1.cmml">+</mo><mrow id="S4.E7.m1.3.3.1.1.2.3" xref="S4.E7.m1.3.3.1.1.2.3.cmml"><mstyle displaystyle="true" id="S4.E7.m1.3.3.1.1.2.3.2" xref="S4.E7.m1.3.3.1.1.2.3.2.cmml"><mfrac id="S4.E7.m1.3.3.1.1.2.3.2a" xref="S4.E7.m1.3.3.1.1.2.3.2.cmml"><mi id="S4.E7.m1.3.3.1.1.2.3.2.2" xref="S4.E7.m1.3.3.1.1.2.3.2.2.cmml">n</mi><msub id="S4.E7.m1.3.3.1.1.2.3.2.3" xref="S4.E7.m1.3.3.1.1.2.3.2.3.cmml"><mtext id="S4.E7.m1.3.3.1.1.2.3.2.3.2" xref="S4.E7.m1.3.3.1.1.2.3.2.3.2a.cmml">SNR</mtext><mn id="S4.E7.m1.3.3.1.1.2.3.2.3.3" xref="S4.E7.m1.3.3.1.1.2.3.2.3.3.cmml">0</mn></msub></mfrac></mstyle><mo id="S4.E7.m1.3.3.1.1.2.3.1" xref="S4.E7.m1.3.3.1.1.2.3.1.cmml">⁢</mo><mstyle displaystyle="true" id="S4.E7.m1.3.3.1.1.2.3.3" xref="S4.E7.m1.3.3.1.1.2.3.3.cmml"><mfrac id="S4.E7.m1.3.3.1.1.2.3.3a" xref="S4.E7.m1.3.3.1.1.2.3.3.cmml"><msub id="S4.E7.m1.3.3.1.1.2.3.3.2" xref="S4.E7.m1.3.3.1.1.2.3.3.2.cmml"><mi id="S4.E7.m1.3.3.1.1.2.3.3.2.2" xref="S4.E7.m1.3.3.1.1.2.3.3.2.2.cmml">ϕ</mi><mn id="S4.E7.m1.3.3.1.1.2.3.3.2.3" xref="S4.E7.m1.3.3.1.1.2.3.3.2.3.cmml">0</mn></msub><mrow id="S4.E7.m1.3.3.1.1.2.3.3.3" xref="S4.E7.m1.3.3.1.1.2.3.3.3.cmml"><mn id="S4.E7.m1.3.3.1.1.2.3.3.3.2" xref="S4.E7.m1.3.3.1.1.2.3.3.3.2.cmml">1</mn><mo id="S4.E7.m1.3.3.1.1.2.3.3.3.1" xref="S4.E7.m1.3.3.1.1.2.3.3.3.1.cmml">−</mo><msub id="S4.E7.m1.3.3.1.1.2.3.3.3.3" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3.cmml"><mi id="S4.E7.m1.3.3.1.1.2.3.3.3.3.2" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3.2.cmml">ϕ</mi><mn id="S4.E7.m1.3.3.1.1.2.3.3.3.3.3" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle></mrow></mrow></mrow><mo id="S4.E7.m1.3.3.1.2" xref="S4.E7.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E7.m1.3b"><apply id="S4.E7.m1.3.3.1.1.cmml" xref="S4.E7.m1.3.3.1"><eq id="S4.E7.m1.3.3.1.1.1.cmml" xref="S4.E7.m1.3.3.1.1.1"></eq><apply id="S4.E7.m1.2.2.cmml" xref="S4.E7.m1.2.2"><divide id="S4.E7.m1.2.2.3.cmml" xref="S4.E7.m1.2.2"></divide><apply id="S4.E7.m1.1.1.1.cmml" xref="S4.E7.m1.1.1.1"><times id="S4.E7.m1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.2"></times><apply id="S4.E7.m1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.3.1.cmml" xref="S4.E7.m1.1.1.1.3">subscript</csymbol><ci id="S4.E7.m1.1.1.1.3.2.cmml" xref="S4.E7.m1.1.1.1.3.2">𝐸</ci><apply id="S4.E7.m1.1.1.1.3.3.cmml" xref="S4.E7.m1.1.1.1.3.3"><times id="S4.E7.m1.1.1.1.3.3.1.cmml" xref="S4.E7.m1.1.1.1.3.3.1"></times><ci id="S4.E7.m1.1.1.1.3.3.2.cmml" xref="S4.E7.m1.1.1.1.3.3.2">𝑡</ci><ci id="S4.E7.m1.1.1.1.3.3.3.cmml" xref="S4.E7.m1.1.1.1.3.3.3">𝑒</ci><ci id="S4.E7.m1.1.1.1.3.3.4.cmml" xref="S4.E7.m1.1.1.1.3.3.4">𝑠</ci><ci id="S4.E7.m1.1.1.1.3.3.5.cmml" xref="S4.E7.m1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E7.m1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.1.1.1.1.cmml" xref="S4.E7.m1.1.1.1.1.1">superscript</csymbol><apply id="S4.E7.m1.1.1.1.1.1.1.2.cmml" xref="S4.E7.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.E7.m1.1.1.1.1.1">subscript</csymbol><apply id="S4.E7.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.2.2"><ci id="S4.E7.m1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.E7.m1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.E7.m1.1.1.1.1.1.1.2.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.E7.m1.1.1.1.1.1.1.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3"><times id="S4.E7.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3.1"></times><ci id="S4.E7.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.E7.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.E7.m1.1.1.1.1.1.1.3.4.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.E7.m1.1.1.1.1.1.1.3.5.cmml" xref="S4.E7.m1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.E7.m1.2.2.2.cmml" xref="S4.E7.m1.2.2.2"><times id="S4.E7.m1.2.2.2.2.cmml" xref="S4.E7.m1.2.2.2.2"></times><apply id="S4.E7.m1.2.2.2.3.cmml" xref="S4.E7.m1.2.2.2.3"><csymbol cd="ambiguous" id="S4.E7.m1.2.2.2.3.1.cmml" xref="S4.E7.m1.2.2.2.3">subscript</csymbol><ci id="S4.E7.m1.2.2.2.3.2.cmml" xref="S4.E7.m1.2.2.2.3.2">𝐸</ci><apply id="S4.E7.m1.2.2.2.3.3.cmml" xref="S4.E7.m1.2.2.2.3.3"><times id="S4.E7.m1.2.2.2.3.3.1.cmml" xref="S4.E7.m1.2.2.2.3.3.1"></times><ci id="S4.E7.m1.2.2.2.3.3.2.cmml" xref="S4.E7.m1.2.2.2.3.3.2">𝑡</ci><ci id="S4.E7.m1.2.2.2.3.3.3.cmml" xref="S4.E7.m1.2.2.2.3.3.3">𝑒</ci><ci id="S4.E7.m1.2.2.2.3.3.4.cmml" xref="S4.E7.m1.2.2.2.3.3.4">𝑠</ci><ci id="S4.E7.m1.2.2.2.3.3.5.cmml" xref="S4.E7.m1.2.2.2.3.3.5">𝑡</ci></apply></apply><apply id="S4.E7.m1.2.2.2.1.1.1.cmml" xref="S4.E7.m1.2.2.2.1.1"><csymbol cd="ambiguous" id="S4.E7.m1.2.2.2.1.1.1.1.cmml" xref="S4.E7.m1.2.2.2.1.1">subscript</csymbol><ci id="S4.E7.m1.2.2.2.1.1.1.2.cmml" xref="S4.E7.m1.2.2.2.1.1.1.2">𝑤</ci><apply id="S4.E7.m1.2.2.2.1.1.1.3.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3"><times id="S4.E7.m1.2.2.2.1.1.1.3.1.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3.1"></times><ci id="S4.E7.m1.2.2.2.1.1.1.3.2.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3.2">𝑛</ci><ci id="S4.E7.m1.2.2.2.1.1.1.3.3.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3.3">𝑢</ci><ci id="S4.E7.m1.2.2.2.1.1.1.3.4.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3.4">𝑙</ci><ci id="S4.E7.m1.2.2.2.1.1.1.3.5.cmml" xref="S4.E7.m1.2.2.2.1.1.1.3.5">𝑙</ci></apply></apply></apply></apply><apply id="S4.E7.m1.3.3.1.1.2.cmml" xref="S4.E7.m1.3.3.1.1.2"><plus id="S4.E7.m1.3.3.1.1.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.1"></plus><apply id="S4.E7.m1.3.3.1.1.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.2"><times id="S4.E7.m1.3.3.1.1.2.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.2.1"></times><apply id="S4.E7.m1.3.3.1.1.2.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2"><divide id="S4.E7.m1.3.3.1.1.2.2.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2"></divide><cn id="S4.E7.m1.3.3.1.1.2.2.2.2.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.2.2.2">1</cn><ci id="S4.E7.m1.3.3.1.1.2.2.2.3a.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2.3"><mtext id="S4.E7.m1.3.3.1.1.2.2.2.3.cmml" xref="S4.E7.m1.3.3.1.1.2.2.2.3">SNR</mtext></ci></apply><apply id="S4.E7.m1.3.3.1.1.2.2.3.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3"><divide id="S4.E7.m1.3.3.1.1.2.2.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3"></divide><ci id="S4.E7.m1.3.3.1.1.2.2.3.2.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3.2">italic-ϕ</ci><apply id="S4.E7.m1.3.3.1.1.2.2.3.3.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3.3"><minus id="S4.E7.m1.3.3.1.1.2.2.3.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3.3.1"></minus><cn id="S4.E7.m1.3.3.1.1.2.2.3.3.2.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.2.3.3.2">1</cn><ci id="S4.E7.m1.3.3.1.1.2.2.3.3.3.cmml" xref="S4.E7.m1.3.3.1.1.2.2.3.3.3">italic-ϕ</ci></apply></apply></apply><apply id="S4.E7.m1.3.3.1.1.2.3.cmml" xref="S4.E7.m1.3.3.1.1.2.3"><times id="S4.E7.m1.3.3.1.1.2.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.1"></times><apply id="S4.E7.m1.3.3.1.1.2.3.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2"><divide id="S4.E7.m1.3.3.1.1.2.3.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2"></divide><ci id="S4.E7.m1.3.3.1.1.2.3.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2.2">𝑛</ci><apply id="S4.E7.m1.3.3.1.1.2.3.2.3.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2.3"><csymbol cd="ambiguous" id="S4.E7.m1.3.3.1.1.2.3.2.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2.3">subscript</csymbol><ci id="S4.E7.m1.3.3.1.1.2.3.2.3.2a.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2.3.2"><mtext id="S4.E7.m1.3.3.1.1.2.3.2.3.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.2.3.2">SNR</mtext></ci><cn id="S4.E7.m1.3.3.1.1.2.3.2.3.3.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.3.2.3.3">0</cn></apply></apply><apply id="S4.E7.m1.3.3.1.1.2.3.3.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3"><divide id="S4.E7.m1.3.3.1.1.2.3.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3"></divide><apply id="S4.E7.m1.3.3.1.1.2.3.3.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.2"><csymbol cd="ambiguous" id="S4.E7.m1.3.3.1.1.2.3.3.2.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.2">subscript</csymbol><ci id="S4.E7.m1.3.3.1.1.2.3.3.2.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.2.2">italic-ϕ</ci><cn id="S4.E7.m1.3.3.1.1.2.3.3.2.3.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.3.3.2.3">0</cn></apply><apply id="S4.E7.m1.3.3.1.1.2.3.3.3.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.3"><minus id="S4.E7.m1.3.3.1.1.2.3.3.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.3.1"></minus><cn id="S4.E7.m1.3.3.1.1.2.3.3.3.2.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.3.3.3.2">1</cn><apply id="S4.E7.m1.3.3.1.1.2.3.3.3.3.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3"><csymbol cd="ambiguous" id="S4.E7.m1.3.3.1.1.2.3.3.3.3.1.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3">subscript</csymbol><ci id="S4.E7.m1.3.3.1.1.2.3.3.3.3.2.cmml" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3.2">italic-ϕ</ci><cn id="S4.E7.m1.3.3.1.1.2.3.3.3.3.3.cmml" type="integer" xref="S4.E7.m1.3.3.1.1.2.3.3.3.3.3">0</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E7.m1.3c">\displaystyle\frac{E_{test}(\widehat{w}_{n}^{pred})}{E_{test}(w_{null})}=\frac% {1}{\text{SNR}}\frac{\phi}{1-\phi}+\frac{n}{\text{SNR}_{0}}\frac{\phi_{0}}{1-% \phi_{0}},</annotation><annotation encoding="application/x-llamapun" id="S4.E7.m1.3d">divide start_ARG italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( italic_w start_POSTSUBSCRIPT italic_n italic_u italic_l italic_l end_POSTSUBSCRIPT ) end_ARG = divide start_ARG 1 end_ARG start_ARG SNR end_ARG divide start_ARG italic_ϕ end_ARG start_ARG 1 - italic_ϕ end_ARG + divide start_ARG italic_n end_ARG start_ARG SNR start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG divide start_ARG italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(7)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.SS1.SSS0.Px2.p1.5">where <math alttext="\text{SNR}:=\|w_{0}\|_{\Sigma}^{2}/\sigma^{2}" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px2.p1.3.m1.1"><semantics id="S4.SS1.SSS0.Px2.p1.3.m1.1a"><mrow id="S4.SS1.SSS0.Px2.p1.3.m1.1.1" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.cmml"><mtext id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3a.cmml">SNR</mtext><mo id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.2" lspace="0.278em" rspace="0.278em" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.2.cmml">:=</mo><mrow id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.cmml"><msubsup id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.cmml"><mrow id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.2.cmml"><mo id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.2.cmml">w</mi><mn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.3.cmml">0</mn></msub><mo id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.3" mathvariant="normal" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.3.cmml">Σ</mi><mn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.3.cmml">2</mn></msubsup><mo id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.2.cmml">/</mo><msup id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.2" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.2.cmml">σ</mi><mn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px2.p1.3.m1.1b"><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.2">assign</csymbol><ci id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3a.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3"><mtext id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.3">SNR</mtext></ci><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1"><divide id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.2"></divide><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1">superscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1">subscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.2">𝑤</ci><cn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.1.1.1.3">0</cn></apply></apply><ci id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.1.3">Σ</ci></apply><cn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.1.3">2</cn></apply><apply id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3">superscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.2">𝜎</ci><cn id="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.3.m1.1.1.1.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px2.p1.3.m1.1c">\text{SNR}:=\|w_{0}\|_{\Sigma}^{2}/\sigma^{2}</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px2.p1.3.m1.1d">SNR := ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT / italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math> and <math alttext="\text{SNR}_{0}:=\|w_{0}\|_{\Sigma}^{2}/\sigma_{0}^{2}" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px2.p1.4.m2.1"><semantics id="S4.SS1.SSS0.Px2.p1.4.m2.1a"><mrow id="S4.SS1.SSS0.Px2.p1.4.m2.1.1" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.cmml"><msub id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.cmml"><mtext id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2a.cmml">SNR</mtext><mn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.3.cmml">0</mn></msub><mo id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.2" lspace="0.278em" rspace="0.278em" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.2.cmml">:=</mo><mrow id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.cmml"><msubsup id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.cmml"><mrow id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.2.cmml"><mo id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.cmml"><mi id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.2.cmml">w</mi><mn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.3.cmml">0</mn></msub><mo id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.3" mathvariant="normal" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.3.cmml">Σ</mi><mn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.3.cmml">2</mn></msubsup><mo id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.2.cmml">/</mo><msubsup id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.2" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.2.cmml">σ</mi><mn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.3.cmml">0</mn><mn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.3.cmml">2</mn></msubsup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px2.p1.4.m2.1b"><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.2">assign</csymbol><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2a.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2"><mtext id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.2">SNR</mtext></ci><cn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.3.3">0</cn></apply><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1"><divide id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.2"></divide><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1">superscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1">subscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.2">𝑤</ci><cn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.1.1.1.3">0</cn></apply></apply><ci id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.1.3">Σ</ci></apply><cn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.1.3">2</cn></apply><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3">superscript</csymbol><apply id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.2.cmml" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.2">𝜎</ci><cn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.2.3">0</cn></apply><cn id="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.4.m2.1.1.1.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px2.p1.4.m2.1c">\text{SNR}_{0}:=\|w_{0}\|_{\Sigma}^{2}/\sigma_{0}^{2}</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px2.p1.4.m2.1d">SNR start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT / italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math>. We deduce that if <math alttext="n\gg\mathrm{SNR}_{0}/(1/\phi_{0}-1)" class="ltx_Math" display="inline" id="S4.SS1.SSS0.Px2.p1.5.m3.1"><semantics id="S4.SS1.SSS0.Px2.p1.5.m3.1a"><mrow id="S4.SS1.SSS0.Px2.p1.5.m3.1.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.cmml"><mi id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.3.cmml">n</mi><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.2.cmml">≫</mo><mrow id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.cmml"><msub id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.2.cmml">SNR</mi><mn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.3.cmml">0</mn></msub><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.2.cmml">/</mo><mrow id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.cmml"><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.2" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.cmml"><mrow id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.cmml"><mn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.2.cmml">1</mn><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.1.cmml">/</mo><msub id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.cmml"><mi id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.2" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.2.cmml">ϕ</mi><mn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.3.cmml">0</mn></msub></mrow><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.1" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.1.cmml">−</mo><mn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.3" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.3" stretchy="false" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS1.SSS0.Px2.p1.5.m3.1b"><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1"><csymbol cd="latexml" id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.2">much-greater-than</csymbol><ci id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.3">𝑛</ci><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1"><divide id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.2"></divide><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.2">SNR</ci><cn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.3.3">0</cn></apply><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1"><minus id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.1"></minus><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2"><divide id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.1"></divide><cn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.2.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.2">1</cn><apply id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.1.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3">subscript</csymbol><ci id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.2.cmml" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.2">italic-ϕ</ci><cn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.2.3.3">0</cn></apply></apply><cn id="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.3.cmml" type="integer" xref="S4.SS1.SSS0.Px2.p1.5.m3.1.1.1.1.1.1.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS1.SSS0.Px2.p1.5.m3.1c">n\gg\mathrm{SNR}_{0}/(1/\phi_{0}-1)</annotation><annotation encoding="application/x-llamapun" id="S4.SS1.SSS0.Px2.p1.5.m3.1d">italic_n ≫ roman_SNR start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT / ( 1 / italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - 1 )</annotation></semantics></math>, then the learned model is already much worse than the null predictor! This suggests that a good strategy for mitigating the negative effects on learning on AI-generated data is regularization at an appropriate level, as illustrated in Figure <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F3" title="Figure 3 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">3</span></a>. </p> </div> </section> </section> <section class="ltx_subsection" id="S4.SS2"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">4.2 </span>Main Result I: A General Formula for Test Error</h3> <div class="ltx_para" id="S4.SS2.p1"> <p class="ltx_p" id="S4.SS2.p1.3">We now consider the case of general ridge penalty <math alttext="\lambda>0" class="ltx_Math" display="inline" id="S4.SS2.p1.1.m1.1"><semantics id="S4.SS2.p1.1.m1.1a"><mrow id="S4.SS2.p1.1.m1.1.1" xref="S4.SS2.p1.1.m1.1.1.cmml"><mi id="S4.SS2.p1.1.m1.1.1.2" xref="S4.SS2.p1.1.m1.1.1.2.cmml">λ</mi><mo id="S4.SS2.p1.1.m1.1.1.1" xref="S4.SS2.p1.1.m1.1.1.1.cmml">></mo><mn id="S4.SS2.p1.1.m1.1.1.3" xref="S4.SS2.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p1.1.m1.1b"><apply id="S4.SS2.p1.1.m1.1.1.cmml" xref="S4.SS2.p1.1.m1.1.1"><gt id="S4.SS2.p1.1.m1.1.1.1.cmml" xref="S4.SS2.p1.1.m1.1.1.1"></gt><ci id="S4.SS2.p1.1.m1.1.1.2.cmml" xref="S4.SS2.p1.1.m1.1.1.2">𝜆</ci><cn id="S4.SS2.p1.1.m1.1.1.3.cmml" type="integer" xref="S4.SS2.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p1.1.m1.1c">\lambda>0</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p1.1.m1.1d">italic_λ > 0</annotation></semantics></math>, and drop the requirement <math alttext="T\geq d+2" class="ltx_Math" display="inline" id="S4.SS2.p1.2.m2.1"><semantics id="S4.SS2.p1.2.m2.1a"><mrow id="S4.SS2.p1.2.m2.1.1" xref="S4.SS2.p1.2.m2.1.1.cmml"><mi id="S4.SS2.p1.2.m2.1.1.2" xref="S4.SS2.p1.2.m2.1.1.2.cmml">T</mi><mo id="S4.SS2.p1.2.m2.1.1.1" xref="S4.SS2.p1.2.m2.1.1.1.cmml">≥</mo><mrow id="S4.SS2.p1.2.m2.1.1.3" xref="S4.SS2.p1.2.m2.1.1.3.cmml"><mi id="S4.SS2.p1.2.m2.1.1.3.2" xref="S4.SS2.p1.2.m2.1.1.3.2.cmml">d</mi><mo id="S4.SS2.p1.2.m2.1.1.3.1" xref="S4.SS2.p1.2.m2.1.1.3.1.cmml">+</mo><mn id="S4.SS2.p1.2.m2.1.1.3.3" xref="S4.SS2.p1.2.m2.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p1.2.m2.1b"><apply id="S4.SS2.p1.2.m2.1.1.cmml" xref="S4.SS2.p1.2.m2.1.1"><geq id="S4.SS2.p1.2.m2.1.1.1.cmml" xref="S4.SS2.p1.2.m2.1.1.1"></geq><ci id="S4.SS2.p1.2.m2.1.1.2.cmml" xref="S4.SS2.p1.2.m2.1.1.2">𝑇</ci><apply id="S4.SS2.p1.2.m2.1.1.3.cmml" xref="S4.SS2.p1.2.m2.1.1.3"><plus id="S4.SS2.p1.2.m2.1.1.3.1.cmml" xref="S4.SS2.p1.2.m2.1.1.3.1"></plus><ci id="S4.SS2.p1.2.m2.1.1.3.2.cmml" xref="S4.SS2.p1.2.m2.1.1.3.2">𝑑</ci><cn id="S4.SS2.p1.2.m2.1.1.3.3.cmml" type="integer" xref="S4.SS2.p1.2.m2.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p1.2.m2.1c">T\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p1.2.m2.1d">italic_T ≥ italic_d + 2</annotation></semantics></math>. We still make the simplifying assumption that <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="S4.SS2.p1.3.m3.1"><semantics id="S4.SS2.p1.3.m3.1a"><mrow id="S4.SS2.p1.3.m3.1.1" xref="S4.SS2.p1.3.m3.1.1.cmml"><msub id="S4.SS2.p1.3.m3.1.1.2" xref="S4.SS2.p1.3.m3.1.1.2.cmml"><mi id="S4.SS2.p1.3.m3.1.1.2.2" xref="S4.SS2.p1.3.m3.1.1.2.2.cmml">T</mi><mn id="S4.SS2.p1.3.m3.1.1.2.3" xref="S4.SS2.p1.3.m3.1.1.2.3.cmml">0</mn></msub><mo id="S4.SS2.p1.3.m3.1.1.1" xref="S4.SS2.p1.3.m3.1.1.1.cmml">≥</mo><mrow id="S4.SS2.p1.3.m3.1.1.3" xref="S4.SS2.p1.3.m3.1.1.3.cmml"><mi id="S4.SS2.p1.3.m3.1.1.3.2" xref="S4.SS2.p1.3.m3.1.1.3.2.cmml">d</mi><mo id="S4.SS2.p1.3.m3.1.1.3.1" xref="S4.SS2.p1.3.m3.1.1.3.1.cmml">+</mo><mn id="S4.SS2.p1.3.m3.1.1.3.3" xref="S4.SS2.p1.3.m3.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p1.3.m3.1b"><apply id="S4.SS2.p1.3.m3.1.1.cmml" xref="S4.SS2.p1.3.m3.1.1"><geq id="S4.SS2.p1.3.m3.1.1.1.cmml" xref="S4.SS2.p1.3.m3.1.1.1"></geq><apply id="S4.SS2.p1.3.m3.1.1.2.cmml" xref="S4.SS2.p1.3.m3.1.1.2"><csymbol cd="ambiguous" id="S4.SS2.p1.3.m3.1.1.2.1.cmml" xref="S4.SS2.p1.3.m3.1.1.2">subscript</csymbol><ci id="S4.SS2.p1.3.m3.1.1.2.2.cmml" xref="S4.SS2.p1.3.m3.1.1.2.2">𝑇</ci><cn id="S4.SS2.p1.3.m3.1.1.2.3.cmml" type="integer" xref="S4.SS2.p1.3.m3.1.1.2.3">0</cn></apply><apply id="S4.SS2.p1.3.m3.1.1.3.cmml" xref="S4.SS2.p1.3.m3.1.1.3"><plus id="S4.SS2.p1.3.m3.1.1.3.1.cmml" xref="S4.SS2.p1.3.m3.1.1.3.1"></plus><ci id="S4.SS2.p1.3.m3.1.1.3.2.cmml" xref="S4.SS2.p1.3.m3.1.1.3.2">𝑑</ci><cn id="S4.SS2.p1.3.m3.1.1.3.3.cmml" type="integer" xref="S4.SS2.p1.3.m3.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p1.3.m3.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p1.3.m3.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math>, i.e each generation of the fake data-generator is based on enough examples from the previous generation.</p> </div> <div class="ltx_theorem ltx_theorem_theorem" id="S4.Thmtheorem2"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem2.1.1.1">Theorem 4.2</span></span><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem2.2.2">.</span> </h6> <div class="ltx_para" id="S4.Thmtheorem2.p1"> <p class="ltx_p" id="S4.Thmtheorem2.p1.5"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem2.p1.5.5">For an <math alttext="n" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.1.1.m1.1"><semantics id="S4.Thmtheorem2.p1.1.1.m1.1a"><mi id="S4.Thmtheorem2.p1.1.1.m1.1.1" xref="S4.Thmtheorem2.p1.1.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.1.1.m1.1b"><ci id="S4.Thmtheorem2.p1.1.1.m1.1.1.cmml" xref="S4.Thmtheorem2.p1.1.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.1.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.1.1.m1.1d">italic_n</annotation></semantics></math>-fold fake data generation process with <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.2.2.m2.1"><semantics id="S4.Thmtheorem2.p1.2.2.m2.1a"><mrow id="S4.Thmtheorem2.p1.2.2.m2.1.1" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.cmml"><msub id="S4.Thmtheorem2.p1.2.2.m2.1.1.2" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2.cmml"><mi id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.2" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2.2.cmml">T</mi><mn id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.3" mathvariant="normal" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2.3.cmml">0</mn></msub><mo id="S4.Thmtheorem2.p1.2.2.m2.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.1.cmml">≥</mo><mrow id="S4.Thmtheorem2.p1.2.2.m2.1.1.3" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.cmml"><mi id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.2" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.1.cmml">+</mo><mn id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.2.2.m2.1b"><apply id="S4.Thmtheorem2.p1.2.2.m2.1.1.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1"><geq id="S4.Thmtheorem2.p1.2.2.m2.1.1.1.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.1"></geq><apply id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.1.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2">subscript</csymbol><ci id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.2.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2.2">𝑇</ci><cn id="S4.Thmtheorem2.p1.2.2.m2.1.1.2.3.cmml" type="integer" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.2.3">0</cn></apply><apply id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3"><plus id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.1.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.1"></plus><ci id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.2.cmml" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.2">𝑑</ci><cn id="S4.Thmtheorem2.p1.2.2.m2.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem2.p1.2.2.m2.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.2.2.m2.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.2.2.m2.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math>, the test error of a ridge predictor <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.3.3.m3.1"><semantics id="S4.Thmtheorem2.p1.3.3.m3.1a"><msubsup id="S4.Thmtheorem2.p1.3.3.m3.1.1" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.cmml"><mover accent="true" id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.cmml"><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.2" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.2.cmml">w</mi><mo id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.3" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.3.cmml">n</mi><mrow id="S4.Thmtheorem2.p1.3.3.m3.1.1.3" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.cmml"><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.2" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.2.cmml">p</mi><mo id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1" mathvariant="italic" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.3" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.3.cmml">r</mi><mo id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1a" mathvariant="italic" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.4" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.4.cmml">e</mi><mo id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1b" mathvariant="italic" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.5" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.3.3.m3.1b"><apply id="S4.Thmtheorem2.p1.3.3.m3.1.1.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.3.3.m3.1.1.1.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1">superscript</csymbol><apply id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.1.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1">subscript</csymbol><apply id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2"><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.1.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.1">normal-^</ci><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.2.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.2.2">𝑤</ci></apply><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.2.3.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.2.3">𝑛</ci></apply><apply id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3"><times id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.1"></times><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.2.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.2">𝑝</ci><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.3.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.3">𝑟</ci><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.4.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.4">𝑒</ci><ci id="S4.Thmtheorem2.p1.3.3.m3.1.1.3.5.cmml" xref="S4.Thmtheorem2.p1.3.3.m3.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.3.3.m3.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.3.3.m3.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> based on a fake sample of size <math alttext="T\geq 1" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.4.4.m4.1"><semantics id="S4.Thmtheorem2.p1.4.4.m4.1a"><mrow id="S4.Thmtheorem2.p1.4.4.m4.1.1" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.cmml"><mi id="S4.Thmtheorem2.p1.4.4.m4.1.1.2" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.2.cmml">T</mi><mo id="S4.Thmtheorem2.p1.4.4.m4.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.1.cmml">≥</mo><mn id="S4.Thmtheorem2.p1.4.4.m4.1.1.3" mathvariant="normal" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.4.4.m4.1b"><apply id="S4.Thmtheorem2.p1.4.4.m4.1.1.cmml" xref="S4.Thmtheorem2.p1.4.4.m4.1.1"><geq id="S4.Thmtheorem2.p1.4.4.m4.1.1.1.cmml" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.1"></geq><ci id="S4.Thmtheorem2.p1.4.4.m4.1.1.2.cmml" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.2">𝑇</ci><cn id="S4.Thmtheorem2.p1.4.4.m4.1.1.3.cmml" type="integer" xref="S4.Thmtheorem2.p1.4.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.4.4.m4.1c">T\geq 1</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.4.4.m4.1d">italic_T ≥ 1</annotation></semantics></math> with regularization parameter <math alttext="\lambda>0" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.5.5.m5.1"><semantics id="S4.Thmtheorem2.p1.5.5.m5.1a"><mrow id="S4.Thmtheorem2.p1.5.5.m5.1.1" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.cmml"><mi id="S4.Thmtheorem2.p1.5.5.m5.1.1.2" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.2.cmml">λ</mi><mo id="S4.Thmtheorem2.p1.5.5.m5.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.1.cmml">></mo><mn id="S4.Thmtheorem2.p1.5.5.m5.1.1.3" mathvariant="normal" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.5.5.m5.1b"><apply id="S4.Thmtheorem2.p1.5.5.m5.1.1.cmml" xref="S4.Thmtheorem2.p1.5.5.m5.1.1"><gt id="S4.Thmtheorem2.p1.5.5.m5.1.1.1.cmml" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.1"></gt><ci id="S4.Thmtheorem2.p1.5.5.m5.1.1.2.cmml" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.2">𝜆</ci><cn id="S4.Thmtheorem2.p1.5.5.m5.1.1.3.cmml" type="integer" xref="S4.Thmtheorem2.p1.5.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.5.5.m5.1c">\lambda>0</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.5.5.m5.1d">italic_λ > 0</annotation></semantics></math> is given by</span></p> <table class="ltx_equationgroup ltx_eqn_align ltx_eqn_table" id="A3.EGx8"> <tbody id="S4.E8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{0}^{pred}% )+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\sigma_{0}^{2% }\rho}," class="ltx_Math" display="inline" id="S4.E8.m1.1"><semantics id="S4.E8.m1.1a"><mrow id="S4.E8.m1.1.1.1" xref="S4.E8.m1.1.1.1.1.cmml"><mrow id="S4.E8.m1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.cmml"><mrow id="S4.E8.m1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.cmml"><msub id="S4.E8.m1.1.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.1.3.cmml"><mi id="S4.E8.m1.1.1.1.1.1.3.2" xref="S4.E8.m1.1.1.1.1.1.3.2.cmml">E</mi><mrow id="S4.E8.m1.1.1.1.1.1.3.3" xref="S4.E8.m1.1.1.1.1.1.3.3.cmml"><mi id="S4.E8.m1.1.1.1.1.1.3.3.2" xref="S4.E8.m1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.E8.m1.1.1.1.1.1.3.3.1" xref="S4.E8.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.3.3.3" xref="S4.E8.m1.1.1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.E8.m1.1.1.1.1.1.3.3.1a" xref="S4.E8.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.3.3.4" xref="S4.E8.m1.1.1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.E8.m1.1.1.1.1.1.3.3.1b" xref="S4.E8.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.3.3.5" xref="S4.E8.m1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E8.m1.1.1.1.1.1.2" xref="S4.E8.m1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="S4.E8.m1.1.1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.1.1.1.cmml"><mo id="S4.E8.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E8.m1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.E8.m1.1.1.1.1.1.1.1.1" xref="S4.E8.m1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.2" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.1" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.2.3" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.E8.m1.1.1.1.1.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.3.2" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.E8.m1.1.1.1.1.1.1.1.1.3.1" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.3.3" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.E8.m1.1.1.1.1.1.1.1.1.3.1a" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.3.4" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.E8.m1.1.1.1.1.1.1.1.1.3.1b" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.1.1.1.1.3.5" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.E8.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E8.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.3.cmml">=</mo><mrow id="S4.E8.m1.1.1.1.1.2" xref="S4.E8.m1.1.1.1.1.2.cmml"><mrow id="S4.E8.m1.1.1.1.1.2.1" xref="S4.E8.m1.1.1.1.1.2.1.cmml"><msub id="S4.E8.m1.1.1.1.1.2.1.3" xref="S4.E8.m1.1.1.1.1.2.1.3.cmml"><mi id="S4.E8.m1.1.1.1.1.2.1.3.2" xref="S4.E8.m1.1.1.1.1.2.1.3.2.cmml">E</mi><mrow id="S4.E8.m1.1.1.1.1.2.1.3.3" xref="S4.E8.m1.1.1.1.1.2.1.3.3.cmml"><mi id="S4.E8.m1.1.1.1.1.2.1.3.3.2" xref="S4.E8.m1.1.1.1.1.2.1.3.3.2.cmml">t</mi><mo id="S4.E8.m1.1.1.1.1.2.1.3.3.1" xref="S4.E8.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.3.3.3" xref="S4.E8.m1.1.1.1.1.2.1.3.3.3.cmml">e</mi><mo id="S4.E8.m1.1.1.1.1.2.1.3.3.1a" xref="S4.E8.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.3.3.4" xref="S4.E8.m1.1.1.1.1.2.1.3.3.4.cmml">s</mi><mo id="S4.E8.m1.1.1.1.1.2.1.3.3.1b" xref="S4.E8.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.3.3.5" xref="S4.E8.m1.1.1.1.1.2.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E8.m1.1.1.1.1.2.1.2" xref="S4.E8.m1.1.1.1.1.2.1.2.cmml">⁢</mo><mrow id="S4.E8.m1.1.1.1.1.2.1.1.1" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.cmml"><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.2" stretchy="false" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.cmml">(</mo><msubsup id="S4.E8.m1.1.1.1.1.2.1.1.1.1" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.cmml"><mover accent="true" id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.cmml"><mi id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.2" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.1" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.3" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.cmml"><mi id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.2" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.2.cmml">p</mi><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.3" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.3.cmml">r</mi><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1a" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.4" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.4.cmml">e</mi><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1b" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.5" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.E8.m1.1.1.1.1.2.1.1.1.3" stretchy="false" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E8.m1.1.1.1.1.2.2" xref="S4.E8.m1.1.1.1.1.2.2.cmml">+</mo><mrow id="S4.E8.m1.1.1.1.1.2.3" xref="S4.E8.m1.1.1.1.1.2.3.cmml"><mi id="S4.E8.m1.1.1.1.1.2.3.2" mathcolor="#FF0000" xref="S4.E8.m1.1.1.1.1.2.3.2.cmml">n</mi><mo id="S4.E8.m1.1.1.1.1.2.3.1" xref="S4.E8.m1.1.1.1.1.2.3.1.cmml">⁢</mo><msubsup id="S4.E8.m1.1.1.1.1.2.3.3" xref="S4.E8.m1.1.1.1.1.2.3.3.cmml"><mi id="S4.E8.m1.1.1.1.1.2.3.3.2.2" mathcolor="#FF0000" xref="S4.E8.m1.1.1.1.1.2.3.3.2.2.cmml">σ</mi><mn id="S4.E8.m1.1.1.1.1.2.3.3.2.3" mathcolor="#FF0000" xref="S4.E8.m1.1.1.1.1.2.3.3.2.3.cmml">0</mn><mn id="S4.E8.m1.1.1.1.1.2.3.3.3" mathcolor="#FF0000" xref="S4.E8.m1.1.1.1.1.2.3.3.3.cmml">2</mn></msubsup><mo id="S4.E8.m1.1.1.1.1.2.3.1a" xref="S4.E8.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="S4.E8.m1.1.1.1.1.2.3.4" mathcolor="#FF0000" xref="S4.E8.m1.1.1.1.1.2.3.4.cmml">ρ</mi></mrow></mrow></mrow><mo id="S4.E8.m1.1.1.1.2" xref="S4.E8.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E8.m1.1b"><apply id="S4.E8.m1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1"><eq id="S4.E8.m1.1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.1.3"></eq><apply id="S4.E8.m1.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.1"><times id="S4.E8.m1.1.1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.1.1.2"></times><apply id="S4.E8.m1.1.1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.1.3.1.cmml" xref="S4.E8.m1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E8.m1.1.1.1.1.1.3.2.cmml" xref="S4.E8.m1.1.1.1.1.1.3.2">𝐸</ci><apply id="S4.E8.m1.1.1.1.1.1.3.3.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3"><times id="S4.E8.m1.1.1.1.1.1.3.3.1.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3.1"></times><ci id="S4.E8.m1.1.1.1.1.1.3.3.2.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3.2">𝑡</ci><ci id="S4.E8.m1.1.1.1.1.1.3.3.3.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3.3">𝑒</ci><ci id="S4.E8.m1.1.1.1.1.1.3.3.4.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3.4">𝑠</ci><ci id="S4.E8.m1.1.1.1.1.1.3.3.5.cmml" xref="S4.E8.m1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E8.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.E8.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1">subscript</csymbol><apply id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2"><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.E8.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3"><times id="S4.E8.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.3.4.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.E8.m1.1.1.1.1.1.1.1.1.3.5.cmml" xref="S4.E8.m1.1.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.E8.m1.1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.1.2"><plus id="S4.E8.m1.1.1.1.1.2.2.cmml" xref="S4.E8.m1.1.1.1.1.2.2"></plus><apply id="S4.E8.m1.1.1.1.1.2.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1"><times id="S4.E8.m1.1.1.1.1.2.1.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.2"></times><apply id="S4.E8.m1.1.1.1.1.2.1.3.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.2.1.3.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3">subscript</csymbol><ci id="S4.E8.m1.1.1.1.1.2.1.3.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.2">𝐸</ci><apply id="S4.E8.m1.1.1.1.1.2.1.3.3.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3"><times id="S4.E8.m1.1.1.1.1.2.1.3.3.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3.1"></times><ci id="S4.E8.m1.1.1.1.1.2.1.3.3.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3.2">𝑡</ci><ci id="S4.E8.m1.1.1.1.1.2.1.3.3.3.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3.3">𝑒</ci><ci id="S4.E8.m1.1.1.1.1.2.1.3.3.4.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3.4">𝑠</ci><ci id="S4.E8.m1.1.1.1.1.2.1.3.3.5.cmml" xref="S4.E8.m1.1.1.1.1.2.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E8.m1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.2.1.1.1.1.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1">superscript</csymbol><apply id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1">subscript</csymbol><apply id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2"><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.1">^</ci><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.3.cmml" type="integer" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.2.3">0</cn></apply><apply id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3"><times id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.1"></times><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.2.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.2">𝑝</ci><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.3.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.3">𝑟</ci><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.4.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.4">𝑒</ci><ci id="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.5.cmml" xref="S4.E8.m1.1.1.1.1.2.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.E8.m1.1.1.1.1.2.3.cmml" xref="S4.E8.m1.1.1.1.1.2.3"><times id="S4.E8.m1.1.1.1.1.2.3.1.cmml" xref="S4.E8.m1.1.1.1.1.2.3.1"></times><ci id="S4.E8.m1.1.1.1.1.2.3.2.cmml" xref="S4.E8.m1.1.1.1.1.2.3.2">𝑛</ci><apply id="S4.E8.m1.1.1.1.1.2.3.3.cmml" xref="S4.E8.m1.1.1.1.1.2.3.3"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.2.3.3.1.cmml" xref="S4.E8.m1.1.1.1.1.2.3.3">superscript</csymbol><apply id="S4.E8.m1.1.1.1.1.2.3.3.2.cmml" xref="S4.E8.m1.1.1.1.1.2.3.3"><csymbol cd="ambiguous" id="S4.E8.m1.1.1.1.1.2.3.3.2.1.cmml" xref="S4.E8.m1.1.1.1.1.2.3.3">subscript</csymbol><ci id="S4.E8.m1.1.1.1.1.2.3.3.2.2.cmml" xref="S4.E8.m1.1.1.1.1.2.3.3.2.2">𝜎</ci><cn id="S4.E8.m1.1.1.1.1.2.3.3.2.3.cmml" type="integer" xref="S4.E8.m1.1.1.1.1.2.3.3.2.3">0</cn></apply><cn id="S4.E8.m1.1.1.1.1.2.3.3.3.cmml" type="integer" xref="S4.E8.m1.1.1.1.1.2.3.3.3">2</cn></apply><ci id="S4.E8.m1.1.1.1.1.2.3.4.cmml" xref="S4.E8.m1.1.1.1.1.2.3.4">𝜌</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E8.m1.1c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{0}^{pred}% )+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\sigma_{0}^{2% }\rho},</annotation><annotation encoding="application/x-llamapun" id="S4.E8.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) + italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(8)</span></td> </tr></tbody> <tbody id="S4.E9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\quad\rho:=\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}\widehat{% \Sigma}(\widehat{\Sigma}+\lambda I_{d})^{-1}\Sigma(\widehat{\Sigma}+\lambda I_% {d})^{-1}\widehat{\Sigma})}{T_{0}-d}." class="ltx_Math" display="inline" id="S4.E9.m1.2"><semantics id="S4.E9.m1.2a"><mrow id="S4.E9.m1.2.2.1" xref="S4.E9.m1.2.2.1.1.cmml"><mrow id="S4.E9.m1.2.2.1.1" xref="S4.E9.m1.2.2.1.1.cmml"><mi id="S4.E9.m1.2.2.1.1.2" xref="S4.E9.m1.2.2.1.1.2.cmml">ρ</mi><mo id="S4.E9.m1.2.2.1.1.1" lspace="0.278em" rspace="0.278em" xref="S4.E9.m1.2.2.1.1.1.cmml">:=</mo><mstyle displaystyle="true" id="S4.E9.m1.1.1" xref="S4.E9.m1.1.1.cmml"><mfrac id="S4.E9.m1.1.1a" xref="S4.E9.m1.1.1.cmml"><mrow id="S4.E9.m1.1.1.1" xref="S4.E9.m1.1.1.1.cmml"><mi id="S4.E9.m1.1.1.1.3" xref="S4.E9.m1.1.1.1.3.cmml">𝔼</mi><mo id="S4.E9.m1.1.1.1.2" lspace="0.170em" xref="S4.E9.m1.1.1.1.2.cmml">⁢</mo><mi id="S4.E9.m1.1.1.1.4" xref="S4.E9.m1.1.1.1.4.cmml">tr</mi><mo id="S4.E9.m1.1.1.1.2a" xref="S4.E9.m1.1.1.1.2.cmml">⁢</mo><mrow id="S4.E9.m1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.cmml"><mo id="S4.E9.m1.1.1.1.1.1.2" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E9.m1.1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.cmml"><msup id="S4.E9.m1.1.1.1.1.1.1.4" xref="S4.E9.m1.1.1.1.1.1.1.4.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.4.2" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.4.2.cmml">Σ</mi><mrow id="S4.E9.m1.1.1.1.1.1.1.4.3" xref="S4.E9.m1.1.1.1.1.1.1.4.3.cmml"><mo id="S4.E9.m1.1.1.1.1.1.1.4.3a" xref="S4.E9.m1.1.1.1.1.1.1.4.3.cmml">−</mo><mn id="S4.E9.m1.1.1.1.1.1.1.4.3.2" xref="S4.E9.m1.1.1.1.1.1.1.4.3.2.cmml">1</mn></mrow></msup><mo id="S4.E9.m1.1.1.1.1.1.1.3" xref="S4.E9.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mover accent="true" id="S4.E9.m1.1.1.1.1.1.1.5" xref="S4.E9.m1.1.1.1.1.1.1.5.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.5.2" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.5.2.cmml">Σ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.5.1" xref="S4.E9.m1.1.1.1.1.1.1.5.1.cmml">^</mo></mover><mo id="S4.E9.m1.1.1.1.1.1.1.3a" xref="S4.E9.m1.1.1.1.1.1.1.3.cmml">⁢</mo><msup id="S4.E9.m1.1.1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.1.cmml"><mrow id="S4.E9.m1.1.1.1.1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="S4.E9.m1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.2" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">Σ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.1" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">^</mo></mover><mo id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.1" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S4.E9.m1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.E9.m1.1.1.1.1.1.1.1.3" xref="S4.E9.m1.1.1.1.1.1.1.1.3.cmml"><mo id="S4.E9.m1.1.1.1.1.1.1.1.3a" xref="S4.E9.m1.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="S4.E9.m1.1.1.1.1.1.1.1.3.2" xref="S4.E9.m1.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="S4.E9.m1.1.1.1.1.1.1.3b" xref="S4.E9.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mi id="S4.E9.m1.1.1.1.1.1.1.6" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.6.cmml">Σ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.3c" xref="S4.E9.m1.1.1.1.1.1.1.3.cmml">⁢</mo><msup id="S4.E9.m1.1.1.1.1.1.1.2" xref="S4.E9.m1.1.1.1.1.1.1.2.cmml"><mrow id="S4.E9.m1.1.1.1.1.1.1.2.1.1" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.cmml"><mo id="S4.E9.m1.1.1.1.1.1.1.2.1.1.2" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.cmml"><mover accent="true" id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.2" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.2.cmml">Σ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.1" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.1.cmml">^</mo></mover><mo id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.1" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">+</mo><mrow id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.2" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.2.cmml">λ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.1" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.1.cmml">⁢</mo><msub id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.2" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.2.cmml">I</mi><mi id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.3" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S4.E9.m1.1.1.1.1.1.1.2.1.1.3" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow><mrow id="S4.E9.m1.1.1.1.1.1.1.2.3" xref="S4.E9.m1.1.1.1.1.1.1.2.3.cmml"><mo id="S4.E9.m1.1.1.1.1.1.1.2.3a" xref="S4.E9.m1.1.1.1.1.1.1.2.3.cmml">−</mo><mn id="S4.E9.m1.1.1.1.1.1.1.2.3.2" xref="S4.E9.m1.1.1.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo id="S4.E9.m1.1.1.1.1.1.1.3d" xref="S4.E9.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mover accent="true" id="S4.E9.m1.1.1.1.1.1.1.7" xref="S4.E9.m1.1.1.1.1.1.1.7.cmml"><mi id="S4.E9.m1.1.1.1.1.1.1.7.2" mathvariant="normal" xref="S4.E9.m1.1.1.1.1.1.1.7.2.cmml">Σ</mi><mo id="S4.E9.m1.1.1.1.1.1.1.7.1" xref="S4.E9.m1.1.1.1.1.1.1.7.1.cmml">^</mo></mover></mrow><mo id="S4.E9.m1.1.1.1.1.1.3" stretchy="false" xref="S4.E9.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="S4.E9.m1.1.1.3" xref="S4.E9.m1.1.1.3.cmml"><msub id="S4.E9.m1.1.1.3.2" xref="S4.E9.m1.1.1.3.2.cmml"><mi id="S4.E9.m1.1.1.3.2.2" xref="S4.E9.m1.1.1.3.2.2.cmml">T</mi><mn id="S4.E9.m1.1.1.3.2.3" xref="S4.E9.m1.1.1.3.2.3.cmml">0</mn></msub><mo id="S4.E9.m1.1.1.3.1" xref="S4.E9.m1.1.1.3.1.cmml">−</mo><mi id="S4.E9.m1.1.1.3.3" xref="S4.E9.m1.1.1.3.3.cmml">d</mi></mrow></mfrac></mstyle></mrow><mo id="S4.E9.m1.2.2.1.2" lspace="0em" xref="S4.E9.m1.2.2.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E9.m1.2b"><apply id="S4.E9.m1.2.2.1.1.cmml" xref="S4.E9.m1.2.2.1"><csymbol cd="latexml" id="S4.E9.m1.2.2.1.1.1.cmml" xref="S4.E9.m1.2.2.1.1.1">assign</csymbol><ci id="S4.E9.m1.2.2.1.1.2.cmml" xref="S4.E9.m1.2.2.1.1.2">𝜌</ci><apply id="S4.E9.m1.1.1.cmml" xref="S4.E9.m1.1.1"><divide id="S4.E9.m1.1.1.2.cmml" xref="S4.E9.m1.1.1"></divide><apply id="S4.E9.m1.1.1.1.cmml" xref="S4.E9.m1.1.1.1"><times id="S4.E9.m1.1.1.1.2.cmml" xref="S4.E9.m1.1.1.1.2"></times><ci id="S4.E9.m1.1.1.1.3.cmml" xref="S4.E9.m1.1.1.1.3">𝔼</ci><ci id="S4.E9.m1.1.1.1.4.cmml" xref="S4.E9.m1.1.1.1.4">tr</ci><apply id="S4.E9.m1.1.1.1.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1"><times id="S4.E9.m1.1.1.1.1.1.1.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.3"></times><apply id="S4.E9.m1.1.1.1.1.1.1.4.cmml" xref="S4.E9.m1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.1.1.1.1.4.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.4">superscript</csymbol><ci id="S4.E9.m1.1.1.1.1.1.1.4.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.4.2">Σ</ci><apply id="S4.E9.m1.1.1.1.1.1.1.4.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.4.3"><minus id="S4.E9.m1.1.1.1.1.1.1.4.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.4.3"></minus><cn id="S4.E9.m1.1.1.1.1.1.1.4.3.2.cmml" type="integer" xref="S4.E9.m1.1.1.1.1.1.1.4.3.2">1</cn></apply></apply><apply id="S4.E9.m1.1.1.1.1.1.1.5.cmml" xref="S4.E9.m1.1.1.1.1.1.1.5"><ci id="S4.E9.m1.1.1.1.1.1.1.5.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.5.1">^</ci><ci id="S4.E9.m1.1.1.1.1.1.1.5.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.5.2">Σ</ci></apply><apply id="S4.E9.m1.1.1.1.1.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1"><plus id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.1"></plus><apply id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2"><ci id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.1">^</ci><ci id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.2.2">Σ</ci></apply><apply id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3"><times id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝜆</ci><apply id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S4.E9.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.3"><minus id="S4.E9.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.1.3"></minus><cn id="S4.E9.m1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="S4.E9.m1.1.1.1.1.1.1.1.3.2">1</cn></apply></apply><ci id="S4.E9.m1.1.1.1.1.1.1.6.cmml" xref="S4.E9.m1.1.1.1.1.1.1.6">Σ</ci><apply id="S4.E9.m1.1.1.1.1.1.1.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2">superscript</csymbol><apply id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1"><plus id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.1"></plus><apply id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2"><ci id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.1">^</ci><ci id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.2.2">Σ</ci></apply><apply id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3"><times id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.1"></times><ci id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.2">𝜆</ci><apply id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3">subscript</csymbol><ci id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.2">𝐼</ci><ci id="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S4.E9.m1.1.1.1.1.1.1.2.3.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.3"><minus id="S4.E9.m1.1.1.1.1.1.1.2.3.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.2.3"></minus><cn id="S4.E9.m1.1.1.1.1.1.1.2.3.2.cmml" type="integer" xref="S4.E9.m1.1.1.1.1.1.1.2.3.2">1</cn></apply></apply><apply id="S4.E9.m1.1.1.1.1.1.1.7.cmml" xref="S4.E9.m1.1.1.1.1.1.1.7"><ci id="S4.E9.m1.1.1.1.1.1.1.7.1.cmml" xref="S4.E9.m1.1.1.1.1.1.1.7.1">^</ci><ci id="S4.E9.m1.1.1.1.1.1.1.7.2.cmml" xref="S4.E9.m1.1.1.1.1.1.1.7.2">Σ</ci></apply></apply></apply><apply id="S4.E9.m1.1.1.3.cmml" xref="S4.E9.m1.1.1.3"><minus id="S4.E9.m1.1.1.3.1.cmml" xref="S4.E9.m1.1.1.3.1"></minus><apply id="S4.E9.m1.1.1.3.2.cmml" xref="S4.E9.m1.1.1.3.2"><csymbol cd="ambiguous" id="S4.E9.m1.1.1.3.2.1.cmml" xref="S4.E9.m1.1.1.3.2">subscript</csymbol><ci id="S4.E9.m1.1.1.3.2.2.cmml" xref="S4.E9.m1.1.1.3.2.2">𝑇</ci><cn id="S4.E9.m1.1.1.3.2.3.cmml" type="integer" xref="S4.E9.m1.1.1.3.2.3">0</cn></apply><ci id="S4.E9.m1.1.1.3.3.cmml" xref="S4.E9.m1.1.1.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E9.m1.2c">\displaystyle\quad\rho:=\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}\widehat{% \Sigma}(\widehat{\Sigma}+\lambda I_{d})^{-1}\Sigma(\widehat{\Sigma}+\lambda I_% {d})^{-1}\widehat{\Sigma})}{T_{0}-d}.</annotation><annotation encoding="application/x-llamapun" id="S4.E9.m1.2d">italic_ρ := divide start_ARG blackboard_E roman_tr ( roman_Σ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT over^ start_ARG roman_Σ end_ARG ( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT roman_Σ ( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT over^ start_ARG roman_Σ end_ARG ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(9)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.Thmtheorem2.p1.6"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem2.p1.6.1">Note that <math alttext="E_{test}(\widehat{w}_{0}^{pred})=Bias+Var" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p1.6.1.m1.1"><semantics id="S4.Thmtheorem2.p1.6.1.m1.1a"><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.cmml"><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.1" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.cmml"><msub id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.2.cmml">E</mi><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1a" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.4" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1b" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.5" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.2" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.2.cmml">⁢</mo><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.cmml"><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.2" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.3" mathvariant="normal" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1a" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.4" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1b" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.5" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.3" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.2" mathvariant="normal" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.2.cmml">=</mo><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.cmml"><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.2.cmml">B</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.3.cmml">i</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1a" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.4" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.4.cmml">a</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1b" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.5" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.5.cmml">s</mi></mrow><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.1.cmml">+</mo><mrow id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.cmml"><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.2" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.2.cmml">V</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.3" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.3.cmml">a</mi><mo id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1a" mathvariant="italic" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.4" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.4.cmml">r</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p1.6.1.m1.1b"><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1"><eq id="S4.Thmtheorem2.p1.6.1.m1.1.1.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.2"></eq><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1"><times id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.2"></times><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3">subscript</csymbol><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.2">𝐸</ci><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3"><times id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.1"></times><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.2">𝑡</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.3">𝑒</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.4.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.4">𝑠</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.5.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1">superscript</csymbol><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1">subscript</csymbol><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2"><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.1">normal-^</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3"><times id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.1"></times><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.4.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.5.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3"><plus id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.1"></plus><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2"><times id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.1"></times><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.2">𝐵</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.3">𝑖</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.4.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.4">𝑎</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.5.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.2.5">𝑠</ci></apply><apply id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3"><times id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.1"></times><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.2.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.2">𝑉</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.3.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.3">𝑎</ci><ci id="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.4.cmml" xref="S4.Thmtheorem2.p1.6.1.m1.1.1.3.3.4">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p1.6.1.m1.1c">E_{test}(\widehat{w}_{0}^{pred})=Bias+Var</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p1.6.1.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) = italic_B italic_i italic_a italic_s + italic_V italic_a italic_r</annotation></semantics></math> given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E16" title="16 ‣ Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">16</span></a>), (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E17" title="17 ‣ Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">17</span></a>) is the usual test error for ridge regression on non-fake data. </span></p> </div> <div class="ltx_para" id="S4.Thmtheorem2.p2"> <p class="ltx_p" id="S4.Thmtheorem2.p2.4"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem2.p2.4.4">In particular, in the ridgeless case where <math alttext="T\geq d+2" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p2.1.1.m1.1"><semantics id="S4.Thmtheorem2.p2.1.1.m1.1a"><mrow id="S4.Thmtheorem2.p2.1.1.m1.1.1" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.cmml"><mi id="S4.Thmtheorem2.p2.1.1.m1.1.1.2" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.2.cmml">T</mi><mo id="S4.Thmtheorem2.p2.1.1.m1.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.1.cmml">≥</mo><mrow id="S4.Thmtheorem2.p2.1.1.m1.1.1.3" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.cmml"><mi id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.2" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.1.cmml">+</mo><mn id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p2.1.1.m1.1b"><apply id="S4.Thmtheorem2.p2.1.1.m1.1.1.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1"><geq id="S4.Thmtheorem2.p2.1.1.m1.1.1.1.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.1"></geq><ci id="S4.Thmtheorem2.p2.1.1.m1.1.1.2.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.2">𝑇</ci><apply id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3"><plus id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.1"></plus><ci id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.2">𝑑</ci><cn id="S4.Thmtheorem2.p2.1.1.m1.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.1.1.m1.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p2.1.1.m1.1c">T\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p2.1.1.m1.1d">italic_T ≥ italic_d + 2</annotation></semantics></math> and <math alttext="\lambda=0" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p2.2.2.m2.1"><semantics id="S4.Thmtheorem2.p2.2.2.m2.1a"><mrow id="S4.Thmtheorem2.p2.2.2.m2.1.1" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.cmml"><mi id="S4.Thmtheorem2.p2.2.2.m2.1.1.2" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.2.cmml">λ</mi><mo id="S4.Thmtheorem2.p2.2.2.m2.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.1.cmml">=</mo><mn id="S4.Thmtheorem2.p2.2.2.m2.1.1.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p2.2.2.m2.1b"><apply id="S4.Thmtheorem2.p2.2.2.m2.1.1.cmml" xref="S4.Thmtheorem2.p2.2.2.m2.1.1"><eq id="S4.Thmtheorem2.p2.2.2.m2.1.1.1.cmml" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.1"></eq><ci id="S4.Thmtheorem2.p2.2.2.m2.1.1.2.cmml" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.2">𝜆</ci><cn id="S4.Thmtheorem2.p2.2.2.m2.1.1.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.2.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p2.2.2.m2.1c">\lambda=0</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p2.2.2.m2.1d">italic_λ = 0</annotation></semantics></math>, it holds that <math alttext="\rho=\phi_{0}/(1-\phi_{0})" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p2.3.3.m3.1"><semantics id="S4.Thmtheorem2.p2.3.3.m3.1a"><mrow id="S4.Thmtheorem2.p2.3.3.m3.1.1" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.cmml"><mi id="S4.Thmtheorem2.p2.3.3.m3.1.1.3" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.3.cmml">ρ</mi><mo id="S4.Thmtheorem2.p2.3.3.m3.1.1.2" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.2.cmml">=</mo><mrow id="S4.Thmtheorem2.p2.3.3.m3.1.1.1" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.cmml"><msub id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.cmml"><mi id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.2" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.2.cmml">ϕ</mi><mn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.3.cmml">0</mn></msub><mo id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.2" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.2.cmml">/</mo><mrow id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.cmml"><mo id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.2" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.cmml"><mn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.2" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.2.cmml">1</mn><mo id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.1" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.1.cmml">−</mo><msub id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.cmml"><mi id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.2" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.2.cmml">ϕ</mi><mn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.3" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p2.3.3.m3.1b"><apply id="S4.Thmtheorem2.p2.3.3.m3.1.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1"><eq id="S4.Thmtheorem2.p2.3.3.m3.1.1.2.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.2"></eq><ci id="S4.Thmtheorem2.p2.3.3.m3.1.1.3.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.3">𝜌</ci><apply id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1"><divide id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.2.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.2"></divide><apply id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3">subscript</csymbol><ci id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.2">italic-ϕ</ci><cn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.3.3">0</cn></apply><apply id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1"><minus id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.1"></minus><cn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.2.cmml" type="integer" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.2">1</cn><apply id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.1.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.2.cmml" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.2">italic-ϕ</ci><cn id="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.3.3.m3.1.1.1.1.1.1.3.3">0</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p2.3.3.m3.1c">\rho=\phi_{0}/(1-\phi_{0})</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p2.3.3.m3.1d">italic_ρ = italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT / ( 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT )</annotation></semantics></math> where <math alttext="\phi_{0}:=d/T_{0}" class="ltx_Math" display="inline" id="S4.Thmtheorem2.p2.4.4.m4.1"><semantics id="S4.Thmtheorem2.p2.4.4.m4.1a"><mrow id="S4.Thmtheorem2.p2.4.4.m4.1.1" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.cmml"><msub id="S4.Thmtheorem2.p2.4.4.m4.1.1.2" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2.cmml"><mi id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.2" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2.2.cmml">ϕ</mi><mn id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2.3.cmml">0</mn></msub><mo id="S4.Thmtheorem2.p2.4.4.m4.1.1.1" lspace="0.278em" mathvariant="normal" rspace="0.278em" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.1.cmml">:=</mo><mrow id="S4.Thmtheorem2.p2.4.4.m4.1.1.3" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.cmml"><mi id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.2" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.1.cmml">/</mo><msub id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.cmml"><mi id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.2" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.2.cmml">T</mi><mn id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.3" mathvariant="normal" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.3.cmml">0</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem2.p2.4.4.m4.1b"><apply id="S4.Thmtheorem2.p2.4.4.m4.1.1.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1"><csymbol cd="latexml" id="S4.Thmtheorem2.p2.4.4.m4.1.1.1.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.1">assign</csymbol><apply id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.1.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2">subscript</csymbol><ci id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.2.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2.2">italic-ϕ</ci><cn id="S4.Thmtheorem2.p2.4.4.m4.1.1.2.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.2.3">0</cn></apply><apply id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3"><divide id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.1.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.1"></divide><ci id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.2.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.2">𝑑</ci><apply id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3"><csymbol cd="ambiguous" id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.1.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3">subscript</csymbol><ci id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.2.cmml" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.2">𝑇</ci><cn id="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.3.cmml" type="integer" xref="S4.Thmtheorem2.p2.4.4.m4.1.1.3.3.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem2.p2.4.4.m4.1c">\phi_{0}:=d/T_{0}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem2.p2.4.4.m4.1d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := italic_d / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> is the the level of ”parametrization” of the fake data generator.</span></p> </div> </div> <div class="ltx_para" id="S4.SS2.p2"> <p class="ltx_p" id="S4.SS2.p2.6">As said in the theorem, the term <math alttext="E_{test}(\widehat{w}_{0}^{pred})" class="ltx_Math" display="inline" id="S4.SS2.p2.1.m1.1"><semantics id="S4.SS2.p2.1.m1.1a"><mrow id="S4.SS2.p2.1.m1.1.1" xref="S4.SS2.p2.1.m1.1.1.cmml"><msub id="S4.SS2.p2.1.m1.1.1.3" xref="S4.SS2.p2.1.m1.1.1.3.cmml"><mi id="S4.SS2.p2.1.m1.1.1.3.2" xref="S4.SS2.p2.1.m1.1.1.3.2.cmml">E</mi><mrow id="S4.SS2.p2.1.m1.1.1.3.3" xref="S4.SS2.p2.1.m1.1.1.3.3.cmml"><mi id="S4.SS2.p2.1.m1.1.1.3.3.2" xref="S4.SS2.p2.1.m1.1.1.3.3.2.cmml">t</mi><mo id="S4.SS2.p2.1.m1.1.1.3.3.1" xref="S4.SS2.p2.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.3.3.3" xref="S4.SS2.p2.1.m1.1.1.3.3.3.cmml">e</mi><mo id="S4.SS2.p2.1.m1.1.1.3.3.1a" xref="S4.SS2.p2.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.3.3.4" xref="S4.SS2.p2.1.m1.1.1.3.3.4.cmml">s</mi><mo id="S4.SS2.p2.1.m1.1.1.3.3.1b" xref="S4.SS2.p2.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.3.3.5" xref="S4.SS2.p2.1.m1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS2.p2.1.m1.1.1.2" xref="S4.SS2.p2.1.m1.1.1.2.cmml">⁢</mo><mrow id="S4.SS2.p2.1.m1.1.1.1.1" xref="S4.SS2.p2.1.m1.1.1.1.1.1.cmml"><mo id="S4.SS2.p2.1.m1.1.1.1.1.2" stretchy="false" xref="S4.SS2.p2.1.m1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS2.p2.1.m1.1.1.1.1.1" xref="S4.SS2.p2.1.m1.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.cmml"><mi id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.2" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.1" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.SS2.p2.1.m1.1.1.1.1.1.2.3" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.SS2.p2.1.m1.1.1.1.1.1.3" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.cmml"><mi id="S4.SS2.p2.1.m1.1.1.1.1.1.3.2" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS2.p2.1.m1.1.1.1.1.1.3.1" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.1.1.1.3.3" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS2.p2.1.m1.1.1.1.1.1.3.1a" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.1.1.1.3.4" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS2.p2.1.m1.1.1.1.1.1.3.1b" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.1.m1.1.1.1.1.1.3.5" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS2.p2.1.m1.1.1.1.1.3" stretchy="false" xref="S4.SS2.p2.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.1.m1.1b"><apply id="S4.SS2.p2.1.m1.1.1.cmml" xref="S4.SS2.p2.1.m1.1.1"><times id="S4.SS2.p2.1.m1.1.1.2.cmml" xref="S4.SS2.p2.1.m1.1.1.2"></times><apply id="S4.SS2.p2.1.m1.1.1.3.cmml" xref="S4.SS2.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.1.m1.1.1.3.1.cmml" xref="S4.SS2.p2.1.m1.1.1.3">subscript</csymbol><ci id="S4.SS2.p2.1.m1.1.1.3.2.cmml" xref="S4.SS2.p2.1.m1.1.1.3.2">𝐸</ci><apply id="S4.SS2.p2.1.m1.1.1.3.3.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3"><times id="S4.SS2.p2.1.m1.1.1.3.3.1.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3.1"></times><ci id="S4.SS2.p2.1.m1.1.1.3.3.2.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3.2">𝑡</ci><ci id="S4.SS2.p2.1.m1.1.1.3.3.3.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3.3">𝑒</ci><ci id="S4.SS2.p2.1.m1.1.1.3.3.4.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3.4">𝑠</ci><ci id="S4.SS2.p2.1.m1.1.1.3.3.5.cmml" xref="S4.SS2.p2.1.m1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS2.p2.1.m1.1.1.1.1.1.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS2.p2.1.m1.1.1.1.1.1.1.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1">superscript</csymbol><apply id="S4.SS2.p2.1.m1.1.1.1.1.1.2.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS2.p2.1.m1.1.1.1.1.1.2.1.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1">subscript</csymbol><apply id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2"><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.1.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.2.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.SS2.p2.1.m1.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.SS2.p2.1.m1.1.1.1.1.1.2.3">0</cn></apply><apply id="S4.SS2.p2.1.m1.1.1.1.1.1.3.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3"><times id="S4.SS2.p2.1.m1.1.1.1.1.1.3.1.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.1"></times><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.3.2.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.3.3.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.3.4.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS2.p2.1.m1.1.1.1.1.1.3.5.cmml" xref="S4.SS2.p2.1.m1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.1.m1.1c">E_{test}(\widehat{w}_{0}^{pred})</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.1.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math> corresponds to the usual test error when the predictor is learned on real (not fake) data, for which well-known formulae exist in a variety of scenarios (see Proposition <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx15" title="Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.4</span></a>). What is new is the term in red, <math alttext="n\sigma_{0}^{2}\rho" class="ltx_Math" display="inline" id="S4.SS2.p2.2.m2.1"><semantics id="S4.SS2.p2.2.m2.1a"><mrow id="S4.SS2.p2.2.m2.1.1" xref="S4.SS2.p2.2.m2.1.1.cmml"><mi id="S4.SS2.p2.2.m2.1.1.2" xref="S4.SS2.p2.2.m2.1.1.2.cmml">n</mi><mo id="S4.SS2.p2.2.m2.1.1.1" xref="S4.SS2.p2.2.m2.1.1.1.cmml">⁢</mo><msubsup id="S4.SS2.p2.2.m2.1.1.3" xref="S4.SS2.p2.2.m2.1.1.3.cmml"><mi id="S4.SS2.p2.2.m2.1.1.3.2.2" xref="S4.SS2.p2.2.m2.1.1.3.2.2.cmml">σ</mi><mn id="S4.SS2.p2.2.m2.1.1.3.2.3" xref="S4.SS2.p2.2.m2.1.1.3.2.3.cmml">0</mn><mn id="S4.SS2.p2.2.m2.1.1.3.3" xref="S4.SS2.p2.2.m2.1.1.3.3.cmml">2</mn></msubsup><mo id="S4.SS2.p2.2.m2.1.1.1a" xref="S4.SS2.p2.2.m2.1.1.1.cmml">⁢</mo><mi id="S4.SS2.p2.2.m2.1.1.4" xref="S4.SS2.p2.2.m2.1.1.4.cmml">ρ</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.2.m2.1b"><apply id="S4.SS2.p2.2.m2.1.1.cmml" xref="S4.SS2.p2.2.m2.1.1"><times id="S4.SS2.p2.2.m2.1.1.1.cmml" xref="S4.SS2.p2.2.m2.1.1.1"></times><ci id="S4.SS2.p2.2.m2.1.1.2.cmml" xref="S4.SS2.p2.2.m2.1.1.2">𝑛</ci><apply id="S4.SS2.p2.2.m2.1.1.3.cmml" xref="S4.SS2.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.2.m2.1.1.3.1.cmml" xref="S4.SS2.p2.2.m2.1.1.3">superscript</csymbol><apply id="S4.SS2.p2.2.m2.1.1.3.2.cmml" xref="S4.SS2.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.2.m2.1.1.3.2.1.cmml" xref="S4.SS2.p2.2.m2.1.1.3">subscript</csymbol><ci id="S4.SS2.p2.2.m2.1.1.3.2.2.cmml" xref="S4.SS2.p2.2.m2.1.1.3.2.2">𝜎</ci><cn id="S4.SS2.p2.2.m2.1.1.3.2.3.cmml" type="integer" xref="S4.SS2.p2.2.m2.1.1.3.2.3">0</cn></apply><cn id="S4.SS2.p2.2.m2.1.1.3.3.cmml" type="integer" xref="S4.SS2.p2.2.m2.1.1.3.3">2</cn></apply><ci id="S4.SS2.p2.2.m2.1.1.4.cmml" xref="S4.SS2.p2.2.m2.1.1.4">𝜌</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.2.m2.1c">n\sigma_{0}^{2}\rho</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.2.m2.1d">italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ</annotation></semantics></math>, where <math alttext="n" class="ltx_Math" display="inline" id="S4.SS2.p2.3.m3.1"><semantics id="S4.SS2.p2.3.m3.1a"><mi id="S4.SS2.p2.3.m3.1.1" xref="S4.SS2.p2.3.m3.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.3.m3.1b"><ci id="S4.SS2.p2.3.m3.1.1.cmml" xref="S4.SS2.p2.3.m3.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.3.m3.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.3.m3.1d">italic_n</annotation></semantics></math> is the number of generations. This result is of the promised form (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.E1" title="1 ‣ Summary of Main Contributions. ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a>), with <math alttext="\Delta=\sigma_{0}^{2}\rho" class="ltx_Math" display="inline" id="S4.SS2.p2.4.m4.1"><semantics id="S4.SS2.p2.4.m4.1a"><mrow id="S4.SS2.p2.4.m4.1.1" xref="S4.SS2.p2.4.m4.1.1.cmml"><mi id="S4.SS2.p2.4.m4.1.1.2" mathvariant="normal" xref="S4.SS2.p2.4.m4.1.1.2.cmml">Δ</mi><mo id="S4.SS2.p2.4.m4.1.1.1" xref="S4.SS2.p2.4.m4.1.1.1.cmml">=</mo><mrow id="S4.SS2.p2.4.m4.1.1.3" xref="S4.SS2.p2.4.m4.1.1.3.cmml"><msubsup id="S4.SS2.p2.4.m4.1.1.3.2" xref="S4.SS2.p2.4.m4.1.1.3.2.cmml"><mi id="S4.SS2.p2.4.m4.1.1.3.2.2.2" xref="S4.SS2.p2.4.m4.1.1.3.2.2.2.cmml">σ</mi><mn id="S4.SS2.p2.4.m4.1.1.3.2.2.3" xref="S4.SS2.p2.4.m4.1.1.3.2.2.3.cmml">0</mn><mn id="S4.SS2.p2.4.m4.1.1.3.2.3" xref="S4.SS2.p2.4.m4.1.1.3.2.3.cmml">2</mn></msubsup><mo id="S4.SS2.p2.4.m4.1.1.3.1" xref="S4.SS2.p2.4.m4.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.4.m4.1.1.3.3" xref="S4.SS2.p2.4.m4.1.1.3.3.cmml">ρ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.4.m4.1b"><apply id="S4.SS2.p2.4.m4.1.1.cmml" xref="S4.SS2.p2.4.m4.1.1"><eq id="S4.SS2.p2.4.m4.1.1.1.cmml" xref="S4.SS2.p2.4.m4.1.1.1"></eq><ci id="S4.SS2.p2.4.m4.1.1.2.cmml" xref="S4.SS2.p2.4.m4.1.1.2">Δ</ci><apply id="S4.SS2.p2.4.m4.1.1.3.cmml" xref="S4.SS2.p2.4.m4.1.1.3"><times id="S4.SS2.p2.4.m4.1.1.3.1.cmml" xref="S4.SS2.p2.4.m4.1.1.3.1"></times><apply id="S4.SS2.p2.4.m4.1.1.3.2.cmml" xref="S4.SS2.p2.4.m4.1.1.3.2"><csymbol cd="ambiguous" id="S4.SS2.p2.4.m4.1.1.3.2.1.cmml" xref="S4.SS2.p2.4.m4.1.1.3.2">superscript</csymbol><apply id="S4.SS2.p2.4.m4.1.1.3.2.2.cmml" xref="S4.SS2.p2.4.m4.1.1.3.2"><csymbol cd="ambiguous" id="S4.SS2.p2.4.m4.1.1.3.2.2.1.cmml" xref="S4.SS2.p2.4.m4.1.1.3.2">subscript</csymbol><ci id="S4.SS2.p2.4.m4.1.1.3.2.2.2.cmml" xref="S4.SS2.p2.4.m4.1.1.3.2.2.2">𝜎</ci><cn id="S4.SS2.p2.4.m4.1.1.3.2.2.3.cmml" type="integer" xref="S4.SS2.p2.4.m4.1.1.3.2.2.3">0</cn></apply><cn id="S4.SS2.p2.4.m4.1.1.3.2.3.cmml" type="integer" xref="S4.SS2.p2.4.m4.1.1.3.2.3">2</cn></apply><ci id="S4.SS2.p2.4.m4.1.1.3.3.cmml" xref="S4.SS2.p2.4.m4.1.1.3.3">𝜌</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.4.m4.1c">\Delta=\sigma_{0}^{2}\rho</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.4.m4.1d">roman_Δ = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ</annotation></semantics></math>. The additional term <math alttext="n\sigma_{0}^{2}\rho" class="ltx_Math" display="inline" id="S4.SS2.p2.5.m5.1"><semantics id="S4.SS2.p2.5.m5.1a"><mrow id="S4.SS2.p2.5.m5.1.1" xref="S4.SS2.p2.5.m5.1.1.cmml"><mi id="S4.SS2.p2.5.m5.1.1.2" xref="S4.SS2.p2.5.m5.1.1.2.cmml">n</mi><mo id="S4.SS2.p2.5.m5.1.1.1" xref="S4.SS2.p2.5.m5.1.1.1.cmml">⁢</mo><msubsup id="S4.SS2.p2.5.m5.1.1.3" xref="S4.SS2.p2.5.m5.1.1.3.cmml"><mi id="S4.SS2.p2.5.m5.1.1.3.2.2" xref="S4.SS2.p2.5.m5.1.1.3.2.2.cmml">σ</mi><mn id="S4.SS2.p2.5.m5.1.1.3.2.3" xref="S4.SS2.p2.5.m5.1.1.3.2.3.cmml">0</mn><mn id="S4.SS2.p2.5.m5.1.1.3.3" xref="S4.SS2.p2.5.m5.1.1.3.3.cmml">2</mn></msubsup><mo id="S4.SS2.p2.5.m5.1.1.1a" xref="S4.SS2.p2.5.m5.1.1.1.cmml">⁢</mo><mi id="S4.SS2.p2.5.m5.1.1.4" xref="S4.SS2.p2.5.m5.1.1.4.cmml">ρ</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.5.m5.1b"><apply id="S4.SS2.p2.5.m5.1.1.cmml" xref="S4.SS2.p2.5.m5.1.1"><times id="S4.SS2.p2.5.m5.1.1.1.cmml" xref="S4.SS2.p2.5.m5.1.1.1"></times><ci id="S4.SS2.p2.5.m5.1.1.2.cmml" xref="S4.SS2.p2.5.m5.1.1.2">𝑛</ci><apply id="S4.SS2.p2.5.m5.1.1.3.cmml" xref="S4.SS2.p2.5.m5.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.5.m5.1.1.3.1.cmml" xref="S4.SS2.p2.5.m5.1.1.3">superscript</csymbol><apply id="S4.SS2.p2.5.m5.1.1.3.2.cmml" xref="S4.SS2.p2.5.m5.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.5.m5.1.1.3.2.1.cmml" xref="S4.SS2.p2.5.m5.1.1.3">subscript</csymbol><ci id="S4.SS2.p2.5.m5.1.1.3.2.2.cmml" xref="S4.SS2.p2.5.m5.1.1.3.2.2">𝜎</ci><cn id="S4.SS2.p2.5.m5.1.1.3.2.3.cmml" type="integer" xref="S4.SS2.p2.5.m5.1.1.3.2.3">0</cn></apply><cn id="S4.SS2.p2.5.m5.1.1.3.3.cmml" type="integer" xref="S4.SS2.p2.5.m5.1.1.3.3">2</cn></apply><ci id="S4.SS2.p2.5.m5.1.1.4.cmml" xref="S4.SS2.p2.5.m5.1.1.4">𝜌</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.5.m5.1c">n\sigma_{0}^{2}\rho</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.5.m5.1d">italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ</annotation></semantics></math> induced by the fake labeling process is in competition with the usual test error <math alttext="E_{test}(\widehat{w}_{0}^{pred})" class="ltx_Math" display="inline" id="S4.SS2.p2.6.m6.1"><semantics id="S4.SS2.p2.6.m6.1a"><mrow id="S4.SS2.p2.6.m6.1.1" xref="S4.SS2.p2.6.m6.1.1.cmml"><msub id="S4.SS2.p2.6.m6.1.1.3" xref="S4.SS2.p2.6.m6.1.1.3.cmml"><mi id="S4.SS2.p2.6.m6.1.1.3.2" xref="S4.SS2.p2.6.m6.1.1.3.2.cmml">E</mi><mrow id="S4.SS2.p2.6.m6.1.1.3.3" xref="S4.SS2.p2.6.m6.1.1.3.3.cmml"><mi id="S4.SS2.p2.6.m6.1.1.3.3.2" xref="S4.SS2.p2.6.m6.1.1.3.3.2.cmml">t</mi><mo id="S4.SS2.p2.6.m6.1.1.3.3.1" xref="S4.SS2.p2.6.m6.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.3.3.3" xref="S4.SS2.p2.6.m6.1.1.3.3.3.cmml">e</mi><mo id="S4.SS2.p2.6.m6.1.1.3.3.1a" xref="S4.SS2.p2.6.m6.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.3.3.4" xref="S4.SS2.p2.6.m6.1.1.3.3.4.cmml">s</mi><mo id="S4.SS2.p2.6.m6.1.1.3.3.1b" xref="S4.SS2.p2.6.m6.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.3.3.5" xref="S4.SS2.p2.6.m6.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS2.p2.6.m6.1.1.2" xref="S4.SS2.p2.6.m6.1.1.2.cmml">⁢</mo><mrow id="S4.SS2.p2.6.m6.1.1.1.1" xref="S4.SS2.p2.6.m6.1.1.1.1.1.cmml"><mo id="S4.SS2.p2.6.m6.1.1.1.1.2" stretchy="false" xref="S4.SS2.p2.6.m6.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS2.p2.6.m6.1.1.1.1.1" xref="S4.SS2.p2.6.m6.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.cmml"><mi id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.2" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.1" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S4.SS2.p2.6.m6.1.1.1.1.1.2.3" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S4.SS2.p2.6.m6.1.1.1.1.1.3" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.cmml"><mi id="S4.SS2.p2.6.m6.1.1.1.1.1.3.2" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS2.p2.6.m6.1.1.1.1.1.3.1" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.1.1.1.3.3" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS2.p2.6.m6.1.1.1.1.1.3.1a" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.1.1.1.3.4" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS2.p2.6.m6.1.1.1.1.1.3.1b" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS2.p2.6.m6.1.1.1.1.1.3.5" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS2.p2.6.m6.1.1.1.1.3" stretchy="false" xref="S4.SS2.p2.6.m6.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p2.6.m6.1b"><apply id="S4.SS2.p2.6.m6.1.1.cmml" xref="S4.SS2.p2.6.m6.1.1"><times id="S4.SS2.p2.6.m6.1.1.2.cmml" xref="S4.SS2.p2.6.m6.1.1.2"></times><apply id="S4.SS2.p2.6.m6.1.1.3.cmml" xref="S4.SS2.p2.6.m6.1.1.3"><csymbol cd="ambiguous" id="S4.SS2.p2.6.m6.1.1.3.1.cmml" xref="S4.SS2.p2.6.m6.1.1.3">subscript</csymbol><ci id="S4.SS2.p2.6.m6.1.1.3.2.cmml" xref="S4.SS2.p2.6.m6.1.1.3.2">𝐸</ci><apply id="S4.SS2.p2.6.m6.1.1.3.3.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3"><times id="S4.SS2.p2.6.m6.1.1.3.3.1.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3.1"></times><ci id="S4.SS2.p2.6.m6.1.1.3.3.2.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3.2">𝑡</ci><ci id="S4.SS2.p2.6.m6.1.1.3.3.3.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3.3">𝑒</ci><ci id="S4.SS2.p2.6.m6.1.1.3.3.4.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3.4">𝑠</ci><ci id="S4.SS2.p2.6.m6.1.1.3.3.5.cmml" xref="S4.SS2.p2.6.m6.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS2.p2.6.m6.1.1.1.1.1.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS2.p2.6.m6.1.1.1.1.1.1.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1">superscript</csymbol><apply id="S4.SS2.p2.6.m6.1.1.1.1.1.2.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS2.p2.6.m6.1.1.1.1.1.2.1.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1">subscript</csymbol><apply id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2"><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.1.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.2.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S4.SS2.p2.6.m6.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.SS2.p2.6.m6.1.1.1.1.1.2.3">0</cn></apply><apply id="S4.SS2.p2.6.m6.1.1.1.1.1.3.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3"><times id="S4.SS2.p2.6.m6.1.1.1.1.1.3.1.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.1"></times><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.3.2.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.3.3.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.3.4.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS2.p2.6.m6.1.1.1.1.1.3.5.cmml" xref="S4.SS2.p2.6.m6.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p2.6.m6.1c">E_{test}(\widehat{w}_{0}^{pred})</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p2.6.m6.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math>. Understanding the interaction of these two terms is key to demystifying the origins of model collapse.</p> </div> <div class="ltx_para" id="S4.SS2.p3"> <p class="ltx_p" id="S4.SS2.p3.11">Importantly, the term <math alttext="\rho" class="ltx_Math" display="inline" id="S4.SS2.p3.1.m1.1"><semantics id="S4.SS2.p3.1.m1.1a"><mi id="S4.SS2.p3.1.m1.1.1" xref="S4.SS2.p3.1.m1.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.1.m1.1b"><ci id="S4.SS2.p3.1.m1.1.1.cmml" xref="S4.SS2.p3.1.m1.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.1.m1.1c">\rho</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.1.m1.1d">italic_ρ</annotation></semantics></math> only depends on the design matrix <math alttext="X" class="ltx_Math" display="inline" id="S4.SS2.p3.2.m2.1"><semantics id="S4.SS2.p3.2.m2.1a"><mi id="S4.SS2.p3.2.m2.1.1" xref="S4.SS2.p3.2.m2.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.2.m2.1b"><ci id="S4.SS2.p3.2.m2.1.1.cmml" xref="S4.SS2.p3.2.m2.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.2.m2.1c">X</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.2.m2.1d">italic_X</annotation></semantics></math> and the covariance matrix <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.SS2.p3.3.m3.1"><semantics id="S4.SS2.p3.3.m3.1a"><mi id="S4.SS2.p3.3.m3.1.1" mathvariant="normal" xref="S4.SS2.p3.3.m3.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.3.m3.1b"><ci id="S4.SS2.p3.3.m3.1.1.cmml" xref="S4.SS2.p3.3.m3.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.3.m3.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.3.m3.1d">roman_Σ</annotation></semantics></math>. In an appropriate asymptotic regime, it will only depend on: <math alttext="T" class="ltx_Math" display="inline" id="S4.SS2.p3.4.m4.1"><semantics id="S4.SS2.p3.4.m4.1a"><mi id="S4.SS2.p3.4.m4.1.1" xref="S4.SS2.p3.4.m4.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.4.m4.1b"><ci id="S4.SS2.p3.4.m4.1.1.cmml" xref="S4.SS2.p3.4.m4.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.4.m4.1c">T</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.4.m4.1d">italic_T</annotation></semantics></math>, <math alttext="d" class="ltx_Math" display="inline" id="S4.SS2.p3.5.m5.1"><semantics id="S4.SS2.p3.5.m5.1a"><mi id="S4.SS2.p3.5.m5.1.1" xref="S4.SS2.p3.5.m5.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.5.m5.1b"><ci id="S4.SS2.p3.5.m5.1.1.cmml" xref="S4.SS2.p3.5.m5.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.5.m5.1c">d</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.5.m5.1d">italic_d</annotation></semantics></math>, and the spectral properties of <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.SS2.p3.6.m6.1"><semantics id="S4.SS2.p3.6.m6.1a"><mi id="S4.SS2.p3.6.m6.1.1" mathvariant="normal" xref="S4.SS2.p3.6.m6.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.6.m6.1b"><ci id="S4.SS2.p3.6.m6.1.1.cmml" xref="S4.SS2.p3.6.m6.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.6.m6.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.6.m6.1d">roman_Σ</annotation></semantics></math>. Observe that we always have <math alttext="\rho\leq d/(T_{0}-d)" class="ltx_Math" display="inline" id="S4.SS2.p3.7.m7.1"><semantics id="S4.SS2.p3.7.m7.1a"><mrow id="S4.SS2.p3.7.m7.1.1" xref="S4.SS2.p3.7.m7.1.1.cmml"><mi id="S4.SS2.p3.7.m7.1.1.3" xref="S4.SS2.p3.7.m7.1.1.3.cmml">ρ</mi><mo id="S4.SS2.p3.7.m7.1.1.2" xref="S4.SS2.p3.7.m7.1.1.2.cmml">≤</mo><mrow id="S4.SS2.p3.7.m7.1.1.1" xref="S4.SS2.p3.7.m7.1.1.1.cmml"><mi id="S4.SS2.p3.7.m7.1.1.1.3" xref="S4.SS2.p3.7.m7.1.1.1.3.cmml">d</mi><mo id="S4.SS2.p3.7.m7.1.1.1.2" xref="S4.SS2.p3.7.m7.1.1.1.2.cmml">/</mo><mrow id="S4.SS2.p3.7.m7.1.1.1.1.1" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.cmml"><mo id="S4.SS2.p3.7.m7.1.1.1.1.1.2" stretchy="false" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS2.p3.7.m7.1.1.1.1.1.1" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.cmml"><msub id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.cmml"><mi id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.2" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.2.cmml">T</mi><mn id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.3" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.3.cmml">0</mn></msub><mo id="S4.SS2.p3.7.m7.1.1.1.1.1.1.1" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml">−</mo><mi id="S4.SS2.p3.7.m7.1.1.1.1.1.1.3" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.3.cmml">d</mi></mrow><mo id="S4.SS2.p3.7.m7.1.1.1.1.1.3" stretchy="false" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.7.m7.1b"><apply id="S4.SS2.p3.7.m7.1.1.cmml" xref="S4.SS2.p3.7.m7.1.1"><leq id="S4.SS2.p3.7.m7.1.1.2.cmml" xref="S4.SS2.p3.7.m7.1.1.2"></leq><ci id="S4.SS2.p3.7.m7.1.1.3.cmml" xref="S4.SS2.p3.7.m7.1.1.3">𝜌</ci><apply id="S4.SS2.p3.7.m7.1.1.1.cmml" xref="S4.SS2.p3.7.m7.1.1.1"><divide id="S4.SS2.p3.7.m7.1.1.1.2.cmml" xref="S4.SS2.p3.7.m7.1.1.1.2"></divide><ci id="S4.SS2.p3.7.m7.1.1.1.3.cmml" xref="S4.SS2.p3.7.m7.1.1.1.3">𝑑</ci><apply id="S4.SS2.p3.7.m7.1.1.1.1.1.1.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1"><minus id="S4.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.1"></minus><apply id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.1.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2">subscript</csymbol><ci id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.2.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.2">𝑇</ci><cn id="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.2.3">0</cn></apply><ci id="S4.SS2.p3.7.m7.1.1.1.1.1.1.3.cmml" xref="S4.SS2.p3.7.m7.1.1.1.1.1.1.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.7.m7.1c">\rho\leq d/(T_{0}-d)</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.7.m7.1d">italic_ρ ≤ italic_d / ( italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d )</annotation></semantics></math>, a consequence of the fact that all the eigenvalues of the positive-definite matrix <math alttext="(\widehat{\Sigma}+\lambda I_{d})^{-1}\widehat{\Sigma}" class="ltx_Math" display="inline" id="S4.SS2.p3.8.m8.1"><semantics id="S4.SS2.p3.8.m8.1a"><mrow id="S4.SS2.p3.8.m8.1.1" xref="S4.SS2.p3.8.m8.1.1.cmml"><msup id="S4.SS2.p3.8.m8.1.1.1" xref="S4.SS2.p3.8.m8.1.1.1.cmml"><mrow id="S4.SS2.p3.8.m8.1.1.1.1.1" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.cmml"><mo id="S4.SS2.p3.8.m8.1.1.1.1.1.2" stretchy="false" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS2.p3.8.m8.1.1.1.1.1.1" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.cmml"><mi id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.2" mathvariant="normal" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.2.cmml">Σ</mi><mo id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.1" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.1.cmml">^</mo></mover><mo id="S4.SS2.p3.8.m8.1.1.1.1.1.1.1" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.cmml"><mi id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.2" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.1" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.cmml"><mi id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.2" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.3" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S4.SS2.p3.8.m8.1.1.1.1.1.3" stretchy="false" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.SS2.p3.8.m8.1.1.1.3" xref="S4.SS2.p3.8.m8.1.1.1.3.cmml"><mo id="S4.SS2.p3.8.m8.1.1.1.3a" xref="S4.SS2.p3.8.m8.1.1.1.3.cmml">−</mo><mn id="S4.SS2.p3.8.m8.1.1.1.3.2" xref="S4.SS2.p3.8.m8.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="S4.SS2.p3.8.m8.1.1.2" xref="S4.SS2.p3.8.m8.1.1.2.cmml">⁢</mo><mover accent="true" id="S4.SS2.p3.8.m8.1.1.3" xref="S4.SS2.p3.8.m8.1.1.3.cmml"><mi id="S4.SS2.p3.8.m8.1.1.3.2" mathvariant="normal" xref="S4.SS2.p3.8.m8.1.1.3.2.cmml">Σ</mi><mo id="S4.SS2.p3.8.m8.1.1.3.1" xref="S4.SS2.p3.8.m8.1.1.3.1.cmml">^</mo></mover></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.8.m8.1b"><apply id="S4.SS2.p3.8.m8.1.1.cmml" xref="S4.SS2.p3.8.m8.1.1"><times id="S4.SS2.p3.8.m8.1.1.2.cmml" xref="S4.SS2.p3.8.m8.1.1.2"></times><apply id="S4.SS2.p3.8.m8.1.1.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1"><csymbol cd="ambiguous" id="S4.SS2.p3.8.m8.1.1.1.2.cmml" xref="S4.SS2.p3.8.m8.1.1.1">superscript</csymbol><apply id="S4.SS2.p3.8.m8.1.1.1.1.1.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1"><plus id="S4.SS2.p3.8.m8.1.1.1.1.1.1.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.1"></plus><apply id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2"><ci id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.1">^</ci><ci id="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.2.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.2.2">Σ</ci></apply><apply id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3"><times id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.1"></times><ci id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.2.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.2">𝜆</ci><apply id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.2.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.3.cmml" xref="S4.SS2.p3.8.m8.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S4.SS2.p3.8.m8.1.1.1.3.cmml" xref="S4.SS2.p3.8.m8.1.1.1.3"><minus id="S4.SS2.p3.8.m8.1.1.1.3.1.cmml" xref="S4.SS2.p3.8.m8.1.1.1.3"></minus><cn id="S4.SS2.p3.8.m8.1.1.1.3.2.cmml" type="integer" xref="S4.SS2.p3.8.m8.1.1.1.3.2">1</cn></apply></apply><apply id="S4.SS2.p3.8.m8.1.1.3.cmml" xref="S4.SS2.p3.8.m8.1.1.3"><ci id="S4.SS2.p3.8.m8.1.1.3.1.cmml" xref="S4.SS2.p3.8.m8.1.1.3.1">^</ci><ci id="S4.SS2.p3.8.m8.1.1.3.2.cmml" xref="S4.SS2.p3.8.m8.1.1.3.2">Σ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.8.m8.1c">(\widehat{\Sigma}+\lambda I_{d})^{-1}\widehat{\Sigma}</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.8.m8.1d">( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT over^ start_ARG roman_Σ end_ARG</annotation></semantics></math> are at most <math alttext="1" class="ltx_Math" display="inline" id="S4.SS2.p3.9.m9.1"><semantics id="S4.SS2.p3.9.m9.1a"><mn id="S4.SS2.p3.9.m9.1.1" xref="S4.SS2.p3.9.m9.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.9.m9.1b"><cn id="S4.SS2.p3.9.m9.1.1.cmml" type="integer" xref="S4.SS2.p3.9.m9.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.9.m9.1c">1</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.9.m9.1d">1</annotation></semantics></math>. Moreover, <math alttext="\rho\to 0" class="ltx_Math" display="inline" id="S4.SS2.p3.10.m10.1"><semantics id="S4.SS2.p3.10.m10.1a"><mrow id="S4.SS2.p3.10.m10.1.1" xref="S4.SS2.p3.10.m10.1.1.cmml"><mi id="S4.SS2.p3.10.m10.1.1.2" xref="S4.SS2.p3.10.m10.1.1.2.cmml">ρ</mi><mo id="S4.SS2.p3.10.m10.1.1.1" stretchy="false" xref="S4.SS2.p3.10.m10.1.1.1.cmml">→</mo><mn id="S4.SS2.p3.10.m10.1.1.3" xref="S4.SS2.p3.10.m10.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.10.m10.1b"><apply id="S4.SS2.p3.10.m10.1.1.cmml" xref="S4.SS2.p3.10.m10.1.1"><ci id="S4.SS2.p3.10.m10.1.1.1.cmml" xref="S4.SS2.p3.10.m10.1.1.1">→</ci><ci id="S4.SS2.p3.10.m10.1.1.2.cmml" xref="S4.SS2.p3.10.m10.1.1.2">𝜌</ci><cn id="S4.SS2.p3.10.m10.1.1.3.cmml" type="integer" xref="S4.SS2.p3.10.m10.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.10.m10.1c">\rho\to 0</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.10.m10.1d">italic_ρ → 0</annotation></semantics></math> in the limit <math alttext="\lambda\to\infty" class="ltx_Math" display="inline" id="S4.SS2.p3.11.m11.1"><semantics id="S4.SS2.p3.11.m11.1a"><mrow id="S4.SS2.p3.11.m11.1.1" xref="S4.SS2.p3.11.m11.1.1.cmml"><mi id="S4.SS2.p3.11.m11.1.1.2" xref="S4.SS2.p3.11.m11.1.1.2.cmml">λ</mi><mo id="S4.SS2.p3.11.m11.1.1.1" stretchy="false" xref="S4.SS2.p3.11.m11.1.1.1.cmml">→</mo><mi id="S4.SS2.p3.11.m11.1.1.3" mathvariant="normal" xref="S4.SS2.p3.11.m11.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS2.p3.11.m11.1b"><apply id="S4.SS2.p3.11.m11.1.1.cmml" xref="S4.SS2.p3.11.m11.1.1"><ci id="S4.SS2.p3.11.m11.1.1.1.cmml" xref="S4.SS2.p3.11.m11.1.1.1">→</ci><ci id="S4.SS2.p3.11.m11.1.1.2.cmml" xref="S4.SS2.p3.11.m11.1.1.2">𝜆</ci><infinity id="S4.SS2.p3.11.m11.1.1.3.cmml" xref="S4.SS2.p3.11.m11.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS2.p3.11.m11.1c">\lambda\to\infty</annotation><annotation encoding="application/x-llamapun" id="S4.SS2.p3.11.m11.1d">italic_λ → ∞</annotation></semantics></math> (corresponding to the null predictor). The precise analysis of this term will be carried out via random matrix theory (RMT) tools. </p> </div> </section> <section class="ltx_subsection" id="S4.SS3"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">4.3 </span>Essential Random Matrix Theory</h3> <div class="ltx_para" id="S4.SS3.p1"> <p class="ltx_p" id="S4.SS3.p1.2">In order to analyze the tracial term <math alttext="\rho" class="ltx_Math" display="inline" id="S4.SS3.p1.1.m1.1"><semantics id="S4.SS3.p1.1.m1.1a"><mi id="S4.SS3.p1.1.m1.1.1" xref="S4.SS3.p1.1.m1.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.1.m1.1b"><ci id="S4.SS3.p1.1.m1.1.1.cmml" xref="S4.SS3.p1.1.m1.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.1.m1.1c">\rho</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p1.1.m1.1d">italic_ρ</annotation></semantics></math> appearing in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E9" title="9 ‣ Theorem 4.2. ‣ 4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">9</span></a>) and ultimately obtain analytic insights on the dynamics of <math alttext="E_{test}(\widehat{w}_{n}^{pred})" class="ltx_Math" display="inline" id="S4.SS3.p1.2.m2.1"><semantics id="S4.SS3.p1.2.m2.1a"><mrow id="S4.SS3.p1.2.m2.1.1" xref="S4.SS3.p1.2.m2.1.1.cmml"><msub id="S4.SS3.p1.2.m2.1.1.3" xref="S4.SS3.p1.2.m2.1.1.3.cmml"><mi id="S4.SS3.p1.2.m2.1.1.3.2" xref="S4.SS3.p1.2.m2.1.1.3.2.cmml">E</mi><mrow id="S4.SS3.p1.2.m2.1.1.3.3" xref="S4.SS3.p1.2.m2.1.1.3.3.cmml"><mi id="S4.SS3.p1.2.m2.1.1.3.3.2" xref="S4.SS3.p1.2.m2.1.1.3.3.2.cmml">t</mi><mo id="S4.SS3.p1.2.m2.1.1.3.3.1" xref="S4.SS3.p1.2.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.3.3.3" xref="S4.SS3.p1.2.m2.1.1.3.3.3.cmml">e</mi><mo id="S4.SS3.p1.2.m2.1.1.3.3.1a" xref="S4.SS3.p1.2.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.3.3.4" xref="S4.SS3.p1.2.m2.1.1.3.3.4.cmml">s</mi><mo id="S4.SS3.p1.2.m2.1.1.3.3.1b" xref="S4.SS3.p1.2.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.3.3.5" xref="S4.SS3.p1.2.m2.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.SS3.p1.2.m2.1.1.2" xref="S4.SS3.p1.2.m2.1.1.2.cmml">⁢</mo><mrow id="S4.SS3.p1.2.m2.1.1.1.1" xref="S4.SS3.p1.2.m2.1.1.1.1.1.cmml"><mo id="S4.SS3.p1.2.m2.1.1.1.1.2" stretchy="false" xref="S4.SS3.p1.2.m2.1.1.1.1.1.cmml">(</mo><msubsup id="S4.SS3.p1.2.m2.1.1.1.1.1" xref="S4.SS3.p1.2.m2.1.1.1.1.1.cmml"><mover accent="true" id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.cmml"><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.2" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.1" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.2.3" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.SS3.p1.2.m2.1.1.1.1.1.3" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.cmml"><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.3.2" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.SS3.p1.2.m2.1.1.1.1.1.3.1" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.3.3" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.SS3.p1.2.m2.1.1.1.1.1.3.1a" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.3.4" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.SS3.p1.2.m2.1.1.1.1.1.3.1b" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS3.p1.2.m2.1.1.1.1.1.3.5" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.SS3.p1.2.m2.1.1.1.1.3" stretchy="false" xref="S4.SS3.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p1.2.m2.1b"><apply id="S4.SS3.p1.2.m2.1.1.cmml" xref="S4.SS3.p1.2.m2.1.1"><times id="S4.SS3.p1.2.m2.1.1.2.cmml" xref="S4.SS3.p1.2.m2.1.1.2"></times><apply id="S4.SS3.p1.2.m2.1.1.3.cmml" xref="S4.SS3.p1.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.1.1.3.1.cmml" xref="S4.SS3.p1.2.m2.1.1.3">subscript</csymbol><ci id="S4.SS3.p1.2.m2.1.1.3.2.cmml" xref="S4.SS3.p1.2.m2.1.1.3.2">𝐸</ci><apply id="S4.SS3.p1.2.m2.1.1.3.3.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3"><times id="S4.SS3.p1.2.m2.1.1.3.3.1.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3.1"></times><ci id="S4.SS3.p1.2.m2.1.1.3.3.2.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3.2">𝑡</ci><ci id="S4.SS3.p1.2.m2.1.1.3.3.3.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3.3">𝑒</ci><ci id="S4.SS3.p1.2.m2.1.1.3.3.4.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3.4">𝑠</ci><ci id="S4.SS3.p1.2.m2.1.1.3.3.5.cmml" xref="S4.SS3.p1.2.m2.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.SS3.p1.2.m2.1.1.1.1.1.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.1.1.1.1.1.1.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1">superscript</csymbol><apply id="S4.SS3.p1.2.m2.1.1.1.1.1.2.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.SS3.p1.2.m2.1.1.1.1.1.2.1.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1">subscript</csymbol><apply id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2"><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.1.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.1">^</ci><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.2.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.2.3.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.SS3.p1.2.m2.1.1.1.1.1.3.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3"><times id="S4.SS3.p1.2.m2.1.1.1.1.1.3.1.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.1"></times><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.3.2.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.3.3.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.3.4.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.SS3.p1.2.m2.1.1.1.1.1.3.5.cmml" xref="S4.SS3.p1.2.m2.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p1.2.m2.1c">E_{test}(\widehat{w}_{n}^{pred})</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p1.2.m2.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math>, we need some tools from RMT. Such tools have been used extensively to analyze ridge regression <cite class="ltx_cite ltx_citemacro_citep">(Richards et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib37" title="">2021</a>; Hastie et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib20" title="">2022</a>; Bach, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib4" title="">2023</a>)</cite>. </p> </div> <div class="ltx_para" id="S4.SS3.p2"> <p class="ltx_p" id="S4.SS3.p2.4"><span class="ltx_text ltx_font_bold" id="S4.SS3.p2.4.1">Degrees of Freedom and Random Matrix Equivalents.</span> Define, for any <math alttext="\lambda\geq 0" class="ltx_Math" display="inline" id="S4.SS3.p2.1.m1.1"><semantics id="S4.SS3.p2.1.m1.1a"><mrow id="S4.SS3.p2.1.m1.1.1" xref="S4.SS3.p2.1.m1.1.1.cmml"><mi id="S4.SS3.p2.1.m1.1.1.2" xref="S4.SS3.p2.1.m1.1.1.2.cmml">λ</mi><mo id="S4.SS3.p2.1.m1.1.1.1" xref="S4.SS3.p2.1.m1.1.1.1.cmml">≥</mo><mn id="S4.SS3.p2.1.m1.1.1.3" xref="S4.SS3.p2.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.1.m1.1b"><apply id="S4.SS3.p2.1.m1.1.1.cmml" xref="S4.SS3.p2.1.m1.1.1"><geq id="S4.SS3.p2.1.m1.1.1.1.cmml" xref="S4.SS3.p2.1.m1.1.1.1"></geq><ci id="S4.SS3.p2.1.m1.1.1.2.cmml" xref="S4.SS3.p2.1.m1.1.1.2">𝜆</ci><cn id="S4.SS3.p2.1.m1.1.1.3.cmml" type="integer" xref="S4.SS3.p2.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.1.m1.1c">\lambda\geq 0</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.1.m1.1d">italic_λ ≥ 0</annotation></semantics></math> and <math alttext="m\in\mathbb{N}_{\star}" class="ltx_Math" display="inline" id="S4.SS3.p2.2.m2.1"><semantics id="S4.SS3.p2.2.m2.1a"><mrow id="S4.SS3.p2.2.m2.1.1" xref="S4.SS3.p2.2.m2.1.1.cmml"><mi id="S4.SS3.p2.2.m2.1.1.2" xref="S4.SS3.p2.2.m2.1.1.2.cmml">m</mi><mo id="S4.SS3.p2.2.m2.1.1.1" xref="S4.SS3.p2.2.m2.1.1.1.cmml">∈</mo><msub id="S4.SS3.p2.2.m2.1.1.3" xref="S4.SS3.p2.2.m2.1.1.3.cmml"><mi id="S4.SS3.p2.2.m2.1.1.3.2" xref="S4.SS3.p2.2.m2.1.1.3.2.cmml">ℕ</mi><mo id="S4.SS3.p2.2.m2.1.1.3.3" xref="S4.SS3.p2.2.m2.1.1.3.3.cmml">⋆</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.2.m2.1b"><apply id="S4.SS3.p2.2.m2.1.1.cmml" xref="S4.SS3.p2.2.m2.1.1"><in id="S4.SS3.p2.2.m2.1.1.1.cmml" xref="S4.SS3.p2.2.m2.1.1.1"></in><ci id="S4.SS3.p2.2.m2.1.1.2.cmml" xref="S4.SS3.p2.2.m2.1.1.2">𝑚</ci><apply id="S4.SS3.p2.2.m2.1.1.3.cmml" xref="S4.SS3.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS3.p2.2.m2.1.1.3.1.cmml" xref="S4.SS3.p2.2.m2.1.1.3">subscript</csymbol><ci id="S4.SS3.p2.2.m2.1.1.3.2.cmml" xref="S4.SS3.p2.2.m2.1.1.3.2">ℕ</ci><ci id="S4.SS3.p2.2.m2.1.1.3.3.cmml" xref="S4.SS3.p2.2.m2.1.1.3.3">⋆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.2.m2.1c">m\in\mathbb{N}_{\star}</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.2.m2.1d">italic_m ∈ blackboard_N start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT</annotation></semantics></math>, the <math alttext="m" class="ltx_Math" display="inline" id="S4.SS3.p2.3.m3.1"><semantics id="S4.SS3.p2.3.m3.1a"><mi id="S4.SS3.p2.3.m3.1.1" xref="S4.SS3.p2.3.m3.1.1.cmml">m</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.3.m3.1b"><ci id="S4.SS3.p2.3.m3.1.1.cmml" xref="S4.SS3.p2.3.m3.1.1">𝑚</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.3.m3.1c">m</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.3.m3.1d">italic_m</annotation></semantics></math>th order ”degrees of freedom” of the covariance matrix <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.SS3.p2.4.m4.1"><semantics id="S4.SS3.p2.4.m4.1a"><mi id="S4.SS3.p2.4.m4.1.1" mathvariant="normal" xref="S4.SS3.p2.4.m4.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.4.m4.1b"><ci id="S4.SS3.p2.4.m4.1.1.cmml" xref="S4.SS3.p2.4.m4.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.4.m4.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.4.m4.1d">roman_Σ</annotation></semantics></math>, by</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx9"> <tbody id="S4.E10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\mathrm{df}_{m}(\Sigma;\lambda)=\mathrm{df}_{m}(\lambda):=\mathrm% {tr}((\Sigma+\lambda I_{d})^{-m}\Sigma^{m})." class="ltx_Math" display="inline" id="S4.E10.m1.4"><semantics id="S4.E10.m1.4a"><mrow id="S4.E10.m1.4.4.1" xref="S4.E10.m1.4.4.1.1.cmml"><mrow id="S4.E10.m1.4.4.1.1" xref="S4.E10.m1.4.4.1.1.cmml"><mrow id="S4.E10.m1.4.4.1.1.3" xref="S4.E10.m1.4.4.1.1.3.cmml"><msub id="S4.E10.m1.4.4.1.1.3.2" xref="S4.E10.m1.4.4.1.1.3.2.cmml"><mi id="S4.E10.m1.4.4.1.1.3.2.2" xref="S4.E10.m1.4.4.1.1.3.2.2.cmml">df</mi><mi id="S4.E10.m1.4.4.1.1.3.2.3" xref="S4.E10.m1.4.4.1.1.3.2.3.cmml">m</mi></msub><mo id="S4.E10.m1.4.4.1.1.3.1" xref="S4.E10.m1.4.4.1.1.3.1.cmml">⁢</mo><mrow id="S4.E10.m1.4.4.1.1.3.3.2" xref="S4.E10.m1.4.4.1.1.3.3.1.cmml"><mo id="S4.E10.m1.4.4.1.1.3.3.2.1" stretchy="false" xref="S4.E10.m1.4.4.1.1.3.3.1.cmml">(</mo><mi id="S4.E10.m1.1.1" mathvariant="normal" xref="S4.E10.m1.1.1.cmml">Σ</mi><mo id="S4.E10.m1.4.4.1.1.3.3.2.2" xref="S4.E10.m1.4.4.1.1.3.3.1.cmml">;</mo><mi id="S4.E10.m1.2.2" xref="S4.E10.m1.2.2.cmml">λ</mi><mo id="S4.E10.m1.4.4.1.1.3.3.2.3" stretchy="false" xref="S4.E10.m1.4.4.1.1.3.3.1.cmml">)</mo></mrow></mrow><mo id="S4.E10.m1.4.4.1.1.4" xref="S4.E10.m1.4.4.1.1.4.cmml">=</mo><mrow id="S4.E10.m1.4.4.1.1.5" xref="S4.E10.m1.4.4.1.1.5.cmml"><msub id="S4.E10.m1.4.4.1.1.5.2" xref="S4.E10.m1.4.4.1.1.5.2.cmml"><mi id="S4.E10.m1.4.4.1.1.5.2.2" xref="S4.E10.m1.4.4.1.1.5.2.2.cmml">df</mi><mi id="S4.E10.m1.4.4.1.1.5.2.3" xref="S4.E10.m1.4.4.1.1.5.2.3.cmml">m</mi></msub><mo id="S4.E10.m1.4.4.1.1.5.1" xref="S4.E10.m1.4.4.1.1.5.1.cmml">⁢</mo><mrow id="S4.E10.m1.4.4.1.1.5.3.2" xref="S4.E10.m1.4.4.1.1.5.cmml"><mo id="S4.E10.m1.4.4.1.1.5.3.2.1" stretchy="false" xref="S4.E10.m1.4.4.1.1.5.cmml">(</mo><mi id="S4.E10.m1.3.3" xref="S4.E10.m1.3.3.cmml">λ</mi><mo id="S4.E10.m1.4.4.1.1.5.3.2.2" rspace="0.278em" stretchy="false" xref="S4.E10.m1.4.4.1.1.5.cmml">)</mo></mrow></mrow><mo id="S4.E10.m1.4.4.1.1.6" rspace="0.278em" xref="S4.E10.m1.4.4.1.1.6.cmml">:=</mo><mrow id="S4.E10.m1.4.4.1.1.1" xref="S4.E10.m1.4.4.1.1.1.cmml"><mi id="S4.E10.m1.4.4.1.1.1.3" xref="S4.E10.m1.4.4.1.1.1.3.cmml">tr</mi><mo id="S4.E10.m1.4.4.1.1.1.2" xref="S4.E10.m1.4.4.1.1.1.2.cmml">⁢</mo><mrow id="S4.E10.m1.4.4.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S4.E10.m1.4.4.1.1.1.1.1.2" stretchy="false" xref="S4.E10.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E10.m1.4.4.1.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.cmml"><msup id="S4.E10.m1.4.4.1.1.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.cmml"><mrow id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2" mathvariant="normal" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.1" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.cmml"><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3a" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.cmml">−</mo><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.2" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.2.cmml">m</mi></mrow></msup><mo id="S4.E10.m1.4.4.1.1.1.1.1.1.2" xref="S4.E10.m1.4.4.1.1.1.1.1.1.2.cmml">⁢</mo><msup id="S4.E10.m1.4.4.1.1.1.1.1.1.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3.cmml"><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.3.2" mathvariant="normal" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3.2.cmml">Σ</mi><mi id="S4.E10.m1.4.4.1.1.1.1.1.1.3.3" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3.3.cmml">m</mi></msup></mrow><mo id="S4.E10.m1.4.4.1.1.1.1.1.3" stretchy="false" xref="S4.E10.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E10.m1.4.4.1.2" lspace="0em" xref="S4.E10.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E10.m1.4b"><apply id="S4.E10.m1.4.4.1.1.cmml" xref="S4.E10.m1.4.4.1"><and id="S4.E10.m1.4.4.1.1a.cmml" xref="S4.E10.m1.4.4.1"></and><apply id="S4.E10.m1.4.4.1.1b.cmml" xref="S4.E10.m1.4.4.1"><eq id="S4.E10.m1.4.4.1.1.4.cmml" xref="S4.E10.m1.4.4.1.1.4"></eq><apply id="S4.E10.m1.4.4.1.1.3.cmml" xref="S4.E10.m1.4.4.1.1.3"><times id="S4.E10.m1.4.4.1.1.3.1.cmml" xref="S4.E10.m1.4.4.1.1.3.1"></times><apply id="S4.E10.m1.4.4.1.1.3.2.cmml" xref="S4.E10.m1.4.4.1.1.3.2"><csymbol cd="ambiguous" id="S4.E10.m1.4.4.1.1.3.2.1.cmml" xref="S4.E10.m1.4.4.1.1.3.2">subscript</csymbol><ci id="S4.E10.m1.4.4.1.1.3.2.2.cmml" xref="S4.E10.m1.4.4.1.1.3.2.2">df</ci><ci id="S4.E10.m1.4.4.1.1.3.2.3.cmml" xref="S4.E10.m1.4.4.1.1.3.2.3">𝑚</ci></apply><list id="S4.E10.m1.4.4.1.1.3.3.1.cmml" xref="S4.E10.m1.4.4.1.1.3.3.2"><ci id="S4.E10.m1.1.1.cmml" xref="S4.E10.m1.1.1">Σ</ci><ci id="S4.E10.m1.2.2.cmml" xref="S4.E10.m1.2.2">𝜆</ci></list></apply><apply id="S4.E10.m1.4.4.1.1.5.cmml" xref="S4.E10.m1.4.4.1.1.5"><times id="S4.E10.m1.4.4.1.1.5.1.cmml" xref="S4.E10.m1.4.4.1.1.5.1"></times><apply id="S4.E10.m1.4.4.1.1.5.2.cmml" xref="S4.E10.m1.4.4.1.1.5.2"><csymbol cd="ambiguous" id="S4.E10.m1.4.4.1.1.5.2.1.cmml" xref="S4.E10.m1.4.4.1.1.5.2">subscript</csymbol><ci id="S4.E10.m1.4.4.1.1.5.2.2.cmml" xref="S4.E10.m1.4.4.1.1.5.2.2">df</ci><ci id="S4.E10.m1.4.4.1.1.5.2.3.cmml" xref="S4.E10.m1.4.4.1.1.5.2.3">𝑚</ci></apply><ci id="S4.E10.m1.3.3.cmml" xref="S4.E10.m1.3.3">𝜆</ci></apply></apply><apply id="S4.E10.m1.4.4.1.1c.cmml" xref="S4.E10.m1.4.4.1"><csymbol cd="latexml" id="S4.E10.m1.4.4.1.1.6.cmml" xref="S4.E10.m1.4.4.1.1.6">assign</csymbol><share href="#S4.E10.m1.4.4.1.1.5.cmml" id="S4.E10.m1.4.4.1.1d.cmml" xref="S4.E10.m1.4.4.1"></share><apply id="S4.E10.m1.4.4.1.1.1.cmml" xref="S4.E10.m1.4.4.1.1.1"><times id="S4.E10.m1.4.4.1.1.1.2.cmml" xref="S4.E10.m1.4.4.1.1.1.2"></times><ci id="S4.E10.m1.4.4.1.1.1.3.cmml" xref="S4.E10.m1.4.4.1.1.1.3">tr</ci><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1"><times id="S4.E10.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.2"></times><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E10.m1.4.4.1.1.1.1.1.1.1.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1"><plus id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.1"></plus><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.2">Σ</ci><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3"><times id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.2">𝜆</ci><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3"><minus id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3"></minus><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.1.3.2">𝑚</ci></apply></apply><apply id="S4.E10.m1.4.4.1.1.1.1.1.1.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E10.m1.4.4.1.1.1.1.1.1.3.1.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3">superscript</csymbol><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.3.2.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3.2">Σ</ci><ci id="S4.E10.m1.4.4.1.1.1.1.1.1.3.3.cmml" xref="S4.E10.m1.4.4.1.1.1.1.1.1.3.3">𝑚</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E10.m1.4c">\displaystyle\mathrm{df}_{m}(\Sigma;\lambda)=\mathrm{df}_{m}(\lambda):=\mathrm% {tr}((\Sigma+\lambda I_{d})^{-m}\Sigma^{m}).</annotation><annotation encoding="application/x-llamapun" id="S4.E10.m1.4d">roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( roman_Σ ; italic_λ ) = roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_λ ) := roman_tr ( ( roman_Σ + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT roman_Σ start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(10)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.SS3.p2.7">Note that <math alttext="\mathrm{df}_{m}(\lambda)\leq d" class="ltx_Math" display="inline" id="S4.SS3.p2.5.m1.1"><semantics id="S4.SS3.p2.5.m1.1a"><mrow id="S4.SS3.p2.5.m1.1.2" xref="S4.SS3.p2.5.m1.1.2.cmml"><mrow id="S4.SS3.p2.5.m1.1.2.2" xref="S4.SS3.p2.5.m1.1.2.2.cmml"><msub id="S4.SS3.p2.5.m1.1.2.2.2" xref="S4.SS3.p2.5.m1.1.2.2.2.cmml"><mi id="S4.SS3.p2.5.m1.1.2.2.2.2" xref="S4.SS3.p2.5.m1.1.2.2.2.2.cmml">df</mi><mi id="S4.SS3.p2.5.m1.1.2.2.2.3" xref="S4.SS3.p2.5.m1.1.2.2.2.3.cmml">m</mi></msub><mo id="S4.SS3.p2.5.m1.1.2.2.1" xref="S4.SS3.p2.5.m1.1.2.2.1.cmml">⁢</mo><mrow id="S4.SS3.p2.5.m1.1.2.2.3.2" xref="S4.SS3.p2.5.m1.1.2.2.cmml"><mo id="S4.SS3.p2.5.m1.1.2.2.3.2.1" stretchy="false" xref="S4.SS3.p2.5.m1.1.2.2.cmml">(</mo><mi id="S4.SS3.p2.5.m1.1.1" xref="S4.SS3.p2.5.m1.1.1.cmml">λ</mi><mo id="S4.SS3.p2.5.m1.1.2.2.3.2.2" stretchy="false" xref="S4.SS3.p2.5.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p2.5.m1.1.2.1" xref="S4.SS3.p2.5.m1.1.2.1.cmml">≤</mo><mi id="S4.SS3.p2.5.m1.1.2.3" xref="S4.SS3.p2.5.m1.1.2.3.cmml">d</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.5.m1.1b"><apply id="S4.SS3.p2.5.m1.1.2.cmml" xref="S4.SS3.p2.5.m1.1.2"><leq id="S4.SS3.p2.5.m1.1.2.1.cmml" xref="S4.SS3.p2.5.m1.1.2.1"></leq><apply id="S4.SS3.p2.5.m1.1.2.2.cmml" xref="S4.SS3.p2.5.m1.1.2.2"><times id="S4.SS3.p2.5.m1.1.2.2.1.cmml" xref="S4.SS3.p2.5.m1.1.2.2.1"></times><apply id="S4.SS3.p2.5.m1.1.2.2.2.cmml" xref="S4.SS3.p2.5.m1.1.2.2.2"><csymbol cd="ambiguous" id="S4.SS3.p2.5.m1.1.2.2.2.1.cmml" xref="S4.SS3.p2.5.m1.1.2.2.2">subscript</csymbol><ci id="S4.SS3.p2.5.m1.1.2.2.2.2.cmml" xref="S4.SS3.p2.5.m1.1.2.2.2.2">df</ci><ci id="S4.SS3.p2.5.m1.1.2.2.2.3.cmml" xref="S4.SS3.p2.5.m1.1.2.2.2.3">𝑚</ci></apply><ci id="S4.SS3.p2.5.m1.1.1.cmml" xref="S4.SS3.p2.5.m1.1.1">𝜆</ci></apply><ci id="S4.SS3.p2.5.m1.1.2.3.cmml" xref="S4.SS3.p2.5.m1.1.2.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.5.m1.1c">\mathrm{df}_{m}(\lambda)\leq d</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.5.m1.1d">roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_λ ) ≤ italic_d</annotation></semantics></math> always. Finally, define an increasing function <math alttext="\lambda\mapsto\kappa(\lambda,T)" class="ltx_Math" display="inline" id="S4.SS3.p2.6.m2.2"><semantics id="S4.SS3.p2.6.m2.2a"><mrow id="S4.SS3.p2.6.m2.2.3" xref="S4.SS3.p2.6.m2.2.3.cmml"><mi id="S4.SS3.p2.6.m2.2.3.2" xref="S4.SS3.p2.6.m2.2.3.2.cmml">λ</mi><mo id="S4.SS3.p2.6.m2.2.3.1" stretchy="false" xref="S4.SS3.p2.6.m2.2.3.1.cmml">↦</mo><mrow id="S4.SS3.p2.6.m2.2.3.3" xref="S4.SS3.p2.6.m2.2.3.3.cmml"><mi id="S4.SS3.p2.6.m2.2.3.3.2" xref="S4.SS3.p2.6.m2.2.3.3.2.cmml">κ</mi><mo id="S4.SS3.p2.6.m2.2.3.3.1" xref="S4.SS3.p2.6.m2.2.3.3.1.cmml">⁢</mo><mrow id="S4.SS3.p2.6.m2.2.3.3.3.2" xref="S4.SS3.p2.6.m2.2.3.3.3.1.cmml"><mo id="S4.SS3.p2.6.m2.2.3.3.3.2.1" stretchy="false" xref="S4.SS3.p2.6.m2.2.3.3.3.1.cmml">(</mo><mi id="S4.SS3.p2.6.m2.1.1" xref="S4.SS3.p2.6.m2.1.1.cmml">λ</mi><mo id="S4.SS3.p2.6.m2.2.3.3.3.2.2" xref="S4.SS3.p2.6.m2.2.3.3.3.1.cmml">,</mo><mi id="S4.SS3.p2.6.m2.2.2" xref="S4.SS3.p2.6.m2.2.2.cmml">T</mi><mo id="S4.SS3.p2.6.m2.2.3.3.3.2.3" stretchy="false" xref="S4.SS3.p2.6.m2.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.6.m2.2b"><apply id="S4.SS3.p2.6.m2.2.3.cmml" xref="S4.SS3.p2.6.m2.2.3"><csymbol cd="latexml" id="S4.SS3.p2.6.m2.2.3.1.cmml" xref="S4.SS3.p2.6.m2.2.3.1">maps-to</csymbol><ci id="S4.SS3.p2.6.m2.2.3.2.cmml" xref="S4.SS3.p2.6.m2.2.3.2">𝜆</ci><apply id="S4.SS3.p2.6.m2.2.3.3.cmml" xref="S4.SS3.p2.6.m2.2.3.3"><times id="S4.SS3.p2.6.m2.2.3.3.1.cmml" xref="S4.SS3.p2.6.m2.2.3.3.1"></times><ci id="S4.SS3.p2.6.m2.2.3.3.2.cmml" xref="S4.SS3.p2.6.m2.2.3.3.2">𝜅</ci><interval closure="open" id="S4.SS3.p2.6.m2.2.3.3.3.1.cmml" xref="S4.SS3.p2.6.m2.2.3.3.3.2"><ci id="S4.SS3.p2.6.m2.1.1.cmml" xref="S4.SS3.p2.6.m2.1.1">𝜆</ci><ci id="S4.SS3.p2.6.m2.2.2.cmml" xref="S4.SS3.p2.6.m2.2.2">𝑇</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.6.m2.2c">\lambda\mapsto\kappa(\lambda,T)</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.6.m2.2d">italic_λ ↦ italic_κ ( italic_λ , italic_T )</annotation></semantics></math> on <math alttext="\mathbb{R}_{+}" class="ltx_Math" display="inline" id="S4.SS3.p2.7.m3.1"><semantics id="S4.SS3.p2.7.m3.1a"><msub id="S4.SS3.p2.7.m3.1.1" xref="S4.SS3.p2.7.m3.1.1.cmml"><mi id="S4.SS3.p2.7.m3.1.1.2" xref="S4.SS3.p2.7.m3.1.1.2.cmml">ℝ</mi><mo id="S4.SS3.p2.7.m3.1.1.3" xref="S4.SS3.p2.7.m3.1.1.3.cmml">+</mo></msub><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.7.m3.1b"><apply id="S4.SS3.p2.7.m3.1.1.cmml" xref="S4.SS3.p2.7.m3.1.1"><csymbol cd="ambiguous" id="S4.SS3.p2.7.m3.1.1.1.cmml" xref="S4.SS3.p2.7.m3.1.1">subscript</csymbol><ci id="S4.SS3.p2.7.m3.1.1.2.cmml" xref="S4.SS3.p2.7.m3.1.1.2">ℝ</ci><plus id="S4.SS3.p2.7.m3.1.1.3.cmml" xref="S4.SS3.p2.7.m3.1.1.3"></plus></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.7.m3.1c">\mathbb{R}_{+}</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.7.m3.1d">blackboard_R start_POSTSUBSCRIPT + end_POSTSUBSCRIPT</annotation></semantics></math> implicitly by</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx10"> <tbody id="S4.E11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\kappa(\lambda,T)-\lambda&=\kappa(\lambda,T)\cdot% \mathrm{df}_{1}(\kappa(\lambda,T))/T.\end{split}" class="ltx_Math" display="inline" id="S4.E11.m1.31"><semantics id="S4.E11.m1.31a"><mtable columnspacing="0pt" id="S4.E11.m1.31.31.2"><mtr id="S4.E11.m1.31.31.2a"><mtd class="ltx_align_right" columnalign="right" id="S4.E11.m1.31.31.2b"><mrow id="S4.E11.m1.8.8.8.8.8a"><mrow id="S4.E11.m1.8.8.8.8.8a.9"><mi id="S4.E11.m1.1.1.1.1.1.1" xref="S4.E11.m1.1.1.1.1.1.1.cmml">κ</mi><mo id="S4.E11.m1.8.8.8.8.8a.9.1" xref="S4.E11.m1.30.30.1.1.1.cmml">⁢</mo><mrow id="S4.E11.m1.8.8.8.8.8a.9.2"><mo id="S4.E11.m1.2.2.2.2.2.2" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">(</mo><mi id="S4.E11.m1.3.3.3.3.3.3" xref="S4.E11.m1.3.3.3.3.3.3.cmml">λ</mi><mo id="S4.E11.m1.4.4.4.4.4.4" xref="S4.E11.m1.30.30.1.1.1.cmml">,</mo><mi id="S4.E11.m1.5.5.5.5.5.5" xref="S4.E11.m1.5.5.5.5.5.5.cmml">T</mi><mo id="S4.E11.m1.6.6.6.6.6.6" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E11.m1.7.7.7.7.7.7" xref="S4.E11.m1.7.7.7.7.7.7.cmml">−</mo><mi id="S4.E11.m1.8.8.8.8.8.8" xref="S4.E11.m1.8.8.8.8.8.8.cmml">λ</mi></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="S4.E11.m1.31.31.2c"><mrow id="S4.E11.m1.31.31.2.30.30.22.22"><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1"><mi id="S4.E11.m1.31.31.2.30.30.22.22.1.2" xref="S4.E11.m1.30.30.1.1.1.cmml"></mi><mo id="S4.E11.m1.9.9.9.9.1.1" xref="S4.E11.m1.9.9.9.9.1.1.cmml">=</mo><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1"><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1"><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.3"><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.3.1"><mi id="S4.E11.m1.10.10.10.10.2.2" xref="S4.E11.m1.10.10.10.10.2.2.cmml">κ</mi><mo id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.3.1.1" xref="S4.E11.m1.30.30.1.1.1.cmml">⁢</mo><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.3.1.2"><mo id="S4.E11.m1.11.11.11.11.3.3" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">(</mo><mi id="S4.E11.m1.12.12.12.12.4.4" xref="S4.E11.m1.12.12.12.12.4.4.cmml">λ</mi><mo id="S4.E11.m1.13.13.13.13.5.5" xref="S4.E11.m1.30.30.1.1.1.cmml">,</mo><mi id="S4.E11.m1.14.14.14.14.6.6" xref="S4.E11.m1.14.14.14.14.6.6.cmml">T</mi><mo id="S4.E11.m1.15.15.15.15.7.7" rspace="0.055em" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E11.m1.16.16.16.16.8.8" rspace="0.222em" xref="S4.E11.m1.16.16.16.16.8.8.cmml">⋅</mo><msub id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.3.2"><mi id="S4.E11.m1.17.17.17.17.9.9" xref="S4.E11.m1.17.17.17.17.9.9.cmml">df</mi><mn id="S4.E11.m1.18.18.18.18.10.10.1" xref="S4.E11.m1.18.18.18.18.10.10.1.cmml">1</mn></msub></mrow><mo id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.2" xref="S4.E11.m1.30.30.1.1.1.cmml">⁢</mo><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.1.1"><mo id="S4.E11.m1.19.19.19.19.11.11" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">(</mo><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.1.1.1"><mi id="S4.E11.m1.20.20.20.20.12.12" xref="S4.E11.m1.20.20.20.20.12.12.cmml">κ</mi><mo id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.1.1.1.1" xref="S4.E11.m1.30.30.1.1.1.cmml">⁢</mo><mrow id="S4.E11.m1.31.31.2.30.30.22.22.1.1.1.1.1.1.2"><mo id="S4.E11.m1.21.21.21.21.13.13" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">(</mo><mi id="S4.E11.m1.22.22.22.22.14.14" xref="S4.E11.m1.22.22.22.22.14.14.cmml">λ</mi><mo id="S4.E11.m1.23.23.23.23.15.15" xref="S4.E11.m1.30.30.1.1.1.cmml">,</mo><mi id="S4.E11.m1.24.24.24.24.16.16" xref="S4.E11.m1.24.24.24.24.16.16.cmml">T</mi><mo id="S4.E11.m1.25.25.25.25.17.17" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E11.m1.26.26.26.26.18.18" stretchy="false" xref="S4.E11.m1.30.30.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E11.m1.27.27.27.27.19.19" xref="S4.E11.m1.27.27.27.27.19.19.cmml">/</mo><mi id="S4.E11.m1.28.28.28.28.20.20" xref="S4.E11.m1.28.28.28.28.20.20.cmml">T</mi></mrow></mrow><mo id="S4.E11.m1.29.29.29.29.21.21" lspace="0em" xref="S4.E11.m1.30.30.1.1.1.cmml">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="S4.E11.m1.31b"><apply id="S4.E11.m1.30.30.1.1.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><eq id="S4.E11.m1.9.9.9.9.1.1.cmml" xref="S4.E11.m1.9.9.9.9.1.1"></eq><apply id="S4.E11.m1.30.30.1.1.1.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><minus id="S4.E11.m1.7.7.7.7.7.7.cmml" xref="S4.E11.m1.7.7.7.7.7.7"></minus><apply id="S4.E11.m1.30.30.1.1.1.3.2.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><times id="S4.E11.m1.30.30.1.1.1.3.2.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"></times><ci id="S4.E11.m1.1.1.1.1.1.1.cmml" xref="S4.E11.m1.1.1.1.1.1.1">𝜅</ci><interval closure="open" id="S4.E11.m1.30.30.1.1.1.3.2.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><ci id="S4.E11.m1.3.3.3.3.3.3.cmml" xref="S4.E11.m1.3.3.3.3.3.3">𝜆</ci><ci id="S4.E11.m1.5.5.5.5.5.5.cmml" xref="S4.E11.m1.5.5.5.5.5.5">𝑇</ci></interval></apply><ci id="S4.E11.m1.8.8.8.8.8.8.cmml" xref="S4.E11.m1.8.8.8.8.8.8">𝜆</ci></apply><apply id="S4.E11.m1.30.30.1.1.1.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><divide id="S4.E11.m1.27.27.27.27.19.19.cmml" xref="S4.E11.m1.27.27.27.27.19.19"></divide><apply id="S4.E11.m1.30.30.1.1.1.1.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><times id="S4.E11.m1.30.30.1.1.1.1.1.2.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"></times><apply id="S4.E11.m1.30.30.1.1.1.1.1.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><ci id="S4.E11.m1.16.16.16.16.8.8.cmml" xref="S4.E11.m1.16.16.16.16.8.8">⋅</ci><apply id="S4.E11.m1.30.30.1.1.1.1.1.3.2.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><times id="S4.E11.m1.30.30.1.1.1.1.1.3.2.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"></times><ci id="S4.E11.m1.10.10.10.10.2.2.cmml" xref="S4.E11.m1.10.10.10.10.2.2">𝜅</ci><interval closure="open" id="S4.E11.m1.30.30.1.1.1.1.1.3.2.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><ci id="S4.E11.m1.12.12.12.12.4.4.cmml" xref="S4.E11.m1.12.12.12.12.4.4">𝜆</ci><ci id="S4.E11.m1.14.14.14.14.6.6.cmml" xref="S4.E11.m1.14.14.14.14.6.6">𝑇</ci></interval></apply><apply id="S4.E11.m1.30.30.1.1.1.1.1.3.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><csymbol cd="ambiguous" id="S4.E11.m1.30.30.1.1.1.1.1.3.3.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1">subscript</csymbol><ci id="S4.E11.m1.17.17.17.17.9.9.cmml" xref="S4.E11.m1.17.17.17.17.9.9">df</ci><cn id="S4.E11.m1.18.18.18.18.10.10.1.cmml" type="integer" xref="S4.E11.m1.18.18.18.18.10.10.1">1</cn></apply></apply><apply id="S4.E11.m1.30.30.1.1.1.1.1.1.1.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><times id="S4.E11.m1.30.30.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"></times><ci id="S4.E11.m1.20.20.20.20.12.12.cmml" xref="S4.E11.m1.20.20.20.20.12.12">𝜅</ci><interval closure="open" id="S4.E11.m1.30.30.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E11.m1.8.8.8.8.8a.9.1"><ci id="S4.E11.m1.22.22.22.22.14.14.cmml" xref="S4.E11.m1.22.22.22.22.14.14">𝜆</ci><ci id="S4.E11.m1.24.24.24.24.16.16.cmml" xref="S4.E11.m1.24.24.24.24.16.16">𝑇</ci></interval></apply></apply><ci id="S4.E11.m1.28.28.28.28.20.20.cmml" xref="S4.E11.m1.28.28.28.28.20.20">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E11.m1.31c">\displaystyle\begin{split}\kappa(\lambda,T)-\lambda&=\kappa(\lambda,T)\cdot% \mathrm{df}_{1}(\kappa(\lambda,T))/T.\end{split}</annotation><annotation encoding="application/x-llamapun" id="S4.E11.m1.31d">start_ROW start_CELL italic_κ ( italic_λ , italic_T ) - italic_λ end_CELL start_CELL = italic_κ ( italic_λ , italic_T ) ⋅ roman_df start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ( italic_κ ( italic_λ , italic_T ) ) / italic_T . end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(11)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.SS3.p2.13">The effect of ridge regularization at level <math alttext="\lambda\geq 0" class="ltx_Math" display="inline" id="S4.SS3.p2.8.m1.1"><semantics id="S4.SS3.p2.8.m1.1a"><mrow id="S4.SS3.p2.8.m1.1.1" xref="S4.SS3.p2.8.m1.1.1.cmml"><mi id="S4.SS3.p2.8.m1.1.1.2" xref="S4.SS3.p2.8.m1.1.1.2.cmml">λ</mi><mo id="S4.SS3.p2.8.m1.1.1.1" xref="S4.SS3.p2.8.m1.1.1.1.cmml">≥</mo><mn id="S4.SS3.p2.8.m1.1.1.3" xref="S4.SS3.p2.8.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.8.m1.1b"><apply id="S4.SS3.p2.8.m1.1.1.cmml" xref="S4.SS3.p2.8.m1.1.1"><geq id="S4.SS3.p2.8.m1.1.1.1.cmml" xref="S4.SS3.p2.8.m1.1.1.1"></geq><ci id="S4.SS3.p2.8.m1.1.1.2.cmml" xref="S4.SS3.p2.8.m1.1.1.2">𝜆</ci><cn id="S4.SS3.p2.8.m1.1.1.3.cmml" type="integer" xref="S4.SS3.p2.8.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.8.m1.1c">\lambda\geq 0</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.8.m1.1d">italic_λ ≥ 0</annotation></semantics></math> is to improve the conditioning of the empirical covariance matrix <math alttext="\widehat{\Sigma}" class="ltx_Math" display="inline" id="S4.SS3.p2.9.m2.1"><semantics id="S4.SS3.p2.9.m2.1a"><mover accent="true" id="S4.SS3.p2.9.m2.1.1" xref="S4.SS3.p2.9.m2.1.1.cmml"><mi id="S4.SS3.p2.9.m2.1.1.2" mathvariant="normal" xref="S4.SS3.p2.9.m2.1.1.2.cmml">Σ</mi><mo id="S4.SS3.p2.9.m2.1.1.1" xref="S4.SS3.p2.9.m2.1.1.1.cmml">^</mo></mover><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.9.m2.1b"><apply id="S4.SS3.p2.9.m2.1.1.cmml" xref="S4.SS3.p2.9.m2.1.1"><ci id="S4.SS3.p2.9.m2.1.1.1.cmml" xref="S4.SS3.p2.9.m2.1.1.1">^</ci><ci id="S4.SS3.p2.9.m2.1.1.2.cmml" xref="S4.SS3.p2.9.m2.1.1.2">Σ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.9.m2.1c">\widehat{\Sigma}</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.9.m2.1d">over^ start_ARG roman_Σ end_ARG</annotation></semantics></math>, what the <math alttext="\kappa" class="ltx_Math" display="inline" id="S4.SS3.p2.10.m3.1"><semantics id="S4.SS3.p2.10.m3.1a"><mi id="S4.SS3.p2.10.m3.1.1" xref="S4.SS3.p2.10.m3.1.1.cmml">κ</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.10.m3.1b"><ci id="S4.SS3.p2.10.m3.1.1.cmml" xref="S4.SS3.p2.10.m3.1.1">𝜅</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.10.m3.1c">\kappa</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.10.m3.1d">italic_κ</annotation></semantics></math>-function does is translate this into regularization on <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.SS3.p2.11.m4.1"><semantics id="S4.SS3.p2.11.m4.1a"><mi id="S4.SS3.p2.11.m4.1.1" mathvariant="normal" xref="S4.SS3.p2.11.m4.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.11.m4.1b"><ci id="S4.SS3.p2.11.m4.1.1.cmml" xref="S4.SS3.p2.11.m4.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.11.m4.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.11.m4.1d">roman_Σ</annotation></semantics></math> at a higher level <math alttext="\kappa(\lambda,T)\geq\lambda" class="ltx_Math" display="inline" id="S4.SS3.p2.12.m5.2"><semantics id="S4.SS3.p2.12.m5.2a"><mrow id="S4.SS3.p2.12.m5.2.3" xref="S4.SS3.p2.12.m5.2.3.cmml"><mrow id="S4.SS3.p2.12.m5.2.3.2" xref="S4.SS3.p2.12.m5.2.3.2.cmml"><mi id="S4.SS3.p2.12.m5.2.3.2.2" xref="S4.SS3.p2.12.m5.2.3.2.2.cmml">κ</mi><mo id="S4.SS3.p2.12.m5.2.3.2.1" xref="S4.SS3.p2.12.m5.2.3.2.1.cmml">⁢</mo><mrow id="S4.SS3.p2.12.m5.2.3.2.3.2" xref="S4.SS3.p2.12.m5.2.3.2.3.1.cmml"><mo id="S4.SS3.p2.12.m5.2.3.2.3.2.1" stretchy="false" xref="S4.SS3.p2.12.m5.2.3.2.3.1.cmml">(</mo><mi id="S4.SS3.p2.12.m5.1.1" xref="S4.SS3.p2.12.m5.1.1.cmml">λ</mi><mo id="S4.SS3.p2.12.m5.2.3.2.3.2.2" xref="S4.SS3.p2.12.m5.2.3.2.3.1.cmml">,</mo><mi id="S4.SS3.p2.12.m5.2.2" xref="S4.SS3.p2.12.m5.2.2.cmml">T</mi><mo id="S4.SS3.p2.12.m5.2.3.2.3.2.3" stretchy="false" xref="S4.SS3.p2.12.m5.2.3.2.3.1.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p2.12.m5.2.3.1" xref="S4.SS3.p2.12.m5.2.3.1.cmml">≥</mo><mi id="S4.SS3.p2.12.m5.2.3.3" xref="S4.SS3.p2.12.m5.2.3.3.cmml">λ</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.12.m5.2b"><apply id="S4.SS3.p2.12.m5.2.3.cmml" xref="S4.SS3.p2.12.m5.2.3"><geq id="S4.SS3.p2.12.m5.2.3.1.cmml" xref="S4.SS3.p2.12.m5.2.3.1"></geq><apply id="S4.SS3.p2.12.m5.2.3.2.cmml" xref="S4.SS3.p2.12.m5.2.3.2"><times id="S4.SS3.p2.12.m5.2.3.2.1.cmml" xref="S4.SS3.p2.12.m5.2.3.2.1"></times><ci id="S4.SS3.p2.12.m5.2.3.2.2.cmml" xref="S4.SS3.p2.12.m5.2.3.2.2">𝜅</ci><interval closure="open" id="S4.SS3.p2.12.m5.2.3.2.3.1.cmml" xref="S4.SS3.p2.12.m5.2.3.2.3.2"><ci id="S4.SS3.p2.12.m5.1.1.cmml" xref="S4.SS3.p2.12.m5.1.1">𝜆</ci><ci id="S4.SS3.p2.12.m5.2.2.cmml" xref="S4.SS3.p2.12.m5.2.2">𝑇</ci></interval></apply><ci id="S4.SS3.p2.12.m5.2.3.3.cmml" xref="S4.SS3.p2.12.m5.2.3.3">𝜆</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.12.m5.2c">\kappa(\lambda,T)\geq\lambda</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.12.m5.2d">italic_κ ( italic_λ , italic_T ) ≥ italic_λ</annotation></semantics></math>, which reduces the ”capacity” of the latter, i.e the ”effective dimension” of the underlying problem. Quantitatively, there is an equivalence of the form <math alttext="\mathrm{df}_{1}(\widehat{\Sigma};\lambda)\approx\mathrm{df}_{1}(\Sigma;\kappa(% \lambda,T))." class="ltx_Math" display="inline" id="S4.SS3.p2.13.m6.6"><semantics id="S4.SS3.p2.13.m6.6a"><mrow id="S4.SS3.p2.13.m6.6.6.1" xref="S4.SS3.p2.13.m6.6.6.1.1.cmml"><mrow id="S4.SS3.p2.13.m6.6.6.1.1" xref="S4.SS3.p2.13.m6.6.6.1.1.cmml"><mrow id="S4.SS3.p2.13.m6.6.6.1.1.3" xref="S4.SS3.p2.13.m6.6.6.1.1.3.cmml"><msub id="S4.SS3.p2.13.m6.6.6.1.1.3.2" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2.cmml"><mi id="S4.SS3.p2.13.m6.6.6.1.1.3.2.2" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2.2.cmml">df</mi><mn id="S4.SS3.p2.13.m6.6.6.1.1.3.2.3" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2.3.cmml">1</mn></msub><mo id="S4.SS3.p2.13.m6.6.6.1.1.3.1" xref="S4.SS3.p2.13.m6.6.6.1.1.3.1.cmml">⁢</mo><mrow id="S4.SS3.p2.13.m6.6.6.1.1.3.3.2" xref="S4.SS3.p2.13.m6.6.6.1.1.3.3.1.cmml"><mo id="S4.SS3.p2.13.m6.6.6.1.1.3.3.2.1" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.3.3.1.cmml">(</mo><mover accent="true" id="S4.SS3.p2.13.m6.1.1" xref="S4.SS3.p2.13.m6.1.1.cmml"><mi id="S4.SS3.p2.13.m6.1.1.2" mathvariant="normal" xref="S4.SS3.p2.13.m6.1.1.2.cmml">Σ</mi><mo id="S4.SS3.p2.13.m6.1.1.1" xref="S4.SS3.p2.13.m6.1.1.1.cmml">^</mo></mover><mo id="S4.SS3.p2.13.m6.6.6.1.1.3.3.2.2" xref="S4.SS3.p2.13.m6.6.6.1.1.3.3.1.cmml">;</mo><mi id="S4.SS3.p2.13.m6.2.2" xref="S4.SS3.p2.13.m6.2.2.cmml">λ</mi><mo id="S4.SS3.p2.13.m6.6.6.1.1.3.3.2.3" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.3.3.1.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p2.13.m6.6.6.1.1.2" xref="S4.SS3.p2.13.m6.6.6.1.1.2.cmml">≈</mo><mrow id="S4.SS3.p2.13.m6.6.6.1.1.1" xref="S4.SS3.p2.13.m6.6.6.1.1.1.cmml"><msub id="S4.SS3.p2.13.m6.6.6.1.1.1.3" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3.cmml"><mi id="S4.SS3.p2.13.m6.6.6.1.1.1.3.2" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3.2.cmml">df</mi><mn id="S4.SS3.p2.13.m6.6.6.1.1.1.3.3" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3.3.cmml">1</mn></msub><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.2" xref="S4.SS3.p2.13.m6.6.6.1.1.1.2.cmml">⁢</mo><mrow id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.2.cmml"><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.2" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.2.cmml">(</mo><mi id="S4.SS3.p2.13.m6.5.5" mathvariant="normal" xref="S4.SS3.p2.13.m6.5.5.cmml">Σ</mi><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.3" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.2.cmml">;</mo><mrow id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.cmml"><mi id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.2" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.2.cmml">κ</mi><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.1" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.1.cmml">⁢</mo><mrow id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.2" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.1.cmml"><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.2.1" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.1.cmml">(</mo><mi id="S4.SS3.p2.13.m6.3.3" xref="S4.SS3.p2.13.m6.3.3.cmml">λ</mi><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.2.2" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.1.cmml">,</mo><mi id="S4.SS3.p2.13.m6.4.4" xref="S4.SS3.p2.13.m6.4.4.cmml">T</mi><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.2.3" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.4" stretchy="false" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow><mo id="S4.SS3.p2.13.m6.6.6.1.2" lspace="0em" xref="S4.SS3.p2.13.m6.6.6.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p2.13.m6.6b"><apply id="S4.SS3.p2.13.m6.6.6.1.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1"><approx id="S4.SS3.p2.13.m6.6.6.1.1.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.2"></approx><apply id="S4.SS3.p2.13.m6.6.6.1.1.3.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3"><times id="S4.SS3.p2.13.m6.6.6.1.1.3.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3.1"></times><apply id="S4.SS3.p2.13.m6.6.6.1.1.3.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2"><csymbol cd="ambiguous" id="S4.SS3.p2.13.m6.6.6.1.1.3.2.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2">subscript</csymbol><ci id="S4.SS3.p2.13.m6.6.6.1.1.3.2.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2.2">df</ci><cn id="S4.SS3.p2.13.m6.6.6.1.1.3.2.3.cmml" type="integer" xref="S4.SS3.p2.13.m6.6.6.1.1.3.2.3">1</cn></apply><list id="S4.SS3.p2.13.m6.6.6.1.1.3.3.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.3.3.2"><apply id="S4.SS3.p2.13.m6.1.1.cmml" xref="S4.SS3.p2.13.m6.1.1"><ci id="S4.SS3.p2.13.m6.1.1.1.cmml" xref="S4.SS3.p2.13.m6.1.1.1">^</ci><ci id="S4.SS3.p2.13.m6.1.1.2.cmml" xref="S4.SS3.p2.13.m6.1.1.2">Σ</ci></apply><ci id="S4.SS3.p2.13.m6.2.2.cmml" xref="S4.SS3.p2.13.m6.2.2">𝜆</ci></list></apply><apply id="S4.SS3.p2.13.m6.6.6.1.1.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1"><times id="S4.SS3.p2.13.m6.6.6.1.1.1.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.2"></times><apply id="S4.SS3.p2.13.m6.6.6.1.1.1.3.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3"><csymbol cd="ambiguous" id="S4.SS3.p2.13.m6.6.6.1.1.1.3.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3">subscript</csymbol><ci id="S4.SS3.p2.13.m6.6.6.1.1.1.3.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3.2">df</ci><cn id="S4.SS3.p2.13.m6.6.6.1.1.1.3.3.cmml" type="integer" xref="S4.SS3.p2.13.m6.6.6.1.1.1.3.3">1</cn></apply><list id="S4.SS3.p2.13.m6.6.6.1.1.1.1.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1"><ci id="S4.SS3.p2.13.m6.5.5.cmml" xref="S4.SS3.p2.13.m6.5.5">Σ</ci><apply id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1"><times id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.1"></times><ci id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.2.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.2">𝜅</ci><interval closure="open" id="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.1.cmml" xref="S4.SS3.p2.13.m6.6.6.1.1.1.1.1.1.3.2"><ci id="S4.SS3.p2.13.m6.3.3.cmml" xref="S4.SS3.p2.13.m6.3.3">𝜆</ci><ci id="S4.SS3.p2.13.m6.4.4.cmml" xref="S4.SS3.p2.13.m6.4.4">𝑇</ci></interval></apply></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p2.13.m6.6c">\mathrm{df}_{1}(\widehat{\Sigma};\lambda)\approx\mathrm{df}_{1}(\Sigma;\kappa(% \lambda,T)).</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p2.13.m6.6d">roman_df start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ( over^ start_ARG roman_Σ end_ARG ; italic_λ ) ≈ roman_df start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ( roman_Σ ; italic_κ ( italic_λ , italic_T ) ) .</annotation></semantics></math> Roughly speaking, RMT is the business of formalizing such relationships. </p> </div> <div class="ltx_para" id="S4.SS3.p3"> <p class="ltx_p" id="S4.SS3.p3.5"><span class="ltx_text ltx_font_bold" id="S4.SS3.p3.5.1">Example: Isotropic Covariance.</span> For example, note that <math alttext="\mathrm{df}_{m}(t)\equiv d/(1+t)^{m}" class="ltx_Math" display="inline" id="S4.SS3.p3.1.m1.2"><semantics id="S4.SS3.p3.1.m1.2a"><mrow id="S4.SS3.p3.1.m1.2.2" xref="S4.SS3.p3.1.m1.2.2.cmml"><mrow id="S4.SS3.p3.1.m1.2.2.3" xref="S4.SS3.p3.1.m1.2.2.3.cmml"><msub id="S4.SS3.p3.1.m1.2.2.3.2" xref="S4.SS3.p3.1.m1.2.2.3.2.cmml"><mi id="S4.SS3.p3.1.m1.2.2.3.2.2" xref="S4.SS3.p3.1.m1.2.2.3.2.2.cmml">df</mi><mi id="S4.SS3.p3.1.m1.2.2.3.2.3" xref="S4.SS3.p3.1.m1.2.2.3.2.3.cmml">m</mi></msub><mo id="S4.SS3.p3.1.m1.2.2.3.1" xref="S4.SS3.p3.1.m1.2.2.3.1.cmml">⁢</mo><mrow id="S4.SS3.p3.1.m1.2.2.3.3.2" xref="S4.SS3.p3.1.m1.2.2.3.cmml"><mo id="S4.SS3.p3.1.m1.2.2.3.3.2.1" stretchy="false" xref="S4.SS3.p3.1.m1.2.2.3.cmml">(</mo><mi id="S4.SS3.p3.1.m1.1.1" xref="S4.SS3.p3.1.m1.1.1.cmml">t</mi><mo id="S4.SS3.p3.1.m1.2.2.3.3.2.2" stretchy="false" xref="S4.SS3.p3.1.m1.2.2.3.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p3.1.m1.2.2.2" xref="S4.SS3.p3.1.m1.2.2.2.cmml">≡</mo><mrow id="S4.SS3.p3.1.m1.2.2.1" xref="S4.SS3.p3.1.m1.2.2.1.cmml"><mi id="S4.SS3.p3.1.m1.2.2.1.3" xref="S4.SS3.p3.1.m1.2.2.1.3.cmml">d</mi><mo id="S4.SS3.p3.1.m1.2.2.1.2" xref="S4.SS3.p3.1.m1.2.2.1.2.cmml">/</mo><msup id="S4.SS3.p3.1.m1.2.2.1.1" xref="S4.SS3.p3.1.m1.2.2.1.1.cmml"><mrow id="S4.SS3.p3.1.m1.2.2.1.1.1.1" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.cmml"><mo id="S4.SS3.p3.1.m1.2.2.1.1.1.1.2" stretchy="false" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.cmml"><mn id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.2" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.2.cmml">1</mn><mo id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.1" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.1.cmml">+</mo><mi id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.3" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.3.cmml">t</mi></mrow><mo id="S4.SS3.p3.1.m1.2.2.1.1.1.1.3" stretchy="false" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.cmml">)</mo></mrow><mi id="S4.SS3.p3.1.m1.2.2.1.1.3" xref="S4.SS3.p3.1.m1.2.2.1.1.3.cmml">m</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p3.1.m1.2b"><apply id="S4.SS3.p3.1.m1.2.2.cmml" xref="S4.SS3.p3.1.m1.2.2"><equivalent id="S4.SS3.p3.1.m1.2.2.2.cmml" xref="S4.SS3.p3.1.m1.2.2.2"></equivalent><apply id="S4.SS3.p3.1.m1.2.2.3.cmml" xref="S4.SS3.p3.1.m1.2.2.3"><times id="S4.SS3.p3.1.m1.2.2.3.1.cmml" xref="S4.SS3.p3.1.m1.2.2.3.1"></times><apply id="S4.SS3.p3.1.m1.2.2.3.2.cmml" xref="S4.SS3.p3.1.m1.2.2.3.2"><csymbol cd="ambiguous" id="S4.SS3.p3.1.m1.2.2.3.2.1.cmml" xref="S4.SS3.p3.1.m1.2.2.3.2">subscript</csymbol><ci id="S4.SS3.p3.1.m1.2.2.3.2.2.cmml" xref="S4.SS3.p3.1.m1.2.2.3.2.2">df</ci><ci id="S4.SS3.p3.1.m1.2.2.3.2.3.cmml" xref="S4.SS3.p3.1.m1.2.2.3.2.3">𝑚</ci></apply><ci id="S4.SS3.p3.1.m1.1.1.cmml" xref="S4.SS3.p3.1.m1.1.1">𝑡</ci></apply><apply id="S4.SS3.p3.1.m1.2.2.1.cmml" xref="S4.SS3.p3.1.m1.2.2.1"><divide id="S4.SS3.p3.1.m1.2.2.1.2.cmml" xref="S4.SS3.p3.1.m1.2.2.1.2"></divide><ci id="S4.SS3.p3.1.m1.2.2.1.3.cmml" xref="S4.SS3.p3.1.m1.2.2.1.3">𝑑</ci><apply id="S4.SS3.p3.1.m1.2.2.1.1.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1"><csymbol cd="ambiguous" id="S4.SS3.p3.1.m1.2.2.1.1.2.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1">superscript</csymbol><apply id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1"><plus id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.1.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.1"></plus><cn id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.2.cmml" type="integer" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.2">1</cn><ci id="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.3.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1.1.1.1.3">𝑡</ci></apply><ci id="S4.SS3.p3.1.m1.2.2.1.1.3.cmml" xref="S4.SS3.p3.1.m1.2.2.1.1.3">𝑚</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p3.1.m1.2c">\mathrm{df}_{m}(t)\equiv d/(1+t)^{m}</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p3.1.m1.2d">roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_t ) ≡ italic_d / ( 1 + italic_t ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT</annotation></semantics></math> (polynomial decay) in the isotropic case where <math alttext="\Sigma=I_{d}" class="ltx_Math" display="inline" id="S4.SS3.p3.2.m2.1"><semantics id="S4.SS3.p3.2.m2.1a"><mrow id="S4.SS3.p3.2.m2.1.1" xref="S4.SS3.p3.2.m2.1.1.cmml"><mi id="S4.SS3.p3.2.m2.1.1.2" mathvariant="normal" xref="S4.SS3.p3.2.m2.1.1.2.cmml">Σ</mi><mo id="S4.SS3.p3.2.m2.1.1.1" xref="S4.SS3.p3.2.m2.1.1.1.cmml">=</mo><msub id="S4.SS3.p3.2.m2.1.1.3" xref="S4.SS3.p3.2.m2.1.1.3.cmml"><mi id="S4.SS3.p3.2.m2.1.1.3.2" xref="S4.SS3.p3.2.m2.1.1.3.2.cmml">I</mi><mi id="S4.SS3.p3.2.m2.1.1.3.3" xref="S4.SS3.p3.2.m2.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p3.2.m2.1b"><apply id="S4.SS3.p3.2.m2.1.1.cmml" xref="S4.SS3.p3.2.m2.1.1"><eq id="S4.SS3.p3.2.m2.1.1.1.cmml" xref="S4.SS3.p3.2.m2.1.1.1"></eq><ci id="S4.SS3.p3.2.m2.1.1.2.cmml" xref="S4.SS3.p3.2.m2.1.1.2">Σ</ci><apply id="S4.SS3.p3.2.m2.1.1.3.cmml" xref="S4.SS3.p3.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.SS3.p3.2.m2.1.1.3.1.cmml" xref="S4.SS3.p3.2.m2.1.1.3">subscript</csymbol><ci id="S4.SS3.p3.2.m2.1.1.3.2.cmml" xref="S4.SS3.p3.2.m2.1.1.3.2">𝐼</ci><ci id="S4.SS3.p3.2.m2.1.1.3.3.cmml" xref="S4.SS3.p3.2.m2.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p3.2.m2.1c">\Sigma=I_{d}</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p3.2.m2.1d">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math>. Consequently, we have <math alttext="\kappa(\lambda,T)-\lambda=(d/T)\kappa(\lambda,T)/(1+\kappa(\lambda,T))" class="ltx_Math" display="inline" id="S4.SS3.p3.3.m3.8"><semantics id="S4.SS3.p3.3.m3.8a"><mrow id="S4.SS3.p3.3.m3.8.8" xref="S4.SS3.p3.3.m3.8.8.cmml"><mrow id="S4.SS3.p3.3.m3.8.8.4" xref="S4.SS3.p3.3.m3.8.8.4.cmml"><mrow id="S4.SS3.p3.3.m3.8.8.4.2" xref="S4.SS3.p3.3.m3.8.8.4.2.cmml"><mi id="S4.SS3.p3.3.m3.8.8.4.2.2" xref="S4.SS3.p3.3.m3.8.8.4.2.2.cmml">κ</mi><mo id="S4.SS3.p3.3.m3.8.8.4.2.1" xref="S4.SS3.p3.3.m3.8.8.4.2.1.cmml">⁢</mo><mrow id="S4.SS3.p3.3.m3.8.8.4.2.3.2" xref="S4.SS3.p3.3.m3.8.8.4.2.3.1.cmml"><mo id="S4.SS3.p3.3.m3.8.8.4.2.3.2.1" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.4.2.3.1.cmml">(</mo><mi id="S4.SS3.p3.3.m3.1.1" xref="S4.SS3.p3.3.m3.1.1.cmml">λ</mi><mo id="S4.SS3.p3.3.m3.8.8.4.2.3.2.2" xref="S4.SS3.p3.3.m3.8.8.4.2.3.1.cmml">,</mo><mi id="S4.SS3.p3.3.m3.2.2" xref="S4.SS3.p3.3.m3.2.2.cmml">T</mi><mo id="S4.SS3.p3.3.m3.8.8.4.2.3.2.3" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.4.2.3.1.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p3.3.m3.8.8.4.1" xref="S4.SS3.p3.3.m3.8.8.4.1.cmml">−</mo><mi id="S4.SS3.p3.3.m3.8.8.4.3" xref="S4.SS3.p3.3.m3.8.8.4.3.cmml">λ</mi></mrow><mo id="S4.SS3.p3.3.m3.8.8.3" xref="S4.SS3.p3.3.m3.8.8.3.cmml">=</mo><mrow id="S4.SS3.p3.3.m3.8.8.2" xref="S4.SS3.p3.3.m3.8.8.2.cmml"><mrow id="S4.SS3.p3.3.m3.7.7.1.1" xref="S4.SS3.p3.3.m3.7.7.1.1.cmml"><mrow id="S4.SS3.p3.3.m3.7.7.1.1.1.1" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.cmml"><mo id="S4.SS3.p3.3.m3.7.7.1.1.1.1.2" stretchy="false" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.cmml">(</mo><mrow id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.cmml"><mi id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.2" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.2.cmml">d</mi><mo id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.1" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.1.cmml">/</mo><mi id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.3" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.3.cmml">T</mi></mrow><mo id="S4.SS3.p3.3.m3.7.7.1.1.1.1.3" stretchy="false" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.cmml">)</mo></mrow><mo id="S4.SS3.p3.3.m3.7.7.1.1.2" xref="S4.SS3.p3.3.m3.7.7.1.1.2.cmml">⁢</mo><mi id="S4.SS3.p3.3.m3.7.7.1.1.3" xref="S4.SS3.p3.3.m3.7.7.1.1.3.cmml">κ</mi><mo id="S4.SS3.p3.3.m3.7.7.1.1.2a" xref="S4.SS3.p3.3.m3.7.7.1.1.2.cmml">⁢</mo><mrow id="S4.SS3.p3.3.m3.7.7.1.1.4.2" xref="S4.SS3.p3.3.m3.7.7.1.1.4.1.cmml"><mo id="S4.SS3.p3.3.m3.7.7.1.1.4.2.1" stretchy="false" xref="S4.SS3.p3.3.m3.7.7.1.1.4.1.cmml">(</mo><mi id="S4.SS3.p3.3.m3.3.3" xref="S4.SS3.p3.3.m3.3.3.cmml">λ</mi><mo id="S4.SS3.p3.3.m3.7.7.1.1.4.2.2" xref="S4.SS3.p3.3.m3.7.7.1.1.4.1.cmml">,</mo><mi id="S4.SS3.p3.3.m3.4.4" xref="S4.SS3.p3.3.m3.4.4.cmml">T</mi><mo id="S4.SS3.p3.3.m3.7.7.1.1.4.2.3" stretchy="false" xref="S4.SS3.p3.3.m3.7.7.1.1.4.1.cmml">)</mo></mrow></mrow><mo id="S4.SS3.p3.3.m3.8.8.2.3" xref="S4.SS3.p3.3.m3.8.8.2.3.cmml">/</mo><mrow id="S4.SS3.p3.3.m3.8.8.2.2.1" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.cmml"><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.2" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.cmml">(</mo><mrow id="S4.SS3.p3.3.m3.8.8.2.2.1.1" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.cmml"><mn id="S4.SS3.p3.3.m3.8.8.2.2.1.1.2" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.2.cmml">1</mn><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.1.1" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.1.cmml">+</mo><mrow id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.cmml"><mi id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.2" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.2.cmml">κ</mi><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.1" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.1.cmml">⁢</mo><mrow id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.2" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.1.cmml"><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.2.1" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.1.cmml">(</mo><mi id="S4.SS3.p3.3.m3.5.5" xref="S4.SS3.p3.3.m3.5.5.cmml">λ</mi><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.2.2" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.1.cmml">,</mo><mi id="S4.SS3.p3.3.m3.6.6" xref="S4.SS3.p3.3.m3.6.6.cmml">T</mi><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.2.3" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.SS3.p3.3.m3.8.8.2.2.1.3" stretchy="false" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p3.3.m3.8b"><apply id="S4.SS3.p3.3.m3.8.8.cmml" xref="S4.SS3.p3.3.m3.8.8"><eq id="S4.SS3.p3.3.m3.8.8.3.cmml" xref="S4.SS3.p3.3.m3.8.8.3"></eq><apply id="S4.SS3.p3.3.m3.8.8.4.cmml" xref="S4.SS3.p3.3.m3.8.8.4"><minus id="S4.SS3.p3.3.m3.8.8.4.1.cmml" xref="S4.SS3.p3.3.m3.8.8.4.1"></minus><apply id="S4.SS3.p3.3.m3.8.8.4.2.cmml" xref="S4.SS3.p3.3.m3.8.8.4.2"><times id="S4.SS3.p3.3.m3.8.8.4.2.1.cmml" xref="S4.SS3.p3.3.m3.8.8.4.2.1"></times><ci id="S4.SS3.p3.3.m3.8.8.4.2.2.cmml" xref="S4.SS3.p3.3.m3.8.8.4.2.2">𝜅</ci><interval closure="open" id="S4.SS3.p3.3.m3.8.8.4.2.3.1.cmml" xref="S4.SS3.p3.3.m3.8.8.4.2.3.2"><ci id="S4.SS3.p3.3.m3.1.1.cmml" xref="S4.SS3.p3.3.m3.1.1">𝜆</ci><ci id="S4.SS3.p3.3.m3.2.2.cmml" xref="S4.SS3.p3.3.m3.2.2">𝑇</ci></interval></apply><ci id="S4.SS3.p3.3.m3.8.8.4.3.cmml" xref="S4.SS3.p3.3.m3.8.8.4.3">𝜆</ci></apply><apply id="S4.SS3.p3.3.m3.8.8.2.cmml" xref="S4.SS3.p3.3.m3.8.8.2"><divide id="S4.SS3.p3.3.m3.8.8.2.3.cmml" xref="S4.SS3.p3.3.m3.8.8.2.3"></divide><apply id="S4.SS3.p3.3.m3.7.7.1.1.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1"><times id="S4.SS3.p3.3.m3.7.7.1.1.2.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.2"></times><apply id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1"><divide id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.1.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.1"></divide><ci id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.2.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.2">𝑑</ci><ci id="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.3.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.1.1.1.3">𝑇</ci></apply><ci id="S4.SS3.p3.3.m3.7.7.1.1.3.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.3">𝜅</ci><interval closure="open" id="S4.SS3.p3.3.m3.7.7.1.1.4.1.cmml" xref="S4.SS3.p3.3.m3.7.7.1.1.4.2"><ci id="S4.SS3.p3.3.m3.3.3.cmml" xref="S4.SS3.p3.3.m3.3.3">𝜆</ci><ci id="S4.SS3.p3.3.m3.4.4.cmml" xref="S4.SS3.p3.3.m3.4.4">𝑇</ci></interval></apply><apply id="S4.SS3.p3.3.m3.8.8.2.2.1.1.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1"><plus id="S4.SS3.p3.3.m3.8.8.2.2.1.1.1.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.1"></plus><cn id="S4.SS3.p3.3.m3.8.8.2.2.1.1.2.cmml" type="integer" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.2">1</cn><apply id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3"><times id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.1.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.1"></times><ci id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.2.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.2">𝜅</ci><interval closure="open" id="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.1.cmml" xref="S4.SS3.p3.3.m3.8.8.2.2.1.1.3.3.2"><ci id="S4.SS3.p3.3.m3.5.5.cmml" xref="S4.SS3.p3.3.m3.5.5">𝜆</ci><ci id="S4.SS3.p3.3.m3.6.6.cmml" xref="S4.SS3.p3.3.m3.6.6">𝑇</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p3.3.m3.8c">\kappa(\lambda,T)-\lambda=(d/T)\kappa(\lambda,T)/(1+\kappa(\lambda,T))</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p3.3.m3.8d">italic_κ ( italic_λ , italic_T ) - italic_λ = ( italic_d / italic_T ) italic_κ ( italic_λ , italic_T ) / ( 1 + italic_κ ( italic_λ , italic_T ) )</annotation></semantics></math>. With <math alttext="\phi=d/T" class="ltx_Math" display="inline" id="S4.SS3.p3.4.m4.1"><semantics id="S4.SS3.p3.4.m4.1a"><mrow id="S4.SS3.p3.4.m4.1.1" xref="S4.SS3.p3.4.m4.1.1.cmml"><mi id="S4.SS3.p3.4.m4.1.1.2" xref="S4.SS3.p3.4.m4.1.1.2.cmml">ϕ</mi><mo id="S4.SS3.p3.4.m4.1.1.1" xref="S4.SS3.p3.4.m4.1.1.1.cmml">=</mo><mrow id="S4.SS3.p3.4.m4.1.1.3" xref="S4.SS3.p3.4.m4.1.1.3.cmml"><mi id="S4.SS3.p3.4.m4.1.1.3.2" xref="S4.SS3.p3.4.m4.1.1.3.2.cmml">d</mi><mo id="S4.SS3.p3.4.m4.1.1.3.1" xref="S4.SS3.p3.4.m4.1.1.3.1.cmml">/</mo><mi id="S4.SS3.p3.4.m4.1.1.3.3" xref="S4.SS3.p3.4.m4.1.1.3.3.cmml">T</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p3.4.m4.1b"><apply id="S4.SS3.p3.4.m4.1.1.cmml" xref="S4.SS3.p3.4.m4.1.1"><eq id="S4.SS3.p3.4.m4.1.1.1.cmml" xref="S4.SS3.p3.4.m4.1.1.1"></eq><ci id="S4.SS3.p3.4.m4.1.1.2.cmml" xref="S4.SS3.p3.4.m4.1.1.2">italic-ϕ</ci><apply id="S4.SS3.p3.4.m4.1.1.3.cmml" xref="S4.SS3.p3.4.m4.1.1.3"><divide id="S4.SS3.p3.4.m4.1.1.3.1.cmml" xref="S4.SS3.p3.4.m4.1.1.3.1"></divide><ci id="S4.SS3.p3.4.m4.1.1.3.2.cmml" xref="S4.SS3.p3.4.m4.1.1.3.2">𝑑</ci><ci id="S4.SS3.p3.4.m4.1.1.3.3.cmml" xref="S4.SS3.p3.4.m4.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p3.4.m4.1c">\phi=d/T</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p3.4.m4.1d">italic_ϕ = italic_d / italic_T</annotation></semantics></math> and <math alttext="\overline{\phi}:=1-\phi" class="ltx_Math" display="inline" id="S4.SS3.p3.5.m5.1"><semantics id="S4.SS3.p3.5.m5.1a"><mrow id="S4.SS3.p3.5.m5.1.1" xref="S4.SS3.p3.5.m5.1.1.cmml"><mover accent="true" id="S4.SS3.p3.5.m5.1.1.2" xref="S4.SS3.p3.5.m5.1.1.2.cmml"><mi id="S4.SS3.p3.5.m5.1.1.2.2" xref="S4.SS3.p3.5.m5.1.1.2.2.cmml">ϕ</mi><mo id="S4.SS3.p3.5.m5.1.1.2.1" xref="S4.SS3.p3.5.m5.1.1.2.1.cmml">¯</mo></mover><mo id="S4.SS3.p3.5.m5.1.1.1" lspace="0.278em" rspace="0.278em" xref="S4.SS3.p3.5.m5.1.1.1.cmml">:=</mo><mrow id="S4.SS3.p3.5.m5.1.1.3" xref="S4.SS3.p3.5.m5.1.1.3.cmml"><mn id="S4.SS3.p3.5.m5.1.1.3.2" xref="S4.SS3.p3.5.m5.1.1.3.2.cmml">1</mn><mo id="S4.SS3.p3.5.m5.1.1.3.1" xref="S4.SS3.p3.5.m5.1.1.3.1.cmml">−</mo><mi id="S4.SS3.p3.5.m5.1.1.3.3" xref="S4.SS3.p3.5.m5.1.1.3.3.cmml">ϕ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p3.5.m5.1b"><apply id="S4.SS3.p3.5.m5.1.1.cmml" xref="S4.SS3.p3.5.m5.1.1"><csymbol cd="latexml" id="S4.SS3.p3.5.m5.1.1.1.cmml" xref="S4.SS3.p3.5.m5.1.1.1">assign</csymbol><apply id="S4.SS3.p3.5.m5.1.1.2.cmml" xref="S4.SS3.p3.5.m5.1.1.2"><ci id="S4.SS3.p3.5.m5.1.1.2.1.cmml" xref="S4.SS3.p3.5.m5.1.1.2.1">¯</ci><ci id="S4.SS3.p3.5.m5.1.1.2.2.cmml" xref="S4.SS3.p3.5.m5.1.1.2.2">italic-ϕ</ci></apply><apply id="S4.SS3.p3.5.m5.1.1.3.cmml" xref="S4.SS3.p3.5.m5.1.1.3"><minus id="S4.SS3.p3.5.m5.1.1.3.1.cmml" xref="S4.SS3.p3.5.m5.1.1.3.1"></minus><cn id="S4.SS3.p3.5.m5.1.1.3.2.cmml" type="integer" xref="S4.SS3.p3.5.m5.1.1.3.2">1</cn><ci id="S4.SS3.p3.5.m5.1.1.3.3.cmml" xref="S4.SS3.p3.5.m5.1.1.3.3">italic-ϕ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p3.5.m5.1c">\overline{\phi}:=1-\phi</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p3.5.m5.1d">over¯ start_ARG italic_ϕ end_ARG := 1 - italic_ϕ</annotation></semantics></math>, it is then easy to obtain the following well-known formula</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx11"> <tbody id="S4.E12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\kappa(\lambda,T)=\frac{1}{2}\left(\lambda-\overline{\phi}+\sqrt{% (\lambda-\overline{\phi})^{2}+4\lambda}\right)." class="ltx_Math" display="inline" id="S4.E12.m1.4"><semantics id="S4.E12.m1.4a"><mrow id="S4.E12.m1.4.4.1" xref="S4.E12.m1.4.4.1.1.cmml"><mrow id="S4.E12.m1.4.4.1.1" xref="S4.E12.m1.4.4.1.1.cmml"><mrow id="S4.E12.m1.4.4.1.1.3" xref="S4.E12.m1.4.4.1.1.3.cmml"><mi id="S4.E12.m1.4.4.1.1.3.2" xref="S4.E12.m1.4.4.1.1.3.2.cmml">κ</mi><mo id="S4.E12.m1.4.4.1.1.3.1" xref="S4.E12.m1.4.4.1.1.3.1.cmml">⁢</mo><mrow id="S4.E12.m1.4.4.1.1.3.3.2" xref="S4.E12.m1.4.4.1.1.3.3.1.cmml"><mo id="S4.E12.m1.4.4.1.1.3.3.2.1" stretchy="false" xref="S4.E12.m1.4.4.1.1.3.3.1.cmml">(</mo><mi id="S4.E12.m1.2.2" xref="S4.E12.m1.2.2.cmml">λ</mi><mo id="S4.E12.m1.4.4.1.1.3.3.2.2" xref="S4.E12.m1.4.4.1.1.3.3.1.cmml">,</mo><mi id="S4.E12.m1.3.3" xref="S4.E12.m1.3.3.cmml">T</mi><mo id="S4.E12.m1.4.4.1.1.3.3.2.3" stretchy="false" xref="S4.E12.m1.4.4.1.1.3.3.1.cmml">)</mo></mrow></mrow><mo id="S4.E12.m1.4.4.1.1.2" xref="S4.E12.m1.4.4.1.1.2.cmml">=</mo><mrow id="S4.E12.m1.4.4.1.1.1" xref="S4.E12.m1.4.4.1.1.1.cmml"><mstyle displaystyle="true" id="S4.E12.m1.4.4.1.1.1.3" xref="S4.E12.m1.4.4.1.1.1.3.cmml"><mfrac id="S4.E12.m1.4.4.1.1.1.3a" xref="S4.E12.m1.4.4.1.1.1.3.cmml"><mn id="S4.E12.m1.4.4.1.1.1.3.2" xref="S4.E12.m1.4.4.1.1.1.3.2.cmml">1</mn><mn id="S4.E12.m1.4.4.1.1.1.3.3" xref="S4.E12.m1.4.4.1.1.1.3.3.cmml">2</mn></mfrac></mstyle><mo id="S4.E12.m1.4.4.1.1.1.2" xref="S4.E12.m1.4.4.1.1.1.2.cmml">⁢</mo><mrow id="S4.E12.m1.4.4.1.1.1.1.1" xref="S4.E12.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S4.E12.m1.4.4.1.1.1.1.1.2" xref="S4.E12.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E12.m1.4.4.1.1.1.1.1.1" xref="S4.E12.m1.4.4.1.1.1.1.1.1.cmml"><mrow id="S4.E12.m1.4.4.1.1.1.1.1.1.2" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.cmml"><mi id="S4.E12.m1.4.4.1.1.1.1.1.1.2.2" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.2.cmml">λ</mi><mo id="S4.E12.m1.4.4.1.1.1.1.1.1.2.1" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.1.cmml">−</mo><mover accent="true" id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.cmml"><mi id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.2" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.2.cmml">ϕ</mi><mo id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.1" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.1.cmml">¯</mo></mover></mrow><mo id="S4.E12.m1.4.4.1.1.1.1.1.1.1" xref="S4.E12.m1.4.4.1.1.1.1.1.1.1.cmml">+</mo><msqrt id="S4.E12.m1.1.1" xref="S4.E12.m1.1.1.cmml"><mrow id="S4.E12.m1.1.1.1" xref="S4.E12.m1.1.1.1.cmml"><msup id="S4.E12.m1.1.1.1.1" xref="S4.E12.m1.1.1.1.1.cmml"><mrow id="S4.E12.m1.1.1.1.1.1.1" xref="S4.E12.m1.1.1.1.1.1.1.1.cmml"><mo id="S4.E12.m1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E12.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E12.m1.1.1.1.1.1.1.1" xref="S4.E12.m1.1.1.1.1.1.1.1.cmml"><mi id="S4.E12.m1.1.1.1.1.1.1.1.2" xref="S4.E12.m1.1.1.1.1.1.1.1.2.cmml">λ</mi><mo id="S4.E12.m1.1.1.1.1.1.1.1.1" xref="S4.E12.m1.1.1.1.1.1.1.1.1.cmml">−</mo><mover accent="true" id="S4.E12.m1.1.1.1.1.1.1.1.3" xref="S4.E12.m1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E12.m1.1.1.1.1.1.1.1.3.2" xref="S4.E12.m1.1.1.1.1.1.1.1.3.2.cmml">ϕ</mi><mo id="S4.E12.m1.1.1.1.1.1.1.1.3.1" xref="S4.E12.m1.1.1.1.1.1.1.1.3.1.cmml">¯</mo></mover></mrow><mo id="S4.E12.m1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E12.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="S4.E12.m1.1.1.1.1.3" xref="S4.E12.m1.1.1.1.1.3.cmml">2</mn></msup><mo id="S4.E12.m1.1.1.1.2" xref="S4.E12.m1.1.1.1.2.cmml">+</mo><mrow id="S4.E12.m1.1.1.1.3" xref="S4.E12.m1.1.1.1.3.cmml"><mn id="S4.E12.m1.1.1.1.3.2" xref="S4.E12.m1.1.1.1.3.2.cmml">4</mn><mo id="S4.E12.m1.1.1.1.3.1" xref="S4.E12.m1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E12.m1.1.1.1.3.3" xref="S4.E12.m1.1.1.1.3.3.cmml">λ</mi></mrow></mrow></msqrt></mrow><mo id="S4.E12.m1.4.4.1.1.1.1.1.3" xref="S4.E12.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E12.m1.4.4.1.2" lspace="0em" xref="S4.E12.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E12.m1.4b"><apply id="S4.E12.m1.4.4.1.1.cmml" xref="S4.E12.m1.4.4.1"><eq id="S4.E12.m1.4.4.1.1.2.cmml" xref="S4.E12.m1.4.4.1.1.2"></eq><apply id="S4.E12.m1.4.4.1.1.3.cmml" xref="S4.E12.m1.4.4.1.1.3"><times id="S4.E12.m1.4.4.1.1.3.1.cmml" xref="S4.E12.m1.4.4.1.1.3.1"></times><ci id="S4.E12.m1.4.4.1.1.3.2.cmml" xref="S4.E12.m1.4.4.1.1.3.2">𝜅</ci><interval closure="open" id="S4.E12.m1.4.4.1.1.3.3.1.cmml" xref="S4.E12.m1.4.4.1.1.3.3.2"><ci id="S4.E12.m1.2.2.cmml" xref="S4.E12.m1.2.2">𝜆</ci><ci id="S4.E12.m1.3.3.cmml" xref="S4.E12.m1.3.3">𝑇</ci></interval></apply><apply id="S4.E12.m1.4.4.1.1.1.cmml" xref="S4.E12.m1.4.4.1.1.1"><times id="S4.E12.m1.4.4.1.1.1.2.cmml" xref="S4.E12.m1.4.4.1.1.1.2"></times><apply id="S4.E12.m1.4.4.1.1.1.3.cmml" xref="S4.E12.m1.4.4.1.1.1.3"><divide id="S4.E12.m1.4.4.1.1.1.3.1.cmml" xref="S4.E12.m1.4.4.1.1.1.3"></divide><cn id="S4.E12.m1.4.4.1.1.1.3.2.cmml" type="integer" xref="S4.E12.m1.4.4.1.1.1.3.2">1</cn><cn id="S4.E12.m1.4.4.1.1.1.3.3.cmml" type="integer" xref="S4.E12.m1.4.4.1.1.1.3.3">2</cn></apply><apply id="S4.E12.m1.4.4.1.1.1.1.1.1.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1"><plus id="S4.E12.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.1"></plus><apply id="S4.E12.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2"><minus id="S4.E12.m1.4.4.1.1.1.1.1.1.2.1.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.1"></minus><ci id="S4.E12.m1.4.4.1.1.1.1.1.1.2.2.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.2">𝜆</ci><apply id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3"><ci id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.1.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.1">¯</ci><ci id="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.2.cmml" xref="S4.E12.m1.4.4.1.1.1.1.1.1.2.3.2">italic-ϕ</ci></apply></apply><apply id="S4.E12.m1.1.1.cmml" xref="S4.E12.m1.1.1"><root id="S4.E12.m1.1.1a.cmml" xref="S4.E12.m1.1.1"></root><apply id="S4.E12.m1.1.1.1.cmml" xref="S4.E12.m1.1.1.1"><plus id="S4.E12.m1.1.1.1.2.cmml" xref="S4.E12.m1.1.1.1.2"></plus><apply id="S4.E12.m1.1.1.1.1.cmml" xref="S4.E12.m1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E12.m1.1.1.1.1.2.cmml" xref="S4.E12.m1.1.1.1.1">superscript</csymbol><apply id="S4.E12.m1.1.1.1.1.1.1.1.cmml" xref="S4.E12.m1.1.1.1.1.1.1"><minus id="S4.E12.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.E12.m1.1.1.1.1.1.1.1.1"></minus><ci id="S4.E12.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E12.m1.1.1.1.1.1.1.1.2">𝜆</ci><apply id="S4.E12.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.E12.m1.1.1.1.1.1.1.1.3"><ci id="S4.E12.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E12.m1.1.1.1.1.1.1.1.3.1">¯</ci><ci id="S4.E12.m1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E12.m1.1.1.1.1.1.1.1.3.2">italic-ϕ</ci></apply></apply><cn id="S4.E12.m1.1.1.1.1.3.cmml" type="integer" xref="S4.E12.m1.1.1.1.1.3">2</cn></apply><apply id="S4.E12.m1.1.1.1.3.cmml" xref="S4.E12.m1.1.1.1.3"><times id="S4.E12.m1.1.1.1.3.1.cmml" xref="S4.E12.m1.1.1.1.3.1"></times><cn id="S4.E12.m1.1.1.1.3.2.cmml" type="integer" xref="S4.E12.m1.1.1.1.3.2">4</cn><ci id="S4.E12.m1.1.1.1.3.3.cmml" xref="S4.E12.m1.1.1.1.3.3">𝜆</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E12.m1.4c">\displaystyle\kappa(\lambda,T)=\frac{1}{2}\left(\lambda-\overline{\phi}+\sqrt{% (\lambda-\overline{\phi})^{2}+4\lambda}\right).</annotation><annotation encoding="application/x-llamapun" id="S4.E12.m1.4d">italic_κ ( italic_λ , italic_T ) = divide start_ARG 1 end_ARG start_ARG 2 end_ARG ( italic_λ - over¯ start_ARG italic_ϕ end_ARG + square-root start_ARG ( italic_λ - over¯ start_ARG italic_ϕ end_ARG ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT + 4 italic_λ end_ARG ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(12)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.SS3.p3.6">which is reminiscent of the celebrated Marchenko-Pastur law <cite class="ltx_cite ltx_citemacro_citep">(Marčenko & Pastur, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib30" title="">1967</a>; Bai & Silverstein, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib5" title="">2010</a>)</cite>.</p> </div> <div class="ltx_para" id="S4.SS3.p4"> <p class="ltx_p" id="S4.SS3.p4.1"><span class="ltx_text ltx_font_bold" id="S4.SS3.p4.1.1">High-Dimensional Regimes.</span> We will temporarily work under the following standard assumption </p> </div> <div class="ltx_theorem ltx_theorem_assumption" id="S4.Thmtheorem3"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem3.1.1.1">Assumption 4.3</span></span><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem3.2.2">.</span> </h6> <div class="ltx_para" id="S4.Thmtheorem3.p1"> <p class="ltx_p" id="S4.Thmtheorem3.p1.9"><math alttext="\Sigma=\Sigma_{d}" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.1.m1.1"><semantics id="S4.Thmtheorem3.p1.1.m1.1a"><mrow id="S4.Thmtheorem3.p1.1.m1.1.1" xref="S4.Thmtheorem3.p1.1.m1.1.1.cmml"><mi id="S4.Thmtheorem3.p1.1.m1.1.1.2" mathvariant="normal" xref="S4.Thmtheorem3.p1.1.m1.1.1.2.cmml">Σ</mi><mo id="S4.Thmtheorem3.p1.1.m1.1.1.1" xref="S4.Thmtheorem3.p1.1.m1.1.1.1.cmml">=</mo><msub id="S4.Thmtheorem3.p1.1.m1.1.1.3" xref="S4.Thmtheorem3.p1.1.m1.1.1.3.cmml"><mi id="S4.Thmtheorem3.p1.1.m1.1.1.3.2" mathvariant="normal" xref="S4.Thmtheorem3.p1.1.m1.1.1.3.2.cmml">Σ</mi><mi id="S4.Thmtheorem3.p1.1.m1.1.1.3.3" xref="S4.Thmtheorem3.p1.1.m1.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.1.m1.1b"><apply id="S4.Thmtheorem3.p1.1.m1.1.1.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1"><eq id="S4.Thmtheorem3.p1.1.m1.1.1.1.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.1"></eq><ci id="S4.Thmtheorem3.p1.1.m1.1.1.2.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.2">Σ</ci><apply id="S4.Thmtheorem3.p1.1.m1.1.1.3.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.1.m1.1.1.3.1.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.3">subscript</csymbol><ci id="S4.Thmtheorem3.p1.1.m1.1.1.3.2.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.3.2">Σ</ci><ci id="S4.Thmtheorem3.p1.1.m1.1.1.3.3.cmml" xref="S4.Thmtheorem3.p1.1.m1.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.1.m1.1c">\Sigma=\Sigma_{d}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.1.m1.1d">roman_Σ = roman_Σ start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math> (i.e a sequence of covariance matrix indexed by the dimensionality <math alttext="d" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.2.m2.1"><semantics id="S4.Thmtheorem3.p1.2.m2.1a"><mi id="S4.Thmtheorem3.p1.2.m2.1.1" xref="S4.Thmtheorem3.p1.2.m2.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.2.m2.1b"><ci id="S4.Thmtheorem3.p1.2.m2.1.1.cmml" xref="S4.Thmtheorem3.p1.2.m2.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.2.m2.1c">d</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.2.m2.1d">italic_d</annotation></semantics></math>) has spectrum bounded away from <math alttext="0" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.3.m3.1"><semantics id="S4.Thmtheorem3.p1.3.m3.1a"><mn id="S4.Thmtheorem3.p1.3.m3.1.1" xref="S4.Thmtheorem3.p1.3.m3.1.1.cmml">0</mn><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.3.m3.1b"><cn id="S4.Thmtheorem3.p1.3.m3.1.1.cmml" type="integer" xref="S4.Thmtheorem3.p1.3.m3.1.1">0</cn></annotation-xml></semantics></math> uniformly w.r.t <math alttext="d" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.4.m4.1"><semantics id="S4.Thmtheorem3.p1.4.m4.1a"><mi id="S4.Thmtheorem3.p1.4.m4.1.1" xref="S4.Thmtheorem3.p1.4.m4.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.4.m4.1b"><ci id="S4.Thmtheorem3.p1.4.m4.1.1.cmml" xref="S4.Thmtheorem3.p1.4.m4.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.4.m4.1c">d</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.4.m4.1d">italic_d</annotation></semantics></math>. Moreover, the empirical spectral distribution <math alttext="\sum_{j=1}^{d}\delta_{\lambda_{j}}" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.5.m5.1"><semantics id="S4.Thmtheorem3.p1.5.m5.1a"><mrow id="S4.Thmtheorem3.p1.5.m5.1.1" xref="S4.Thmtheorem3.p1.5.m5.1.1.cmml"><msubsup id="S4.Thmtheorem3.p1.5.m5.1.1.1" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.cmml"><mo id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.2" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.2.cmml">∑</mo><mrow id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.cmml"><mi id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.2" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.2.cmml">j</mi><mo id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.1" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.1.cmml">=</mo><mn id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.3" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.3.cmml">1</mn></mrow><mi id="S4.Thmtheorem3.p1.5.m5.1.1.1.3" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.3.cmml">d</mi></msubsup><msub id="S4.Thmtheorem3.p1.5.m5.1.1.2" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.cmml"><mi id="S4.Thmtheorem3.p1.5.m5.1.1.2.2" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.2.cmml">δ</mi><msub id="S4.Thmtheorem3.p1.5.m5.1.1.2.3" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3.cmml"><mi id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.2" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3.2.cmml">λ</mi><mi id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.3" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3.3.cmml">j</mi></msub></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.5.m5.1b"><apply id="S4.Thmtheorem3.p1.5.m5.1.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1"><apply id="S4.Thmtheorem3.p1.5.m5.1.1.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.5.m5.1.1.1.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1">superscript</csymbol><apply id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1">subscript</csymbol><sum id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.2"></sum><apply id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3"><eq id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.1"></eq><ci id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.2">𝑗</ci><cn id="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.3.cmml" type="integer" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.2.3.3">1</cn></apply></apply><ci id="S4.Thmtheorem3.p1.5.m5.1.1.1.3.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.1.3">𝑑</ci></apply><apply id="S4.Thmtheorem3.p1.5.m5.1.1.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.5.m5.1.1.2.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2">subscript</csymbol><ci id="S4.Thmtheorem3.p1.5.m5.1.1.2.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.2">𝛿</ci><apply id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.1.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3">subscript</csymbol><ci id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.2.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3.2">𝜆</ci><ci id="S4.Thmtheorem3.p1.5.m5.1.1.2.3.3.cmml" xref="S4.Thmtheorem3.p1.5.m5.1.1.2.3.3">𝑗</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.5.m5.1c">\sum_{j=1}^{d}\delta_{\lambda_{j}}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.5.m5.1d">∑ start_POSTSUBSCRIPT italic_j = 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT italic_δ start_POSTSUBSCRIPT italic_λ start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> of <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.6.m6.1"><semantics id="S4.Thmtheorem3.p1.6.m6.1a"><mi id="S4.Thmtheorem3.p1.6.m6.1.1" mathvariant="normal" xref="S4.Thmtheorem3.p1.6.m6.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.6.m6.1b"><ci id="S4.Thmtheorem3.p1.6.m6.1.1.cmml" xref="S4.Thmtheorem3.p1.6.m6.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.6.m6.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.6.m6.1d">roman_Σ</annotation></semantics></math> converges in the limit <math alttext="d\to\infty" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.7.m7.1"><semantics id="S4.Thmtheorem3.p1.7.m7.1a"><mrow id="S4.Thmtheorem3.p1.7.m7.1.1" xref="S4.Thmtheorem3.p1.7.m7.1.1.cmml"><mi id="S4.Thmtheorem3.p1.7.m7.1.1.2" xref="S4.Thmtheorem3.p1.7.m7.1.1.2.cmml">d</mi><mo id="S4.Thmtheorem3.p1.7.m7.1.1.1" stretchy="false" xref="S4.Thmtheorem3.p1.7.m7.1.1.1.cmml">→</mo><mi id="S4.Thmtheorem3.p1.7.m7.1.1.3" mathvariant="normal" xref="S4.Thmtheorem3.p1.7.m7.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.7.m7.1b"><apply id="S4.Thmtheorem3.p1.7.m7.1.1.cmml" xref="S4.Thmtheorem3.p1.7.m7.1.1"><ci id="S4.Thmtheorem3.p1.7.m7.1.1.1.cmml" xref="S4.Thmtheorem3.p1.7.m7.1.1.1">→</ci><ci id="S4.Thmtheorem3.p1.7.m7.1.1.2.cmml" xref="S4.Thmtheorem3.p1.7.m7.1.1.2">𝑑</ci><infinity id="S4.Thmtheorem3.p1.7.m7.1.1.3.cmml" xref="S4.Thmtheorem3.p1.7.m7.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.7.m7.1c">d\to\infty</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.7.m7.1d">italic_d → ∞</annotation></semantics></math>, to a compactly-supported distribution <math alttext="\mu" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.8.m8.1"><semantics id="S4.Thmtheorem3.p1.8.m8.1a"><mi id="S4.Thmtheorem3.p1.8.m8.1.1" xref="S4.Thmtheorem3.p1.8.m8.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.8.m8.1b"><ci id="S4.Thmtheorem3.p1.8.m8.1.1.cmml" xref="S4.Thmtheorem3.p1.8.m8.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.8.m8.1c">\mu</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.8.m8.1d">italic_μ</annotation></semantics></math> on <math alttext="\mathbb{R}^{+}" class="ltx_Math" display="inline" id="S4.Thmtheorem3.p1.9.m9.1"><semantics id="S4.Thmtheorem3.p1.9.m9.1a"><msup id="S4.Thmtheorem3.p1.9.m9.1.1" xref="S4.Thmtheorem3.p1.9.m9.1.1.cmml"><mi id="S4.Thmtheorem3.p1.9.m9.1.1.2" xref="S4.Thmtheorem3.p1.9.m9.1.1.2.cmml">ℝ</mi><mo id="S4.Thmtheorem3.p1.9.m9.1.1.3" xref="S4.Thmtheorem3.p1.9.m9.1.1.3.cmml">+</mo></msup><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem3.p1.9.m9.1b"><apply id="S4.Thmtheorem3.p1.9.m9.1.1.cmml" xref="S4.Thmtheorem3.p1.9.m9.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem3.p1.9.m9.1.1.1.cmml" xref="S4.Thmtheorem3.p1.9.m9.1.1">superscript</csymbol><ci id="S4.Thmtheorem3.p1.9.m9.1.1.2.cmml" xref="S4.Thmtheorem3.p1.9.m9.1.1.2">ℝ</ci><plus id="S4.Thmtheorem3.p1.9.m9.1.1.3.cmml" xref="S4.Thmtheorem3.p1.9.m9.1.1.3"></plus></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem3.p1.9.m9.1c">\mathbb{R}^{+}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem3.p1.9.m9.1d">blackboard_R start_POSTSUPERSCRIPT + end_POSTSUPERSCRIPT</annotation></semantics></math>.</p> </div> </div> <div class="ltx_para" id="S4.SS3.p5"> <p class="ltx_p" id="S4.SS3.p5.4">Furthermore, we shall work in the following so-called proportionate asymptotic scaling which is standard in analyses based on RMT </p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx12"> <tbody id="S4.E13"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle T,d\to\infty,\quad d/T\to\phi\in(0,\infty)." class="ltx_Math" display="inline" id="S4.E13.m1.5"><semantics id="S4.E13.m1.5a"><mrow id="S4.E13.m1.5.5.1"><mrow id="S4.E13.m1.5.5.1.1.2" xref="S4.E13.m1.5.5.1.1.3.cmml"><mrow id="S4.E13.m1.5.5.1.1.1.1" xref="S4.E13.m1.5.5.1.1.1.1.cmml"><mrow id="S4.E13.m1.5.5.1.1.1.1.2.2" xref="S4.E13.m1.5.5.1.1.1.1.2.1.cmml"><mi id="S4.E13.m1.1.1" xref="S4.E13.m1.1.1.cmml">T</mi><mo id="S4.E13.m1.5.5.1.1.1.1.2.2.1" xref="S4.E13.m1.5.5.1.1.1.1.2.1.cmml">,</mo><mi id="S4.E13.m1.2.2" xref="S4.E13.m1.2.2.cmml">d</mi></mrow><mo id="S4.E13.m1.5.5.1.1.1.1.1" stretchy="false" xref="S4.E13.m1.5.5.1.1.1.1.1.cmml">→</mo><mi id="S4.E13.m1.5.5.1.1.1.1.3" mathvariant="normal" xref="S4.E13.m1.5.5.1.1.1.1.3.cmml">∞</mi></mrow><mo id="S4.E13.m1.5.5.1.1.2.3" rspace="1.167em" xref="S4.E13.m1.5.5.1.1.3a.cmml">,</mo><mrow id="S4.E13.m1.5.5.1.1.2.2" xref="S4.E13.m1.5.5.1.1.2.2.cmml"><mrow id="S4.E13.m1.5.5.1.1.2.2.2" xref="S4.E13.m1.5.5.1.1.2.2.2.cmml"><mi id="S4.E13.m1.5.5.1.1.2.2.2.2" xref="S4.E13.m1.5.5.1.1.2.2.2.2.cmml">d</mi><mo id="S4.E13.m1.5.5.1.1.2.2.2.1" xref="S4.E13.m1.5.5.1.1.2.2.2.1.cmml">/</mo><mi id="S4.E13.m1.5.5.1.1.2.2.2.3" xref="S4.E13.m1.5.5.1.1.2.2.2.3.cmml">T</mi></mrow><mo id="S4.E13.m1.5.5.1.1.2.2.3" stretchy="false" xref="S4.E13.m1.5.5.1.1.2.2.3.cmml">→</mo><mi id="S4.E13.m1.5.5.1.1.2.2.4" xref="S4.E13.m1.5.5.1.1.2.2.4.cmml">ϕ</mi><mo id="S4.E13.m1.5.5.1.1.2.2.5" xref="S4.E13.m1.5.5.1.1.2.2.5.cmml">∈</mo><mrow id="S4.E13.m1.5.5.1.1.2.2.6.2" xref="S4.E13.m1.5.5.1.1.2.2.6.1.cmml"><mo id="S4.E13.m1.5.5.1.1.2.2.6.2.1" stretchy="false" xref="S4.E13.m1.5.5.1.1.2.2.6.1.cmml">(</mo><mn id="S4.E13.m1.3.3" xref="S4.E13.m1.3.3.cmml">0</mn><mo id="S4.E13.m1.5.5.1.1.2.2.6.2.2" xref="S4.E13.m1.5.5.1.1.2.2.6.1.cmml">,</mo><mi id="S4.E13.m1.4.4" mathvariant="normal" xref="S4.E13.m1.4.4.cmml">∞</mi><mo id="S4.E13.m1.5.5.1.1.2.2.6.2.3" stretchy="false" xref="S4.E13.m1.5.5.1.1.2.2.6.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E13.m1.5.5.1.2" lspace="0em">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E13.m1.5b"><apply id="S4.E13.m1.5.5.1.1.3.cmml" xref="S4.E13.m1.5.5.1.1.2"><csymbol cd="ambiguous" id="S4.E13.m1.5.5.1.1.3a.cmml" xref="S4.E13.m1.5.5.1.1.2.3">formulae-sequence</csymbol><apply id="S4.E13.m1.5.5.1.1.1.1.cmml" xref="S4.E13.m1.5.5.1.1.1.1"><ci id="S4.E13.m1.5.5.1.1.1.1.1.cmml" xref="S4.E13.m1.5.5.1.1.1.1.1">→</ci><list id="S4.E13.m1.5.5.1.1.1.1.2.1.cmml" xref="S4.E13.m1.5.5.1.1.1.1.2.2"><ci id="S4.E13.m1.1.1.cmml" xref="S4.E13.m1.1.1">𝑇</ci><ci id="S4.E13.m1.2.2.cmml" xref="S4.E13.m1.2.2">𝑑</ci></list><infinity id="S4.E13.m1.5.5.1.1.1.1.3.cmml" xref="S4.E13.m1.5.5.1.1.1.1.3"></infinity></apply><apply id="S4.E13.m1.5.5.1.1.2.2.cmml" xref="S4.E13.m1.5.5.1.1.2.2"><and id="S4.E13.m1.5.5.1.1.2.2a.cmml" xref="S4.E13.m1.5.5.1.1.2.2"></and><apply id="S4.E13.m1.5.5.1.1.2.2b.cmml" xref="S4.E13.m1.5.5.1.1.2.2"><ci id="S4.E13.m1.5.5.1.1.2.2.3.cmml" xref="S4.E13.m1.5.5.1.1.2.2.3">→</ci><apply id="S4.E13.m1.5.5.1.1.2.2.2.cmml" xref="S4.E13.m1.5.5.1.1.2.2.2"><divide id="S4.E13.m1.5.5.1.1.2.2.2.1.cmml" xref="S4.E13.m1.5.5.1.1.2.2.2.1"></divide><ci id="S4.E13.m1.5.5.1.1.2.2.2.2.cmml" xref="S4.E13.m1.5.5.1.1.2.2.2.2">𝑑</ci><ci id="S4.E13.m1.5.5.1.1.2.2.2.3.cmml" xref="S4.E13.m1.5.5.1.1.2.2.2.3">𝑇</ci></apply><ci id="S4.E13.m1.5.5.1.1.2.2.4.cmml" xref="S4.E13.m1.5.5.1.1.2.2.4">italic-ϕ</ci></apply><apply id="S4.E13.m1.5.5.1.1.2.2c.cmml" xref="S4.E13.m1.5.5.1.1.2.2"><in id="S4.E13.m1.5.5.1.1.2.2.5.cmml" xref="S4.E13.m1.5.5.1.1.2.2.5"></in><share href="#S4.E13.m1.5.5.1.1.2.2.4.cmml" id="S4.E13.m1.5.5.1.1.2.2d.cmml" xref="S4.E13.m1.5.5.1.1.2.2"></share><interval closure="open" id="S4.E13.m1.5.5.1.1.2.2.6.1.cmml" xref="S4.E13.m1.5.5.1.1.2.2.6.2"><cn id="S4.E13.m1.3.3.cmml" type="integer" xref="S4.E13.m1.3.3">0</cn><infinity id="S4.E13.m1.4.4.cmml" xref="S4.E13.m1.4.4"></infinity></interval></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E13.m1.5c">\displaystyle T,d\to\infty,\quad d/T\to\phi\in(0,\infty).</annotation><annotation encoding="application/x-llamapun" id="S4.E13.m1.5d">italic_T , italic_d → ∞ , italic_d / italic_T → italic_ϕ ∈ ( 0 , ∞ ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(13)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.SS3.p5.3">Later in Section <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5" title="5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a> when we consider power-law spectra, this scaling will be extended to account for more realistic case where <math alttext="d" class="ltx_Math" display="inline" id="S4.SS3.p5.1.m1.1"><semantics id="S4.SS3.p5.1.m1.1a"><mi id="S4.SS3.p5.1.m1.1.1" xref="S4.SS3.p5.1.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p5.1.m1.1b"><ci id="S4.SS3.p5.1.m1.1.1.cmml" xref="S4.SS3.p5.1.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p5.1.m1.1c">d</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p5.1.m1.1d">italic_d</annotation></semantics></math> and <math alttext="T" class="ltx_Math" display="inline" id="S4.SS3.p5.2.m2.1"><semantics id="S4.SS3.p5.2.m2.1a"><mi id="S4.SS3.p5.2.m2.1.1" xref="S4.SS3.p5.2.m2.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S4.SS3.p5.2.m2.1b"><ci id="S4.SS3.p5.2.m2.1.1.cmml" xref="S4.SS3.p5.2.m2.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p5.2.m2.1c">T</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p5.2.m2.1d">italic_T</annotation></semantics></math> are allowed to be polynomial in one order, <span class="ltx_inline-block ltx_framed_rectangle" id="S4.SS3.p5.3.1" style="border-color: black;"> <span class="ltx_p" id="S4.SS3.p5.3.1.2"><span class="ltx_text ltx_font_bold" id="S4.SS3.p5.3.1.2.1">Polynomial Scaling Regime.</span></span> <span class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx13"> <span id="S4.E14"><span class="ltx_equation ltx_eqn_row ltx_align_baseline"> <span class="ltx_eqn_cell ltx_eqn_center_padleft"></span> <span class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle T,d\to\infty,\quad d^{1/C}\lesssim T\lesssim d^{C}," class="ltx_Math" display="inline" id="S4.E14.m1.3"><semantics id="S4.E14.m1.3a"><mrow id="S4.E14.m1.3.3.1"><mrow id="S4.E14.m1.3.3.1.1.2" xref="S4.E14.m1.3.3.1.1.3.cmml"><mrow id="S4.E14.m1.3.3.1.1.1.1" xref="S4.E14.m1.3.3.1.1.1.1.cmml"><mrow id="S4.E14.m1.3.3.1.1.1.1.2.2" xref="S4.E14.m1.3.3.1.1.1.1.2.1.cmml"><mi id="S4.E14.m1.1.1" xref="S4.E14.m1.1.1.cmml">T</mi><mo id="S4.E14.m1.3.3.1.1.1.1.2.2.1" xref="S4.E14.m1.3.3.1.1.1.1.2.1.cmml">,</mo><mi id="S4.E14.m1.2.2" xref="S4.E14.m1.2.2.cmml">d</mi></mrow><mo id="S4.E14.m1.3.3.1.1.1.1.1" stretchy="false" xref="S4.E14.m1.3.3.1.1.1.1.1.cmml">→</mo><mi id="S4.E14.m1.3.3.1.1.1.1.3" mathvariant="normal" xref="S4.E14.m1.3.3.1.1.1.1.3.cmml">∞</mi></mrow><mo id="S4.E14.m1.3.3.1.1.2.3" rspace="1.167em" xref="S4.E14.m1.3.3.1.1.3a.cmml">,</mo><mrow id="S4.E14.m1.3.3.1.1.2.2" xref="S4.E14.m1.3.3.1.1.2.2.cmml"><msup id="S4.E14.m1.3.3.1.1.2.2.2" xref="S4.E14.m1.3.3.1.1.2.2.2.cmml"><mi id="S4.E14.m1.3.3.1.1.2.2.2.2" xref="S4.E14.m1.3.3.1.1.2.2.2.2.cmml">d</mi><mrow id="S4.E14.m1.3.3.1.1.2.2.2.3" xref="S4.E14.m1.3.3.1.1.2.2.2.3.cmml"><mn id="S4.E14.m1.3.3.1.1.2.2.2.3.2" xref="S4.E14.m1.3.3.1.1.2.2.2.3.2.cmml">1</mn><mo id="S4.E14.m1.3.3.1.1.2.2.2.3.1" xref="S4.E14.m1.3.3.1.1.2.2.2.3.1.cmml">/</mo><mi id="S4.E14.m1.3.3.1.1.2.2.2.3.3" xref="S4.E14.m1.3.3.1.1.2.2.2.3.3.cmml">C</mi></mrow></msup><mo id="S4.E14.m1.3.3.1.1.2.2.3" xref="S4.E14.m1.3.3.1.1.2.2.3.cmml">≲</mo><mi id="S4.E14.m1.3.3.1.1.2.2.4" xref="S4.E14.m1.3.3.1.1.2.2.4.cmml">T</mi><mo id="S4.E14.m1.3.3.1.1.2.2.5" xref="S4.E14.m1.3.3.1.1.2.2.5.cmml">≲</mo><msup id="S4.E14.m1.3.3.1.1.2.2.6" xref="S4.E14.m1.3.3.1.1.2.2.6.cmml"><mi id="S4.E14.m1.3.3.1.1.2.2.6.2" xref="S4.E14.m1.3.3.1.1.2.2.6.2.cmml">d</mi><mi id="S4.E14.m1.3.3.1.1.2.2.6.3" xref="S4.E14.m1.3.3.1.1.2.2.6.3.cmml">C</mi></msup></mrow></mrow><mo id="S4.E14.m1.3.3.1.2">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E14.m1.3b"><apply id="S4.E14.m1.3.3.1.1.3.cmml" xref="S4.E14.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="S4.E14.m1.3.3.1.1.3a.cmml" xref="S4.E14.m1.3.3.1.1.2.3">formulae-sequence</csymbol><apply id="S4.E14.m1.3.3.1.1.1.1.cmml" xref="S4.E14.m1.3.3.1.1.1.1"><ci id="S4.E14.m1.3.3.1.1.1.1.1.cmml" xref="S4.E14.m1.3.3.1.1.1.1.1">→</ci><list id="S4.E14.m1.3.3.1.1.1.1.2.1.cmml" xref="S4.E14.m1.3.3.1.1.1.1.2.2"><ci id="S4.E14.m1.1.1.cmml" xref="S4.E14.m1.1.1">𝑇</ci><ci id="S4.E14.m1.2.2.cmml" xref="S4.E14.m1.2.2">𝑑</ci></list><infinity id="S4.E14.m1.3.3.1.1.1.1.3.cmml" xref="S4.E14.m1.3.3.1.1.1.1.3"></infinity></apply><apply id="S4.E14.m1.3.3.1.1.2.2.cmml" xref="S4.E14.m1.3.3.1.1.2.2"><and id="S4.E14.m1.3.3.1.1.2.2a.cmml" xref="S4.E14.m1.3.3.1.1.2.2"></and><apply id="S4.E14.m1.3.3.1.1.2.2b.cmml" xref="S4.E14.m1.3.3.1.1.2.2"><csymbol cd="latexml" id="S4.E14.m1.3.3.1.1.2.2.3.cmml" xref="S4.E14.m1.3.3.1.1.2.2.3">less-than-or-similar-to</csymbol><apply id="S4.E14.m1.3.3.1.1.2.2.2.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2"><csymbol cd="ambiguous" id="S4.E14.m1.3.3.1.1.2.2.2.1.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2">superscript</csymbol><ci id="S4.E14.m1.3.3.1.1.2.2.2.2.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2.2">𝑑</ci><apply id="S4.E14.m1.3.3.1.1.2.2.2.3.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2.3"><divide id="S4.E14.m1.3.3.1.1.2.2.2.3.1.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2.3.1"></divide><cn id="S4.E14.m1.3.3.1.1.2.2.2.3.2.cmml" type="integer" xref="S4.E14.m1.3.3.1.1.2.2.2.3.2">1</cn><ci id="S4.E14.m1.3.3.1.1.2.2.2.3.3.cmml" xref="S4.E14.m1.3.3.1.1.2.2.2.3.3">𝐶</ci></apply></apply><ci id="S4.E14.m1.3.3.1.1.2.2.4.cmml" xref="S4.E14.m1.3.3.1.1.2.2.4">𝑇</ci></apply><apply id="S4.E14.m1.3.3.1.1.2.2c.cmml" xref="S4.E14.m1.3.3.1.1.2.2"><csymbol cd="latexml" id="S4.E14.m1.3.3.1.1.2.2.5.cmml" xref="S4.E14.m1.3.3.1.1.2.2.5">less-than-or-similar-to</csymbol><share href="#S4.E14.m1.3.3.1.1.2.2.4.cmml" id="S4.E14.m1.3.3.1.1.2.2d.cmml" xref="S4.E14.m1.3.3.1.1.2.2"></share><apply id="S4.E14.m1.3.3.1.1.2.2.6.cmml" xref="S4.E14.m1.3.3.1.1.2.2.6"><csymbol cd="ambiguous" id="S4.E14.m1.3.3.1.1.2.2.6.1.cmml" xref="S4.E14.m1.3.3.1.1.2.2.6">superscript</csymbol><ci id="S4.E14.m1.3.3.1.1.2.2.6.2.cmml" xref="S4.E14.m1.3.3.1.1.2.2.6.2">𝑑</ci><ci id="S4.E14.m1.3.3.1.1.2.2.6.3.cmml" xref="S4.E14.m1.3.3.1.1.2.2.6.3">𝐶</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E14.m1.3c">\displaystyle T,d\to\infty,\quad d^{1/C}\lesssim T\lesssim d^{C},</annotation><annotation encoding="application/x-llamapun" id="S4.E14.m1.3d">italic_T , italic_d → ∞ , italic_d start_POSTSUPERSCRIPT 1 / italic_C end_POSTSUPERSCRIPT ≲ italic_T ≲ italic_d start_POSTSUPERSCRIPT italic_C end_POSTSUPERSCRIPT ,</annotation></semantics></math></span> <span class="ltx_eqn_cell ltx_eqn_center_padright"></span> <span class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(14)</span></span></span></span> </span> <span class="ltx_p" id="S4.SS3.p5.3.1.1">for some absolute constant <math alttext="C\geq 1" class="ltx_Math" display="inline" id="S4.SS3.p5.3.1.1.m1.1"><semantics id="S4.SS3.p5.3.1.1.m1.1a"><mrow id="S4.SS3.p5.3.1.1.m1.1.1" xref="S4.SS3.p5.3.1.1.m1.1.1.cmml"><mi id="S4.SS3.p5.3.1.1.m1.1.1.2" xref="S4.SS3.p5.3.1.1.m1.1.1.2.cmml">C</mi><mo id="S4.SS3.p5.3.1.1.m1.1.1.1" xref="S4.SS3.p5.3.1.1.m1.1.1.1.cmml">≥</mo><mn id="S4.SS3.p5.3.1.1.m1.1.1.3" xref="S4.SS3.p5.3.1.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.SS3.p5.3.1.1.m1.1b"><apply id="S4.SS3.p5.3.1.1.m1.1.1.cmml" xref="S4.SS3.p5.3.1.1.m1.1.1"><geq id="S4.SS3.p5.3.1.1.m1.1.1.1.cmml" xref="S4.SS3.p5.3.1.1.m1.1.1.1"></geq><ci id="S4.SS3.p5.3.1.1.m1.1.1.2.cmml" xref="S4.SS3.p5.3.1.1.m1.1.1.2">𝐶</ci><cn id="S4.SS3.p5.3.1.1.m1.1.1.3.cmml" type="integer" xref="S4.SS3.p5.3.1.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS3.p5.3.1.1.m1.1c">C\geq 1</annotation><annotation encoding="application/x-llamapun" id="S4.SS3.p5.3.1.1.m1.1d">italic_C ≥ 1</annotation></semantics></math>.</span> </span> RMT in such non-proportionate settings are covered by the theory developed in <cite class="ltx_cite ltx_citemacro_citep">(Knowles & Yin, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib23" title="">2017</a>; Wei et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib46" title="">2022</a>)</cite>.</p> </div> <div class="ltx_para" id="S4.SS3.p6"> <p class="ltx_p" id="S4.SS3.p6.1"><span class="ltx_text ltx_font_bold" id="S4.SS3.p6.1.1">Bias-Variance Decomposition.</span> With everything now in place, let us recall for later use, the following classical bias-variance decomposition for ridge regression (for example, see <cite class="ltx_cite ltx_citemacro_citet">Richards et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib37" title="">2021</a>); Hastie et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib20" title="">2022</a>); Bach (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib4" title="">2023</a>)</cite>)</p> </div> <div class="ltx_theorem ltx_theorem_proposition" id="S4.Thmtheorem4"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem4.1.1.1">Proposition 4.4</span></span><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem4.2.2">.</span> </h6> <div class="ltx_para" id="S4.Thmtheorem4.p1"> <p class="ltx_p" id="S4.Thmtheorem4.p1.3"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem4.p1.3.3">Under Assumption <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem3" title="Assumption 4.3. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.3</span></a>, in the limit (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E13" title="13 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">13</span></a>) the test error of a ridge predictor <math alttext="w(\lambda)" class="ltx_Math" display="inline" id="S4.Thmtheorem4.p1.1.1.m1.1"><semantics id="S4.Thmtheorem4.p1.1.1.m1.1a"><mrow id="S4.Thmtheorem4.p1.1.1.m1.1.2" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.cmml"><mi id="S4.Thmtheorem4.p1.1.1.m1.1.2.2" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.2.cmml">w</mi><mo id="S4.Thmtheorem4.p1.1.1.m1.1.2.1" mathvariant="italic" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.1.cmml">⁢</mo><mrow id="S4.Thmtheorem4.p1.1.1.m1.1.2.3.2" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.cmml"><mo id="S4.Thmtheorem4.p1.1.1.m1.1.2.3.2.1" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.cmml">(</mo><mi id="S4.Thmtheorem4.p1.1.1.m1.1.1" xref="S4.Thmtheorem4.p1.1.1.m1.1.1.cmml">λ</mi><mo id="S4.Thmtheorem4.p1.1.1.m1.1.2.3.2.2" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem4.p1.1.1.m1.1b"><apply id="S4.Thmtheorem4.p1.1.1.m1.1.2.cmml" xref="S4.Thmtheorem4.p1.1.1.m1.1.2"><times id="S4.Thmtheorem4.p1.1.1.m1.1.2.1.cmml" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.1"></times><ci id="S4.Thmtheorem4.p1.1.1.m1.1.2.2.cmml" xref="S4.Thmtheorem4.p1.1.1.m1.1.2.2">𝑤</ci><ci id="S4.Thmtheorem4.p1.1.1.m1.1.1.cmml" xref="S4.Thmtheorem4.p1.1.1.m1.1.1">𝜆</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem4.p1.1.1.m1.1c">w(\lambda)</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem4.p1.1.1.m1.1d">italic_w ( italic_λ )</annotation></semantics></math> based on <math alttext="T" class="ltx_Math" display="inline" id="S4.Thmtheorem4.p1.2.2.m2.1"><semantics id="S4.Thmtheorem4.p1.2.2.m2.1a"><mi id="S4.Thmtheorem4.p1.2.2.m2.1.1" xref="S4.Thmtheorem4.p1.2.2.m2.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem4.p1.2.2.m2.1b"><ci id="S4.Thmtheorem4.p1.2.2.m2.1.1.cmml" xref="S4.Thmtheorem4.p1.2.2.m2.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem4.p1.2.2.m2.1c">T</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem4.p1.2.2.m2.1d">italic_T</annotation></semantics></math> iid samples from the true data distribution <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S4.Thmtheorem4.p1.3.3.m3.3"><semantics id="S4.Thmtheorem4.p1.3.3.m3.3a"><msub id="S4.Thmtheorem4.p1.3.3.m3.3.4" xref="S4.Thmtheorem4.p1.3.3.m3.3.4.cmml"><mi id="S4.Thmtheorem4.p1.3.3.m3.3.4.2" xref="S4.Thmtheorem4.p1.3.3.m3.3.4.2.cmml">P</mi><mrow id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.4.cmml"><mi id="S4.Thmtheorem4.p1.3.3.m3.1.1.1.1" mathvariant="normal" xref="S4.Thmtheorem4.p1.3.3.m3.1.1.1.1.cmml">Σ</mi><mo id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.3" mathvariant="normal" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.4.cmml">,</mo><msub id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.cmml"><mi id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.2" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.2.cmml">w</mi><mn id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.3" mathvariant="normal" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.4" mathvariant="normal" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.4.cmml">,</mo><msup id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.cmml"><mi id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.2" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.2.cmml">σ</mi><mn id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.3" mathvariant="normal" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem4.p1.3.3.m3.3b"><apply id="S4.Thmtheorem4.p1.3.3.m3.3.4.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.4"><csymbol cd="ambiguous" id="S4.Thmtheorem4.p1.3.3.m3.3.4.1.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.4">subscript</csymbol><ci id="S4.Thmtheorem4.p1.3.3.m3.3.4.2.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.4.2">𝑃</ci><list id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.4.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3"><ci id="S4.Thmtheorem4.p1.3.3.m3.1.1.1.1.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.1.1.1.1">normal-Σ</ci><apply id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1"><csymbol cd="ambiguous" id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.1.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1">subscript</csymbol><ci id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.2.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.2">𝑤</ci><cn id="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.3.cmml" type="integer" xref="S4.Thmtheorem4.p1.3.3.m3.2.2.2.2.1.3">0</cn></apply><apply id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2"><csymbol cd="ambiguous" id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.1.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2">superscript</csymbol><ci id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.2.cmml" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.2">𝜎</ci><cn id="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.3.cmml" type="integer" xref="S4.Thmtheorem4.p1.3.3.m3.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem4.p1.3.3.m3.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem4.p1.3.3.m3.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math> is given by</span></p> <table class="ltx_equationgroup ltx_eqn_align ltx_eqn_table" id="A3.EGx14"> <tbody id="S4.E15"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(w(\lambda))" class="ltx_Math" display="inline" id="S4.E15.m1.2"><semantics id="S4.E15.m1.2a"><mrow id="S4.E15.m1.2.2" xref="S4.E15.m1.2.2.cmml"><msub id="S4.E15.m1.2.2.3" xref="S4.E15.m1.2.2.3.cmml"><mi id="S4.E15.m1.2.2.3.2" xref="S4.E15.m1.2.2.3.2.cmml">E</mi><mrow id="S4.E15.m1.2.2.3.3" xref="S4.E15.m1.2.2.3.3.cmml"><mi id="S4.E15.m1.2.2.3.3.2" xref="S4.E15.m1.2.2.3.3.2.cmml">t</mi><mo id="S4.E15.m1.2.2.3.3.1" xref="S4.E15.m1.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E15.m1.2.2.3.3.3" xref="S4.E15.m1.2.2.3.3.3.cmml">e</mi><mo id="S4.E15.m1.2.2.3.3.1a" xref="S4.E15.m1.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E15.m1.2.2.3.3.4" xref="S4.E15.m1.2.2.3.3.4.cmml">s</mi><mo id="S4.E15.m1.2.2.3.3.1b" xref="S4.E15.m1.2.2.3.3.1.cmml">⁢</mo><mi id="S4.E15.m1.2.2.3.3.5" xref="S4.E15.m1.2.2.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E15.m1.2.2.2" xref="S4.E15.m1.2.2.2.cmml">⁢</mo><mrow id="S4.E15.m1.2.2.1.1" xref="S4.E15.m1.2.2.1.1.1.cmml"><mo id="S4.E15.m1.2.2.1.1.2" stretchy="false" xref="S4.E15.m1.2.2.1.1.1.cmml">(</mo><mrow id="S4.E15.m1.2.2.1.1.1" xref="S4.E15.m1.2.2.1.1.1.cmml"><mi id="S4.E15.m1.2.2.1.1.1.2" xref="S4.E15.m1.2.2.1.1.1.2.cmml">w</mi><mo id="S4.E15.m1.2.2.1.1.1.1" xref="S4.E15.m1.2.2.1.1.1.1.cmml">⁢</mo><mrow id="S4.E15.m1.2.2.1.1.1.3.2" xref="S4.E15.m1.2.2.1.1.1.cmml"><mo id="S4.E15.m1.2.2.1.1.1.3.2.1" stretchy="false" xref="S4.E15.m1.2.2.1.1.1.cmml">(</mo><mi id="S4.E15.m1.1.1" xref="S4.E15.m1.1.1.cmml">λ</mi><mo id="S4.E15.m1.2.2.1.1.1.3.2.2" stretchy="false" xref="S4.E15.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E15.m1.2.2.1.1.3" stretchy="false" xref="S4.E15.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.E15.m1.2b"><apply id="S4.E15.m1.2.2.cmml" xref="S4.E15.m1.2.2"><times id="S4.E15.m1.2.2.2.cmml" xref="S4.E15.m1.2.2.2"></times><apply id="S4.E15.m1.2.2.3.cmml" xref="S4.E15.m1.2.2.3"><csymbol cd="ambiguous" id="S4.E15.m1.2.2.3.1.cmml" xref="S4.E15.m1.2.2.3">subscript</csymbol><ci id="S4.E15.m1.2.2.3.2.cmml" xref="S4.E15.m1.2.2.3.2">𝐸</ci><apply id="S4.E15.m1.2.2.3.3.cmml" xref="S4.E15.m1.2.2.3.3"><times id="S4.E15.m1.2.2.3.3.1.cmml" xref="S4.E15.m1.2.2.3.3.1"></times><ci id="S4.E15.m1.2.2.3.3.2.cmml" xref="S4.E15.m1.2.2.3.3.2">𝑡</ci><ci id="S4.E15.m1.2.2.3.3.3.cmml" xref="S4.E15.m1.2.2.3.3.3">𝑒</ci><ci id="S4.E15.m1.2.2.3.3.4.cmml" xref="S4.E15.m1.2.2.3.3.4">𝑠</ci><ci id="S4.E15.m1.2.2.3.3.5.cmml" xref="S4.E15.m1.2.2.3.3.5">𝑡</ci></apply></apply><apply id="S4.E15.m1.2.2.1.1.1.cmml" xref="S4.E15.m1.2.2.1.1"><times id="S4.E15.m1.2.2.1.1.1.1.cmml" xref="S4.E15.m1.2.2.1.1.1.1"></times><ci id="S4.E15.m1.2.2.1.1.1.2.cmml" xref="S4.E15.m1.2.2.1.1.1.2">𝑤</ci><ci id="S4.E15.m1.1.1.cmml" xref="S4.E15.m1.1.1">𝜆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E15.m1.2c">\displaystyle E_{test}(w(\lambda))</annotation><annotation encoding="application/x-llamapun" id="S4.E15.m1.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( italic_w ( italic_λ ) )</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle=\mathbb{E}\,\|w(\lambda)-w_{0}\|_{\Sigma}^{2}\simeq Bias+Var," class="ltx_Math" display="inline" id="S4.E15.m2.2"><semantics id="S4.E15.m2.2a"><mrow id="S4.E15.m2.2.2.1" xref="S4.E15.m2.2.2.1.1.cmml"><mrow id="S4.E15.m2.2.2.1.1" xref="S4.E15.m2.2.2.1.1.cmml"><mi id="S4.E15.m2.2.2.1.1.3" xref="S4.E15.m2.2.2.1.1.3.cmml"></mi><mo id="S4.E15.m2.2.2.1.1.4" xref="S4.E15.m2.2.2.1.1.4.cmml">=</mo><mrow id="S4.E15.m2.2.2.1.1.1" xref="S4.E15.m2.2.2.1.1.1.cmml"><mi id="S4.E15.m2.2.2.1.1.1.3" xref="S4.E15.m2.2.2.1.1.1.3.cmml">𝔼</mi><mo id="S4.E15.m2.2.2.1.1.1.2" lspace="0.170em" xref="S4.E15.m2.2.2.1.1.1.2.cmml">⁢</mo><msubsup id="S4.E15.m2.2.2.1.1.1.1" xref="S4.E15.m2.2.2.1.1.1.1.cmml"><mrow id="S4.E15.m2.2.2.1.1.1.1.1.1.1" xref="S4.E15.m2.2.2.1.1.1.1.1.1.2.cmml"><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E15.m2.2.2.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.cmml"><mrow id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.cmml"><mi id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.2" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.2.cmml">w</mi><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.1" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><mrow id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.3.2" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.cmml"><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.3.2.1" stretchy="false" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.cmml">(</mo><mi id="S4.E15.m2.1.1" xref="S4.E15.m2.1.1.cmml">λ</mi><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.3.2.2" stretchy="false" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.1" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.1.cmml">−</mo><msub id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.2" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.2.cmml">w</mi><mn id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.3" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="S4.E15.m2.2.2.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E15.m2.2.2.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S4.E15.m2.2.2.1.1.1.1.1.3" mathvariant="normal" xref="S4.E15.m2.2.2.1.1.1.1.1.3.cmml">Σ</mi><mn id="S4.E15.m2.2.2.1.1.1.1.3" xref="S4.E15.m2.2.2.1.1.1.1.3.cmml">2</mn></msubsup></mrow><mo id="S4.E15.m2.2.2.1.1.5" xref="S4.E15.m2.2.2.1.1.5.cmml">≃</mo><mrow id="S4.E15.m2.2.2.1.1.6" xref="S4.E15.m2.2.2.1.1.6.cmml"><mrow id="S4.E15.m2.2.2.1.1.6.2" xref="S4.E15.m2.2.2.1.1.6.2.cmml"><mi id="S4.E15.m2.2.2.1.1.6.2.2" xref="S4.E15.m2.2.2.1.1.6.2.2.cmml">B</mi><mo id="S4.E15.m2.2.2.1.1.6.2.1" xref="S4.E15.m2.2.2.1.1.6.2.1.cmml">⁢</mo><mi id="S4.E15.m2.2.2.1.1.6.2.3" xref="S4.E15.m2.2.2.1.1.6.2.3.cmml">i</mi><mo id="S4.E15.m2.2.2.1.1.6.2.1a" xref="S4.E15.m2.2.2.1.1.6.2.1.cmml">⁢</mo><mi id="S4.E15.m2.2.2.1.1.6.2.4" xref="S4.E15.m2.2.2.1.1.6.2.4.cmml">a</mi><mo id="S4.E15.m2.2.2.1.1.6.2.1b" xref="S4.E15.m2.2.2.1.1.6.2.1.cmml">⁢</mo><mi id="S4.E15.m2.2.2.1.1.6.2.5" xref="S4.E15.m2.2.2.1.1.6.2.5.cmml">s</mi></mrow><mo id="S4.E15.m2.2.2.1.1.6.1" xref="S4.E15.m2.2.2.1.1.6.1.cmml">+</mo><mrow id="S4.E15.m2.2.2.1.1.6.3" xref="S4.E15.m2.2.2.1.1.6.3.cmml"><mi id="S4.E15.m2.2.2.1.1.6.3.2" xref="S4.E15.m2.2.2.1.1.6.3.2.cmml">V</mi><mo id="S4.E15.m2.2.2.1.1.6.3.1" xref="S4.E15.m2.2.2.1.1.6.3.1.cmml">⁢</mo><mi id="S4.E15.m2.2.2.1.1.6.3.3" xref="S4.E15.m2.2.2.1.1.6.3.3.cmml">a</mi><mo id="S4.E15.m2.2.2.1.1.6.3.1a" xref="S4.E15.m2.2.2.1.1.6.3.1.cmml">⁢</mo><mi id="S4.E15.m2.2.2.1.1.6.3.4" xref="S4.E15.m2.2.2.1.1.6.3.4.cmml">r</mi></mrow></mrow></mrow><mo id="S4.E15.m2.2.2.1.2" xref="S4.E15.m2.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E15.m2.2b"><apply id="S4.E15.m2.2.2.1.1.cmml" xref="S4.E15.m2.2.2.1"><and id="S4.E15.m2.2.2.1.1a.cmml" xref="S4.E15.m2.2.2.1"></and><apply id="S4.E15.m2.2.2.1.1b.cmml" xref="S4.E15.m2.2.2.1"><eq id="S4.E15.m2.2.2.1.1.4.cmml" xref="S4.E15.m2.2.2.1.1.4"></eq><csymbol cd="latexml" id="S4.E15.m2.2.2.1.1.3.cmml" xref="S4.E15.m2.2.2.1.1.3">absent</csymbol><apply id="S4.E15.m2.2.2.1.1.1.cmml" xref="S4.E15.m2.2.2.1.1.1"><times id="S4.E15.m2.2.2.1.1.1.2.cmml" xref="S4.E15.m2.2.2.1.1.1.2"></times><ci id="S4.E15.m2.2.2.1.1.1.3.cmml" xref="S4.E15.m2.2.2.1.1.1.3">𝔼</ci><apply id="S4.E15.m2.2.2.1.1.1.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E15.m2.2.2.1.1.1.1.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1">superscript</csymbol><apply id="S4.E15.m2.2.2.1.1.1.1.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E15.m2.2.2.1.1.1.1.1.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1">subscript</csymbol><apply id="S4.E15.m2.2.2.1.1.1.1.1.1.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E15.m2.2.2.1.1.1.1.1.1.2.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1"><minus id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.1"></minus><apply id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2"><times id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.1"></times><ci id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.2.2">𝑤</ci><ci id="S4.E15.m2.1.1.cmml" xref="S4.E15.m2.1.1">𝜆</ci></apply><apply id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.2">𝑤</ci><cn id="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.3.cmml" type="integer" xref="S4.E15.m2.2.2.1.1.1.1.1.1.1.1.3.3">0</cn></apply></apply></apply><ci id="S4.E15.m2.2.2.1.1.1.1.1.3.cmml" xref="S4.E15.m2.2.2.1.1.1.1.1.3">Σ</ci></apply><cn id="S4.E15.m2.2.2.1.1.1.1.3.cmml" type="integer" xref="S4.E15.m2.2.2.1.1.1.1.3">2</cn></apply></apply></apply><apply id="S4.E15.m2.2.2.1.1c.cmml" xref="S4.E15.m2.2.2.1"><csymbol cd="latexml" id="S4.E15.m2.2.2.1.1.5.cmml" xref="S4.E15.m2.2.2.1.1.5">similar-to-or-equals</csymbol><share href="#S4.E15.m2.2.2.1.1.1.cmml" id="S4.E15.m2.2.2.1.1d.cmml" xref="S4.E15.m2.2.2.1"></share><apply id="S4.E15.m2.2.2.1.1.6.cmml" xref="S4.E15.m2.2.2.1.1.6"><plus id="S4.E15.m2.2.2.1.1.6.1.cmml" xref="S4.E15.m2.2.2.1.1.6.1"></plus><apply id="S4.E15.m2.2.2.1.1.6.2.cmml" xref="S4.E15.m2.2.2.1.1.6.2"><times id="S4.E15.m2.2.2.1.1.6.2.1.cmml" xref="S4.E15.m2.2.2.1.1.6.2.1"></times><ci id="S4.E15.m2.2.2.1.1.6.2.2.cmml" xref="S4.E15.m2.2.2.1.1.6.2.2">𝐵</ci><ci id="S4.E15.m2.2.2.1.1.6.2.3.cmml" xref="S4.E15.m2.2.2.1.1.6.2.3">𝑖</ci><ci id="S4.E15.m2.2.2.1.1.6.2.4.cmml" xref="S4.E15.m2.2.2.1.1.6.2.4">𝑎</ci><ci id="S4.E15.m2.2.2.1.1.6.2.5.cmml" xref="S4.E15.m2.2.2.1.1.6.2.5">𝑠</ci></apply><apply id="S4.E15.m2.2.2.1.1.6.3.cmml" xref="S4.E15.m2.2.2.1.1.6.3"><times id="S4.E15.m2.2.2.1.1.6.3.1.cmml" xref="S4.E15.m2.2.2.1.1.6.3.1"></times><ci id="S4.E15.m2.2.2.1.1.6.3.2.cmml" xref="S4.E15.m2.2.2.1.1.6.3.2">𝑉</ci><ci id="S4.E15.m2.2.2.1.1.6.3.3.cmml" xref="S4.E15.m2.2.2.1.1.6.3.3">𝑎</ci><ci id="S4.E15.m2.2.2.1.1.6.3.4.cmml" xref="S4.E15.m2.2.2.1.1.6.3.4">𝑟</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E15.m2.2c">\displaystyle=\mathbb{E}\,\|w(\lambda)-w_{0}\|_{\Sigma}^{2}\simeq Bias+Var,</annotation><annotation encoding="application/x-llamapun" id="S4.E15.m2.2d">= blackboard_E ∥ italic_w ( italic_λ ) - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ≃ italic_B italic_i italic_a italic_s + italic_V italic_a italic_r ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(15)</span></td> </tr></tbody> <tbody id="S4.E16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Bias" class="ltx_Math" display="inline" id="S4.E16.m1.1"><semantics id="S4.E16.m1.1a"><mrow id="S4.E16.m1.1.1" xref="S4.E16.m1.1.1.cmml"><mi id="S4.E16.m1.1.1.2" xref="S4.E16.m1.1.1.2.cmml">B</mi><mo id="S4.E16.m1.1.1.1" xref="S4.E16.m1.1.1.1.cmml">⁢</mo><mi id="S4.E16.m1.1.1.3" xref="S4.E16.m1.1.1.3.cmml">i</mi><mo id="S4.E16.m1.1.1.1a" xref="S4.E16.m1.1.1.1.cmml">⁢</mo><mi id="S4.E16.m1.1.1.4" xref="S4.E16.m1.1.1.4.cmml">a</mi><mo id="S4.E16.m1.1.1.1b" xref="S4.E16.m1.1.1.1.cmml">⁢</mo><mi id="S4.E16.m1.1.1.5" xref="S4.E16.m1.1.1.5.cmml">s</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.E16.m1.1b"><apply id="S4.E16.m1.1.1.cmml" xref="S4.E16.m1.1.1"><times id="S4.E16.m1.1.1.1.cmml" xref="S4.E16.m1.1.1.1"></times><ci id="S4.E16.m1.1.1.2.cmml" xref="S4.E16.m1.1.1.2">𝐵</ci><ci id="S4.E16.m1.1.1.3.cmml" xref="S4.E16.m1.1.1.3">𝑖</ci><ci id="S4.E16.m1.1.1.4.cmml" xref="S4.E16.m1.1.1.4">𝑎</ci><ci id="S4.E16.m1.1.1.5.cmml" xref="S4.E16.m1.1.1.5">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E16.m1.1c">\displaystyle Bias</annotation><annotation encoding="application/x-llamapun" id="S4.E16.m1.1d">italic_B italic_i italic_a italic_s</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\frac{\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa I)^{-2}w_{% 0}}{{1-\mathrm{df}_{2}(\kappa)/T}}," class="ltx_Math" display="inline" id="S4.E16.m2.3"><semantics id="S4.E16.m2.3a"><mrow id="S4.E16.m2.3.3.1" xref="S4.E16.m2.3.3.1.1.cmml"><mrow id="S4.E16.m2.3.3.1.1" xref="S4.E16.m2.3.3.1.1.cmml"><mi id="S4.E16.m2.3.3.1.1.2" xref="S4.E16.m2.3.3.1.1.2.cmml"></mi><mo id="S4.E16.m2.3.3.1.1.1" xref="S4.E16.m2.3.3.1.1.1.cmml">≃</mo><mstyle displaystyle="true" id="S4.E16.m2.2.2" xref="S4.E16.m2.2.2.cmml"><mfrac id="S4.E16.m2.2.2a" xref="S4.E16.m2.2.2.cmml"><mrow id="S4.E16.m2.1.1.1" xref="S4.E16.m2.1.1.1.cmml"><msup id="S4.E16.m2.1.1.1.3" xref="S4.E16.m2.1.1.1.3.cmml"><mi id="S4.E16.m2.1.1.1.3.2" xref="S4.E16.m2.1.1.1.3.2.cmml">κ</mi><mn id="S4.E16.m2.1.1.1.3.3" xref="S4.E16.m2.1.1.1.3.3.cmml">2</mn></msup><mo id="S4.E16.m2.1.1.1.2" xref="S4.E16.m2.1.1.1.2.cmml">⁢</mo><msubsup id="S4.E16.m2.1.1.1.4" xref="S4.E16.m2.1.1.1.4.cmml"><mi id="S4.E16.m2.1.1.1.4.2.2" xref="S4.E16.m2.1.1.1.4.2.2.cmml">w</mi><mn id="S4.E16.m2.1.1.1.4.2.3" xref="S4.E16.m2.1.1.1.4.2.3.cmml">0</mn><mo id="S4.E16.m2.1.1.1.4.3" xref="S4.E16.m2.1.1.1.4.3.cmml">⊤</mo></msubsup><mo id="S4.E16.m2.1.1.1.2a" xref="S4.E16.m2.1.1.1.2.cmml">⁢</mo><mi id="S4.E16.m2.1.1.1.5" mathvariant="normal" xref="S4.E16.m2.1.1.1.5.cmml">Σ</mi><mo id="S4.E16.m2.1.1.1.2b" xref="S4.E16.m2.1.1.1.2.cmml">⁢</mo><msup id="S4.E16.m2.1.1.1.1" xref="S4.E16.m2.1.1.1.1.cmml"><mrow id="S4.E16.m2.1.1.1.1.1.1" xref="S4.E16.m2.1.1.1.1.1.1.1.cmml"><mo id="S4.E16.m2.1.1.1.1.1.1.2" stretchy="false" xref="S4.E16.m2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E16.m2.1.1.1.1.1.1.1" xref="S4.E16.m2.1.1.1.1.1.1.1.cmml"><mi id="S4.E16.m2.1.1.1.1.1.1.1.2" mathvariant="normal" xref="S4.E16.m2.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="S4.E16.m2.1.1.1.1.1.1.1.1" xref="S4.E16.m2.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.E16.m2.1.1.1.1.1.1.1.3" xref="S4.E16.m2.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E16.m2.1.1.1.1.1.1.1.3.2" xref="S4.E16.m2.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="S4.E16.m2.1.1.1.1.1.1.1.3.1" xref="S4.E16.m2.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E16.m2.1.1.1.1.1.1.1.3.3" xref="S4.E16.m2.1.1.1.1.1.1.1.3.3.cmml">I</mi></mrow></mrow><mo id="S4.E16.m2.1.1.1.1.1.1.3" stretchy="false" xref="S4.E16.m2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.E16.m2.1.1.1.1.3" xref="S4.E16.m2.1.1.1.1.3.cmml"><mo id="S4.E16.m2.1.1.1.1.3a" xref="S4.E16.m2.1.1.1.1.3.cmml">−</mo><mn id="S4.E16.m2.1.1.1.1.3.2" xref="S4.E16.m2.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="S4.E16.m2.1.1.1.2c" xref="S4.E16.m2.1.1.1.2.cmml">⁢</mo><msub id="S4.E16.m2.1.1.1.6" xref="S4.E16.m2.1.1.1.6.cmml"><mi id="S4.E16.m2.1.1.1.6.2" xref="S4.E16.m2.1.1.1.6.2.cmml">w</mi><mn id="S4.E16.m2.1.1.1.6.3" xref="S4.E16.m2.1.1.1.6.3.cmml">0</mn></msub></mrow><mrow id="S4.E16.m2.2.2.2" xref="S4.E16.m2.2.2.2.cmml"><mn id="S4.E16.m2.2.2.2.3" xref="S4.E16.m2.2.2.2.3.cmml">1</mn><mo id="S4.E16.m2.2.2.2.2" xref="S4.E16.m2.2.2.2.2.cmml">−</mo><mrow id="S4.E16.m2.2.2.2.4" xref="S4.E16.m2.2.2.2.4.cmml"><mrow id="S4.E16.m2.2.2.2.4.2" xref="S4.E16.m2.2.2.2.4.2.cmml"><msub id="S4.E16.m2.2.2.2.4.2.2" xref="S4.E16.m2.2.2.2.4.2.2.cmml"><mi id="S4.E16.m2.2.2.2.4.2.2.2" xref="S4.E16.m2.2.2.2.4.2.2.2.cmml">df</mi><mn id="S4.E16.m2.2.2.2.4.2.2.3" xref="S4.E16.m2.2.2.2.4.2.2.3.cmml">2</mn></msub><mo id="S4.E16.m2.2.2.2.4.2.1" xref="S4.E16.m2.2.2.2.4.2.1.cmml">⁢</mo><mrow id="S4.E16.m2.2.2.2.4.2.3.2" xref="S4.E16.m2.2.2.2.4.2.cmml"><mo id="S4.E16.m2.2.2.2.4.2.3.2.1" stretchy="false" xref="S4.E16.m2.2.2.2.4.2.cmml">(</mo><mi id="S4.E16.m2.2.2.2.1" xref="S4.E16.m2.2.2.2.1.cmml">κ</mi><mo id="S4.E16.m2.2.2.2.4.2.3.2.2" stretchy="false" xref="S4.E16.m2.2.2.2.4.2.cmml">)</mo></mrow></mrow><mo id="S4.E16.m2.2.2.2.4.1" xref="S4.E16.m2.2.2.2.4.1.cmml">/</mo><mi id="S4.E16.m2.2.2.2.4.3" xref="S4.E16.m2.2.2.2.4.3.cmml">T</mi></mrow></mrow></mfrac></mstyle></mrow><mo id="S4.E16.m2.3.3.1.2" xref="S4.E16.m2.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E16.m2.3b"><apply id="S4.E16.m2.3.3.1.1.cmml" xref="S4.E16.m2.3.3.1"><csymbol cd="latexml" id="S4.E16.m2.3.3.1.1.1.cmml" xref="S4.E16.m2.3.3.1.1.1">similar-to-or-equals</csymbol><csymbol cd="latexml" id="S4.E16.m2.3.3.1.1.2.cmml" xref="S4.E16.m2.3.3.1.1.2">absent</csymbol><apply id="S4.E16.m2.2.2.cmml" xref="S4.E16.m2.2.2"><divide id="S4.E16.m2.2.2.3.cmml" xref="S4.E16.m2.2.2"></divide><apply id="S4.E16.m2.1.1.1.cmml" xref="S4.E16.m2.1.1.1"><times id="S4.E16.m2.1.1.1.2.cmml" xref="S4.E16.m2.1.1.1.2"></times><apply id="S4.E16.m2.1.1.1.3.cmml" xref="S4.E16.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.E16.m2.1.1.1.3.1.cmml" xref="S4.E16.m2.1.1.1.3">superscript</csymbol><ci id="S4.E16.m2.1.1.1.3.2.cmml" xref="S4.E16.m2.1.1.1.3.2">𝜅</ci><cn id="S4.E16.m2.1.1.1.3.3.cmml" type="integer" xref="S4.E16.m2.1.1.1.3.3">2</cn></apply><apply id="S4.E16.m2.1.1.1.4.cmml" xref="S4.E16.m2.1.1.1.4"><csymbol cd="ambiguous" id="S4.E16.m2.1.1.1.4.1.cmml" xref="S4.E16.m2.1.1.1.4">superscript</csymbol><apply id="S4.E16.m2.1.1.1.4.2.cmml" xref="S4.E16.m2.1.1.1.4"><csymbol cd="ambiguous" id="S4.E16.m2.1.1.1.4.2.1.cmml" xref="S4.E16.m2.1.1.1.4">subscript</csymbol><ci id="S4.E16.m2.1.1.1.4.2.2.cmml" xref="S4.E16.m2.1.1.1.4.2.2">𝑤</ci><cn id="S4.E16.m2.1.1.1.4.2.3.cmml" type="integer" xref="S4.E16.m2.1.1.1.4.2.3">0</cn></apply><csymbol cd="latexml" id="S4.E16.m2.1.1.1.4.3.cmml" xref="S4.E16.m2.1.1.1.4.3">top</csymbol></apply><ci id="S4.E16.m2.1.1.1.5.cmml" xref="S4.E16.m2.1.1.1.5">Σ</ci><apply id="S4.E16.m2.1.1.1.1.cmml" xref="S4.E16.m2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E16.m2.1.1.1.1.2.cmml" xref="S4.E16.m2.1.1.1.1">superscript</csymbol><apply id="S4.E16.m2.1.1.1.1.1.1.1.cmml" xref="S4.E16.m2.1.1.1.1.1.1"><plus id="S4.E16.m2.1.1.1.1.1.1.1.1.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.1"></plus><ci id="S4.E16.m2.1.1.1.1.1.1.1.2.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.2">Σ</ci><apply id="S4.E16.m2.1.1.1.1.1.1.1.3.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.3"><times id="S4.E16.m2.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E16.m2.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.3.2">𝜅</ci><ci id="S4.E16.m2.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E16.m2.1.1.1.1.1.1.1.3.3">𝐼</ci></apply></apply><apply id="S4.E16.m2.1.1.1.1.3.cmml" xref="S4.E16.m2.1.1.1.1.3"><minus id="S4.E16.m2.1.1.1.1.3.1.cmml" xref="S4.E16.m2.1.1.1.1.3"></minus><cn id="S4.E16.m2.1.1.1.1.3.2.cmml" type="integer" xref="S4.E16.m2.1.1.1.1.3.2">2</cn></apply></apply><apply id="S4.E16.m2.1.1.1.6.cmml" xref="S4.E16.m2.1.1.1.6"><csymbol cd="ambiguous" id="S4.E16.m2.1.1.1.6.1.cmml" xref="S4.E16.m2.1.1.1.6">subscript</csymbol><ci id="S4.E16.m2.1.1.1.6.2.cmml" xref="S4.E16.m2.1.1.1.6.2">𝑤</ci><cn id="S4.E16.m2.1.1.1.6.3.cmml" type="integer" xref="S4.E16.m2.1.1.1.6.3">0</cn></apply></apply><apply id="S4.E16.m2.2.2.2.cmml" xref="S4.E16.m2.2.2.2"><minus id="S4.E16.m2.2.2.2.2.cmml" xref="S4.E16.m2.2.2.2.2"></minus><cn id="S4.E16.m2.2.2.2.3.cmml" type="integer" xref="S4.E16.m2.2.2.2.3">1</cn><apply id="S4.E16.m2.2.2.2.4.cmml" xref="S4.E16.m2.2.2.2.4"><divide id="S4.E16.m2.2.2.2.4.1.cmml" xref="S4.E16.m2.2.2.2.4.1"></divide><apply id="S4.E16.m2.2.2.2.4.2.cmml" xref="S4.E16.m2.2.2.2.4.2"><times id="S4.E16.m2.2.2.2.4.2.1.cmml" xref="S4.E16.m2.2.2.2.4.2.1"></times><apply id="S4.E16.m2.2.2.2.4.2.2.cmml" xref="S4.E16.m2.2.2.2.4.2.2"><csymbol cd="ambiguous" id="S4.E16.m2.2.2.2.4.2.2.1.cmml" xref="S4.E16.m2.2.2.2.4.2.2">subscript</csymbol><ci id="S4.E16.m2.2.2.2.4.2.2.2.cmml" xref="S4.E16.m2.2.2.2.4.2.2.2">df</ci><cn id="S4.E16.m2.2.2.2.4.2.2.3.cmml" type="integer" xref="S4.E16.m2.2.2.2.4.2.2.3">2</cn></apply><ci id="S4.E16.m2.2.2.2.1.cmml" xref="S4.E16.m2.2.2.2.1">𝜅</ci></apply><ci id="S4.E16.m2.2.2.2.4.3.cmml" xref="S4.E16.m2.2.2.2.4.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E16.m2.3c">\displaystyle\simeq\frac{\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa I)^{-2}w_{% 0}}{{1-\mathrm{df}_{2}(\kappa)/T}},</annotation><annotation encoding="application/x-llamapun" id="S4.E16.m2.3d">≃ divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT roman_Σ ( roman_Σ + italic_κ italic_I ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) / italic_T end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(16)</span></td> </tr></tbody> <tbody id="S4.E17"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Var" class="ltx_Math" display="inline" id="S4.E17.m1.1"><semantics id="S4.E17.m1.1a"><mrow id="S4.E17.m1.1.1" xref="S4.E17.m1.1.1.cmml"><mi id="S4.E17.m1.1.1.2" xref="S4.E17.m1.1.1.2.cmml">V</mi><mo id="S4.E17.m1.1.1.1" xref="S4.E17.m1.1.1.1.cmml">⁢</mo><mi id="S4.E17.m1.1.1.3" xref="S4.E17.m1.1.1.3.cmml">a</mi><mo id="S4.E17.m1.1.1.1a" xref="S4.E17.m1.1.1.1.cmml">⁢</mo><mi id="S4.E17.m1.1.1.4" xref="S4.E17.m1.1.1.4.cmml">r</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.E17.m1.1b"><apply id="S4.E17.m1.1.1.cmml" xref="S4.E17.m1.1.1"><times id="S4.E17.m1.1.1.1.cmml" xref="S4.E17.m1.1.1.1"></times><ci id="S4.E17.m1.1.1.2.cmml" xref="S4.E17.m1.1.1.2">𝑉</ci><ci id="S4.E17.m1.1.1.3.cmml" xref="S4.E17.m1.1.1.3">𝑎</ci><ci id="S4.E17.m1.1.1.4.cmml" xref="S4.E17.m1.1.1.4">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E17.m1.1c">\displaystyle Var</annotation><annotation encoding="application/x-llamapun" id="S4.E17.m1.1d">italic_V italic_a italic_r</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\frac{\sigma^{2}\mathrm{df}_{2}(\kappa)}{T}\cdot\frac{1}{1-% \mathrm{df}_{2}(\kappa)/T}," class="ltx_Math" display="inline" id="S4.E17.m2.3"><semantics id="S4.E17.m2.3a"><mrow id="S4.E17.m2.3.3.1" xref="S4.E17.m2.3.3.1.1.cmml"><mrow id="S4.E17.m2.3.3.1.1" xref="S4.E17.m2.3.3.1.1.cmml"><mi id="S4.E17.m2.3.3.1.1.2" xref="S4.E17.m2.3.3.1.1.2.cmml"></mi><mo id="S4.E17.m2.3.3.1.1.1" xref="S4.E17.m2.3.3.1.1.1.cmml">≃</mo><mrow id="S4.E17.m2.3.3.1.1.3" xref="S4.E17.m2.3.3.1.1.3.cmml"><mstyle displaystyle="true" id="S4.E17.m2.1.1" xref="S4.E17.m2.1.1.cmml"><mfrac id="S4.E17.m2.1.1a" xref="S4.E17.m2.1.1.cmml"><mrow id="S4.E17.m2.1.1.1" xref="S4.E17.m2.1.1.1.cmml"><msup id="S4.E17.m2.1.1.1.3" xref="S4.E17.m2.1.1.1.3.cmml"><mi id="S4.E17.m2.1.1.1.3.2" xref="S4.E17.m2.1.1.1.3.2.cmml">σ</mi><mn id="S4.E17.m2.1.1.1.3.3" xref="S4.E17.m2.1.1.1.3.3.cmml">2</mn></msup><mo id="S4.E17.m2.1.1.1.2" xref="S4.E17.m2.1.1.1.2.cmml">⁢</mo><msub id="S4.E17.m2.1.1.1.4" xref="S4.E17.m2.1.1.1.4.cmml"><mi id="S4.E17.m2.1.1.1.4.2" xref="S4.E17.m2.1.1.1.4.2.cmml">df</mi><mn id="S4.E17.m2.1.1.1.4.3" xref="S4.E17.m2.1.1.1.4.3.cmml">2</mn></msub><mo id="S4.E17.m2.1.1.1.2a" xref="S4.E17.m2.1.1.1.2.cmml">⁢</mo><mrow id="S4.E17.m2.1.1.1.5.2" xref="S4.E17.m2.1.1.1.cmml"><mo id="S4.E17.m2.1.1.1.5.2.1" stretchy="false" xref="S4.E17.m2.1.1.1.cmml">(</mo><mi id="S4.E17.m2.1.1.1.1" xref="S4.E17.m2.1.1.1.1.cmml">κ</mi><mo id="S4.E17.m2.1.1.1.5.2.2" stretchy="false" xref="S4.E17.m2.1.1.1.cmml">)</mo></mrow></mrow><mi id="S4.E17.m2.1.1.3" xref="S4.E17.m2.1.1.3.cmml">T</mi></mfrac></mstyle><mo id="S4.E17.m2.3.3.1.1.3.1" lspace="0.222em" rspace="0.222em" xref="S4.E17.m2.3.3.1.1.3.1.cmml">⋅</mo><mstyle displaystyle="true" id="S4.E17.m2.2.2" xref="S4.E17.m2.2.2.cmml"><mfrac id="S4.E17.m2.2.2a" xref="S4.E17.m2.2.2.cmml"><mn id="S4.E17.m2.2.2.3" xref="S4.E17.m2.2.2.3.cmml">1</mn><mrow id="S4.E17.m2.2.2.1" xref="S4.E17.m2.2.2.1.cmml"><mn id="S4.E17.m2.2.2.1.3" xref="S4.E17.m2.2.2.1.3.cmml">1</mn><mo id="S4.E17.m2.2.2.1.2" xref="S4.E17.m2.2.2.1.2.cmml">−</mo><mrow id="S4.E17.m2.2.2.1.4" xref="S4.E17.m2.2.2.1.4.cmml"><mrow id="S4.E17.m2.2.2.1.4.2" xref="S4.E17.m2.2.2.1.4.2.cmml"><msub id="S4.E17.m2.2.2.1.4.2.2" xref="S4.E17.m2.2.2.1.4.2.2.cmml"><mi id="S4.E17.m2.2.2.1.4.2.2.2" xref="S4.E17.m2.2.2.1.4.2.2.2.cmml">df</mi><mn id="S4.E17.m2.2.2.1.4.2.2.3" xref="S4.E17.m2.2.2.1.4.2.2.3.cmml">2</mn></msub><mo id="S4.E17.m2.2.2.1.4.2.1" xref="S4.E17.m2.2.2.1.4.2.1.cmml">⁢</mo><mrow id="S4.E17.m2.2.2.1.4.2.3.2" xref="S4.E17.m2.2.2.1.4.2.cmml"><mo id="S4.E17.m2.2.2.1.4.2.3.2.1" stretchy="false" xref="S4.E17.m2.2.2.1.4.2.cmml">(</mo><mi id="S4.E17.m2.2.2.1.1" xref="S4.E17.m2.2.2.1.1.cmml">κ</mi><mo id="S4.E17.m2.2.2.1.4.2.3.2.2" stretchy="false" xref="S4.E17.m2.2.2.1.4.2.cmml">)</mo></mrow></mrow><mo id="S4.E17.m2.2.2.1.4.1" xref="S4.E17.m2.2.2.1.4.1.cmml">/</mo><mi id="S4.E17.m2.2.2.1.4.3" xref="S4.E17.m2.2.2.1.4.3.cmml">T</mi></mrow></mrow></mfrac></mstyle></mrow></mrow><mo id="S4.E17.m2.3.3.1.2" xref="S4.E17.m2.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E17.m2.3b"><apply id="S4.E17.m2.3.3.1.1.cmml" xref="S4.E17.m2.3.3.1"><csymbol cd="latexml" id="S4.E17.m2.3.3.1.1.1.cmml" xref="S4.E17.m2.3.3.1.1.1">similar-to-or-equals</csymbol><csymbol cd="latexml" id="S4.E17.m2.3.3.1.1.2.cmml" xref="S4.E17.m2.3.3.1.1.2">absent</csymbol><apply id="S4.E17.m2.3.3.1.1.3.cmml" xref="S4.E17.m2.3.3.1.1.3"><ci id="S4.E17.m2.3.3.1.1.3.1.cmml" xref="S4.E17.m2.3.3.1.1.3.1">⋅</ci><apply id="S4.E17.m2.1.1.cmml" xref="S4.E17.m2.1.1"><divide id="S4.E17.m2.1.1.2.cmml" xref="S4.E17.m2.1.1"></divide><apply id="S4.E17.m2.1.1.1.cmml" xref="S4.E17.m2.1.1.1"><times id="S4.E17.m2.1.1.1.2.cmml" xref="S4.E17.m2.1.1.1.2"></times><apply id="S4.E17.m2.1.1.1.3.cmml" xref="S4.E17.m2.1.1.1.3"><csymbol cd="ambiguous" id="S4.E17.m2.1.1.1.3.1.cmml" xref="S4.E17.m2.1.1.1.3">superscript</csymbol><ci id="S4.E17.m2.1.1.1.3.2.cmml" xref="S4.E17.m2.1.1.1.3.2">𝜎</ci><cn id="S4.E17.m2.1.1.1.3.3.cmml" type="integer" xref="S4.E17.m2.1.1.1.3.3">2</cn></apply><apply id="S4.E17.m2.1.1.1.4.cmml" xref="S4.E17.m2.1.1.1.4"><csymbol cd="ambiguous" id="S4.E17.m2.1.1.1.4.1.cmml" xref="S4.E17.m2.1.1.1.4">subscript</csymbol><ci id="S4.E17.m2.1.1.1.4.2.cmml" xref="S4.E17.m2.1.1.1.4.2">df</ci><cn id="S4.E17.m2.1.1.1.4.3.cmml" type="integer" xref="S4.E17.m2.1.1.1.4.3">2</cn></apply><ci id="S4.E17.m2.1.1.1.1.cmml" xref="S4.E17.m2.1.1.1.1">𝜅</ci></apply><ci id="S4.E17.m2.1.1.3.cmml" xref="S4.E17.m2.1.1.3">𝑇</ci></apply><apply id="S4.E17.m2.2.2.cmml" xref="S4.E17.m2.2.2"><divide id="S4.E17.m2.2.2.2.cmml" xref="S4.E17.m2.2.2"></divide><cn id="S4.E17.m2.2.2.3.cmml" type="integer" xref="S4.E17.m2.2.2.3">1</cn><apply id="S4.E17.m2.2.2.1.cmml" xref="S4.E17.m2.2.2.1"><minus id="S4.E17.m2.2.2.1.2.cmml" xref="S4.E17.m2.2.2.1.2"></minus><cn id="S4.E17.m2.2.2.1.3.cmml" type="integer" xref="S4.E17.m2.2.2.1.3">1</cn><apply id="S4.E17.m2.2.2.1.4.cmml" xref="S4.E17.m2.2.2.1.4"><divide id="S4.E17.m2.2.2.1.4.1.cmml" xref="S4.E17.m2.2.2.1.4.1"></divide><apply id="S4.E17.m2.2.2.1.4.2.cmml" xref="S4.E17.m2.2.2.1.4.2"><times id="S4.E17.m2.2.2.1.4.2.1.cmml" xref="S4.E17.m2.2.2.1.4.2.1"></times><apply id="S4.E17.m2.2.2.1.4.2.2.cmml" xref="S4.E17.m2.2.2.1.4.2.2"><csymbol cd="ambiguous" id="S4.E17.m2.2.2.1.4.2.2.1.cmml" xref="S4.E17.m2.2.2.1.4.2.2">subscript</csymbol><ci id="S4.E17.m2.2.2.1.4.2.2.2.cmml" xref="S4.E17.m2.2.2.1.4.2.2.2">df</ci><cn id="S4.E17.m2.2.2.1.4.2.2.3.cmml" type="integer" xref="S4.E17.m2.2.2.1.4.2.2.3">2</cn></apply><ci id="S4.E17.m2.2.2.1.1.cmml" xref="S4.E17.m2.2.2.1.1">𝜅</ci></apply><ci id="S4.E17.m2.2.2.1.4.3.cmml" xref="S4.E17.m2.2.2.1.4.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E17.m2.3c">\displaystyle\simeq\frac{\sigma^{2}\mathrm{df}_{2}(\kappa)}{T}\cdot\frac{1}{1-% \mathrm{df}_{2}(\kappa)/T},</annotation><annotation encoding="application/x-llamapun" id="S4.E17.m2.3d">≃ divide start_ARG italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T end_ARG ⋅ divide start_ARG 1 end_ARG start_ARG 1 - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) / italic_T end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(17)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.Thmtheorem4.p1.4"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem4.p1.4.1">where <math alttext="\kappa=\kappa(\lambda,T)" class="ltx_Math" display="inline" id="S4.Thmtheorem4.p1.4.1.m1.2"><semantics id="S4.Thmtheorem4.p1.4.1.m1.2a"><mrow id="S4.Thmtheorem4.p1.4.1.m1.2.3" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.cmml"><mi id="S4.Thmtheorem4.p1.4.1.m1.2.3.2" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.2.cmml">κ</mi><mo id="S4.Thmtheorem4.p1.4.1.m1.2.3.1" mathvariant="normal" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.1.cmml">=</mo><mrow id="S4.Thmtheorem4.p1.4.1.m1.2.3.3" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.cmml"><mi id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.2" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.2.cmml">κ</mi><mo id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.1" mathvariant="italic" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.1.cmml">⁢</mo><mrow id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.2" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.1.cmml"><mo id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.2.1" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.1.cmml">(</mo><mi id="S4.Thmtheorem4.p1.4.1.m1.1.1" xref="S4.Thmtheorem4.p1.4.1.m1.1.1.cmml">λ</mi><mo id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.2.2" mathvariant="normal" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.1.cmml">,</mo><mi id="S4.Thmtheorem4.p1.4.1.m1.2.2" xref="S4.Thmtheorem4.p1.4.1.m1.2.2.cmml">T</mi><mo id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.2.3" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem4.p1.4.1.m1.2b"><apply id="S4.Thmtheorem4.p1.4.1.m1.2.3.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3"><eq id="S4.Thmtheorem4.p1.4.1.m1.2.3.1.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.1"></eq><ci id="S4.Thmtheorem4.p1.4.1.m1.2.3.2.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.2">𝜅</ci><apply id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3"><times id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.1.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.1"></times><ci id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.2.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.2">𝜅</ci><interval closure="open" id="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.1.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.3.3.3.2"><ci id="S4.Thmtheorem4.p1.4.1.m1.1.1.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.1.1">𝜆</ci><ci id="S4.Thmtheorem4.p1.4.1.m1.2.2.cmml" xref="S4.Thmtheorem4.p1.4.1.m1.2.2">𝑇</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem4.p1.4.1.m1.2c">\kappa=\kappa(\lambda,T)</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem4.p1.4.1.m1.2d">italic_κ = italic_κ ( italic_λ , italic_T )</annotation></semantics></math> is as given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E11" title="11 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">11</span></a>).</span></p> </div> <div class="ltx_para" id="S4.Thmtheorem4.p2"> <p class="ltx_p" id="S4.Thmtheorem4.p2.1"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem4.p2.1.1">In particular, in the isotropic case where <math alttext="\Sigma=I_{d}" class="ltx_Math" display="inline" id="S4.Thmtheorem4.p2.1.1.m1.1"><semantics id="S4.Thmtheorem4.p2.1.1.m1.1a"><mrow id="S4.Thmtheorem4.p2.1.1.m1.1.1" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.cmml"><mi id="S4.Thmtheorem4.p2.1.1.m1.1.1.2" mathvariant="normal" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.2.cmml">Σ</mi><mo id="S4.Thmtheorem4.p2.1.1.m1.1.1.1" mathvariant="normal" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.1.cmml">=</mo><msub id="S4.Thmtheorem4.p2.1.1.m1.1.1.3" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3.cmml"><mi id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.2" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3.2.cmml">I</mi><mi id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.3" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem4.p2.1.1.m1.1b"><apply id="S4.Thmtheorem4.p2.1.1.m1.1.1.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1"><eq id="S4.Thmtheorem4.p2.1.1.m1.1.1.1.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.1"></eq><ci id="S4.Thmtheorem4.p2.1.1.m1.1.1.2.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.2">normal-Σ</ci><apply id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.1.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3">subscript</csymbol><ci id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.2.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3.2">𝐼</ci><ci id="S4.Thmtheorem4.p2.1.1.m1.1.1.3.3.cmml" xref="S4.Thmtheorem4.p2.1.1.m1.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem4.p2.1.1.m1.1c">\Sigma=I_{d}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem4.p2.1.1.m1.1d">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math>, we have</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx15"> <tbody id="S4.E18"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(w(\lambda))\simeq\frac{\kappa^{2}\|w_{0}\|_{2}^{2}+% \sigma^{2}\phi}{(1+\kappa)^{2}-\phi}." class="ltx_Math" display="inline" id="S4.E18.m1.4"><semantics id="S4.E18.m1.4a"><mrow id="S4.E18.m1.4.4.1" xref="S4.E18.m1.4.4.1.1.cmml"><mrow id="S4.E18.m1.4.4.1.1" xref="S4.E18.m1.4.4.1.1.cmml"><mrow id="S4.E18.m1.4.4.1.1.1" xref="S4.E18.m1.4.4.1.1.1.cmml"><msub id="S4.E18.m1.4.4.1.1.1.3" xref="S4.E18.m1.4.4.1.1.1.3.cmml"><mi id="S4.E18.m1.4.4.1.1.1.3.2" xref="S4.E18.m1.4.4.1.1.1.3.2.cmml">E</mi><mrow id="S4.E18.m1.4.4.1.1.1.3.3" xref="S4.E18.m1.4.4.1.1.1.3.3.cmml"><mi id="S4.E18.m1.4.4.1.1.1.3.3.2" xref="S4.E18.m1.4.4.1.1.1.3.3.2.cmml">t</mi><mo id="S4.E18.m1.4.4.1.1.1.3.3.1" xref="S4.E18.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E18.m1.4.4.1.1.1.3.3.3" xref="S4.E18.m1.4.4.1.1.1.3.3.3.cmml">e</mi><mo id="S4.E18.m1.4.4.1.1.1.3.3.1a" xref="S4.E18.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E18.m1.4.4.1.1.1.3.3.4" xref="S4.E18.m1.4.4.1.1.1.3.3.4.cmml">s</mi><mo id="S4.E18.m1.4.4.1.1.1.3.3.1b" xref="S4.E18.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E18.m1.4.4.1.1.1.3.3.5" xref="S4.E18.m1.4.4.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E18.m1.4.4.1.1.1.2" xref="S4.E18.m1.4.4.1.1.1.2.cmml">⁢</mo><mrow id="S4.E18.m1.4.4.1.1.1.1.1" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S4.E18.m1.4.4.1.1.1.1.1.2" stretchy="false" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E18.m1.4.4.1.1.1.1.1.1" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml"><mi id="S4.E18.m1.4.4.1.1.1.1.1.1.2" xref="S4.E18.m1.4.4.1.1.1.1.1.1.2.cmml">w</mi><mo id="S4.E18.m1.4.4.1.1.1.1.1.1.1" xref="S4.E18.m1.4.4.1.1.1.1.1.1.1.cmml">⁢</mo><mrow id="S4.E18.m1.4.4.1.1.1.1.1.1.3.2" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S4.E18.m1.4.4.1.1.1.1.1.1.3.2.1" stretchy="false" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mi id="S4.E18.m1.3.3" xref="S4.E18.m1.3.3.cmml">λ</mi><mo id="S4.E18.m1.4.4.1.1.1.1.1.1.3.2.2" stretchy="false" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E18.m1.4.4.1.1.1.1.1.3" stretchy="false" xref="S4.E18.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E18.m1.4.4.1.1.2" xref="S4.E18.m1.4.4.1.1.2.cmml">≃</mo><mstyle displaystyle="true" id="S4.E18.m1.2.2" xref="S4.E18.m1.2.2.cmml"><mfrac id="S4.E18.m1.2.2a" xref="S4.E18.m1.2.2.cmml"><mrow id="S4.E18.m1.1.1.1" xref="S4.E18.m1.1.1.1.cmml"><mrow id="S4.E18.m1.1.1.1.1" xref="S4.E18.m1.1.1.1.1.cmml"><msup id="S4.E18.m1.1.1.1.1.3" xref="S4.E18.m1.1.1.1.1.3.cmml"><mi id="S4.E18.m1.1.1.1.1.3.2" xref="S4.E18.m1.1.1.1.1.3.2.cmml">κ</mi><mn id="S4.E18.m1.1.1.1.1.3.3" xref="S4.E18.m1.1.1.1.1.3.3.cmml">2</mn></msup><mo id="S4.E18.m1.1.1.1.1.2" xref="S4.E18.m1.1.1.1.1.2.cmml">⁢</mo><msubsup id="S4.E18.m1.1.1.1.1.1" xref="S4.E18.m1.1.1.1.1.1.cmml"><mrow id="S4.E18.m1.1.1.1.1.1.1.1.1" xref="S4.E18.m1.1.1.1.1.1.1.1.2.cmml"><mo id="S4.E18.m1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E18.m1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S4.E18.m1.1.1.1.1.1.1.1.1.1" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.E18.m1.1.1.1.1.1.1.1.1.1.2" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1.2.cmml">w</mi><mn id="S4.E18.m1.1.1.1.1.1.1.1.1.1.3" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1.3.cmml">0</mn></msub><mo id="S4.E18.m1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E18.m1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S4.E18.m1.1.1.1.1.1.1.3" xref="S4.E18.m1.1.1.1.1.1.1.3.cmml">2</mn><mn id="S4.E18.m1.1.1.1.1.1.3" xref="S4.E18.m1.1.1.1.1.1.3.cmml">2</mn></msubsup></mrow><mo id="S4.E18.m1.1.1.1.2" xref="S4.E18.m1.1.1.1.2.cmml">+</mo><mrow id="S4.E18.m1.1.1.1.3" xref="S4.E18.m1.1.1.1.3.cmml"><msup id="S4.E18.m1.1.1.1.3.2" xref="S4.E18.m1.1.1.1.3.2.cmml"><mi id="S4.E18.m1.1.1.1.3.2.2" xref="S4.E18.m1.1.1.1.3.2.2.cmml">σ</mi><mn id="S4.E18.m1.1.1.1.3.2.3" xref="S4.E18.m1.1.1.1.3.2.3.cmml">2</mn></msup><mo id="S4.E18.m1.1.1.1.3.1" xref="S4.E18.m1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E18.m1.1.1.1.3.3" xref="S4.E18.m1.1.1.1.3.3.cmml">ϕ</mi></mrow></mrow><mrow id="S4.E18.m1.2.2.2" xref="S4.E18.m1.2.2.2.cmml"><msup id="S4.E18.m1.2.2.2.1" xref="S4.E18.m1.2.2.2.1.cmml"><mrow id="S4.E18.m1.2.2.2.1.1.1" xref="S4.E18.m1.2.2.2.1.1.1.1.cmml"><mo id="S4.E18.m1.2.2.2.1.1.1.2" stretchy="false" xref="S4.E18.m1.2.2.2.1.1.1.1.cmml">(</mo><mrow id="S4.E18.m1.2.2.2.1.1.1.1" xref="S4.E18.m1.2.2.2.1.1.1.1.cmml"><mn id="S4.E18.m1.2.2.2.1.1.1.1.2" xref="S4.E18.m1.2.2.2.1.1.1.1.2.cmml">1</mn><mo id="S4.E18.m1.2.2.2.1.1.1.1.1" xref="S4.E18.m1.2.2.2.1.1.1.1.1.cmml">+</mo><mi id="S4.E18.m1.2.2.2.1.1.1.1.3" xref="S4.E18.m1.2.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="S4.E18.m1.2.2.2.1.1.1.3" stretchy="false" xref="S4.E18.m1.2.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="S4.E18.m1.2.2.2.1.3" xref="S4.E18.m1.2.2.2.1.3.cmml">2</mn></msup><mo id="S4.E18.m1.2.2.2.2" xref="S4.E18.m1.2.2.2.2.cmml">−</mo><mi id="S4.E18.m1.2.2.2.3" xref="S4.E18.m1.2.2.2.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow><mo id="S4.E18.m1.4.4.1.2" lspace="0em" xref="S4.E18.m1.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E18.m1.4b"><apply id="S4.E18.m1.4.4.1.1.cmml" xref="S4.E18.m1.4.4.1"><csymbol cd="latexml" id="S4.E18.m1.4.4.1.1.2.cmml" xref="S4.E18.m1.4.4.1.1.2">similar-to-or-equals</csymbol><apply id="S4.E18.m1.4.4.1.1.1.cmml" xref="S4.E18.m1.4.4.1.1.1"><times id="S4.E18.m1.4.4.1.1.1.2.cmml" xref="S4.E18.m1.4.4.1.1.1.2"></times><apply id="S4.E18.m1.4.4.1.1.1.3.cmml" xref="S4.E18.m1.4.4.1.1.1.3"><csymbol cd="ambiguous" id="S4.E18.m1.4.4.1.1.1.3.1.cmml" xref="S4.E18.m1.4.4.1.1.1.3">subscript</csymbol><ci id="S4.E18.m1.4.4.1.1.1.3.2.cmml" xref="S4.E18.m1.4.4.1.1.1.3.2">𝐸</ci><apply id="S4.E18.m1.4.4.1.1.1.3.3.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3"><times id="S4.E18.m1.4.4.1.1.1.3.3.1.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3.1"></times><ci id="S4.E18.m1.4.4.1.1.1.3.3.2.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3.2">𝑡</ci><ci id="S4.E18.m1.4.4.1.1.1.3.3.3.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3.3">𝑒</ci><ci id="S4.E18.m1.4.4.1.1.1.3.3.4.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3.4">𝑠</ci><ci id="S4.E18.m1.4.4.1.1.1.3.3.5.cmml" xref="S4.E18.m1.4.4.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E18.m1.4.4.1.1.1.1.1.1.cmml" xref="S4.E18.m1.4.4.1.1.1.1.1"><times id="S4.E18.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S4.E18.m1.4.4.1.1.1.1.1.1.1"></times><ci id="S4.E18.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S4.E18.m1.4.4.1.1.1.1.1.1.2">𝑤</ci><ci id="S4.E18.m1.3.3.cmml" xref="S4.E18.m1.3.3">𝜆</ci></apply></apply><apply id="S4.E18.m1.2.2.cmml" xref="S4.E18.m1.2.2"><divide id="S4.E18.m1.2.2.3.cmml" xref="S4.E18.m1.2.2"></divide><apply id="S4.E18.m1.1.1.1.cmml" xref="S4.E18.m1.1.1.1"><plus id="S4.E18.m1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.2"></plus><apply id="S4.E18.m1.1.1.1.1.cmml" xref="S4.E18.m1.1.1.1.1"><times id="S4.E18.m1.1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.1.2"></times><apply id="S4.E18.m1.1.1.1.1.3.cmml" xref="S4.E18.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.1.1.3.1.cmml" xref="S4.E18.m1.1.1.1.1.3">superscript</csymbol><ci id="S4.E18.m1.1.1.1.1.3.2.cmml" xref="S4.E18.m1.1.1.1.1.3.2">𝜅</ci><cn id="S4.E18.m1.1.1.1.1.3.3.cmml" type="integer" xref="S4.E18.m1.1.1.1.1.3.3">2</cn></apply><apply id="S4.E18.m1.1.1.1.1.1.cmml" xref="S4.E18.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.1.1">superscript</csymbol><apply id="S4.E18.m1.1.1.1.1.1.1.cmml" xref="S4.E18.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.1.1">subscript</csymbol><apply id="S4.E18.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E18.m1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E18.m1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E18.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.E18.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1.2">𝑤</ci><cn id="S4.E18.m1.1.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S4.E18.m1.1.1.1.1.1.1.1.1.1.3">0</cn></apply></apply><cn id="S4.E18.m1.1.1.1.1.1.1.3.cmml" type="integer" xref="S4.E18.m1.1.1.1.1.1.1.3">2</cn></apply><cn id="S4.E18.m1.1.1.1.1.1.3.cmml" type="integer" xref="S4.E18.m1.1.1.1.1.1.3">2</cn></apply></apply><apply id="S4.E18.m1.1.1.1.3.cmml" xref="S4.E18.m1.1.1.1.3"><times id="S4.E18.m1.1.1.1.3.1.cmml" xref="S4.E18.m1.1.1.1.3.1"></times><apply id="S4.E18.m1.1.1.1.3.2.cmml" xref="S4.E18.m1.1.1.1.3.2"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.1.3.2.1.cmml" xref="S4.E18.m1.1.1.1.3.2">superscript</csymbol><ci id="S4.E18.m1.1.1.1.3.2.2.cmml" xref="S4.E18.m1.1.1.1.3.2.2">𝜎</ci><cn id="S4.E18.m1.1.1.1.3.2.3.cmml" type="integer" xref="S4.E18.m1.1.1.1.3.2.3">2</cn></apply><ci id="S4.E18.m1.1.1.1.3.3.cmml" xref="S4.E18.m1.1.1.1.3.3">italic-ϕ</ci></apply></apply><apply id="S4.E18.m1.2.2.2.cmml" xref="S4.E18.m1.2.2.2"><minus id="S4.E18.m1.2.2.2.2.cmml" xref="S4.E18.m1.2.2.2.2"></minus><apply id="S4.E18.m1.2.2.2.1.cmml" xref="S4.E18.m1.2.2.2.1"><csymbol cd="ambiguous" id="S4.E18.m1.2.2.2.1.2.cmml" xref="S4.E18.m1.2.2.2.1">superscript</csymbol><apply id="S4.E18.m1.2.2.2.1.1.1.1.cmml" xref="S4.E18.m1.2.2.2.1.1.1"><plus id="S4.E18.m1.2.2.2.1.1.1.1.1.cmml" xref="S4.E18.m1.2.2.2.1.1.1.1.1"></plus><cn id="S4.E18.m1.2.2.2.1.1.1.1.2.cmml" type="integer" xref="S4.E18.m1.2.2.2.1.1.1.1.2">1</cn><ci id="S4.E18.m1.2.2.2.1.1.1.1.3.cmml" xref="S4.E18.m1.2.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="S4.E18.m1.2.2.2.1.3.cmml" type="integer" xref="S4.E18.m1.2.2.2.1.3">2</cn></apply><ci id="S4.E18.m1.2.2.2.3.cmml" xref="S4.E18.m1.2.2.2.3">italic-ϕ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E18.m1.4c">\displaystyle E_{test}(w(\lambda))\simeq\frac{\kappa^{2}\|w_{0}\|_{2}^{2}+% \sigma^{2}\phi}{(1+\kappa)^{2}-\phi}.</annotation><annotation encoding="application/x-llamapun" id="S4.E18.m1.4d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( italic_w ( italic_λ ) ) ≃ divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT + italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT - italic_ϕ end_ARG .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(18)</span></td> </tr></tbody> </table> </div> </div> <div class="ltx_para" id="S4.SS3.p7"> <p class="ltx_p" id="S4.SS3.p7.1">Note that <cite class="ltx_cite ltx_citemacro_citep">(Wei et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib46" title="">2022</a>)</cite> has established a version of this result in the polynomial scaling regime (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E14" title="14 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">14</span></a>). </p> </div> </section> <section class="ltx_subsection" id="S4.SS4"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">4.4 </span>Main Result II: Analytic Formula for Test Error</h3> <div class="ltx_para" id="S4.SS4.p1"> <p class="ltx_p" id="S4.SS4.p1.1">The following result which generalizes Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem1" title="Theorem 4.1. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.1</span></a> gives the test error for the downstream ridge model <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S4.SS4.p1.1.m1.1"><semantics id="S4.SS4.p1.1.m1.1a"><msubsup id="S4.SS4.p1.1.m1.1.1" xref="S4.SS4.p1.1.m1.1.1.cmml"><mover accent="true" id="S4.SS4.p1.1.m1.1.1.2.2" xref="S4.SS4.p1.1.m1.1.1.2.2.cmml"><mi id="S4.SS4.p1.1.m1.1.1.2.2.2" xref="S4.SS4.p1.1.m1.1.1.2.2.2.cmml">w</mi><mo id="S4.SS4.p1.1.m1.1.1.2.2.1" xref="S4.SS4.p1.1.m1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.SS4.p1.1.m1.1.1.2.3" xref="S4.SS4.p1.1.m1.1.1.2.3.cmml">n</mi><mrow id="S4.SS4.p1.1.m1.1.1.3" xref="S4.SS4.p1.1.m1.1.1.3.cmml"><mi id="S4.SS4.p1.1.m1.1.1.3.2" xref="S4.SS4.p1.1.m1.1.1.3.2.cmml">p</mi><mo id="S4.SS4.p1.1.m1.1.1.3.1" xref="S4.SS4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS4.p1.1.m1.1.1.3.3" xref="S4.SS4.p1.1.m1.1.1.3.3.cmml">r</mi><mo id="S4.SS4.p1.1.m1.1.1.3.1a" xref="S4.SS4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS4.p1.1.m1.1.1.3.4" xref="S4.SS4.p1.1.m1.1.1.3.4.cmml">e</mi><mo id="S4.SS4.p1.1.m1.1.1.3.1b" xref="S4.SS4.p1.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S4.SS4.p1.1.m1.1.1.3.5" xref="S4.SS4.p1.1.m1.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S4.SS4.p1.1.m1.1b"><apply id="S4.SS4.p1.1.m1.1.1.cmml" xref="S4.SS4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S4.SS4.p1.1.m1.1.1.1.cmml" xref="S4.SS4.p1.1.m1.1.1">superscript</csymbol><apply id="S4.SS4.p1.1.m1.1.1.2.cmml" xref="S4.SS4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S4.SS4.p1.1.m1.1.1.2.1.cmml" xref="S4.SS4.p1.1.m1.1.1">subscript</csymbol><apply id="S4.SS4.p1.1.m1.1.1.2.2.cmml" xref="S4.SS4.p1.1.m1.1.1.2.2"><ci id="S4.SS4.p1.1.m1.1.1.2.2.1.cmml" xref="S4.SS4.p1.1.m1.1.1.2.2.1">^</ci><ci id="S4.SS4.p1.1.m1.1.1.2.2.2.cmml" xref="S4.SS4.p1.1.m1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.SS4.p1.1.m1.1.1.2.3.cmml" xref="S4.SS4.p1.1.m1.1.1.2.3">𝑛</ci></apply><apply id="S4.SS4.p1.1.m1.1.1.3.cmml" xref="S4.SS4.p1.1.m1.1.1.3"><times id="S4.SS4.p1.1.m1.1.1.3.1.cmml" xref="S4.SS4.p1.1.m1.1.1.3.1"></times><ci id="S4.SS4.p1.1.m1.1.1.3.2.cmml" xref="S4.SS4.p1.1.m1.1.1.3.2">𝑝</ci><ci id="S4.SS4.p1.1.m1.1.1.3.3.cmml" xref="S4.SS4.p1.1.m1.1.1.3.3">𝑟</ci><ci id="S4.SS4.p1.1.m1.1.1.3.4.cmml" xref="S4.SS4.p1.1.m1.1.1.3.4">𝑒</ci><ci id="S4.SS4.p1.1.m1.1.1.3.5.cmml" xref="S4.SS4.p1.1.m1.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS4.p1.1.m1.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S4.SS4.p1.1.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> define in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>), in the contest of fake training data, and will be exploited later to obtain precise estimates in different regimes.</p> </div> <div class="ltx_theorem ltx_theorem_theorem" id="S4.Thmtheorem5"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem5.1.1.1">Theorem 4.5</span></span><span class="ltx_text ltx_font_bold" id="S4.Thmtheorem5.2.2">.</span> </h6> <div class="ltx_para" id="S4.Thmtheorem5.p1"> <p class="ltx_p" id="S4.Thmtheorem5.p1.4"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem5.p1.4.4">Suppose Assumption <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem3" title="Assumption 4.3. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.3</span></a> is in order. For an <math alttext="n" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.1.1.m1.1"><semantics id="S4.Thmtheorem5.p1.1.1.m1.1a"><mi id="S4.Thmtheorem5.p1.1.1.m1.1.1" xref="S4.Thmtheorem5.p1.1.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.1.1.m1.1b"><ci id="S4.Thmtheorem5.p1.1.1.m1.1.1.cmml" xref="S4.Thmtheorem5.p1.1.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.1.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.1.1.m1.1d">italic_n</annotation></semantics></math>-fold fake data-generation process, the test error of a downstream model <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.2.2.m2.1"><semantics id="S4.Thmtheorem5.p1.2.2.m2.1a"><msubsup id="S4.Thmtheorem5.p1.2.2.m2.1.1" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.cmml"><mover accent="true" id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.cmml"><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.2" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.2.cmml">w</mi><mo id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.1" mathvariant="normal" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.3" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.3.cmml">n</mi><mrow id="S4.Thmtheorem5.p1.2.2.m2.1.1.3" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.cmml"><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.2" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.2.cmml">p</mi><mo id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1" mathvariant="italic" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.3" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.3.cmml">r</mi><mo id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1a" mathvariant="italic" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.4" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.4.cmml">e</mi><mo id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1b" mathvariant="italic" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.5" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.2.2.m2.1b"><apply id="S4.Thmtheorem5.p1.2.2.m2.1.1.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem5.p1.2.2.m2.1.1.1.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1">superscript</csymbol><apply id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.1.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1">subscript</csymbol><apply id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2"><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.1.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.1">normal-^</ci><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.2.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.2.2">𝑤</ci></apply><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.2.3.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.2.3">𝑛</ci></apply><apply id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3"><times id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.1"></times><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.2.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.2">𝑝</ci><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.3.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.3">𝑟</ci><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.4.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.4">𝑒</ci><ci id="S4.Thmtheorem5.p1.2.2.m2.1.1.3.5.cmml" xref="S4.Thmtheorem5.p1.2.2.m2.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.2.2.m2.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.2.2.m2.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> based on a fake sample of size <math alttext="T" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.3.3.m3.1"><semantics id="S4.Thmtheorem5.p1.3.3.m3.1a"><mi id="S4.Thmtheorem5.p1.3.3.m3.1.1" xref="S4.Thmtheorem5.p1.3.3.m3.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.3.3.m3.1b"><ci id="S4.Thmtheorem5.p1.3.3.m3.1.1.cmml" xref="S4.Thmtheorem5.p1.3.3.m3.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.3.3.m3.1c">T</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.3.3.m3.1d">italic_T</annotation></semantics></math> with ridge regularization <math alttext="\lambda" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.4.4.m4.1"><semantics id="S4.Thmtheorem5.p1.4.4.m4.1a"><mi id="S4.Thmtheorem5.p1.4.4.m4.1.1" xref="S4.Thmtheorem5.p1.4.4.m4.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.4.4.m4.1b"><ci id="S4.Thmtheorem5.p1.4.4.m4.1.1.cmml" xref="S4.Thmtheorem5.p1.4.4.m4.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.4.4.m4.1c">\lambda</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.4.4.m4.1d">italic_λ</annotation></semantics></math> is given in the limit (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E13" title="13 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">13</span></a>) by</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx16"> <tbody id="S4.E19"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})\simeq Bias+Var+{n\sigma_{0}^{2}% \rho}," class="ltx_Math" display="inline" id="S4.E19.m1.1"><semantics id="S4.E19.m1.1a"><mrow id="S4.E19.m1.1.1.1" xref="S4.E19.m1.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.cmml"><msub id="S4.E19.m1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.1.3.2.cmml">E</mi><mrow id="S4.E19.m1.1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.1.3.3.cmml"><mi id="S4.E19.m1.1.1.1.1.1.3.3.2" xref="S4.E19.m1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="S4.E19.m1.1.1.1.1.1.3.3.1" xref="S4.E19.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.3.3.3" xref="S4.E19.m1.1.1.1.1.1.3.3.3.cmml">e</mi><mo id="S4.E19.m1.1.1.1.1.1.3.3.1a" xref="S4.E19.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.3.3.4" xref="S4.E19.m1.1.1.1.1.1.3.3.4.cmml">s</mi><mo id="S4.E19.m1.1.1.1.1.1.3.3.1b" xref="S4.E19.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.3.3.5" xref="S4.E19.m1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S4.E19.m1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="S4.E19.m1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.cmml"><mo id="S4.E19.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="S4.E19.m1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S4.E19.m1.1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.2.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S4.E19.m1.1.1.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S4.E19.m1.1.1.1.1.1.1.1.1.3.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S4.E19.m1.1.1.1.1.1.1.1.1.3.1a" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.3.4" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S4.E19.m1.1.1.1.1.1.1.1.1.3.1b" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.3.5" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S4.E19.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="S4.E19.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E19.m1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.cmml">≃</mo><mrow id="S4.E19.m1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.cmml"><mrow id="S4.E19.m1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.3.2.cmml"><mi id="S4.E19.m1.1.1.1.1.3.2.2" xref="S4.E19.m1.1.1.1.1.3.2.2.cmml">B</mi><mo id="S4.E19.m1.1.1.1.1.3.2.1" xref="S4.E19.m1.1.1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.2.3" xref="S4.E19.m1.1.1.1.1.3.2.3.cmml">i</mi><mo id="S4.E19.m1.1.1.1.1.3.2.1a" xref="S4.E19.m1.1.1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.2.4" xref="S4.E19.m1.1.1.1.1.3.2.4.cmml">a</mi><mo id="S4.E19.m1.1.1.1.1.3.2.1b" xref="S4.E19.m1.1.1.1.1.3.2.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.2.5" xref="S4.E19.m1.1.1.1.1.3.2.5.cmml">s</mi></mrow><mo id="S4.E19.m1.1.1.1.1.3.1" xref="S4.E19.m1.1.1.1.1.3.1.cmml">+</mo><mrow id="S4.E19.m1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.3.3.cmml"><mi id="S4.E19.m1.1.1.1.1.3.3.2" xref="S4.E19.m1.1.1.1.1.3.3.2.cmml">V</mi><mo id="S4.E19.m1.1.1.1.1.3.3.1" xref="S4.E19.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.3.3" xref="S4.E19.m1.1.1.1.1.3.3.3.cmml">a</mi><mo id="S4.E19.m1.1.1.1.1.3.3.1a" xref="S4.E19.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.3.4" xref="S4.E19.m1.1.1.1.1.3.3.4.cmml">r</mi></mrow><mo id="S4.E19.m1.1.1.1.1.3.1a" xref="S4.E19.m1.1.1.1.1.3.1.cmml">+</mo><mrow id="S4.E19.m1.1.1.1.1.3.4" xref="S4.E19.m1.1.1.1.1.3.4.cmml"><mi id="S4.E19.m1.1.1.1.1.3.4.2" xref="S4.E19.m1.1.1.1.1.3.4.2.cmml">n</mi><mo id="S4.E19.m1.1.1.1.1.3.4.1" xref="S4.E19.m1.1.1.1.1.3.4.1.cmml">⁢</mo><msubsup id="S4.E19.m1.1.1.1.1.3.4.3" xref="S4.E19.m1.1.1.1.1.3.4.3.cmml"><mi id="S4.E19.m1.1.1.1.1.3.4.3.2.2" xref="S4.E19.m1.1.1.1.1.3.4.3.2.2.cmml">σ</mi><mn id="S4.E19.m1.1.1.1.1.3.4.3.2.3" xref="S4.E19.m1.1.1.1.1.3.4.3.2.3.cmml">0</mn><mn id="S4.E19.m1.1.1.1.1.3.4.3.3" xref="S4.E19.m1.1.1.1.1.3.4.3.3.cmml">2</mn></msubsup><mo id="S4.E19.m1.1.1.1.1.3.4.1a" xref="S4.E19.m1.1.1.1.1.3.4.1.cmml">⁢</mo><mi id="S4.E19.m1.1.1.1.1.3.4.4" xref="S4.E19.m1.1.1.1.1.3.4.4.cmml">ρ</mi></mrow></mrow></mrow><mo id="S4.E19.m1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E19.m1.1b"><apply id="S4.E19.m1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1"><csymbol cd="latexml" id="S4.E19.m1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2">similar-to-or-equals</csymbol><apply id="S4.E19.m1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1"><times id="S4.E19.m1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.1.2"></times><apply id="S4.E19.m1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.1.3.2">𝐸</ci><apply id="S4.E19.m1.1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3"><times id="S4.E19.m1.1.1.1.1.1.3.3.1.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3.1"></times><ci id="S4.E19.m1.1.1.1.1.1.3.3.2.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3.2">𝑡</ci><ci id="S4.E19.m1.1.1.1.1.1.3.3.3.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3.3">𝑒</ci><ci id="S4.E19.m1.1.1.1.1.1.3.3.4.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3.4">𝑠</ci><ci id="S4.E19.m1.1.1.1.1.1.3.3.5.cmml" xref="S4.E19.m1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1">subscript</csymbol><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2"><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3"><times id="S4.E19.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.1"></times><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.3.4.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.3.5.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S4.E19.m1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3"><plus id="S4.E19.m1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1"></plus><apply id="S4.E19.m1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.2"><times id="S4.E19.m1.1.1.1.1.3.2.1.cmml" xref="S4.E19.m1.1.1.1.1.3.2.1"></times><ci id="S4.E19.m1.1.1.1.1.3.2.2.cmml" xref="S4.E19.m1.1.1.1.1.3.2.2">𝐵</ci><ci id="S4.E19.m1.1.1.1.1.3.2.3.cmml" xref="S4.E19.m1.1.1.1.1.3.2.3">𝑖</ci><ci id="S4.E19.m1.1.1.1.1.3.2.4.cmml" xref="S4.E19.m1.1.1.1.1.3.2.4">𝑎</ci><ci id="S4.E19.m1.1.1.1.1.3.2.5.cmml" xref="S4.E19.m1.1.1.1.1.3.2.5">𝑠</ci></apply><apply id="S4.E19.m1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.3.3"><times id="S4.E19.m1.1.1.1.1.3.3.1.cmml" xref="S4.E19.m1.1.1.1.1.3.3.1"></times><ci id="S4.E19.m1.1.1.1.1.3.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.3.2">𝑉</ci><ci id="S4.E19.m1.1.1.1.1.3.3.3.cmml" xref="S4.E19.m1.1.1.1.1.3.3.3">𝑎</ci><ci id="S4.E19.m1.1.1.1.1.3.3.4.cmml" xref="S4.E19.m1.1.1.1.1.3.3.4">𝑟</ci></apply><apply id="S4.E19.m1.1.1.1.1.3.4.cmml" xref="S4.E19.m1.1.1.1.1.3.4"><times id="S4.E19.m1.1.1.1.1.3.4.1.cmml" xref="S4.E19.m1.1.1.1.1.3.4.1"></times><ci id="S4.E19.m1.1.1.1.1.3.4.2.cmml" xref="S4.E19.m1.1.1.1.1.3.4.2">𝑛</ci><apply id="S4.E19.m1.1.1.1.1.3.4.3.cmml" xref="S4.E19.m1.1.1.1.1.3.4.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.4.3.1.cmml" xref="S4.E19.m1.1.1.1.1.3.4.3">superscript</csymbol><apply id="S4.E19.m1.1.1.1.1.3.4.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.4.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.4.3.2.1.cmml" xref="S4.E19.m1.1.1.1.1.3.4.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.3.4.3.2.2.cmml" xref="S4.E19.m1.1.1.1.1.3.4.3.2.2">𝜎</ci><cn id="S4.E19.m1.1.1.1.1.3.4.3.2.3.cmml" type="integer" xref="S4.E19.m1.1.1.1.1.3.4.3.2.3">0</cn></apply><cn id="S4.E19.m1.1.1.1.1.3.4.3.3.cmml" type="integer" xref="S4.E19.m1.1.1.1.1.3.4.3.3">2</cn></apply><ci id="S4.E19.m1.1.1.1.1.3.4.4.cmml" xref="S4.E19.m1.1.1.1.1.3.4.4">𝜌</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E19.m1.1c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})\simeq Bias+Var+{n\sigma_{0}^{2}% \rho},</annotation><annotation encoding="application/x-llamapun" id="S4.E19.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≃ italic_B italic_i italic_a italic_s + italic_V italic_a italic_r + italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(19)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.Thmtheorem5.p1.6"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem5.p1.6.2">where <math alttext="Bias" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.5.1.m1.1"><semantics id="S4.Thmtheorem5.p1.5.1.m1.1a"><mrow id="S4.Thmtheorem5.p1.5.1.m1.1.1" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.cmml"><mi id="S4.Thmtheorem5.p1.5.1.m1.1.1.2" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.2.cmml">B</mi><mo id="S4.Thmtheorem5.p1.5.1.m1.1.1.1" mathvariant="italic" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.5.1.m1.1.1.3" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.3.cmml">i</mi><mo id="S4.Thmtheorem5.p1.5.1.m1.1.1.1a" mathvariant="italic" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.5.1.m1.1.1.4" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.4.cmml">a</mi><mo id="S4.Thmtheorem5.p1.5.1.m1.1.1.1b" mathvariant="italic" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.5.1.m1.1.1.5" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.5.cmml">s</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.5.1.m1.1b"><apply id="S4.Thmtheorem5.p1.5.1.m1.1.1.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1"><times id="S4.Thmtheorem5.p1.5.1.m1.1.1.1.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.1"></times><ci id="S4.Thmtheorem5.p1.5.1.m1.1.1.2.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.2">𝐵</ci><ci id="S4.Thmtheorem5.p1.5.1.m1.1.1.3.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.3">𝑖</ci><ci id="S4.Thmtheorem5.p1.5.1.m1.1.1.4.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.4">𝑎</ci><ci id="S4.Thmtheorem5.p1.5.1.m1.1.1.5.cmml" xref="S4.Thmtheorem5.p1.5.1.m1.1.1.5">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.5.1.m1.1c">Bias</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.5.1.m1.1d">italic_B italic_i italic_a italic_s</annotation></semantics></math> and <math alttext="Var" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.6.2.m2.1"><semantics id="S4.Thmtheorem5.p1.6.2.m2.1a"><mrow id="S4.Thmtheorem5.p1.6.2.m2.1.1" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.cmml"><mi id="S4.Thmtheorem5.p1.6.2.m2.1.1.2" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.2.cmml">V</mi><mo id="S4.Thmtheorem5.p1.6.2.m2.1.1.1" mathvariant="italic" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.6.2.m2.1.1.3" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.3.cmml">a</mi><mo id="S4.Thmtheorem5.p1.6.2.m2.1.1.1a" mathvariant="italic" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.1.cmml">⁢</mo><mi id="S4.Thmtheorem5.p1.6.2.m2.1.1.4" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.4.cmml">r</mi></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.6.2.m2.1b"><apply id="S4.Thmtheorem5.p1.6.2.m2.1.1.cmml" xref="S4.Thmtheorem5.p1.6.2.m2.1.1"><times id="S4.Thmtheorem5.p1.6.2.m2.1.1.1.cmml" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.1"></times><ci id="S4.Thmtheorem5.p1.6.2.m2.1.1.2.cmml" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.2">𝑉</ci><ci id="S4.Thmtheorem5.p1.6.2.m2.1.1.3.cmml" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.3">𝑎</ci><ci id="S4.Thmtheorem5.p1.6.2.m2.1.1.4.cmml" xref="S4.Thmtheorem5.p1.6.2.m2.1.1.4">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.6.2.m2.1c">Var</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.6.2.m2.1d">italic_V italic_a italic_r</annotation></semantics></math> are as given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E16" title="16 ‣ Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">16</span></a>), (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E17" title="17 ‣ Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">17</span></a>), and</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx17"> <tbody id="S4.E20"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{df}_{2}(\kappa)}{T_{0}-d}+% \frac{\kappa^{2}\mathrm{tr}\left(\Sigma+\kappa I_{d}\right)^{-2}}{T_{0}-d}% \cdot\frac{\mathrm{df}_{2}(\kappa)}{T-\mathrm{df}_{2}(\kappa)},\end{split}" class="ltx_Math" display="inline" id="S4.E20.m1.10"><semantics id="S4.E20.m1.10a"><mtable columnspacing="0pt" id="S4.E20.m1.10.10.2"><mtr id="S4.E20.m1.10.10.2a"><mtd class="ltx_align_right" columnalign="right" id="S4.E20.m1.10.10.2b"><mi id="S4.E20.m1.1.1.1.1.1.1" xref="S4.E20.m1.1.1.1.1.1.1.cmml">ρ</mi></mtd><mtd class="ltx_align_left" columnalign="left" id="S4.E20.m1.10.10.2c"><mrow id="S4.E20.m1.10.10.2.9.9.8.8"><mrow id="S4.E20.m1.10.10.2.9.9.8.8.1"><mi id="S4.E20.m1.10.10.2.9.9.8.8.1.1" xref="S4.E20.m1.9.9.1.1.1.cmml"></mi><mo id="S4.E20.m1.2.2.2.2.1.1" xref="S4.E20.m1.2.2.2.2.1.1.cmml">≃</mo><mrow id="S4.E20.m1.10.10.2.9.9.8.8.1.2"><mstyle displaystyle="true" id="S4.E20.m1.3.3.3.3.2.2" xref="S4.E20.m1.3.3.3.3.2.2.cmml"><mfrac id="S4.E20.m1.3.3.3.3.2.2a" xref="S4.E20.m1.3.3.3.3.2.2.cmml"><mrow id="S4.E20.m1.3.3.3.3.2.2.1" xref="S4.E20.m1.3.3.3.3.2.2.1.cmml"><msub id="S4.E20.m1.3.3.3.3.2.2.1.3" xref="S4.E20.m1.3.3.3.3.2.2.1.3.cmml"><mi id="S4.E20.m1.3.3.3.3.2.2.1.3.2" xref="S4.E20.m1.3.3.3.3.2.2.1.3.2.cmml">df</mi><mn id="S4.E20.m1.3.3.3.3.2.2.1.3.3" xref="S4.E20.m1.3.3.3.3.2.2.1.3.3.cmml">2</mn></msub><mo id="S4.E20.m1.3.3.3.3.2.2.1.2" xref="S4.E20.m1.3.3.3.3.2.2.1.2.cmml">⁢</mo><mrow id="S4.E20.m1.3.3.3.3.2.2.1.4.2" xref="S4.E20.m1.3.3.3.3.2.2.1.cmml"><mo id="S4.E20.m1.3.3.3.3.2.2.1.4.2.1" stretchy="false" xref="S4.E20.m1.3.3.3.3.2.2.1.cmml">(</mo><mi id="S4.E20.m1.3.3.3.3.2.2.1.1" xref="S4.E20.m1.3.3.3.3.2.2.1.1.cmml">κ</mi><mo id="S4.E20.m1.3.3.3.3.2.2.1.4.2.2" stretchy="false" xref="S4.E20.m1.3.3.3.3.2.2.1.cmml">)</mo></mrow></mrow><mrow id="S4.E20.m1.3.3.3.3.2.2.3" xref="S4.E20.m1.3.3.3.3.2.2.3.cmml"><msub id="S4.E20.m1.3.3.3.3.2.2.3.2" xref="S4.E20.m1.3.3.3.3.2.2.3.2.cmml"><mi id="S4.E20.m1.3.3.3.3.2.2.3.2.2" xref="S4.E20.m1.3.3.3.3.2.2.3.2.2.cmml">T</mi><mn id="S4.E20.m1.3.3.3.3.2.2.3.2.3" xref="S4.E20.m1.3.3.3.3.2.2.3.2.3.cmml">0</mn></msub><mo id="S4.E20.m1.3.3.3.3.2.2.3.1" xref="S4.E20.m1.3.3.3.3.2.2.3.1.cmml">−</mo><mi id="S4.E20.m1.3.3.3.3.2.2.3.3" xref="S4.E20.m1.3.3.3.3.2.2.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="S4.E20.m1.4.4.4.4.3.3" xref="S4.E20.m1.4.4.4.4.3.3.cmml">+</mo><mrow id="S4.E20.m1.10.10.2.9.9.8.8.1.2.1"><mstyle displaystyle="true" id="S4.E20.m1.5.5.5.5.4.4" xref="S4.E20.m1.5.5.5.5.4.4.cmml"><mfrac id="S4.E20.m1.5.5.5.5.4.4a" xref="S4.E20.m1.5.5.5.5.4.4.cmml"><mrow id="S4.E20.m1.5.5.5.5.4.4.1" xref="S4.E20.m1.5.5.5.5.4.4.1.cmml"><msup id="S4.E20.m1.5.5.5.5.4.4.1.3" xref="S4.E20.m1.5.5.5.5.4.4.1.3.cmml"><mi id="S4.E20.m1.5.5.5.5.4.4.1.3.2" xref="S4.E20.m1.5.5.5.5.4.4.1.3.2.cmml">κ</mi><mn id="S4.E20.m1.5.5.5.5.4.4.1.3.3" xref="S4.E20.m1.5.5.5.5.4.4.1.3.3.cmml">2</mn></msup><mo id="S4.E20.m1.5.5.5.5.4.4.1.2" xref="S4.E20.m1.5.5.5.5.4.4.1.2.cmml">⁢</mo><mi id="S4.E20.m1.5.5.5.5.4.4.1.4" xref="S4.E20.m1.5.5.5.5.4.4.1.4.cmml">tr</mi><mo id="S4.E20.m1.5.5.5.5.4.4.1.2a" xref="S4.E20.m1.5.5.5.5.4.4.1.2.cmml">⁢</mo><msup id="S4.E20.m1.5.5.5.5.4.4.1.1" xref="S4.E20.m1.5.5.5.5.4.4.1.1.cmml"><mrow id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.cmml"><mo id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.2" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.cmml">(</mo><mrow id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.cmml"><mi id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.2" mathvariant="normal" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.2.cmml">Σ</mi><mo id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.1" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.cmml"><mi id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.2" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.2.cmml">κ</mi><mo id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.1" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.cmml"><mi id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.2" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.3" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.3" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.E20.m1.5.5.5.5.4.4.1.1.3" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3.cmml"><mo id="S4.E20.m1.5.5.5.5.4.4.1.1.3a" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3.cmml">−</mo><mn id="S4.E20.m1.5.5.5.5.4.4.1.1.3.2" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3.2.cmml">2</mn></mrow></msup></mrow><mrow id="S4.E20.m1.5.5.5.5.4.4.3" xref="S4.E20.m1.5.5.5.5.4.4.3.cmml"><msub id="S4.E20.m1.5.5.5.5.4.4.3.2" xref="S4.E20.m1.5.5.5.5.4.4.3.2.cmml"><mi id="S4.E20.m1.5.5.5.5.4.4.3.2.2" xref="S4.E20.m1.5.5.5.5.4.4.3.2.2.cmml">T</mi><mn id="S4.E20.m1.5.5.5.5.4.4.3.2.3" xref="S4.E20.m1.5.5.5.5.4.4.3.2.3.cmml">0</mn></msub><mo id="S4.E20.m1.5.5.5.5.4.4.3.1" xref="S4.E20.m1.5.5.5.5.4.4.3.1.cmml">−</mo><mi id="S4.E20.m1.5.5.5.5.4.4.3.3" xref="S4.E20.m1.5.5.5.5.4.4.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="S4.E20.m1.6.6.6.6.5.5" lspace="0.222em" rspace="0.222em" xref="S4.E20.m1.6.6.6.6.5.5.cmml">⋅</mo><mstyle displaystyle="true" id="S4.E20.m1.7.7.7.7.6.6" xref="S4.E20.m1.7.7.7.7.6.6.cmml"><mfrac id="S4.E20.m1.7.7.7.7.6.6a" xref="S4.E20.m1.7.7.7.7.6.6.cmml"><mrow id="S4.E20.m1.7.7.7.7.6.6.1" xref="S4.E20.m1.7.7.7.7.6.6.1.cmml"><msub id="S4.E20.m1.7.7.7.7.6.6.1.3" xref="S4.E20.m1.7.7.7.7.6.6.1.3.cmml"><mi id="S4.E20.m1.7.7.7.7.6.6.1.3.2" xref="S4.E20.m1.7.7.7.7.6.6.1.3.2.cmml">df</mi><mn id="S4.E20.m1.7.7.7.7.6.6.1.3.3" xref="S4.E20.m1.7.7.7.7.6.6.1.3.3.cmml">2</mn></msub><mo id="S4.E20.m1.7.7.7.7.6.6.1.2" xref="S4.E20.m1.7.7.7.7.6.6.1.2.cmml">⁢</mo><mrow id="S4.E20.m1.7.7.7.7.6.6.1.4.2" xref="S4.E20.m1.7.7.7.7.6.6.1.cmml"><mo id="S4.E20.m1.7.7.7.7.6.6.1.4.2.1" stretchy="false" xref="S4.E20.m1.7.7.7.7.6.6.1.cmml">(</mo><mi id="S4.E20.m1.7.7.7.7.6.6.1.1" xref="S4.E20.m1.7.7.7.7.6.6.1.1.cmml">κ</mi><mo id="S4.E20.m1.7.7.7.7.6.6.1.4.2.2" stretchy="false" xref="S4.E20.m1.7.7.7.7.6.6.1.cmml">)</mo></mrow></mrow><mrow id="S4.E20.m1.7.7.7.7.6.6.2" xref="S4.E20.m1.7.7.7.7.6.6.2.cmml"><mi id="S4.E20.m1.7.7.7.7.6.6.2.3" xref="S4.E20.m1.7.7.7.7.6.6.2.3.cmml">T</mi><mo id="S4.E20.m1.7.7.7.7.6.6.2.2" xref="S4.E20.m1.7.7.7.7.6.6.2.2.cmml">−</mo><mrow id="S4.E20.m1.7.7.7.7.6.6.2.4" xref="S4.E20.m1.7.7.7.7.6.6.2.4.cmml"><msub id="S4.E20.m1.7.7.7.7.6.6.2.4.2" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2.cmml"><mi id="S4.E20.m1.7.7.7.7.6.6.2.4.2.2" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2.2.cmml">df</mi><mn id="S4.E20.m1.7.7.7.7.6.6.2.4.2.3" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2.3.cmml">2</mn></msub><mo id="S4.E20.m1.7.7.7.7.6.6.2.4.1" xref="S4.E20.m1.7.7.7.7.6.6.2.4.1.cmml">⁢</mo><mrow id="S4.E20.m1.7.7.7.7.6.6.2.4.3.2" xref="S4.E20.m1.7.7.7.7.6.6.2.4.cmml"><mo id="S4.E20.m1.7.7.7.7.6.6.2.4.3.2.1" stretchy="false" xref="S4.E20.m1.7.7.7.7.6.6.2.4.cmml">(</mo><mi id="S4.E20.m1.7.7.7.7.6.6.2.1" xref="S4.E20.m1.7.7.7.7.6.6.2.1.cmml">κ</mi><mo id="S4.E20.m1.7.7.7.7.6.6.2.4.3.2.2" stretchy="false" xref="S4.E20.m1.7.7.7.7.6.6.2.4.cmml">)</mo></mrow></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow><mo id="S4.E20.m1.8.8.8.8.7.7" xref="S4.E20.m1.9.9.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="S4.E20.m1.10b"><apply id="S4.E20.m1.9.9.1.1.1.cmml" xref="S4.E20.m1.10.10.2.9.9.8.8.1.1"><csymbol cd="latexml" id="S4.E20.m1.2.2.2.2.1.1.cmml" xref="S4.E20.m1.2.2.2.2.1.1">similar-to-or-equals</csymbol><ci id="S4.E20.m1.1.1.1.1.1.1.cmml" xref="S4.E20.m1.1.1.1.1.1.1">𝜌</ci><apply id="S4.E20.m1.9.9.1.1.1.3.cmml" xref="S4.E20.m1.10.10.2.9.9.8.8.1.1"><plus id="S4.E20.m1.4.4.4.4.3.3.cmml" xref="S4.E20.m1.4.4.4.4.3.3"></plus><apply id="S4.E20.m1.3.3.3.3.2.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2"><divide id="S4.E20.m1.3.3.3.3.2.2.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2"></divide><apply id="S4.E20.m1.3.3.3.3.2.2.1.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1"><times id="S4.E20.m1.3.3.3.3.2.2.1.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1.2"></times><apply id="S4.E20.m1.3.3.3.3.2.2.1.3.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1.3"><csymbol cd="ambiguous" id="S4.E20.m1.3.3.3.3.2.2.1.3.1.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1.3">subscript</csymbol><ci id="S4.E20.m1.3.3.3.3.2.2.1.3.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1.3.2">df</ci><cn id="S4.E20.m1.3.3.3.3.2.2.1.3.3.cmml" type="integer" xref="S4.E20.m1.3.3.3.3.2.2.1.3.3">2</cn></apply><ci id="S4.E20.m1.3.3.3.3.2.2.1.1.cmml" xref="S4.E20.m1.3.3.3.3.2.2.1.1">𝜅</ci></apply><apply id="S4.E20.m1.3.3.3.3.2.2.3.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3"><minus id="S4.E20.m1.3.3.3.3.2.2.3.1.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3.1"></minus><apply id="S4.E20.m1.3.3.3.3.2.2.3.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3.2"><csymbol cd="ambiguous" id="S4.E20.m1.3.3.3.3.2.2.3.2.1.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3.2">subscript</csymbol><ci id="S4.E20.m1.3.3.3.3.2.2.3.2.2.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3.2.2">𝑇</ci><cn id="S4.E20.m1.3.3.3.3.2.2.3.2.3.cmml" type="integer" xref="S4.E20.m1.3.3.3.3.2.2.3.2.3">0</cn></apply><ci id="S4.E20.m1.3.3.3.3.2.2.3.3.cmml" xref="S4.E20.m1.3.3.3.3.2.2.3.3">𝑑</ci></apply></apply><apply id="S4.E20.m1.9.9.1.1.1.3.3.cmml" xref="S4.E20.m1.10.10.2.9.9.8.8.1.1"><ci id="S4.E20.m1.6.6.6.6.5.5.cmml" xref="S4.E20.m1.6.6.6.6.5.5">⋅</ci><apply id="S4.E20.m1.5.5.5.5.4.4.cmml" xref="S4.E20.m1.5.5.5.5.4.4"><divide id="S4.E20.m1.5.5.5.5.4.4.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4"></divide><apply id="S4.E20.m1.5.5.5.5.4.4.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1"><times id="S4.E20.m1.5.5.5.5.4.4.1.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.2"></times><apply id="S4.E20.m1.5.5.5.5.4.4.1.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.3"><csymbol cd="ambiguous" id="S4.E20.m1.5.5.5.5.4.4.1.3.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.3">superscript</csymbol><ci id="S4.E20.m1.5.5.5.5.4.4.1.3.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.3.2">𝜅</ci><cn id="S4.E20.m1.5.5.5.5.4.4.1.3.3.cmml" type="integer" xref="S4.E20.m1.5.5.5.5.4.4.1.3.3">2</cn></apply><ci id="S4.E20.m1.5.5.5.5.4.4.1.4.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.4">tr</ci><apply id="S4.E20.m1.5.5.5.5.4.4.1.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1"><csymbol cd="ambiguous" id="S4.E20.m1.5.5.5.5.4.4.1.1.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1">superscript</csymbol><apply id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1"><plus id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.1"></plus><ci id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.2">Σ</ci><apply id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3"><times id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.1"></times><ci id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.2">𝜅</ci><apply id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3">subscript</csymbol><ci id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.2">𝐼</ci><ci id="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="S4.E20.m1.5.5.5.5.4.4.1.1.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3"><minus id="S4.E20.m1.5.5.5.5.4.4.1.1.3.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3"></minus><cn id="S4.E20.m1.5.5.5.5.4.4.1.1.3.2.cmml" type="integer" xref="S4.E20.m1.5.5.5.5.4.4.1.1.3.2">2</cn></apply></apply></apply><apply id="S4.E20.m1.5.5.5.5.4.4.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3"><minus id="S4.E20.m1.5.5.5.5.4.4.3.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3.1"></minus><apply id="S4.E20.m1.5.5.5.5.4.4.3.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3.2"><csymbol cd="ambiguous" id="S4.E20.m1.5.5.5.5.4.4.3.2.1.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3.2">subscript</csymbol><ci id="S4.E20.m1.5.5.5.5.4.4.3.2.2.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3.2.2">𝑇</ci><cn id="S4.E20.m1.5.5.5.5.4.4.3.2.3.cmml" type="integer" xref="S4.E20.m1.5.5.5.5.4.4.3.2.3">0</cn></apply><ci id="S4.E20.m1.5.5.5.5.4.4.3.3.cmml" xref="S4.E20.m1.5.5.5.5.4.4.3.3">𝑑</ci></apply></apply><apply id="S4.E20.m1.7.7.7.7.6.6.cmml" xref="S4.E20.m1.7.7.7.7.6.6"><divide id="S4.E20.m1.7.7.7.7.6.6.3.cmml" xref="S4.E20.m1.7.7.7.7.6.6"></divide><apply id="S4.E20.m1.7.7.7.7.6.6.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1"><times id="S4.E20.m1.7.7.7.7.6.6.1.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1.2"></times><apply id="S4.E20.m1.7.7.7.7.6.6.1.3.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1.3"><csymbol cd="ambiguous" id="S4.E20.m1.7.7.7.7.6.6.1.3.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1.3">subscript</csymbol><ci id="S4.E20.m1.7.7.7.7.6.6.1.3.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1.3.2">df</ci><cn id="S4.E20.m1.7.7.7.7.6.6.1.3.3.cmml" type="integer" xref="S4.E20.m1.7.7.7.7.6.6.1.3.3">2</cn></apply><ci id="S4.E20.m1.7.7.7.7.6.6.1.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.1.1">𝜅</ci></apply><apply id="S4.E20.m1.7.7.7.7.6.6.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2"><minus id="S4.E20.m1.7.7.7.7.6.6.2.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.2"></minus><ci id="S4.E20.m1.7.7.7.7.6.6.2.3.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.3">𝑇</ci><apply id="S4.E20.m1.7.7.7.7.6.6.2.4.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.4"><times id="S4.E20.m1.7.7.7.7.6.6.2.4.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.4.1"></times><apply id="S4.E20.m1.7.7.7.7.6.6.2.4.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2"><csymbol cd="ambiguous" id="S4.E20.m1.7.7.7.7.6.6.2.4.2.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2">subscript</csymbol><ci id="S4.E20.m1.7.7.7.7.6.6.2.4.2.2.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2.2">df</ci><cn id="S4.E20.m1.7.7.7.7.6.6.2.4.2.3.cmml" type="integer" xref="S4.E20.m1.7.7.7.7.6.6.2.4.2.3">2</cn></apply><ci id="S4.E20.m1.7.7.7.7.6.6.2.1.cmml" xref="S4.E20.m1.7.7.7.7.6.6.2.1">𝜅</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E20.m1.10c">\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{df}_{2}(\kappa)}{T_{0}-d}+% \frac{\kappa^{2}\mathrm{tr}\left(\Sigma+\kappa I_{d}\right)^{-2}}{T_{0}-d}% \cdot\frac{\mathrm{df}_{2}(\kappa)}{T-\mathrm{df}_{2}(\kappa)},\end{split}</annotation><annotation encoding="application/x-llamapun" id="S4.E20.m1.10d">start_ROW start_CELL italic_ρ end_CELL start_CELL ≃ divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG + divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT roman_tr ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG ⋅ divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(20)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.Thmtheorem5.p1.7"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem5.p1.7.1">with <math alttext="\kappa=\kappa(\lambda,T)" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p1.7.1.m1.2"><semantics id="S4.Thmtheorem5.p1.7.1.m1.2a"><mrow id="S4.Thmtheorem5.p1.7.1.m1.2.3" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.cmml"><mi id="S4.Thmtheorem5.p1.7.1.m1.2.3.2" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.2.cmml">κ</mi><mo id="S4.Thmtheorem5.p1.7.1.m1.2.3.1" mathvariant="normal" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.1.cmml">=</mo><mrow id="S4.Thmtheorem5.p1.7.1.m1.2.3.3" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.cmml"><mi id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.2" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.2.cmml">κ</mi><mo id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.1" mathvariant="italic" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.1.cmml">⁢</mo><mrow id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.2" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.1.cmml"><mo id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.2.1" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.1.cmml">(</mo><mi id="S4.Thmtheorem5.p1.7.1.m1.1.1" xref="S4.Thmtheorem5.p1.7.1.m1.1.1.cmml">λ</mi><mo id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.2.2" mathvariant="normal" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.1.cmml">,</mo><mi id="S4.Thmtheorem5.p1.7.1.m1.2.2" xref="S4.Thmtheorem5.p1.7.1.m1.2.2.cmml">T</mi><mo id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.2.3" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p1.7.1.m1.2b"><apply id="S4.Thmtheorem5.p1.7.1.m1.2.3.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3"><eq id="S4.Thmtheorem5.p1.7.1.m1.2.3.1.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.1"></eq><ci id="S4.Thmtheorem5.p1.7.1.m1.2.3.2.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.2">𝜅</ci><apply id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3"><times id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.1.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.1"></times><ci id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.2.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.2">𝜅</ci><interval closure="open" id="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.1.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.3.3.3.2"><ci id="S4.Thmtheorem5.p1.7.1.m1.1.1.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.1.1">𝜆</ci><ci id="S4.Thmtheorem5.p1.7.1.m1.2.2.cmml" xref="S4.Thmtheorem5.p1.7.1.m1.2.2">𝑇</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p1.7.1.m1.2c">\kappa=\kappa(\lambda,T)</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p1.7.1.m1.2d">italic_κ = italic_κ ( italic_λ , italic_T )</annotation></semantics></math> is as given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E11" title="11 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">11</span></a>).</span></p> </div> <div class="ltx_para" id="S4.Thmtheorem5.p2"> <p class="ltx_p" id="S4.Thmtheorem5.p2.1"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem5.p2.1.1">In the special case of isotropic features (<math alttext="\Sigma=I_{d})" class="ltx_math_unparsed" display="inline" id="S4.Thmtheorem5.p2.1.1.m1.1"><semantics id="S4.Thmtheorem5.p2.1.1.m1.1a"><mrow id="S4.Thmtheorem5.p2.1.1.m1.1b"><mi id="S4.Thmtheorem5.p2.1.1.m1.1.1" mathvariant="normal">Σ</mi><mo id="S4.Thmtheorem5.p2.1.1.m1.1.2" mathvariant="normal">=</mo><msub id="S4.Thmtheorem5.p2.1.1.m1.1.3"><mi id="S4.Thmtheorem5.p2.1.1.m1.1.3.2">I</mi><mi id="S4.Thmtheorem5.p2.1.1.m1.1.3.3">d</mi></msub><mo id="S4.Thmtheorem5.p2.1.1.m1.1.4" mathvariant="normal" stretchy="false">)</mo></mrow><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p2.1.1.m1.1c">\Sigma=I_{d})</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p2.1.1.m1.1d">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT )</annotation></semantics></math>, </span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx18"> <tbody id="S4.E21"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\rho\simeq\frac{\phi_{0}}{1-\phi_{0}}\left(\frac{1}{(1+\kappa)^{2% }}+\frac{1}{(1+\kappa)^{2}}\frac{\phi\kappa^{2}}{(1+\kappa)^{2}-\phi}\right)," class="ltx_Math" display="inline" id="S4.E21.m1.4"><semantics id="S4.E21.m1.4a"><mrow id="S4.E21.m1.4.4.1" xref="S4.E21.m1.4.4.1.1.cmml"><mrow id="S4.E21.m1.4.4.1.1" xref="S4.E21.m1.4.4.1.1.cmml"><mi id="S4.E21.m1.4.4.1.1.3" xref="S4.E21.m1.4.4.1.1.3.cmml">ρ</mi><mo id="S4.E21.m1.4.4.1.1.2" xref="S4.E21.m1.4.4.1.1.2.cmml">≃</mo><mrow id="S4.E21.m1.4.4.1.1.1" xref="S4.E21.m1.4.4.1.1.1.cmml"><mstyle displaystyle="true" id="S4.E21.m1.4.4.1.1.1.3" xref="S4.E21.m1.4.4.1.1.1.3.cmml"><mfrac id="S4.E21.m1.4.4.1.1.1.3a" xref="S4.E21.m1.4.4.1.1.1.3.cmml"><msub id="S4.E21.m1.4.4.1.1.1.3.2" xref="S4.E21.m1.4.4.1.1.1.3.2.cmml"><mi id="S4.E21.m1.4.4.1.1.1.3.2.2" xref="S4.E21.m1.4.4.1.1.1.3.2.2.cmml">ϕ</mi><mn id="S4.E21.m1.4.4.1.1.1.3.2.3" xref="S4.E21.m1.4.4.1.1.1.3.2.3.cmml">0</mn></msub><mrow id="S4.E21.m1.4.4.1.1.1.3.3" xref="S4.E21.m1.4.4.1.1.1.3.3.cmml"><mn id="S4.E21.m1.4.4.1.1.1.3.3.2" xref="S4.E21.m1.4.4.1.1.1.3.3.2.cmml">1</mn><mo id="S4.E21.m1.4.4.1.1.1.3.3.1" xref="S4.E21.m1.4.4.1.1.1.3.3.1.cmml">−</mo><msub id="S4.E21.m1.4.4.1.1.1.3.3.3" xref="S4.E21.m1.4.4.1.1.1.3.3.3.cmml"><mi id="S4.E21.m1.4.4.1.1.1.3.3.3.2" xref="S4.E21.m1.4.4.1.1.1.3.3.3.2.cmml">ϕ</mi><mn id="S4.E21.m1.4.4.1.1.1.3.3.3.3" xref="S4.E21.m1.4.4.1.1.1.3.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle><mo id="S4.E21.m1.4.4.1.1.1.2" xref="S4.E21.m1.4.4.1.1.1.2.cmml">⁢</mo><mrow id="S4.E21.m1.4.4.1.1.1.1.1" xref="S4.E21.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S4.E21.m1.4.4.1.1.1.1.1.2" xref="S4.E21.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E21.m1.4.4.1.1.1.1.1.1" xref="S4.E21.m1.4.4.1.1.1.1.1.1.cmml"><mstyle displaystyle="true" id="S4.E21.m1.1.1" xref="S4.E21.m1.1.1.cmml"><mfrac id="S4.E21.m1.1.1a" xref="S4.E21.m1.1.1.cmml"><mn id="S4.E21.m1.1.1.3" xref="S4.E21.m1.1.1.3.cmml">1</mn><msup id="S4.E21.m1.1.1.1" xref="S4.E21.m1.1.1.1.cmml"><mrow id="S4.E21.m1.1.1.1.1.1" xref="S4.E21.m1.1.1.1.1.1.1.cmml"><mo id="S4.E21.m1.1.1.1.1.1.2" stretchy="false" xref="S4.E21.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E21.m1.1.1.1.1.1.1" xref="S4.E21.m1.1.1.1.1.1.1.cmml"><mn id="S4.E21.m1.1.1.1.1.1.1.2" xref="S4.E21.m1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S4.E21.m1.1.1.1.1.1.1.1" xref="S4.E21.m1.1.1.1.1.1.1.1.cmml">+</mo><mi id="S4.E21.m1.1.1.1.1.1.1.3" xref="S4.E21.m1.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="S4.E21.m1.1.1.1.1.1.3" stretchy="false" xref="S4.E21.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="S4.E21.m1.1.1.1.3" xref="S4.E21.m1.1.1.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="S4.E21.m1.4.4.1.1.1.1.1.1.1" xref="S4.E21.m1.4.4.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S4.E21.m1.4.4.1.1.1.1.1.1.2" xref="S4.E21.m1.4.4.1.1.1.1.1.1.2.cmml"><mstyle displaystyle="true" id="S4.E21.m1.2.2" xref="S4.E21.m1.2.2.cmml"><mfrac id="S4.E21.m1.2.2a" xref="S4.E21.m1.2.2.cmml"><mn id="S4.E21.m1.2.2.3" xref="S4.E21.m1.2.2.3.cmml">1</mn><msup id="S4.E21.m1.2.2.1" xref="S4.E21.m1.2.2.1.cmml"><mrow id="S4.E21.m1.2.2.1.1.1" xref="S4.E21.m1.2.2.1.1.1.1.cmml"><mo id="S4.E21.m1.2.2.1.1.1.2" stretchy="false" xref="S4.E21.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="S4.E21.m1.2.2.1.1.1.1" xref="S4.E21.m1.2.2.1.1.1.1.cmml"><mn id="S4.E21.m1.2.2.1.1.1.1.2" xref="S4.E21.m1.2.2.1.1.1.1.2.cmml">1</mn><mo id="S4.E21.m1.2.2.1.1.1.1.1" xref="S4.E21.m1.2.2.1.1.1.1.1.cmml">+</mo><mi id="S4.E21.m1.2.2.1.1.1.1.3" xref="S4.E21.m1.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="S4.E21.m1.2.2.1.1.1.3" stretchy="false" xref="S4.E21.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="S4.E21.m1.2.2.1.3" xref="S4.E21.m1.2.2.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="S4.E21.m1.4.4.1.1.1.1.1.1.2.1" xref="S4.E21.m1.4.4.1.1.1.1.1.1.2.1.cmml">⁢</mo><mstyle displaystyle="true" id="S4.E21.m1.3.3" xref="S4.E21.m1.3.3.cmml"><mfrac id="S4.E21.m1.3.3a" xref="S4.E21.m1.3.3.cmml"><mrow id="S4.E21.m1.3.3.3" xref="S4.E21.m1.3.3.3.cmml"><mi id="S4.E21.m1.3.3.3.2" xref="S4.E21.m1.3.3.3.2.cmml">ϕ</mi><mo id="S4.E21.m1.3.3.3.1" xref="S4.E21.m1.3.3.3.1.cmml">⁢</mo><msup id="S4.E21.m1.3.3.3.3" xref="S4.E21.m1.3.3.3.3.cmml"><mi id="S4.E21.m1.3.3.3.3.2" xref="S4.E21.m1.3.3.3.3.2.cmml">κ</mi><mn id="S4.E21.m1.3.3.3.3.3" xref="S4.E21.m1.3.3.3.3.3.cmml">2</mn></msup></mrow><mrow id="S4.E21.m1.3.3.1" xref="S4.E21.m1.3.3.1.cmml"><msup id="S4.E21.m1.3.3.1.1" xref="S4.E21.m1.3.3.1.1.cmml"><mrow id="S4.E21.m1.3.3.1.1.1.1" xref="S4.E21.m1.3.3.1.1.1.1.1.cmml"><mo id="S4.E21.m1.3.3.1.1.1.1.2" stretchy="false" xref="S4.E21.m1.3.3.1.1.1.1.1.cmml">(</mo><mrow id="S4.E21.m1.3.3.1.1.1.1.1" xref="S4.E21.m1.3.3.1.1.1.1.1.cmml"><mn id="S4.E21.m1.3.3.1.1.1.1.1.2" xref="S4.E21.m1.3.3.1.1.1.1.1.2.cmml">1</mn><mo id="S4.E21.m1.3.3.1.1.1.1.1.1" xref="S4.E21.m1.3.3.1.1.1.1.1.1.cmml">+</mo><mi id="S4.E21.m1.3.3.1.1.1.1.1.3" xref="S4.E21.m1.3.3.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="S4.E21.m1.3.3.1.1.1.1.3" stretchy="false" xref="S4.E21.m1.3.3.1.1.1.1.1.cmml">)</mo></mrow><mn id="S4.E21.m1.3.3.1.1.3" xref="S4.E21.m1.3.3.1.1.3.cmml">2</mn></msup><mo id="S4.E21.m1.3.3.1.2" xref="S4.E21.m1.3.3.1.2.cmml">−</mo><mi id="S4.E21.m1.3.3.1.3" xref="S4.E21.m1.3.3.1.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow></mrow><mo id="S4.E21.m1.4.4.1.1.1.1.1.3" xref="S4.E21.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E21.m1.4.4.1.2" xref="S4.E21.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E21.m1.4b"><apply id="S4.E21.m1.4.4.1.1.cmml" xref="S4.E21.m1.4.4.1"><csymbol cd="latexml" id="S4.E21.m1.4.4.1.1.2.cmml" xref="S4.E21.m1.4.4.1.1.2">similar-to-or-equals</csymbol><ci id="S4.E21.m1.4.4.1.1.3.cmml" xref="S4.E21.m1.4.4.1.1.3">𝜌</ci><apply id="S4.E21.m1.4.4.1.1.1.cmml" xref="S4.E21.m1.4.4.1.1.1"><times id="S4.E21.m1.4.4.1.1.1.2.cmml" xref="S4.E21.m1.4.4.1.1.1.2"></times><apply id="S4.E21.m1.4.4.1.1.1.3.cmml" xref="S4.E21.m1.4.4.1.1.1.3"><divide id="S4.E21.m1.4.4.1.1.1.3.1.cmml" xref="S4.E21.m1.4.4.1.1.1.3"></divide><apply id="S4.E21.m1.4.4.1.1.1.3.2.cmml" xref="S4.E21.m1.4.4.1.1.1.3.2"><csymbol cd="ambiguous" id="S4.E21.m1.4.4.1.1.1.3.2.1.cmml" xref="S4.E21.m1.4.4.1.1.1.3.2">subscript</csymbol><ci id="S4.E21.m1.4.4.1.1.1.3.2.2.cmml" xref="S4.E21.m1.4.4.1.1.1.3.2.2">italic-ϕ</ci><cn id="S4.E21.m1.4.4.1.1.1.3.2.3.cmml" type="integer" xref="S4.E21.m1.4.4.1.1.1.3.2.3">0</cn></apply><apply id="S4.E21.m1.4.4.1.1.1.3.3.cmml" xref="S4.E21.m1.4.4.1.1.1.3.3"><minus id="S4.E21.m1.4.4.1.1.1.3.3.1.cmml" xref="S4.E21.m1.4.4.1.1.1.3.3.1"></minus><cn id="S4.E21.m1.4.4.1.1.1.3.3.2.cmml" type="integer" xref="S4.E21.m1.4.4.1.1.1.3.3.2">1</cn><apply id="S4.E21.m1.4.4.1.1.1.3.3.3.cmml" xref="S4.E21.m1.4.4.1.1.1.3.3.3"><csymbol cd="ambiguous" id="S4.E21.m1.4.4.1.1.1.3.3.3.1.cmml" xref="S4.E21.m1.4.4.1.1.1.3.3.3">subscript</csymbol><ci id="S4.E21.m1.4.4.1.1.1.3.3.3.2.cmml" xref="S4.E21.m1.4.4.1.1.1.3.3.3.2">italic-ϕ</ci><cn id="S4.E21.m1.4.4.1.1.1.3.3.3.3.cmml" type="integer" xref="S4.E21.m1.4.4.1.1.1.3.3.3.3">0</cn></apply></apply></apply><apply id="S4.E21.m1.4.4.1.1.1.1.1.1.cmml" xref="S4.E21.m1.4.4.1.1.1.1.1"><plus id="S4.E21.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S4.E21.m1.4.4.1.1.1.1.1.1.1"></plus><apply id="S4.E21.m1.1.1.cmml" xref="S4.E21.m1.1.1"><divide id="S4.E21.m1.1.1.2.cmml" xref="S4.E21.m1.1.1"></divide><cn id="S4.E21.m1.1.1.3.cmml" type="integer" xref="S4.E21.m1.1.1.3">1</cn><apply id="S4.E21.m1.1.1.1.cmml" xref="S4.E21.m1.1.1.1"><csymbol cd="ambiguous" id="S4.E21.m1.1.1.1.2.cmml" xref="S4.E21.m1.1.1.1">superscript</csymbol><apply id="S4.E21.m1.1.1.1.1.1.1.cmml" xref="S4.E21.m1.1.1.1.1.1"><plus id="S4.E21.m1.1.1.1.1.1.1.1.cmml" xref="S4.E21.m1.1.1.1.1.1.1.1"></plus><cn id="S4.E21.m1.1.1.1.1.1.1.2.cmml" type="integer" xref="S4.E21.m1.1.1.1.1.1.1.2">1</cn><ci id="S4.E21.m1.1.1.1.1.1.1.3.cmml" xref="S4.E21.m1.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="S4.E21.m1.1.1.1.3.cmml" type="integer" xref="S4.E21.m1.1.1.1.3">2</cn></apply></apply><apply id="S4.E21.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S4.E21.m1.4.4.1.1.1.1.1.1.2"><times id="S4.E21.m1.4.4.1.1.1.1.1.1.2.1.cmml" xref="S4.E21.m1.4.4.1.1.1.1.1.1.2.1"></times><apply id="S4.E21.m1.2.2.cmml" xref="S4.E21.m1.2.2"><divide id="S4.E21.m1.2.2.2.cmml" xref="S4.E21.m1.2.2"></divide><cn id="S4.E21.m1.2.2.3.cmml" type="integer" xref="S4.E21.m1.2.2.3">1</cn><apply id="S4.E21.m1.2.2.1.cmml" xref="S4.E21.m1.2.2.1"><csymbol cd="ambiguous" id="S4.E21.m1.2.2.1.2.cmml" xref="S4.E21.m1.2.2.1">superscript</csymbol><apply id="S4.E21.m1.2.2.1.1.1.1.cmml" xref="S4.E21.m1.2.2.1.1.1"><plus id="S4.E21.m1.2.2.1.1.1.1.1.cmml" xref="S4.E21.m1.2.2.1.1.1.1.1"></plus><cn id="S4.E21.m1.2.2.1.1.1.1.2.cmml" type="integer" xref="S4.E21.m1.2.2.1.1.1.1.2">1</cn><ci id="S4.E21.m1.2.2.1.1.1.1.3.cmml" xref="S4.E21.m1.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="S4.E21.m1.2.2.1.3.cmml" type="integer" xref="S4.E21.m1.2.2.1.3">2</cn></apply></apply><apply id="S4.E21.m1.3.3.cmml" xref="S4.E21.m1.3.3"><divide id="S4.E21.m1.3.3.2.cmml" xref="S4.E21.m1.3.3"></divide><apply id="S4.E21.m1.3.3.3.cmml" xref="S4.E21.m1.3.3.3"><times id="S4.E21.m1.3.3.3.1.cmml" xref="S4.E21.m1.3.3.3.1"></times><ci id="S4.E21.m1.3.3.3.2.cmml" xref="S4.E21.m1.3.3.3.2">italic-ϕ</ci><apply id="S4.E21.m1.3.3.3.3.cmml" xref="S4.E21.m1.3.3.3.3"><csymbol cd="ambiguous" id="S4.E21.m1.3.3.3.3.1.cmml" xref="S4.E21.m1.3.3.3.3">superscript</csymbol><ci id="S4.E21.m1.3.3.3.3.2.cmml" xref="S4.E21.m1.3.3.3.3.2">𝜅</ci><cn id="S4.E21.m1.3.3.3.3.3.cmml" type="integer" xref="S4.E21.m1.3.3.3.3.3">2</cn></apply></apply><apply id="S4.E21.m1.3.3.1.cmml" xref="S4.E21.m1.3.3.1"><minus id="S4.E21.m1.3.3.1.2.cmml" xref="S4.E21.m1.3.3.1.2"></minus><apply id="S4.E21.m1.3.3.1.1.cmml" xref="S4.E21.m1.3.3.1.1"><csymbol cd="ambiguous" id="S4.E21.m1.3.3.1.1.2.cmml" xref="S4.E21.m1.3.3.1.1">superscript</csymbol><apply id="S4.E21.m1.3.3.1.1.1.1.1.cmml" xref="S4.E21.m1.3.3.1.1.1.1"><plus id="S4.E21.m1.3.3.1.1.1.1.1.1.cmml" xref="S4.E21.m1.3.3.1.1.1.1.1.1"></plus><cn id="S4.E21.m1.3.3.1.1.1.1.1.2.cmml" type="integer" xref="S4.E21.m1.3.3.1.1.1.1.1.2">1</cn><ci id="S4.E21.m1.3.3.1.1.1.1.1.3.cmml" xref="S4.E21.m1.3.3.1.1.1.1.1.3">𝜅</ci></apply><cn id="S4.E21.m1.3.3.1.1.3.cmml" type="integer" xref="S4.E21.m1.3.3.1.1.3">2</cn></apply><ci id="S4.E21.m1.3.3.1.3.cmml" xref="S4.E21.m1.3.3.1.3">italic-ϕ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E21.m1.4c">\displaystyle\rho\simeq\frac{\phi_{0}}{1-\phi_{0}}\left(\frac{1}{(1+\kappa)^{2% }}+\frac{1}{(1+\kappa)^{2}}\frac{\phi\kappa^{2}}{(1+\kappa)^{2}-\phi}\right),</annotation><annotation encoding="application/x-llamapun" id="S4.E21.m1.4d">italic_ρ ≃ divide start_ARG italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG ( divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG + divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG divide start_ARG italic_ϕ italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT - italic_ϕ end_ARG ) ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(21)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S4.Thmtheorem5.p2.3"><span class="ltx_text ltx_font_italic" id="S4.Thmtheorem5.p2.3.2">where <math alttext="\phi_{0}:=d/T_{0}" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p2.2.1.m1.1"><semantics id="S4.Thmtheorem5.p2.2.1.m1.1a"><mrow id="S4.Thmtheorem5.p2.2.1.m1.1.1" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.cmml"><msub id="S4.Thmtheorem5.p2.2.1.m1.1.1.2" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2.cmml"><mi id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.2" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2.2.cmml">ϕ</mi><mn id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.3" mathvariant="normal" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2.3.cmml">0</mn></msub><mo id="S4.Thmtheorem5.p2.2.1.m1.1.1.1" lspace="0.278em" mathvariant="normal" rspace="0.278em" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.1.cmml">:=</mo><mrow id="S4.Thmtheorem5.p2.2.1.m1.1.1.3" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.cmml"><mi id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.2" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.2.cmml">d</mi><mo id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.1" mathvariant="normal" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.1.cmml">/</mo><msub id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.cmml"><mi id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.2" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.2.cmml">T</mi><mn id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.3" mathvariant="normal" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.3.cmml">0</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p2.2.1.m1.1b"><apply id="S4.Thmtheorem5.p2.2.1.m1.1.1.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1"><csymbol cd="latexml" id="S4.Thmtheorem5.p2.2.1.m1.1.1.1.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.1">assign</csymbol><apply id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2"><csymbol cd="ambiguous" id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.1.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2">subscript</csymbol><ci id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.2.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2.2">italic-ϕ</ci><cn id="S4.Thmtheorem5.p2.2.1.m1.1.1.2.3.cmml" type="integer" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.2.3">0</cn></apply><apply id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3"><divide id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.1.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.1"></divide><ci id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.2.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.2">𝑑</ci><apply id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.1.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3">subscript</csymbol><ci id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.2.cmml" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.2">𝑇</ci><cn id="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.3.cmml" type="integer" xref="S4.Thmtheorem5.p2.2.1.m1.1.1.3.3.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p2.2.1.m1.1c">\phi_{0}:=d/T_{0}</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p2.2.1.m1.1d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := italic_d / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> and <math alttext="\kappa=\kappa(\lambda)" class="ltx_Math" display="inline" id="S4.Thmtheorem5.p2.3.2.m2.1"><semantics id="S4.Thmtheorem5.p2.3.2.m2.1a"><mrow id="S4.Thmtheorem5.p2.3.2.m2.1.2" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.cmml"><mi id="S4.Thmtheorem5.p2.3.2.m2.1.2.2" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.2.cmml">κ</mi><mo id="S4.Thmtheorem5.p2.3.2.m2.1.2.1" mathvariant="normal" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.1.cmml">=</mo><mrow id="S4.Thmtheorem5.p2.3.2.m2.1.2.3" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.cmml"><mi id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.2" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.2.cmml">κ</mi><mo id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.1" mathvariant="italic" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.1.cmml">⁢</mo><mrow id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.3.2" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.cmml"><mo id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.3.2.1" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.cmml">(</mo><mi id="S4.Thmtheorem5.p2.3.2.m2.1.1" xref="S4.Thmtheorem5.p2.3.2.m2.1.1.cmml">λ</mi><mo id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.3.2.2" mathvariant="normal" stretchy="false" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.Thmtheorem5.p2.3.2.m2.1b"><apply id="S4.Thmtheorem5.p2.3.2.m2.1.2.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2"><eq id="S4.Thmtheorem5.p2.3.2.m2.1.2.1.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.1"></eq><ci id="S4.Thmtheorem5.p2.3.2.m2.1.2.2.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.2">𝜅</ci><apply id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3"><times id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.1.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.1"></times><ci id="S4.Thmtheorem5.p2.3.2.m2.1.2.3.2.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.2.3.2">𝜅</ci><ci id="S4.Thmtheorem5.p2.3.2.m2.1.1.cmml" xref="S4.Thmtheorem5.p2.3.2.m2.1.1">𝜆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Thmtheorem5.p2.3.2.m2.1c">\kappa=\kappa(\lambda)</annotation><annotation encoding="application/x-llamapun" id="S4.Thmtheorem5.p2.3.2.m2.1d">italic_κ = italic_κ ( italic_λ )</annotation></semantics></math> is as given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E12" title="12 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">12</span></a>).</span></p> </div> </div> <div class="ltx_para" id="S4.SS4.p2"> <p class="ltx_p" id="S4.SS4.p2.4">Such a result, empirically illustrated in Figures <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a> and <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F2" title="Figure 2 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>, gives us the needed anaytical handle for understanding <math alttext="n" class="ltx_Math" display="inline" id="S4.SS4.p2.1.m1.1"><semantics id="S4.SS4.p2.1.m1.1a"><mi id="S4.SS4.p2.1.m1.1.1" xref="S4.SS4.p2.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S4.SS4.p2.1.m1.1b"><ci id="S4.SS4.p2.1.m1.1.1.cmml" xref="S4.SS4.p2.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS4.p2.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S4.SS4.p2.1.m1.1d">italic_n</annotation></semantics></math>-fold model collapse in terms of all relevant problem hyper-parameters: spectral properties of covariance matrix <math alttext="\Sigma" class="ltx_Math" display="inline" id="S4.SS4.p2.2.m2.1"><semantics id="S4.SS4.p2.2.m2.1a"><mi id="S4.SS4.p2.2.m2.1.1" mathvariant="normal" xref="S4.SS4.p2.2.m2.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S4.SS4.p2.2.m2.1b"><ci id="S4.SS4.p2.2.m2.1.1.cmml" xref="S4.SS4.p2.2.m2.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS4.p2.2.m2.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S4.SS4.p2.2.m2.1d">roman_Σ</annotation></semantics></math>, regularization level <math alttext="\lambda" class="ltx_Math" display="inline" id="S4.SS4.p2.3.m3.1"><semantics id="S4.SS4.p2.3.m3.1a"><mi id="S4.SS4.p2.3.m3.1.1" xref="S4.SS4.p2.3.m3.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="S4.SS4.p2.3.m3.1b"><ci id="S4.SS4.p2.3.m3.1.1.cmml" xref="S4.SS4.p2.3.m3.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.SS4.p2.3.m3.1c">\lambda</annotation><annotation encoding="application/x-llamapun" id="S4.SS4.p2.3.m3.1d">italic_λ</annotation></semantics></math>, label-noise level <math alttext="\sigma^{2}" class="ltx_Math" display="inline" id="S4.SS4.p2.4.m4.1"><semantics id="S4.SS4.p2.4.m4.1a"><msup id="S4.SS4.p2.4.m4.1.1" xref="S4.SS4.p2.4.m4.1.1.cmml"><mi id="S4.SS4.p2.4.m4.1.1.2" xref="S4.SS4.p2.4.m4.1.1.2.cmml">σ</mi><mn id="S4.SS4.p2.4.m4.1.1.3" xref="S4.SS4.p2.4.m4.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S4.SS4.p2.4.m4.1b"><apply id="S4.SS4.p2.4.m4.1.1.cmml" xref="S4.SS4.p2.4.m4.1.1"><csymbol cd="ambiguous" id="S4.SS4.p2.4.m4.1.1.1.cmml" xref="S4.SS4.p2.4.m4.1.1">superscript</csymbol><ci id="S4.SS4.p2.4.m4.1.1.2.cmml" xref="S4.SS4.p2.4.m4.1.1.2">𝜎</ci><cn id="S4.SS4.p2.4.m4.1.1.3.cmml" type="integer" xref="S4.SS4.p2.4.m4.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.SS4.p2.4.m4.1c">\sigma^{2}</annotation><annotation encoding="application/x-llamapun" id="S4.SS4.p2.4.m4.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math>, etc. </p> </div> </section> </section> <section class="ltx_section" id="S5"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">5 </span>The Case of Heavy Tails (Power Law)</h2> <div class="ltx_para" id="S5.p1"> <p class="ltx_p" id="S5.p1.1">Now, consider a variant of the distribution (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E2" title="2 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>), in the setting considered in <cite class="ltx_cite ltx_citemacro_citep">(Caponnetto & de Vito, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>; Richards et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib37" title="">2021</a>; Simon et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib42" title="">2021</a>; Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, for <math alttext="d\to\infty" class="ltx_Math" display="inline" id="S5.p1.1.m1.1"><semantics id="S5.p1.1.m1.1a"><mrow id="S5.p1.1.m1.1.1" xref="S5.p1.1.m1.1.1.cmml"><mi id="S5.p1.1.m1.1.1.2" xref="S5.p1.1.m1.1.1.2.cmml">d</mi><mo id="S5.p1.1.m1.1.1.1" stretchy="false" xref="S5.p1.1.m1.1.1.1.cmml">→</mo><mi id="S5.p1.1.m1.1.1.3" mathvariant="normal" xref="S5.p1.1.m1.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S5.p1.1.m1.1b"><apply id="S5.p1.1.m1.1.1.cmml" xref="S5.p1.1.m1.1.1"><ci id="S5.p1.1.m1.1.1.1.cmml" xref="S5.p1.1.m1.1.1.1">→</ci><ci id="S5.p1.1.m1.1.1.2.cmml" xref="S5.p1.1.m1.1.1.2">𝑑</ci><infinity id="S5.p1.1.m1.1.1.3.cmml" xref="S5.p1.1.m1.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.1.m1.1c">d\to\infty</annotation><annotation encoding="application/x-llamapun" id="S5.p1.1.m1.1d">italic_d → ∞</annotation></semantics></math>. Let</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx19"> <tbody id="S5.E22"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\Sigma=\lambda_{1}v_{1}v_{1}^{\top}+\ldots+\lambda_{d}v_{d}v_{d}^% {\top}" class="ltx_Math" display="inline" id="S5.E22.m1.1"><semantics id="S5.E22.m1.1a"><mrow id="S5.E22.m1.1.1" xref="S5.E22.m1.1.1.cmml"><mi id="S5.E22.m1.1.1.2" mathvariant="normal" xref="S5.E22.m1.1.1.2.cmml">Σ</mi><mo id="S5.E22.m1.1.1.1" xref="S5.E22.m1.1.1.1.cmml">=</mo><mrow id="S5.E22.m1.1.1.3" xref="S5.E22.m1.1.1.3.cmml"><mrow id="S5.E22.m1.1.1.3.2" xref="S5.E22.m1.1.1.3.2.cmml"><msub id="S5.E22.m1.1.1.3.2.2" xref="S5.E22.m1.1.1.3.2.2.cmml"><mi id="S5.E22.m1.1.1.3.2.2.2" xref="S5.E22.m1.1.1.3.2.2.2.cmml">λ</mi><mn id="S5.E22.m1.1.1.3.2.2.3" xref="S5.E22.m1.1.1.3.2.2.3.cmml">1</mn></msub><mo id="S5.E22.m1.1.1.3.2.1" xref="S5.E22.m1.1.1.3.2.1.cmml">⁢</mo><msub id="S5.E22.m1.1.1.3.2.3" xref="S5.E22.m1.1.1.3.2.3.cmml"><mi id="S5.E22.m1.1.1.3.2.3.2" xref="S5.E22.m1.1.1.3.2.3.2.cmml">v</mi><mn id="S5.E22.m1.1.1.3.2.3.3" xref="S5.E22.m1.1.1.3.2.3.3.cmml">1</mn></msub><mo id="S5.E22.m1.1.1.3.2.1a" xref="S5.E22.m1.1.1.3.2.1.cmml">⁢</mo><msubsup id="S5.E22.m1.1.1.3.2.4" xref="S5.E22.m1.1.1.3.2.4.cmml"><mi id="S5.E22.m1.1.1.3.2.4.2.2" xref="S5.E22.m1.1.1.3.2.4.2.2.cmml">v</mi><mn id="S5.E22.m1.1.1.3.2.4.2.3" xref="S5.E22.m1.1.1.3.2.4.2.3.cmml">1</mn><mo id="S5.E22.m1.1.1.3.2.4.3" xref="S5.E22.m1.1.1.3.2.4.3.cmml">⊤</mo></msubsup></mrow><mo id="S5.E22.m1.1.1.3.1" xref="S5.E22.m1.1.1.3.1.cmml">+</mo><mi id="S5.E22.m1.1.1.3.3" mathvariant="normal" xref="S5.E22.m1.1.1.3.3.cmml">…</mi><mo id="S5.E22.m1.1.1.3.1a" xref="S5.E22.m1.1.1.3.1.cmml">+</mo><mrow id="S5.E22.m1.1.1.3.4" xref="S5.E22.m1.1.1.3.4.cmml"><msub id="S5.E22.m1.1.1.3.4.2" xref="S5.E22.m1.1.1.3.4.2.cmml"><mi id="S5.E22.m1.1.1.3.4.2.2" xref="S5.E22.m1.1.1.3.4.2.2.cmml">λ</mi><mi id="S5.E22.m1.1.1.3.4.2.3" xref="S5.E22.m1.1.1.3.4.2.3.cmml">d</mi></msub><mo id="S5.E22.m1.1.1.3.4.1" xref="S5.E22.m1.1.1.3.4.1.cmml">⁢</mo><msub id="S5.E22.m1.1.1.3.4.3" xref="S5.E22.m1.1.1.3.4.3.cmml"><mi id="S5.E22.m1.1.1.3.4.3.2" xref="S5.E22.m1.1.1.3.4.3.2.cmml">v</mi><mi id="S5.E22.m1.1.1.3.4.3.3" xref="S5.E22.m1.1.1.3.4.3.3.cmml">d</mi></msub><mo id="S5.E22.m1.1.1.3.4.1a" xref="S5.E22.m1.1.1.3.4.1.cmml">⁢</mo><msubsup id="S5.E22.m1.1.1.3.4.4" xref="S5.E22.m1.1.1.3.4.4.cmml"><mi id="S5.E22.m1.1.1.3.4.4.2.2" xref="S5.E22.m1.1.1.3.4.4.2.2.cmml">v</mi><mi id="S5.E22.m1.1.1.3.4.4.2.3" xref="S5.E22.m1.1.1.3.4.4.2.3.cmml">d</mi><mo id="S5.E22.m1.1.1.3.4.4.3" xref="S5.E22.m1.1.1.3.4.4.3.cmml">⊤</mo></msubsup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.E22.m1.1b"><apply id="S5.E22.m1.1.1.cmml" xref="S5.E22.m1.1.1"><eq id="S5.E22.m1.1.1.1.cmml" xref="S5.E22.m1.1.1.1"></eq><ci id="S5.E22.m1.1.1.2.cmml" xref="S5.E22.m1.1.1.2">Σ</ci><apply id="S5.E22.m1.1.1.3.cmml" xref="S5.E22.m1.1.1.3"><plus id="S5.E22.m1.1.1.3.1.cmml" xref="S5.E22.m1.1.1.3.1"></plus><apply id="S5.E22.m1.1.1.3.2.cmml" xref="S5.E22.m1.1.1.3.2"><times id="S5.E22.m1.1.1.3.2.1.cmml" xref="S5.E22.m1.1.1.3.2.1"></times><apply id="S5.E22.m1.1.1.3.2.2.cmml" xref="S5.E22.m1.1.1.3.2.2"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.2.2.1.cmml" xref="S5.E22.m1.1.1.3.2.2">subscript</csymbol><ci id="S5.E22.m1.1.1.3.2.2.2.cmml" xref="S5.E22.m1.1.1.3.2.2.2">𝜆</ci><cn id="S5.E22.m1.1.1.3.2.2.3.cmml" type="integer" xref="S5.E22.m1.1.1.3.2.2.3">1</cn></apply><apply id="S5.E22.m1.1.1.3.2.3.cmml" xref="S5.E22.m1.1.1.3.2.3"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.2.3.1.cmml" xref="S5.E22.m1.1.1.3.2.3">subscript</csymbol><ci id="S5.E22.m1.1.1.3.2.3.2.cmml" xref="S5.E22.m1.1.1.3.2.3.2">𝑣</ci><cn id="S5.E22.m1.1.1.3.2.3.3.cmml" type="integer" xref="S5.E22.m1.1.1.3.2.3.3">1</cn></apply><apply id="S5.E22.m1.1.1.3.2.4.cmml" xref="S5.E22.m1.1.1.3.2.4"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.2.4.1.cmml" xref="S5.E22.m1.1.1.3.2.4">superscript</csymbol><apply id="S5.E22.m1.1.1.3.2.4.2.cmml" xref="S5.E22.m1.1.1.3.2.4"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.2.4.2.1.cmml" xref="S5.E22.m1.1.1.3.2.4">subscript</csymbol><ci id="S5.E22.m1.1.1.3.2.4.2.2.cmml" xref="S5.E22.m1.1.1.3.2.4.2.2">𝑣</ci><cn id="S5.E22.m1.1.1.3.2.4.2.3.cmml" type="integer" xref="S5.E22.m1.1.1.3.2.4.2.3">1</cn></apply><csymbol cd="latexml" id="S5.E22.m1.1.1.3.2.4.3.cmml" xref="S5.E22.m1.1.1.3.2.4.3">top</csymbol></apply></apply><ci id="S5.E22.m1.1.1.3.3.cmml" xref="S5.E22.m1.1.1.3.3">…</ci><apply id="S5.E22.m1.1.1.3.4.cmml" xref="S5.E22.m1.1.1.3.4"><times id="S5.E22.m1.1.1.3.4.1.cmml" xref="S5.E22.m1.1.1.3.4.1"></times><apply id="S5.E22.m1.1.1.3.4.2.cmml" xref="S5.E22.m1.1.1.3.4.2"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.4.2.1.cmml" xref="S5.E22.m1.1.1.3.4.2">subscript</csymbol><ci id="S5.E22.m1.1.1.3.4.2.2.cmml" xref="S5.E22.m1.1.1.3.4.2.2">𝜆</ci><ci id="S5.E22.m1.1.1.3.4.2.3.cmml" xref="S5.E22.m1.1.1.3.4.2.3">𝑑</ci></apply><apply id="S5.E22.m1.1.1.3.4.3.cmml" xref="S5.E22.m1.1.1.3.4.3"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.4.3.1.cmml" xref="S5.E22.m1.1.1.3.4.3">subscript</csymbol><ci id="S5.E22.m1.1.1.3.4.3.2.cmml" xref="S5.E22.m1.1.1.3.4.3.2">𝑣</ci><ci id="S5.E22.m1.1.1.3.4.3.3.cmml" xref="S5.E22.m1.1.1.3.4.3.3">𝑑</ci></apply><apply id="S5.E22.m1.1.1.3.4.4.cmml" xref="S5.E22.m1.1.1.3.4.4"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.4.4.1.cmml" xref="S5.E22.m1.1.1.3.4.4">superscript</csymbol><apply id="S5.E22.m1.1.1.3.4.4.2.cmml" xref="S5.E22.m1.1.1.3.4.4"><csymbol cd="ambiguous" id="S5.E22.m1.1.1.3.4.4.2.1.cmml" xref="S5.E22.m1.1.1.3.4.4">subscript</csymbol><ci id="S5.E22.m1.1.1.3.4.4.2.2.cmml" xref="S5.E22.m1.1.1.3.4.4.2.2">𝑣</ci><ci id="S5.E22.m1.1.1.3.4.4.2.3.cmml" xref="S5.E22.m1.1.1.3.4.4.2.3">𝑑</ci></apply><csymbol cd="latexml" id="S5.E22.m1.1.1.3.4.4.3.cmml" xref="S5.E22.m1.1.1.3.4.4.3">top</csymbol></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E22.m1.1c">\displaystyle\Sigma=\lambda_{1}v_{1}v_{1}^{\top}+\ldots+\lambda_{d}v_{d}v_{d}^% {\top}</annotation><annotation encoding="application/x-llamapun" id="S5.E22.m1.1d">roman_Σ = italic_λ start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT italic_v start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT italic_v start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT + … + italic_λ start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT italic_v start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT italic_v start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(22)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p1.8">be the spectral decomposition of the covariance matrix <math alttext="\Sigma" class="ltx_Math" display="inline" id="S5.p1.2.m1.1"><semantics id="S5.p1.2.m1.1a"><mi id="S5.p1.2.m1.1.1" mathvariant="normal" xref="S5.p1.2.m1.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S5.p1.2.m1.1b"><ci id="S5.p1.2.m1.1.1.cmml" xref="S5.p1.2.m1.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.2.m1.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S5.p1.2.m1.1d">roman_Σ</annotation></semantics></math>, with eigenvalues with <math alttext="\lambda_{1}\geq\ldots\geq\lambda_{d}\geq 0" class="ltx_Math" display="inline" id="S5.p1.3.m2.1"><semantics id="S5.p1.3.m2.1a"><mrow id="S5.p1.3.m2.1.1" xref="S5.p1.3.m2.1.1.cmml"><msub id="S5.p1.3.m2.1.1.2" xref="S5.p1.3.m2.1.1.2.cmml"><mi id="S5.p1.3.m2.1.1.2.2" xref="S5.p1.3.m2.1.1.2.2.cmml">λ</mi><mn id="S5.p1.3.m2.1.1.2.3" xref="S5.p1.3.m2.1.1.2.3.cmml">1</mn></msub><mo id="S5.p1.3.m2.1.1.3" xref="S5.p1.3.m2.1.1.3.cmml">≥</mo><mi id="S5.p1.3.m2.1.1.4" mathvariant="normal" xref="S5.p1.3.m2.1.1.4.cmml">…</mi><mo id="S5.p1.3.m2.1.1.5" xref="S5.p1.3.m2.1.1.5.cmml">≥</mo><msub id="S5.p1.3.m2.1.1.6" xref="S5.p1.3.m2.1.1.6.cmml"><mi id="S5.p1.3.m2.1.1.6.2" xref="S5.p1.3.m2.1.1.6.2.cmml">λ</mi><mi id="S5.p1.3.m2.1.1.6.3" xref="S5.p1.3.m2.1.1.6.3.cmml">d</mi></msub><mo id="S5.p1.3.m2.1.1.7" xref="S5.p1.3.m2.1.1.7.cmml">≥</mo><mn id="S5.p1.3.m2.1.1.8" xref="S5.p1.3.m2.1.1.8.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p1.3.m2.1b"><apply id="S5.p1.3.m2.1.1.cmml" xref="S5.p1.3.m2.1.1"><and id="S5.p1.3.m2.1.1a.cmml" xref="S5.p1.3.m2.1.1"></and><apply id="S5.p1.3.m2.1.1b.cmml" xref="S5.p1.3.m2.1.1"><geq id="S5.p1.3.m2.1.1.3.cmml" xref="S5.p1.3.m2.1.1.3"></geq><apply id="S5.p1.3.m2.1.1.2.cmml" xref="S5.p1.3.m2.1.1.2"><csymbol cd="ambiguous" id="S5.p1.3.m2.1.1.2.1.cmml" xref="S5.p1.3.m2.1.1.2">subscript</csymbol><ci id="S5.p1.3.m2.1.1.2.2.cmml" xref="S5.p1.3.m2.1.1.2.2">𝜆</ci><cn id="S5.p1.3.m2.1.1.2.3.cmml" type="integer" xref="S5.p1.3.m2.1.1.2.3">1</cn></apply><ci id="S5.p1.3.m2.1.1.4.cmml" xref="S5.p1.3.m2.1.1.4">…</ci></apply><apply id="S5.p1.3.m2.1.1c.cmml" xref="S5.p1.3.m2.1.1"><geq id="S5.p1.3.m2.1.1.5.cmml" xref="S5.p1.3.m2.1.1.5"></geq><share href="#S5.p1.3.m2.1.1.4.cmml" id="S5.p1.3.m2.1.1d.cmml" xref="S5.p1.3.m2.1.1"></share><apply id="S5.p1.3.m2.1.1.6.cmml" xref="S5.p1.3.m2.1.1.6"><csymbol cd="ambiguous" id="S5.p1.3.m2.1.1.6.1.cmml" xref="S5.p1.3.m2.1.1.6">subscript</csymbol><ci id="S5.p1.3.m2.1.1.6.2.cmml" xref="S5.p1.3.m2.1.1.6.2">𝜆</ci><ci id="S5.p1.3.m2.1.1.6.3.cmml" xref="S5.p1.3.m2.1.1.6.3">𝑑</ci></apply></apply><apply id="S5.p1.3.m2.1.1e.cmml" xref="S5.p1.3.m2.1.1"><geq id="S5.p1.3.m2.1.1.7.cmml" xref="S5.p1.3.m2.1.1.7"></geq><share href="#S5.p1.3.m2.1.1.6.cmml" id="S5.p1.3.m2.1.1f.cmml" xref="S5.p1.3.m2.1.1"></share><cn id="S5.p1.3.m2.1.1.8.cmml" type="integer" xref="S5.p1.3.m2.1.1.8">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.3.m2.1c">\lambda_{1}\geq\ldots\geq\lambda_{d}\geq 0</annotation><annotation encoding="application/x-llamapun" id="S5.p1.3.m2.1d">italic_λ start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT ≥ … ≥ italic_λ start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ≥ 0</annotation></semantics></math> and eigenvectors <math alttext="v_{1},\ldots,v_{d}\in\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S5.p1.4.m3.3"><semantics id="S5.p1.4.m3.3a"><mrow id="S5.p1.4.m3.3.3" xref="S5.p1.4.m3.3.3.cmml"><mrow id="S5.p1.4.m3.3.3.2.2" xref="S5.p1.4.m3.3.3.2.3.cmml"><msub id="S5.p1.4.m3.2.2.1.1.1" xref="S5.p1.4.m3.2.2.1.1.1.cmml"><mi id="S5.p1.4.m3.2.2.1.1.1.2" xref="S5.p1.4.m3.2.2.1.1.1.2.cmml">v</mi><mn id="S5.p1.4.m3.2.2.1.1.1.3" xref="S5.p1.4.m3.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S5.p1.4.m3.3.3.2.2.3" xref="S5.p1.4.m3.3.3.2.3.cmml">,</mo><mi id="S5.p1.4.m3.1.1" mathvariant="normal" xref="S5.p1.4.m3.1.1.cmml">…</mi><mo id="S5.p1.4.m3.3.3.2.2.4" xref="S5.p1.4.m3.3.3.2.3.cmml">,</mo><msub id="S5.p1.4.m3.3.3.2.2.2" xref="S5.p1.4.m3.3.3.2.2.2.cmml"><mi id="S5.p1.4.m3.3.3.2.2.2.2" xref="S5.p1.4.m3.3.3.2.2.2.2.cmml">v</mi><mi id="S5.p1.4.m3.3.3.2.2.2.3" xref="S5.p1.4.m3.3.3.2.2.2.3.cmml">d</mi></msub></mrow><mo id="S5.p1.4.m3.3.3.3" xref="S5.p1.4.m3.3.3.3.cmml">∈</mo><msup id="S5.p1.4.m3.3.3.4" xref="S5.p1.4.m3.3.3.4.cmml"><mi id="S5.p1.4.m3.3.3.4.2" xref="S5.p1.4.m3.3.3.4.2.cmml">ℝ</mi><mi id="S5.p1.4.m3.3.3.4.3" xref="S5.p1.4.m3.3.3.4.3.cmml">d</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.p1.4.m3.3b"><apply id="S5.p1.4.m3.3.3.cmml" xref="S5.p1.4.m3.3.3"><in id="S5.p1.4.m3.3.3.3.cmml" xref="S5.p1.4.m3.3.3.3"></in><list id="S5.p1.4.m3.3.3.2.3.cmml" xref="S5.p1.4.m3.3.3.2.2"><apply id="S5.p1.4.m3.2.2.1.1.1.cmml" xref="S5.p1.4.m3.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.p1.4.m3.2.2.1.1.1.1.cmml" xref="S5.p1.4.m3.2.2.1.1.1">subscript</csymbol><ci id="S5.p1.4.m3.2.2.1.1.1.2.cmml" xref="S5.p1.4.m3.2.2.1.1.1.2">𝑣</ci><cn id="S5.p1.4.m3.2.2.1.1.1.3.cmml" type="integer" xref="S5.p1.4.m3.2.2.1.1.1.3">1</cn></apply><ci id="S5.p1.4.m3.1.1.cmml" xref="S5.p1.4.m3.1.1">…</ci><apply id="S5.p1.4.m3.3.3.2.2.2.cmml" xref="S5.p1.4.m3.3.3.2.2.2"><csymbol cd="ambiguous" id="S5.p1.4.m3.3.3.2.2.2.1.cmml" xref="S5.p1.4.m3.3.3.2.2.2">subscript</csymbol><ci id="S5.p1.4.m3.3.3.2.2.2.2.cmml" xref="S5.p1.4.m3.3.3.2.2.2.2">𝑣</ci><ci id="S5.p1.4.m3.3.3.2.2.2.3.cmml" xref="S5.p1.4.m3.3.3.2.2.2.3">𝑑</ci></apply></list><apply id="S5.p1.4.m3.3.3.4.cmml" xref="S5.p1.4.m3.3.3.4"><csymbol cd="ambiguous" id="S5.p1.4.m3.3.3.4.1.cmml" xref="S5.p1.4.m3.3.3.4">superscript</csymbol><ci id="S5.p1.4.m3.3.3.4.2.cmml" xref="S5.p1.4.m3.3.3.4.2">ℝ</ci><ci id="S5.p1.4.m3.3.3.4.3.cmml" xref="S5.p1.4.m3.3.3.4.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.4.m3.3c">v_{1},\ldots,v_{d}\in\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S5.p1.4.m3.3d">italic_v start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT , … , italic_v start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math>. Define coefficients <math alttext="c_{j}:=w_{0}^{\top}v_{j}" class="ltx_Math" display="inline" id="S5.p1.5.m4.1"><semantics id="S5.p1.5.m4.1a"><mrow id="S5.p1.5.m4.1.1" xref="S5.p1.5.m4.1.1.cmml"><msub id="S5.p1.5.m4.1.1.2" xref="S5.p1.5.m4.1.1.2.cmml"><mi id="S5.p1.5.m4.1.1.2.2" xref="S5.p1.5.m4.1.1.2.2.cmml">c</mi><mi id="S5.p1.5.m4.1.1.2.3" xref="S5.p1.5.m4.1.1.2.3.cmml">j</mi></msub><mo id="S5.p1.5.m4.1.1.1" lspace="0.278em" rspace="0.278em" xref="S5.p1.5.m4.1.1.1.cmml">:=</mo><mrow id="S5.p1.5.m4.1.1.3" xref="S5.p1.5.m4.1.1.3.cmml"><msubsup id="S5.p1.5.m4.1.1.3.2" xref="S5.p1.5.m4.1.1.3.2.cmml"><mi id="S5.p1.5.m4.1.1.3.2.2.2" xref="S5.p1.5.m4.1.1.3.2.2.2.cmml">w</mi><mn id="S5.p1.5.m4.1.1.3.2.2.3" xref="S5.p1.5.m4.1.1.3.2.2.3.cmml">0</mn><mo id="S5.p1.5.m4.1.1.3.2.3" xref="S5.p1.5.m4.1.1.3.2.3.cmml">⊤</mo></msubsup><mo id="S5.p1.5.m4.1.1.3.1" xref="S5.p1.5.m4.1.1.3.1.cmml">⁢</mo><msub id="S5.p1.5.m4.1.1.3.3" xref="S5.p1.5.m4.1.1.3.3.cmml"><mi id="S5.p1.5.m4.1.1.3.3.2" xref="S5.p1.5.m4.1.1.3.3.2.cmml">v</mi><mi id="S5.p1.5.m4.1.1.3.3.3" xref="S5.p1.5.m4.1.1.3.3.3.cmml">j</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.p1.5.m4.1b"><apply id="S5.p1.5.m4.1.1.cmml" xref="S5.p1.5.m4.1.1"><csymbol cd="latexml" id="S5.p1.5.m4.1.1.1.cmml" xref="S5.p1.5.m4.1.1.1">assign</csymbol><apply id="S5.p1.5.m4.1.1.2.cmml" xref="S5.p1.5.m4.1.1.2"><csymbol cd="ambiguous" id="S5.p1.5.m4.1.1.2.1.cmml" xref="S5.p1.5.m4.1.1.2">subscript</csymbol><ci id="S5.p1.5.m4.1.1.2.2.cmml" xref="S5.p1.5.m4.1.1.2.2">𝑐</ci><ci id="S5.p1.5.m4.1.1.2.3.cmml" xref="S5.p1.5.m4.1.1.2.3">𝑗</ci></apply><apply id="S5.p1.5.m4.1.1.3.cmml" xref="S5.p1.5.m4.1.1.3"><times id="S5.p1.5.m4.1.1.3.1.cmml" xref="S5.p1.5.m4.1.1.3.1"></times><apply id="S5.p1.5.m4.1.1.3.2.cmml" xref="S5.p1.5.m4.1.1.3.2"><csymbol cd="ambiguous" id="S5.p1.5.m4.1.1.3.2.1.cmml" xref="S5.p1.5.m4.1.1.3.2">superscript</csymbol><apply id="S5.p1.5.m4.1.1.3.2.2.cmml" xref="S5.p1.5.m4.1.1.3.2"><csymbol cd="ambiguous" id="S5.p1.5.m4.1.1.3.2.2.1.cmml" xref="S5.p1.5.m4.1.1.3.2">subscript</csymbol><ci id="S5.p1.5.m4.1.1.3.2.2.2.cmml" xref="S5.p1.5.m4.1.1.3.2.2.2">𝑤</ci><cn id="S5.p1.5.m4.1.1.3.2.2.3.cmml" type="integer" xref="S5.p1.5.m4.1.1.3.2.2.3">0</cn></apply><csymbol cd="latexml" id="S5.p1.5.m4.1.1.3.2.3.cmml" xref="S5.p1.5.m4.1.1.3.2.3">top</csymbol></apply><apply id="S5.p1.5.m4.1.1.3.3.cmml" xref="S5.p1.5.m4.1.1.3.3"><csymbol cd="ambiguous" id="S5.p1.5.m4.1.1.3.3.1.cmml" xref="S5.p1.5.m4.1.1.3.3">subscript</csymbol><ci id="S5.p1.5.m4.1.1.3.3.2.cmml" xref="S5.p1.5.m4.1.1.3.3.2">𝑣</ci><ci id="S5.p1.5.m4.1.1.3.3.3.cmml" xref="S5.p1.5.m4.1.1.3.3.3">𝑗</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.5.m4.1c">c_{j}:=w_{0}^{\top}v_{j}</annotation><annotation encoding="application/x-llamapun" id="S5.p1.5.m4.1d">italic_c start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT := italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_v start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT</annotation></semantics></math>, i.e the projection of <math alttext="w_{0}" class="ltx_Math" display="inline" id="S5.p1.6.m5.1"><semantics id="S5.p1.6.m5.1a"><msub id="S5.p1.6.m5.1.1" xref="S5.p1.6.m5.1.1.cmml"><mi id="S5.p1.6.m5.1.1.2" xref="S5.p1.6.m5.1.1.2.cmml">w</mi><mn id="S5.p1.6.m5.1.1.3" xref="S5.p1.6.m5.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S5.p1.6.m5.1b"><apply id="S5.p1.6.m5.1.1.cmml" xref="S5.p1.6.m5.1.1"><csymbol cd="ambiguous" id="S5.p1.6.m5.1.1.1.cmml" xref="S5.p1.6.m5.1.1">subscript</csymbol><ci id="S5.p1.6.m5.1.1.2.cmml" xref="S5.p1.6.m5.1.1.2">𝑤</ci><cn id="S5.p1.6.m5.1.1.3.cmml" type="integer" xref="S5.p1.6.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.6.m5.1c">w_{0}</annotation><annotation encoding="application/x-llamapun" id="S5.p1.6.m5.1d">italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> along the <math alttext="j" class="ltx_Math" display="inline" id="S5.p1.7.m6.1"><semantics id="S5.p1.7.m6.1a"><mi id="S5.p1.7.m6.1.1" xref="S5.p1.7.m6.1.1.cmml">j</mi><annotation-xml encoding="MathML-Content" id="S5.p1.7.m6.1b"><ci id="S5.p1.7.m6.1.1.cmml" xref="S5.p1.7.m6.1.1">𝑗</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.7.m6.1c">j</annotation><annotation encoding="application/x-llamapun" id="S5.p1.7.m6.1d">italic_j</annotation></semantics></math>th eigendirection of <math alttext="\Sigma" class="ltx_Math" display="inline" id="S5.p1.8.m7.1"><semantics id="S5.p1.8.m7.1a"><mi id="S5.p1.8.m7.1.1" mathvariant="normal" xref="S5.p1.8.m7.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S5.p1.8.m7.1b"><ci id="S5.p1.8.m7.1.1.cmml" xref="S5.p1.8.m7.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.8.m7.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S5.p1.8.m7.1d">roman_Σ</annotation></semantics></math>.</p> </div> <div class="ltx_para" id="S5.p2"> <p class="ltx_p" id="S5.p2.12">We shall work under the following spectral conditions</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx20"> <tbody id="S5.E23"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}&\textbf{(Capacity Condition) }\lambda_{j}\asymp j^{% -\beta}\text{ for all }j\in[d],\\ &\textbf{(Source Condition) }\|\Sigma^{1/2-r}w_{0}\|=O(1),\end{split}" class="ltx_Math" display="inline" id="S5.E23.m1.29"><semantics id="S5.E23.m1.29a"><mtable columnspacing="0pt" id="S5.E23.m1.29.29.3" rowspacing="0pt"><mtr id="S5.E23.m1.29.29.3a"><mtd id="S5.E23.m1.29.29.3b"></mtd><mtd class="ltx_align_left" columnalign="left" id="S5.E23.m1.29.29.3c"><mrow id="S5.E23.m1.28.28.2.27.14.14.14"><mrow id="S5.E23.m1.28.28.2.27.14.14.14.1"><mrow id="S5.E23.m1.28.28.2.27.14.14.14.1.2"><mtext id="S5.E23.m1.1.1.1.1.1.1" mathvariant="bold" xref="S5.E23.m1.1.1.1.1.1.1a.cmml">(Capacity Condition) </mtext><mo id="S5.E23.m1.28.28.2.27.14.14.14.1.2.1">⁢</mo><msub id="S5.E23.m1.28.28.2.27.14.14.14.1.2.2"><mi id="S5.E23.m1.2.2.2.2.2.2" xref="S5.E23.m1.2.2.2.2.2.2.cmml">λ</mi><mi id="S5.E23.m1.3.3.3.3.3.3.1" xref="S5.E23.m1.3.3.3.3.3.3.1.cmml">j</mi></msub></mrow><mo id="S5.E23.m1.4.4.4.4.4.4" xref="S5.E23.m1.4.4.4.4.4.4.cmml">≍</mo><mrow id="S5.E23.m1.28.28.2.27.14.14.14.1.3"><msup id="S5.E23.m1.28.28.2.27.14.14.14.1.3.2"><mi id="S5.E23.m1.5.5.5.5.5.5" xref="S5.E23.m1.5.5.5.5.5.5.cmml">j</mi><mrow id="S5.E23.m1.6.6.6.6.6.6.1" xref="S5.E23.m1.6.6.6.6.6.6.1.cmml"><mo id="S5.E23.m1.6.6.6.6.6.6.1a" xref="S5.E23.m1.6.6.6.6.6.6.1.cmml">−</mo><mi id="S5.E23.m1.6.6.6.6.6.6.1.2" xref="S5.E23.m1.6.6.6.6.6.6.1.2.cmml">β</mi></mrow></msup><mo id="S5.E23.m1.28.28.2.27.14.14.14.1.3.1">⁢</mo><mtext id="S5.E23.m1.7.7.7.7.7.7" xref="S5.E23.m1.7.7.7.7.7.7a.cmml"> for all </mtext><mo id="S5.E23.m1.28.28.2.27.14.14.14.1.3.1a">⁢</mo><mi id="S5.E23.m1.8.8.8.8.8.8" xref="S5.E23.m1.8.8.8.8.8.8.cmml">j</mi></mrow><mo id="S5.E23.m1.9.9.9.9.9.9" xref="S5.E23.m1.9.9.9.9.9.9.cmml">∈</mo><mrow id="S5.E23.m1.28.28.2.27.14.14.14.1.4"><mo id="S5.E23.m1.10.10.10.10.10.10" stretchy="false">[</mo><mi id="S5.E23.m1.11.11.11.11.11.11" xref="S5.E23.m1.11.11.11.11.11.11.cmml">d</mi><mo id="S5.E23.m1.12.12.12.12.12.12" stretchy="false">]</mo></mrow></mrow><mo id="S5.E23.m1.13.13.13.13.13.13">,</mo></mrow></mtd></mtr><mtr id="S5.E23.m1.29.29.3d"><mtd id="S5.E23.m1.29.29.3e"></mtd><mtd class="ltx_align_left" columnalign="left" id="S5.E23.m1.29.29.3f"><mrow id="S5.E23.m1.29.29.3.28.14.14.14"><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1"><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1.1"><mtext id="S5.E23.m1.14.14.14.1.1.1" mathvariant="bold" xref="S5.E23.m1.14.14.14.1.1.1a.cmml">(Source Condition) </mtext><mo id="S5.E23.m1.29.29.3.28.14.14.14.1.1.2">⁢</mo><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1.1.1.1"><mo id="S5.E23.m1.15.15.15.2.2.2" stretchy="false">‖</mo><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1.1.1.1.1"><msup id="S5.E23.m1.29.29.3.28.14.14.14.1.1.1.1.1.2"><mi id="S5.E23.m1.16.16.16.3.3.3" mathvariant="normal" xref="S5.E23.m1.16.16.16.3.3.3.cmml">Σ</mi><mrow id="S5.E23.m1.17.17.17.4.4.4.1" xref="S5.E23.m1.17.17.17.4.4.4.1.cmml"><mrow id="S5.E23.m1.17.17.17.4.4.4.1.2" xref="S5.E23.m1.17.17.17.4.4.4.1.2.cmml"><mn id="S5.E23.m1.17.17.17.4.4.4.1.2.2" xref="S5.E23.m1.17.17.17.4.4.4.1.2.2.cmml">1</mn><mo id="S5.E23.m1.17.17.17.4.4.4.1.2.1" xref="S5.E23.m1.17.17.17.4.4.4.1.2.1.cmml">/</mo><mn id="S5.E23.m1.17.17.17.4.4.4.1.2.3" xref="S5.E23.m1.17.17.17.4.4.4.1.2.3.cmml">2</mn></mrow><mo id="S5.E23.m1.17.17.17.4.4.4.1.1" xref="S5.E23.m1.17.17.17.4.4.4.1.1.cmml">−</mo><mi id="S5.E23.m1.17.17.17.4.4.4.1.3" xref="S5.E23.m1.17.17.17.4.4.4.1.3.cmml">r</mi></mrow></msup><mo id="S5.E23.m1.29.29.3.28.14.14.14.1.1.1.1.1.1">⁢</mo><msub id="S5.E23.m1.29.29.3.28.14.14.14.1.1.1.1.1.3"><mi id="S5.E23.m1.18.18.18.5.5.5" xref="S5.E23.m1.18.18.18.5.5.5.cmml">w</mi><mn id="S5.E23.m1.19.19.19.6.6.6.1" xref="S5.E23.m1.19.19.19.6.6.6.1.cmml">0</mn></msub></mrow><mo id="S5.E23.m1.20.20.20.7.7.7" stretchy="false">‖</mo></mrow></mrow><mo id="S5.E23.m1.21.21.21.8.8.8" xref="S5.E23.m1.21.21.21.8.8.8.cmml">=</mo><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1.2"><mi id="S5.E23.m1.22.22.22.9.9.9" xref="S5.E23.m1.22.22.22.9.9.9.cmml">O</mi><mo id="S5.E23.m1.29.29.3.28.14.14.14.1.2.1">⁢</mo><mrow id="S5.E23.m1.29.29.3.28.14.14.14.1.2.2"><mo id="S5.E23.m1.23.23.23.10.10.10" stretchy="false">(</mo><mn id="S5.E23.m1.24.24.24.11.11.11" xref="S5.E23.m1.24.24.24.11.11.11.cmml">1</mn><mo id="S5.E23.m1.25.25.25.12.12.12" stretchy="false">)</mo></mrow></mrow></mrow><mo id="S5.E23.m1.26.26.26.13.13.13">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="S5.E23.m1.29b"><apply id="S5.E23.m1.27.27.1.1.1.3.cmml"><csymbol cd="ambiguous" id="S5.E23.m1.27.27.1.1.1.3a.cmml">formulae-sequence</csymbol><apply id="S5.E23.m1.27.27.1.1.1.1.1.cmml"><and id="S5.E23.m1.27.27.1.1.1.1.1a.cmml"></and><apply id="S5.E23.m1.27.27.1.1.1.1.1b.cmml"><csymbol cd="latexml" id="S5.E23.m1.4.4.4.4.4.4.cmml" xref="S5.E23.m1.4.4.4.4.4.4">asymptotically-equals</csymbol><apply id="S5.E23.m1.27.27.1.1.1.1.1.2.cmml"><times id="S5.E23.m1.27.27.1.1.1.1.1.2.1.cmml"></times><ci id="S5.E23.m1.1.1.1.1.1.1a.cmml" xref="S5.E23.m1.1.1.1.1.1.1"><mtext id="S5.E23.m1.1.1.1.1.1.1.cmml" mathvariant="bold" xref="S5.E23.m1.1.1.1.1.1.1">(Capacity Condition) </mtext></ci><apply id="S5.E23.m1.27.27.1.1.1.1.1.2.3.cmml"><csymbol cd="ambiguous" id="S5.E23.m1.27.27.1.1.1.1.1.2.3.1.cmml">subscript</csymbol><ci id="S5.E23.m1.2.2.2.2.2.2.cmml" xref="S5.E23.m1.2.2.2.2.2.2">𝜆</ci><ci id="S5.E23.m1.3.3.3.3.3.3.1.cmml" xref="S5.E23.m1.3.3.3.3.3.3.1">𝑗</ci></apply></apply><apply id="S5.E23.m1.27.27.1.1.1.1.1.4.cmml"><times id="S5.E23.m1.27.27.1.1.1.1.1.4.1.cmml"></times><apply id="S5.E23.m1.27.27.1.1.1.1.1.4.2.cmml"><csymbol cd="ambiguous" id="S5.E23.m1.27.27.1.1.1.1.1.4.2.1.cmml">superscript</csymbol><ci id="S5.E23.m1.5.5.5.5.5.5.cmml" xref="S5.E23.m1.5.5.5.5.5.5">𝑗</ci><apply id="S5.E23.m1.6.6.6.6.6.6.1.cmml" xref="S5.E23.m1.6.6.6.6.6.6.1"><minus id="S5.E23.m1.6.6.6.6.6.6.1.1.cmml" xref="S5.E23.m1.6.6.6.6.6.6.1"></minus><ci id="S5.E23.m1.6.6.6.6.6.6.1.2.cmml" xref="S5.E23.m1.6.6.6.6.6.6.1.2">𝛽</ci></apply></apply><ci id="S5.E23.m1.7.7.7.7.7.7a.cmml" xref="S5.E23.m1.7.7.7.7.7.7"><mtext id="S5.E23.m1.7.7.7.7.7.7.cmml" xref="S5.E23.m1.7.7.7.7.7.7"> for all </mtext></ci><ci id="S5.E23.m1.8.8.8.8.8.8.cmml" xref="S5.E23.m1.8.8.8.8.8.8">𝑗</ci></apply></apply><apply id="S5.E23.m1.27.27.1.1.1.1.1c.cmml"><in id="S5.E23.m1.9.9.9.9.9.9.cmml" xref="S5.E23.m1.9.9.9.9.9.9"></in><share href="#S5.E23.m1.27.27.1.1.1.1.1.4.cmml" id="S5.E23.m1.27.27.1.1.1.1.1d.cmml"></share><apply id="S5.E23.m1.27.27.1.1.1.1.1.6.cmml"><csymbol cd="latexml" id="S5.E23.m1.27.27.1.1.1.1.1.6.1.cmml">delimited-[]</csymbol><ci id="S5.E23.m1.11.11.11.11.11.11.cmml" xref="S5.E23.m1.11.11.11.11.11.11">𝑑</ci></apply></apply></apply><apply id="S5.E23.m1.27.27.1.1.1.2.2.cmml"><eq id="S5.E23.m1.21.21.21.8.8.8.cmml" xref="S5.E23.m1.21.21.21.8.8.8"></eq><apply id="S5.E23.m1.27.27.1.1.1.2.2.1.cmml"><times id="S5.E23.m1.27.27.1.1.1.2.2.1.2.cmml"></times><ci id="S5.E23.m1.14.14.14.1.1.1a.cmml" xref="S5.E23.m1.14.14.14.1.1.1"><mtext id="S5.E23.m1.14.14.14.1.1.1.cmml" mathvariant="bold" xref="S5.E23.m1.14.14.14.1.1.1">(Source Condition) </mtext></ci><apply id="S5.E23.m1.27.27.1.1.1.2.2.1.1.2.cmml"><csymbol cd="latexml" id="S5.E23.m1.27.27.1.1.1.2.2.1.1.2.1.cmml">delimited-∥∥</csymbol><apply id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.cmml"><times id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.1.cmml"></times><apply id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.2.cmml"><csymbol cd="ambiguous" id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.2.1.cmml">superscript</csymbol><ci id="S5.E23.m1.16.16.16.3.3.3.cmml" xref="S5.E23.m1.16.16.16.3.3.3">Σ</ci><apply id="S5.E23.m1.17.17.17.4.4.4.1.cmml" xref="S5.E23.m1.17.17.17.4.4.4.1"><minus id="S5.E23.m1.17.17.17.4.4.4.1.1.cmml" xref="S5.E23.m1.17.17.17.4.4.4.1.1"></minus><apply id="S5.E23.m1.17.17.17.4.4.4.1.2.cmml" xref="S5.E23.m1.17.17.17.4.4.4.1.2"><divide id="S5.E23.m1.17.17.17.4.4.4.1.2.1.cmml" xref="S5.E23.m1.17.17.17.4.4.4.1.2.1"></divide><cn id="S5.E23.m1.17.17.17.4.4.4.1.2.2.cmml" type="integer" xref="S5.E23.m1.17.17.17.4.4.4.1.2.2">1</cn><cn id="S5.E23.m1.17.17.17.4.4.4.1.2.3.cmml" type="integer" xref="S5.E23.m1.17.17.17.4.4.4.1.2.3">2</cn></apply><ci id="S5.E23.m1.17.17.17.4.4.4.1.3.cmml" xref="S5.E23.m1.17.17.17.4.4.4.1.3">𝑟</ci></apply></apply><apply id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.3.cmml"><csymbol cd="ambiguous" id="S5.E23.m1.27.27.1.1.1.2.2.1.1.1.1.3.1.cmml">subscript</csymbol><ci id="S5.E23.m1.18.18.18.5.5.5.cmml" xref="S5.E23.m1.18.18.18.5.5.5">𝑤</ci><cn id="S5.E23.m1.19.19.19.6.6.6.1.cmml" type="integer" xref="S5.E23.m1.19.19.19.6.6.6.1">0</cn></apply></apply></apply></apply><apply id="S5.E23.m1.27.27.1.1.1.2.2.3.cmml"><times id="S5.E23.m1.27.27.1.1.1.2.2.3.1.cmml"></times><ci id="S5.E23.m1.22.22.22.9.9.9.cmml" xref="S5.E23.m1.22.22.22.9.9.9">𝑂</ci><cn id="S5.E23.m1.24.24.24.11.11.11.cmml" type="integer" xref="S5.E23.m1.24.24.24.11.11.11">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E23.m1.29c">\displaystyle\begin{split}&\textbf{(Capacity Condition) }\lambda_{j}\asymp j^{% -\beta}\text{ for all }j\in[d],\\ &\textbf{(Source Condition) }\|\Sigma^{1/2-r}w_{0}\|=O(1),\end{split}</annotation><annotation encoding="application/x-llamapun" id="S5.E23.m1.29d">start_ROW start_CELL end_CELL start_CELL (Capacity Condition) italic_λ start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT ≍ italic_j start_POSTSUPERSCRIPT - italic_β end_POSTSUPERSCRIPT for all italic_j ∈ [ italic_d ] , end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL (Source Condition) ∥ roman_Σ start_POSTSUPERSCRIPT 1 / 2 - italic_r end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ = italic_O ( 1 ) , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(23)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p2.9">where <math alttext="\beta>1" class="ltx_Math" display="inline" id="S5.p2.1.m1.1"><semantics id="S5.p2.1.m1.1a"><mrow id="S5.p2.1.m1.1.1" xref="S5.p2.1.m1.1.1.cmml"><mi id="S5.p2.1.m1.1.1.2" xref="S5.p2.1.m1.1.1.2.cmml">β</mi><mo id="S5.p2.1.m1.1.1.1" xref="S5.p2.1.m1.1.1.1.cmml">></mo><mn id="S5.p2.1.m1.1.1.3" xref="S5.p2.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p2.1.m1.1b"><apply id="S5.p2.1.m1.1.1.cmml" xref="S5.p2.1.m1.1.1"><gt id="S5.p2.1.m1.1.1.1.cmml" xref="S5.p2.1.m1.1.1.1"></gt><ci id="S5.p2.1.m1.1.1.2.cmml" xref="S5.p2.1.m1.1.1.2">𝛽</ci><cn id="S5.p2.1.m1.1.1.3.cmml" type="integer" xref="S5.p2.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.1.m1.1c">\beta>1</annotation><annotation encoding="application/x-llamapun" id="S5.p2.1.m1.1d">italic_β > 1</annotation></semantics></math> and <math alttext="r\geq 0" class="ltx_Math" display="inline" id="S5.p2.2.m2.1"><semantics id="S5.p2.2.m2.1a"><mrow id="S5.p2.2.m2.1.1" xref="S5.p2.2.m2.1.1.cmml"><mi id="S5.p2.2.m2.1.1.2" xref="S5.p2.2.m2.1.1.2.cmml">r</mi><mo id="S5.p2.2.m2.1.1.1" xref="S5.p2.2.m2.1.1.1.cmml">≥</mo><mn id="S5.p2.2.m2.1.1.3" xref="S5.p2.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p2.2.m2.1b"><apply id="S5.p2.2.m2.1.1.cmml" xref="S5.p2.2.m2.1.1"><geq id="S5.p2.2.m2.1.1.1.cmml" xref="S5.p2.2.m2.1.1.1"></geq><ci id="S5.p2.2.m2.1.1.2.cmml" xref="S5.p2.2.m2.1.1.2">𝑟</ci><cn id="S5.p2.2.m2.1.1.3.cmml" type="integer" xref="S5.p2.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.2.m2.1c">r\geq 0</annotation><annotation encoding="application/x-llamapun" id="S5.p2.2.m2.1d">italic_r ≥ 0</annotation></semantics></math>. The parameter <math alttext="r" class="ltx_Math" display="inline" id="S5.p2.3.m3.1"><semantics id="S5.p2.3.m3.1a"><mi id="S5.p2.3.m3.1.1" xref="S5.p2.3.m3.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S5.p2.3.m3.1b"><ci id="S5.p2.3.m3.1.1.cmml" xref="S5.p2.3.m3.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.3.m3.1c">r</annotation><annotation encoding="application/x-llamapun" id="S5.p2.3.m3.1d">italic_r</annotation></semantics></math> measures the amount of dispersion of <math alttext="w_{0}" class="ltx_Math" display="inline" id="S5.p2.4.m4.1"><semantics id="S5.p2.4.m4.1a"><msub id="S5.p2.4.m4.1.1" xref="S5.p2.4.m4.1.1.cmml"><mi id="S5.p2.4.m4.1.1.2" xref="S5.p2.4.m4.1.1.2.cmml">w</mi><mn id="S5.p2.4.m4.1.1.3" xref="S5.p2.4.m4.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S5.p2.4.m4.1b"><apply id="S5.p2.4.m4.1.1.cmml" xref="S5.p2.4.m4.1.1"><csymbol cd="ambiguous" id="S5.p2.4.m4.1.1.1.cmml" xref="S5.p2.4.m4.1.1">subscript</csymbol><ci id="S5.p2.4.m4.1.1.2.cmml" xref="S5.p2.4.m4.1.1.2">𝑤</ci><cn id="S5.p2.4.m4.1.1.3.cmml" type="integer" xref="S5.p2.4.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.4.m4.1c">w_{0}</annotation><annotation encoding="application/x-llamapun" id="S5.p2.4.m4.1d">italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> relative to the spectrum of <math alttext="\Sigma" class="ltx_Math" display="inline" id="S5.p2.5.m5.1"><semantics id="S5.p2.5.m5.1a"><mi id="S5.p2.5.m5.1.1" mathvariant="normal" xref="S5.p2.5.m5.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S5.p2.5.m5.1b"><ci id="S5.p2.5.m5.1.1.cmml" xref="S5.p2.5.m5.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.5.m5.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S5.p2.5.m5.1d">roman_Σ</annotation></semantics></math>; a large value of <math alttext="r" class="ltx_Math" display="inline" id="S5.p2.6.m6.1"><semantics id="S5.p2.6.m6.1a"><mi id="S5.p2.6.m6.1.1" xref="S5.p2.6.m6.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S5.p2.6.m6.1b"><ci id="S5.p2.6.m6.1.1.cmml" xref="S5.p2.6.m6.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.6.m6.1c">r</annotation><annotation encoding="application/x-llamapun" id="S5.p2.6.m6.1d">italic_r</annotation></semantics></math> means <math alttext="w_{0}" class="ltx_Math" display="inline" id="S5.p2.7.m7.1"><semantics id="S5.p2.7.m7.1a"><msub id="S5.p2.7.m7.1.1" xref="S5.p2.7.m7.1.1.cmml"><mi id="S5.p2.7.m7.1.1.2" xref="S5.p2.7.m7.1.1.2.cmml">w</mi><mn id="S5.p2.7.m7.1.1.3" xref="S5.p2.7.m7.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S5.p2.7.m7.1b"><apply id="S5.p2.7.m7.1.1.cmml" xref="S5.p2.7.m7.1.1"><csymbol cd="ambiguous" id="S5.p2.7.m7.1.1.1.cmml" xref="S5.p2.7.m7.1.1">subscript</csymbol><ci id="S5.p2.7.m7.1.1.2.cmml" xref="S5.p2.7.m7.1.1.2">𝑤</ci><cn id="S5.p2.7.m7.1.1.3.cmml" type="integer" xref="S5.p2.7.m7.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.7.m7.1c">w_{0}</annotation><annotation encoding="application/x-llamapun" id="S5.p2.7.m7.1d">italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> is concentrated only along a few important eigendirections directions (i.e the learning problem is easy). For later convenience, define <math alttext="\underline{r}" class="ltx_Math" display="inline" id="S5.p2.8.m8.1"><semantics id="S5.p2.8.m8.1a"><munder accentunder="true" id="S5.p2.8.m8.1.1" xref="S5.p2.8.m8.1.1.cmml"><mi id="S5.p2.8.m8.1.1.2" xref="S5.p2.8.m8.1.1.2.cmml">r</mi><mo id="S5.p2.8.m8.1.1.1" xref="S5.p2.8.m8.1.1.1.cmml">¯</mo></munder><annotation-xml encoding="MathML-Content" id="S5.p2.8.m8.1b"><apply id="S5.p2.8.m8.1.1.cmml" xref="S5.p2.8.m8.1.1"><ci id="S5.p2.8.m8.1.1.1.cmml" xref="S5.p2.8.m8.1.1.1">¯</ci><ci id="S5.p2.8.m8.1.1.2.cmml" xref="S5.p2.8.m8.1.1.2">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.8.m8.1c">\underline{r}</annotation><annotation encoding="application/x-llamapun" id="S5.p2.8.m8.1d">under¯ start_ARG italic_r end_ARG</annotation></semantics></math> and <math alttext="\delta" class="ltx_Math" display="inline" id="S5.p2.9.m9.1"><semantics id="S5.p2.9.m9.1a"><mi id="S5.p2.9.m9.1.1" xref="S5.p2.9.m9.1.1.cmml">δ</mi><annotation-xml encoding="MathML-Content" id="S5.p2.9.m9.1b"><ci id="S5.p2.9.m9.1.1.cmml" xref="S5.p2.9.m9.1.1">𝛿</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.9.m9.1c">\delta</annotation><annotation encoding="application/x-llamapun" id="S5.p2.9.m9.1d">italic_δ</annotation></semantics></math> by</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx21"> <tbody id="S5.E24"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\underline{r}:=\min(r,1),\quad\delta:=1+\beta(2r-1)." class="ltx_Math" display="inline" id="S5.E24.m1.4"><semantics id="S5.E24.m1.4a"><mrow id="S5.E24.m1.4.4.1"><mrow id="S5.E24.m1.4.4.1.1.2" xref="S5.E24.m1.4.4.1.1.3.cmml"><mrow id="S5.E24.m1.4.4.1.1.1.1" xref="S5.E24.m1.4.4.1.1.1.1.cmml"><munder accentunder="true" id="S5.E24.m1.4.4.1.1.1.1.2" xref="S5.E24.m1.4.4.1.1.1.1.2.cmml"><mi id="S5.E24.m1.4.4.1.1.1.1.2.2" xref="S5.E24.m1.4.4.1.1.1.1.2.2.cmml">r</mi><mo id="S5.E24.m1.4.4.1.1.1.1.2.1" xref="S5.E24.m1.4.4.1.1.1.1.2.1.cmml">¯</mo></munder><mo id="S5.E24.m1.4.4.1.1.1.1.1" lspace="0.278em" rspace="0.278em" xref="S5.E24.m1.4.4.1.1.1.1.1.cmml">:=</mo><mrow id="S5.E24.m1.4.4.1.1.1.1.3.2" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml"><mi id="S5.E24.m1.1.1" xref="S5.E24.m1.1.1.cmml">min</mi><mo id="S5.E24.m1.4.4.1.1.1.1.3.2a" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml">⁡</mo><mrow id="S5.E24.m1.4.4.1.1.1.1.3.2.1" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml"><mo id="S5.E24.m1.4.4.1.1.1.1.3.2.1.1" stretchy="false" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml">(</mo><mi id="S5.E24.m1.2.2" xref="S5.E24.m1.2.2.cmml">r</mi><mo id="S5.E24.m1.4.4.1.1.1.1.3.2.1.2" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml">,</mo><mn id="S5.E24.m1.3.3" xref="S5.E24.m1.3.3.cmml">1</mn><mo id="S5.E24.m1.4.4.1.1.1.1.3.2.1.3" stretchy="false" xref="S5.E24.m1.4.4.1.1.1.1.3.1.cmml">)</mo></mrow></mrow></mrow><mo id="S5.E24.m1.4.4.1.1.2.3" rspace="1.167em" xref="S5.E24.m1.4.4.1.1.3a.cmml">,</mo><mrow id="S5.E24.m1.4.4.1.1.2.2" xref="S5.E24.m1.4.4.1.1.2.2.cmml"><mi id="S5.E24.m1.4.4.1.1.2.2.3" xref="S5.E24.m1.4.4.1.1.2.2.3.cmml">δ</mi><mo id="S5.E24.m1.4.4.1.1.2.2.2" lspace="0.278em" rspace="0.278em" xref="S5.E24.m1.4.4.1.1.2.2.2.cmml">:=</mo><mrow id="S5.E24.m1.4.4.1.1.2.2.1" xref="S5.E24.m1.4.4.1.1.2.2.1.cmml"><mn id="S5.E24.m1.4.4.1.1.2.2.1.3" xref="S5.E24.m1.4.4.1.1.2.2.1.3.cmml">1</mn><mo id="S5.E24.m1.4.4.1.1.2.2.1.2" xref="S5.E24.m1.4.4.1.1.2.2.1.2.cmml">+</mo><mrow id="S5.E24.m1.4.4.1.1.2.2.1.1" xref="S5.E24.m1.4.4.1.1.2.2.1.1.cmml"><mi id="S5.E24.m1.4.4.1.1.2.2.1.1.3" xref="S5.E24.m1.4.4.1.1.2.2.1.1.3.cmml">β</mi><mo id="S5.E24.m1.4.4.1.1.2.2.1.1.2" xref="S5.E24.m1.4.4.1.1.2.2.1.1.2.cmml">⁢</mo><mrow id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.cmml"><mo id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.2" stretchy="false" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.cmml"><mrow id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.cmml"><mn id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.2" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.2.cmml">2</mn><mo id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.1" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.1.cmml">⁢</mo><mi id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.3" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.3.cmml">r</mi></mrow><mo id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.1" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.1.cmml">−</mo><mn id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.3" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.3" stretchy="false" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><mo id="S5.E24.m1.4.4.1.2" lspace="0em">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E24.m1.4b"><apply id="S5.E24.m1.4.4.1.1.3.cmml" xref="S5.E24.m1.4.4.1.1.2"><csymbol cd="ambiguous" id="S5.E24.m1.4.4.1.1.3a.cmml" xref="S5.E24.m1.4.4.1.1.2.3">formulae-sequence</csymbol><apply id="S5.E24.m1.4.4.1.1.1.1.cmml" xref="S5.E24.m1.4.4.1.1.1.1"><csymbol cd="latexml" id="S5.E24.m1.4.4.1.1.1.1.1.cmml" xref="S5.E24.m1.4.4.1.1.1.1.1">assign</csymbol><apply id="S5.E24.m1.4.4.1.1.1.1.2.cmml" xref="S5.E24.m1.4.4.1.1.1.1.2"><ci id="S5.E24.m1.4.4.1.1.1.1.2.1.cmml" xref="S5.E24.m1.4.4.1.1.1.1.2.1">¯</ci><ci id="S5.E24.m1.4.4.1.1.1.1.2.2.cmml" xref="S5.E24.m1.4.4.1.1.1.1.2.2">𝑟</ci></apply><apply id="S5.E24.m1.4.4.1.1.1.1.3.1.cmml" xref="S5.E24.m1.4.4.1.1.1.1.3.2"><min id="S5.E24.m1.1.1.cmml" xref="S5.E24.m1.1.1"></min><ci id="S5.E24.m1.2.2.cmml" xref="S5.E24.m1.2.2">𝑟</ci><cn id="S5.E24.m1.3.3.cmml" type="integer" xref="S5.E24.m1.3.3">1</cn></apply></apply><apply id="S5.E24.m1.4.4.1.1.2.2.cmml" xref="S5.E24.m1.4.4.1.1.2.2"><csymbol cd="latexml" id="S5.E24.m1.4.4.1.1.2.2.2.cmml" xref="S5.E24.m1.4.4.1.1.2.2.2">assign</csymbol><ci id="S5.E24.m1.4.4.1.1.2.2.3.cmml" xref="S5.E24.m1.4.4.1.1.2.2.3">𝛿</ci><apply id="S5.E24.m1.4.4.1.1.2.2.1.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1"><plus id="S5.E24.m1.4.4.1.1.2.2.1.2.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.2"></plus><cn id="S5.E24.m1.4.4.1.1.2.2.1.3.cmml" type="integer" xref="S5.E24.m1.4.4.1.1.2.2.1.3">1</cn><apply id="S5.E24.m1.4.4.1.1.2.2.1.1.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1"><times id="S5.E24.m1.4.4.1.1.2.2.1.1.2.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.2"></times><ci id="S5.E24.m1.4.4.1.1.2.2.1.1.3.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.3">𝛽</ci><apply id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1"><minus id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.1.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.1"></minus><apply id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2"><times id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.1.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.1"></times><cn id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.2.cmml" type="integer" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.2">2</cn><ci id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.3.cmml" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.2.3">𝑟</ci></apply><cn id="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.3.cmml" type="integer" xref="S5.E24.m1.4.4.1.1.2.2.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E24.m1.4c">\displaystyle\underline{r}:=\min(r,1),\quad\delta:=1+\beta(2r-1).</annotation><annotation encoding="application/x-llamapun" id="S5.E24.m1.4d">under¯ start_ARG italic_r end_ARG := roman_min ( italic_r , 1 ) , italic_δ := 1 + italic_β ( 2 italic_r - 1 ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(24)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p2.11">As noted in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, the above source condition is satisfied if <math alttext="c_{j}\asymp j^{-\delta/2}" class="ltx_Math" display="inline" id="S5.p2.10.m1.1"><semantics id="S5.p2.10.m1.1a"><mrow id="S5.p2.10.m1.1.1" xref="S5.p2.10.m1.1.1.cmml"><msub id="S5.p2.10.m1.1.1.2" xref="S5.p2.10.m1.1.1.2.cmml"><mi id="S5.p2.10.m1.1.1.2.2" xref="S5.p2.10.m1.1.1.2.2.cmml">c</mi><mi id="S5.p2.10.m1.1.1.2.3" xref="S5.p2.10.m1.1.1.2.3.cmml">j</mi></msub><mo id="S5.p2.10.m1.1.1.1" xref="S5.p2.10.m1.1.1.1.cmml">≍</mo><msup id="S5.p2.10.m1.1.1.3" xref="S5.p2.10.m1.1.1.3.cmml"><mi id="S5.p2.10.m1.1.1.3.2" xref="S5.p2.10.m1.1.1.3.2.cmml">j</mi><mrow id="S5.p2.10.m1.1.1.3.3" xref="S5.p2.10.m1.1.1.3.3.cmml"><mo id="S5.p2.10.m1.1.1.3.3a" xref="S5.p2.10.m1.1.1.3.3.cmml">−</mo><mrow id="S5.p2.10.m1.1.1.3.3.2" xref="S5.p2.10.m1.1.1.3.3.2.cmml"><mi id="S5.p2.10.m1.1.1.3.3.2.2" xref="S5.p2.10.m1.1.1.3.3.2.2.cmml">δ</mi><mo id="S5.p2.10.m1.1.1.3.3.2.1" xref="S5.p2.10.m1.1.1.3.3.2.1.cmml">/</mo><mn id="S5.p2.10.m1.1.1.3.3.2.3" xref="S5.p2.10.m1.1.1.3.3.2.3.cmml">2</mn></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.p2.10.m1.1b"><apply id="S5.p2.10.m1.1.1.cmml" xref="S5.p2.10.m1.1.1"><csymbol cd="latexml" id="S5.p2.10.m1.1.1.1.cmml" xref="S5.p2.10.m1.1.1.1">asymptotically-equals</csymbol><apply id="S5.p2.10.m1.1.1.2.cmml" xref="S5.p2.10.m1.1.1.2"><csymbol cd="ambiguous" id="S5.p2.10.m1.1.1.2.1.cmml" xref="S5.p2.10.m1.1.1.2">subscript</csymbol><ci id="S5.p2.10.m1.1.1.2.2.cmml" xref="S5.p2.10.m1.1.1.2.2">𝑐</ci><ci id="S5.p2.10.m1.1.1.2.3.cmml" xref="S5.p2.10.m1.1.1.2.3">𝑗</ci></apply><apply id="S5.p2.10.m1.1.1.3.cmml" xref="S5.p2.10.m1.1.1.3"><csymbol cd="ambiguous" id="S5.p2.10.m1.1.1.3.1.cmml" xref="S5.p2.10.m1.1.1.3">superscript</csymbol><ci id="S5.p2.10.m1.1.1.3.2.cmml" xref="S5.p2.10.m1.1.1.3.2">𝑗</ci><apply id="S5.p2.10.m1.1.1.3.3.cmml" xref="S5.p2.10.m1.1.1.3.3"><minus id="S5.p2.10.m1.1.1.3.3.1.cmml" xref="S5.p2.10.m1.1.1.3.3"></minus><apply id="S5.p2.10.m1.1.1.3.3.2.cmml" xref="S5.p2.10.m1.1.1.3.3.2"><divide id="S5.p2.10.m1.1.1.3.3.2.1.cmml" xref="S5.p2.10.m1.1.1.3.3.2.1"></divide><ci id="S5.p2.10.m1.1.1.3.3.2.2.cmml" xref="S5.p2.10.m1.1.1.3.3.2.2">𝛿</ci><cn id="S5.p2.10.m1.1.1.3.3.2.3.cmml" type="integer" xref="S5.p2.10.m1.1.1.3.3.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.10.m1.1c">c_{j}\asymp j^{-\delta/2}</annotation><annotation encoding="application/x-llamapun" id="S5.p2.10.m1.1d">italic_c start_POSTSUBSCRIPT italic_j end_POSTSUBSCRIPT ≍ italic_j start_POSTSUPERSCRIPT - italic_δ / 2 end_POSTSUPERSCRIPT</annotation></semantics></math> for all <math alttext="j\in[d]" class="ltx_Math" display="inline" id="S5.p2.11.m2.1"><semantics id="S5.p2.11.m2.1a"><mrow id="S5.p2.11.m2.1.2" xref="S5.p2.11.m2.1.2.cmml"><mi id="S5.p2.11.m2.1.2.2" xref="S5.p2.11.m2.1.2.2.cmml">j</mi><mo id="S5.p2.11.m2.1.2.1" xref="S5.p2.11.m2.1.2.1.cmml">∈</mo><mrow id="S5.p2.11.m2.1.2.3.2" xref="S5.p2.11.m2.1.2.3.1.cmml"><mo id="S5.p2.11.m2.1.2.3.2.1" stretchy="false" xref="S5.p2.11.m2.1.2.3.1.1.cmml">[</mo><mi id="S5.p2.11.m2.1.1" xref="S5.p2.11.m2.1.1.cmml">d</mi><mo id="S5.p2.11.m2.1.2.3.2.2" stretchy="false" xref="S5.p2.11.m2.1.2.3.1.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.p2.11.m2.1b"><apply id="S5.p2.11.m2.1.2.cmml" xref="S5.p2.11.m2.1.2"><in id="S5.p2.11.m2.1.2.1.cmml" xref="S5.p2.11.m2.1.2.1"></in><ci id="S5.p2.11.m2.1.2.2.cmml" xref="S5.p2.11.m2.1.2.2">𝑗</ci><apply id="S5.p2.11.m2.1.2.3.1.cmml" xref="S5.p2.11.m2.1.2.3.2"><csymbol cd="latexml" id="S5.p2.11.m2.1.2.3.1.1.cmml" xref="S5.p2.11.m2.1.2.3.2.1">delimited-[]</csymbol><ci id="S5.p2.11.m2.1.1.cmml" xref="S5.p2.11.m2.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p2.11.m2.1c">j\in[d]</annotation><annotation encoding="application/x-llamapun" id="S5.p2.11.m2.1d">italic_j ∈ [ italic_d ]</annotation></semantics></math>. </p> </div> <div class="ltx_para" id="S5.p3"> <p class="ltx_p" id="S5.p3.7">As in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, consider adaptive ridge regularization strength of the form</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx22"> <tbody id="S5.E25"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\lambda=\lambda(T)\asymp T^{-\ell}," class="ltx_Math" display="inline" id="S5.E25.m1.2"><semantics id="S5.E25.m1.2a"><mrow id="S5.E25.m1.2.2.1" xref="S5.E25.m1.2.2.1.1.cmml"><mrow id="S5.E25.m1.2.2.1.1" xref="S5.E25.m1.2.2.1.1.cmml"><mi id="S5.E25.m1.2.2.1.1.2" xref="S5.E25.m1.2.2.1.1.2.cmml">λ</mi><mo id="S5.E25.m1.2.2.1.1.3" xref="S5.E25.m1.2.2.1.1.3.cmml">=</mo><mrow id="S5.E25.m1.2.2.1.1.4" xref="S5.E25.m1.2.2.1.1.4.cmml"><mi id="S5.E25.m1.2.2.1.1.4.2" xref="S5.E25.m1.2.2.1.1.4.2.cmml">λ</mi><mo id="S5.E25.m1.2.2.1.1.4.1" xref="S5.E25.m1.2.2.1.1.4.1.cmml">⁢</mo><mrow id="S5.E25.m1.2.2.1.1.4.3.2" xref="S5.E25.m1.2.2.1.1.4.cmml"><mo id="S5.E25.m1.2.2.1.1.4.3.2.1" stretchy="false" xref="S5.E25.m1.2.2.1.1.4.cmml">(</mo><mi id="S5.E25.m1.1.1" xref="S5.E25.m1.1.1.cmml">T</mi><mo id="S5.E25.m1.2.2.1.1.4.3.2.2" stretchy="false" xref="S5.E25.m1.2.2.1.1.4.cmml">)</mo></mrow></mrow><mo id="S5.E25.m1.2.2.1.1.5" xref="S5.E25.m1.2.2.1.1.5.cmml">≍</mo><msup id="S5.E25.m1.2.2.1.1.6" xref="S5.E25.m1.2.2.1.1.6.cmml"><mi id="S5.E25.m1.2.2.1.1.6.2" xref="S5.E25.m1.2.2.1.1.6.2.cmml">T</mi><mrow id="S5.E25.m1.2.2.1.1.6.3" xref="S5.E25.m1.2.2.1.1.6.3.cmml"><mo id="S5.E25.m1.2.2.1.1.6.3a" xref="S5.E25.m1.2.2.1.1.6.3.cmml">−</mo><mi id="S5.E25.m1.2.2.1.1.6.3.2" mathvariant="normal" xref="S5.E25.m1.2.2.1.1.6.3.2.cmml">ℓ</mi></mrow></msup></mrow><mo id="S5.E25.m1.2.2.1.2" xref="S5.E25.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E25.m1.2b"><apply id="S5.E25.m1.2.2.1.1.cmml" xref="S5.E25.m1.2.2.1"><and id="S5.E25.m1.2.2.1.1a.cmml" xref="S5.E25.m1.2.2.1"></and><apply id="S5.E25.m1.2.2.1.1b.cmml" xref="S5.E25.m1.2.2.1"><eq id="S5.E25.m1.2.2.1.1.3.cmml" xref="S5.E25.m1.2.2.1.1.3"></eq><ci id="S5.E25.m1.2.2.1.1.2.cmml" xref="S5.E25.m1.2.2.1.1.2">𝜆</ci><apply id="S5.E25.m1.2.2.1.1.4.cmml" xref="S5.E25.m1.2.2.1.1.4"><times id="S5.E25.m1.2.2.1.1.4.1.cmml" xref="S5.E25.m1.2.2.1.1.4.1"></times><ci id="S5.E25.m1.2.2.1.1.4.2.cmml" xref="S5.E25.m1.2.2.1.1.4.2">𝜆</ci><ci id="S5.E25.m1.1.1.cmml" xref="S5.E25.m1.1.1">𝑇</ci></apply></apply><apply id="S5.E25.m1.2.2.1.1c.cmml" xref="S5.E25.m1.2.2.1"><csymbol cd="latexml" id="S5.E25.m1.2.2.1.1.5.cmml" xref="S5.E25.m1.2.2.1.1.5">asymptotically-equals</csymbol><share href="#S5.E25.m1.2.2.1.1.4.cmml" id="S5.E25.m1.2.2.1.1d.cmml" xref="S5.E25.m1.2.2.1"></share><apply id="S5.E25.m1.2.2.1.1.6.cmml" xref="S5.E25.m1.2.2.1.1.6"><csymbol cd="ambiguous" id="S5.E25.m1.2.2.1.1.6.1.cmml" xref="S5.E25.m1.2.2.1.1.6">superscript</csymbol><ci id="S5.E25.m1.2.2.1.1.6.2.cmml" xref="S5.E25.m1.2.2.1.1.6.2">𝑇</ci><apply id="S5.E25.m1.2.2.1.1.6.3.cmml" xref="S5.E25.m1.2.2.1.1.6.3"><minus id="S5.E25.m1.2.2.1.1.6.3.1.cmml" xref="S5.E25.m1.2.2.1.1.6.3"></minus><ci id="S5.E25.m1.2.2.1.1.6.3.2.cmml" xref="S5.E25.m1.2.2.1.1.6.3.2">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E25.m1.2c">\displaystyle\lambda=\lambda(T)\asymp T^{-\ell},</annotation><annotation encoding="application/x-llamapun" id="S5.E25.m1.2d">italic_λ = italic_λ ( italic_T ) ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ end_POSTSUPERSCRIPT ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(25)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p3.3">for fixed <math alttext="\ell\geq 0" class="ltx_Math" display="inline" id="S5.p3.1.m1.1"><semantics id="S5.p3.1.m1.1a"><mrow id="S5.p3.1.m1.1.1" xref="S5.p3.1.m1.1.1.cmml"><mi id="S5.p3.1.m1.1.1.2" mathvariant="normal" xref="S5.p3.1.m1.1.1.2.cmml">ℓ</mi><mo id="S5.p3.1.m1.1.1.1" xref="S5.p3.1.m1.1.1.1.cmml">≥</mo><mn id="S5.p3.1.m1.1.1.3" xref="S5.p3.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p3.1.m1.1b"><apply id="S5.p3.1.m1.1.1.cmml" xref="S5.p3.1.m1.1.1"><geq id="S5.p3.1.m1.1.1.1.cmml" xref="S5.p3.1.m1.1.1.1"></geq><ci id="S5.p3.1.m1.1.1.2.cmml" xref="S5.p3.1.m1.1.1.2">ℓ</ci><cn id="S5.p3.1.m1.1.1.3.cmml" type="integer" xref="S5.p3.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.1.m1.1c">\ell\geq 0</annotation><annotation encoding="application/x-llamapun" id="S5.p3.1.m1.1d">roman_ℓ ≥ 0</annotation></semantics></math>. The case where <math alttext="\ell=0" class="ltx_Math" display="inline" id="S5.p3.2.m2.1"><semantics id="S5.p3.2.m2.1a"><mrow id="S5.p3.2.m2.1.1" xref="S5.p3.2.m2.1.1.cmml"><mi id="S5.p3.2.m2.1.1.2" mathvariant="normal" xref="S5.p3.2.m2.1.1.2.cmml">ℓ</mi><mo id="S5.p3.2.m2.1.1.1" xref="S5.p3.2.m2.1.1.1.cmml">=</mo><mn id="S5.p3.2.m2.1.1.3" xref="S5.p3.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p3.2.m2.1b"><apply id="S5.p3.2.m2.1.1.cmml" xref="S5.p3.2.m2.1.1"><eq id="S5.p3.2.m2.1.1.1.cmml" xref="S5.p3.2.m2.1.1.1"></eq><ci id="S5.p3.2.m2.1.1.2.cmml" xref="S5.p3.2.m2.1.1.2">ℓ</ci><cn id="S5.p3.2.m2.1.1.3.cmml" type="integer" xref="S5.p3.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.2.m2.1c">\ell=0</annotation><annotation encoding="application/x-llamapun" id="S5.p3.2.m2.1d">roman_ℓ = 0</annotation></semantics></math> corresponds to non-adaptive regularization; otherwise, the level of regularization decays polynomially with the sample size <math alttext="T" class="ltx_Math" display="inline" id="S5.p3.3.m3.1"><semantics id="S5.p3.3.m3.1a"><mi id="S5.p3.3.m3.1.1" xref="S5.p3.3.m3.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S5.p3.3.m3.1b"><ci id="S5.p3.3.m3.1.1.cmml" xref="S5.p3.3.m3.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.3.m3.1c">T</annotation><annotation encoding="application/x-llamapun" id="S5.p3.3.m3.1d">italic_T</annotation></semantics></math>. Define</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx23"> <tbody id="S5.E26"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\ell_{crit}:=\beta/(1+2\beta\underline{r})," class="ltx_Math" display="inline" id="S5.E26.m1.1"><semantics id="S5.E26.m1.1a"><mrow id="S5.E26.m1.1.1.1" xref="S5.E26.m1.1.1.1.1.cmml"><mrow id="S5.E26.m1.1.1.1.1" xref="S5.E26.m1.1.1.1.1.cmml"><msub id="S5.E26.m1.1.1.1.1.3" xref="S5.E26.m1.1.1.1.1.3.cmml"><mi id="S5.E26.m1.1.1.1.1.3.2" mathvariant="normal" xref="S5.E26.m1.1.1.1.1.3.2.cmml">ℓ</mi><mrow id="S5.E26.m1.1.1.1.1.3.3" xref="S5.E26.m1.1.1.1.1.3.3.cmml"><mi id="S5.E26.m1.1.1.1.1.3.3.2" xref="S5.E26.m1.1.1.1.1.3.3.2.cmml">c</mi><mo id="S5.E26.m1.1.1.1.1.3.3.1" xref="S5.E26.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E26.m1.1.1.1.1.3.3.3" xref="S5.E26.m1.1.1.1.1.3.3.3.cmml">r</mi><mo id="S5.E26.m1.1.1.1.1.3.3.1a" xref="S5.E26.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E26.m1.1.1.1.1.3.3.4" xref="S5.E26.m1.1.1.1.1.3.3.4.cmml">i</mi><mo id="S5.E26.m1.1.1.1.1.3.3.1b" xref="S5.E26.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E26.m1.1.1.1.1.3.3.5" xref="S5.E26.m1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.E26.m1.1.1.1.1.2" lspace="0.278em" rspace="0.278em" xref="S5.E26.m1.1.1.1.1.2.cmml">:=</mo><mrow id="S5.E26.m1.1.1.1.1.1" xref="S5.E26.m1.1.1.1.1.1.cmml"><mi id="S5.E26.m1.1.1.1.1.1.3" xref="S5.E26.m1.1.1.1.1.1.3.cmml">β</mi><mo id="S5.E26.m1.1.1.1.1.1.2" xref="S5.E26.m1.1.1.1.1.1.2.cmml">/</mo><mrow id="S5.E26.m1.1.1.1.1.1.1.1" xref="S5.E26.m1.1.1.1.1.1.1.1.1.cmml"><mo id="S5.E26.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="S5.E26.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.E26.m1.1.1.1.1.1.1.1.1" xref="S5.E26.m1.1.1.1.1.1.1.1.1.cmml"><mn id="S5.E26.m1.1.1.1.1.1.1.1.1.2" xref="S5.E26.m1.1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S5.E26.m1.1.1.1.1.1.1.1.1.1" xref="S5.E26.m1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S5.E26.m1.1.1.1.1.1.1.1.1.3" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.cmml"><mn id="S5.E26.m1.1.1.1.1.1.1.1.1.3.2" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.2.cmml">2</mn><mo id="S5.E26.m1.1.1.1.1.1.1.1.1.3.1" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.E26.m1.1.1.1.1.1.1.1.1.3.3" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.3.cmml">β</mi><mo id="S5.E26.m1.1.1.1.1.1.1.1.1.3.1a" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><munder accentunder="true" id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.cmml"><mi id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.2" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.2.cmml">r</mi><mo id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.1" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.1.cmml">¯</mo></munder></mrow></mrow><mo id="S5.E26.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="S5.E26.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S5.E26.m1.1.1.1.2" xref="S5.E26.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E26.m1.1b"><apply id="S5.E26.m1.1.1.1.1.cmml" xref="S5.E26.m1.1.1.1"><csymbol cd="latexml" id="S5.E26.m1.1.1.1.1.2.cmml" xref="S5.E26.m1.1.1.1.1.2">assign</csymbol><apply id="S5.E26.m1.1.1.1.1.3.cmml" xref="S5.E26.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.E26.m1.1.1.1.1.3.1.cmml" xref="S5.E26.m1.1.1.1.1.3">subscript</csymbol><ci id="S5.E26.m1.1.1.1.1.3.2.cmml" xref="S5.E26.m1.1.1.1.1.3.2">ℓ</ci><apply id="S5.E26.m1.1.1.1.1.3.3.cmml" xref="S5.E26.m1.1.1.1.1.3.3"><times id="S5.E26.m1.1.1.1.1.3.3.1.cmml" xref="S5.E26.m1.1.1.1.1.3.3.1"></times><ci id="S5.E26.m1.1.1.1.1.3.3.2.cmml" xref="S5.E26.m1.1.1.1.1.3.3.2">𝑐</ci><ci id="S5.E26.m1.1.1.1.1.3.3.3.cmml" xref="S5.E26.m1.1.1.1.1.3.3.3">𝑟</ci><ci id="S5.E26.m1.1.1.1.1.3.3.4.cmml" xref="S5.E26.m1.1.1.1.1.3.3.4">𝑖</ci><ci id="S5.E26.m1.1.1.1.1.3.3.5.cmml" xref="S5.E26.m1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.E26.m1.1.1.1.1.1.cmml" xref="S5.E26.m1.1.1.1.1.1"><divide id="S5.E26.m1.1.1.1.1.1.2.cmml" xref="S5.E26.m1.1.1.1.1.1.2"></divide><ci id="S5.E26.m1.1.1.1.1.1.3.cmml" xref="S5.E26.m1.1.1.1.1.1.3">𝛽</ci><apply id="S5.E26.m1.1.1.1.1.1.1.1.1.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1"><plus id="S5.E26.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.1"></plus><cn id="S5.E26.m1.1.1.1.1.1.1.1.1.2.cmml" type="integer" xref="S5.E26.m1.1.1.1.1.1.1.1.1.2">1</cn><apply id="S5.E26.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3"><times id="S5.E26.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.1"></times><cn id="S5.E26.m1.1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.2">2</cn><ci id="S5.E26.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.3">𝛽</ci><apply id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4"><ci id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.1.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.1">¯</ci><ci id="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.2.cmml" xref="S5.E26.m1.1.1.1.1.1.1.1.1.3.4.2">𝑟</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E26.m1.1c">\displaystyle\ell_{crit}:=\beta/(1+2\beta\underline{r}),</annotation><annotation encoding="application/x-llamapun" id="S5.E26.m1.1d">roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT := italic_β / ( 1 + 2 italic_β under¯ start_ARG italic_r end_ARG ) ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(26)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p3.5">In <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> KRR under norm circumstances (corresponding to <math alttext="n=0" class="ltx_Math" display="inline" id="S5.p3.4.m1.1"><semantics id="S5.p3.4.m1.1a"><mrow id="S5.p3.4.m1.1.1" xref="S5.p3.4.m1.1.1.cmml"><mi id="S5.p3.4.m1.1.1.2" xref="S5.p3.4.m1.1.1.2.cmml">n</mi><mo id="S5.p3.4.m1.1.1.1" xref="S5.p3.4.m1.1.1.1.cmml">=</mo><mn id="S5.p3.4.m1.1.1.3" xref="S5.p3.4.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.p3.4.m1.1b"><apply id="S5.p3.4.m1.1.1.cmml" xref="S5.p3.4.m1.1.1"><eq id="S5.p3.4.m1.1.1.1.cmml" xref="S5.p3.4.m1.1.1.1"></eq><ci id="S5.p3.4.m1.1.1.2.cmml" xref="S5.p3.4.m1.1.1.2">𝑛</ci><cn id="S5.p3.4.m1.1.1.3.cmml" type="integer" xref="S5.p3.4.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.4.m1.1c">n=0</annotation><annotation encoding="application/x-llamapun" id="S5.p3.4.m1.1d">italic_n = 0</annotation></semantics></math>, i.e no fake data) was considered and it was shown that this value for the regularization exponent in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E25" title="25 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">25</span></a>) is minimax-optimal for normal test error in the noisy regime, namely <math alttext="E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-c}" class="ltx_Math" display="inline" id="S5.p3.5.m2.1"><semantics id="S5.p3.5.m2.1a"><mrow id="S5.p3.5.m2.1.1" xref="S5.p3.5.m2.1.1.cmml"><mrow id="S5.p3.5.m2.1.1.1" xref="S5.p3.5.m2.1.1.1.cmml"><msub id="S5.p3.5.m2.1.1.1.3" xref="S5.p3.5.m2.1.1.1.3.cmml"><mi id="S5.p3.5.m2.1.1.1.3.2" xref="S5.p3.5.m2.1.1.1.3.2.cmml">E</mi><mrow id="S5.p3.5.m2.1.1.1.3.3" xref="S5.p3.5.m2.1.1.1.3.3.cmml"><mi id="S5.p3.5.m2.1.1.1.3.3.2" xref="S5.p3.5.m2.1.1.1.3.3.2.cmml">t</mi><mo id="S5.p3.5.m2.1.1.1.3.3.1" xref="S5.p3.5.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.3.3.3" xref="S5.p3.5.m2.1.1.1.3.3.3.cmml">e</mi><mo id="S5.p3.5.m2.1.1.1.3.3.1a" xref="S5.p3.5.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.3.3.4" xref="S5.p3.5.m2.1.1.1.3.3.4.cmml">s</mi><mo id="S5.p3.5.m2.1.1.1.3.3.1b" xref="S5.p3.5.m2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.3.3.5" xref="S5.p3.5.m2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.p3.5.m2.1.1.1.2" xref="S5.p3.5.m2.1.1.1.2.cmml">⁢</mo><mrow id="S5.p3.5.m2.1.1.1.1.1" xref="S5.p3.5.m2.1.1.1.1.1.1.cmml"><mo id="S5.p3.5.m2.1.1.1.1.1.2" stretchy="false" xref="S5.p3.5.m2.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.p3.5.m2.1.1.1.1.1.1" xref="S5.p3.5.m2.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.p3.5.m2.1.1.1.1.1.1.2.2" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2.cmml"><mi id="S5.p3.5.m2.1.1.1.1.1.1.2.2.2" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.p3.5.m2.1.1.1.1.1.1.2.2.1" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S5.p3.5.m2.1.1.1.1.1.1.2.3" xref="S5.p3.5.m2.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S5.p3.5.m2.1.1.1.1.1.1.3" xref="S5.p3.5.m2.1.1.1.1.1.1.3.cmml"><mi id="S5.p3.5.m2.1.1.1.1.1.1.3.2" xref="S5.p3.5.m2.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.p3.5.m2.1.1.1.1.1.1.3.1" xref="S5.p3.5.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.1.1.1.3.3" xref="S5.p3.5.m2.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.p3.5.m2.1.1.1.1.1.1.3.1a" xref="S5.p3.5.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.1.1.1.3.4" xref="S5.p3.5.m2.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.p3.5.m2.1.1.1.1.1.1.3.1b" xref="S5.p3.5.m2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.5.m2.1.1.1.1.1.1.3.5" xref="S5.p3.5.m2.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.p3.5.m2.1.1.1.1.1.3" stretchy="false" xref="S5.p3.5.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.p3.5.m2.1.1.2" xref="S5.p3.5.m2.1.1.2.cmml">≍</mo><msup id="S5.p3.5.m2.1.1.3" xref="S5.p3.5.m2.1.1.3.cmml"><mi id="S5.p3.5.m2.1.1.3.2" xref="S5.p3.5.m2.1.1.3.2.cmml">T</mi><mrow id="S5.p3.5.m2.1.1.3.3" xref="S5.p3.5.m2.1.1.3.3.cmml"><mo id="S5.p3.5.m2.1.1.3.3a" xref="S5.p3.5.m2.1.1.3.3.cmml">−</mo><mi id="S5.p3.5.m2.1.1.3.3.2" xref="S5.p3.5.m2.1.1.3.3.2.cmml">c</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.p3.5.m2.1b"><apply id="S5.p3.5.m2.1.1.cmml" xref="S5.p3.5.m2.1.1"><csymbol cd="latexml" id="S5.p3.5.m2.1.1.2.cmml" xref="S5.p3.5.m2.1.1.2">asymptotically-equals</csymbol><apply id="S5.p3.5.m2.1.1.1.cmml" xref="S5.p3.5.m2.1.1.1"><times id="S5.p3.5.m2.1.1.1.2.cmml" xref="S5.p3.5.m2.1.1.1.2"></times><apply id="S5.p3.5.m2.1.1.1.3.cmml" xref="S5.p3.5.m2.1.1.1.3"><csymbol cd="ambiguous" id="S5.p3.5.m2.1.1.1.3.1.cmml" xref="S5.p3.5.m2.1.1.1.3">subscript</csymbol><ci id="S5.p3.5.m2.1.1.1.3.2.cmml" xref="S5.p3.5.m2.1.1.1.3.2">𝐸</ci><apply id="S5.p3.5.m2.1.1.1.3.3.cmml" xref="S5.p3.5.m2.1.1.1.3.3"><times id="S5.p3.5.m2.1.1.1.3.3.1.cmml" xref="S5.p3.5.m2.1.1.1.3.3.1"></times><ci id="S5.p3.5.m2.1.1.1.3.3.2.cmml" xref="S5.p3.5.m2.1.1.1.3.3.2">𝑡</ci><ci id="S5.p3.5.m2.1.1.1.3.3.3.cmml" xref="S5.p3.5.m2.1.1.1.3.3.3">𝑒</ci><ci id="S5.p3.5.m2.1.1.1.3.3.4.cmml" xref="S5.p3.5.m2.1.1.1.3.3.4">𝑠</ci><ci id="S5.p3.5.m2.1.1.1.3.3.5.cmml" xref="S5.p3.5.m2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.p3.5.m2.1.1.1.1.1.1.cmml" xref="S5.p3.5.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.p3.5.m2.1.1.1.1.1.1.1.cmml" xref="S5.p3.5.m2.1.1.1.1.1">superscript</csymbol><apply id="S5.p3.5.m2.1.1.1.1.1.1.2.cmml" xref="S5.p3.5.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.p3.5.m2.1.1.1.1.1.1.2.1.cmml" xref="S5.p3.5.m2.1.1.1.1.1">subscript</csymbol><apply id="S5.p3.5.m2.1.1.1.1.1.1.2.2.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2"><ci id="S5.p3.5.m2.1.1.1.1.1.1.2.2.1.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.p3.5.m2.1.1.1.1.1.1.2.2.2.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S5.p3.5.m2.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S5.p3.5.m2.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S5.p3.5.m2.1.1.1.1.1.1.3.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3"><times id="S5.p3.5.m2.1.1.1.1.1.1.3.1.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3.1"></times><ci id="S5.p3.5.m2.1.1.1.1.1.1.3.2.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.p3.5.m2.1.1.1.1.1.1.3.3.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.p3.5.m2.1.1.1.1.1.1.3.4.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.p3.5.m2.1.1.1.1.1.1.3.5.cmml" xref="S5.p3.5.m2.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.p3.5.m2.1.1.3.cmml" xref="S5.p3.5.m2.1.1.3"><csymbol cd="ambiguous" id="S5.p3.5.m2.1.1.3.1.cmml" xref="S5.p3.5.m2.1.1.3">superscript</csymbol><ci id="S5.p3.5.m2.1.1.3.2.cmml" xref="S5.p3.5.m2.1.1.3.2">𝑇</ci><apply id="S5.p3.5.m2.1.1.3.3.cmml" xref="S5.p3.5.m2.1.1.3.3"><minus id="S5.p3.5.m2.1.1.3.3.1.cmml" xref="S5.p3.5.m2.1.1.3.3"></minus><ci id="S5.p3.5.m2.1.1.3.3.2.cmml" xref="S5.p3.5.m2.1.1.3.3.2">𝑐</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.5.m2.1c">E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-c}</annotation><annotation encoding="application/x-llamapun" id="S5.p3.5.m2.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - italic_c end_POSTSUPERSCRIPT</annotation></semantics></math>, where</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx24"> <tbody id="S5.E27"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle c:=\frac{2\beta\underline{r}}{2\beta\underline{r}+1}\in(0,1)." class="ltx_Math" display="inline" id="S5.E27.m1.3"><semantics id="S5.E27.m1.3a"><mrow id="S5.E27.m1.3.3.1" xref="S5.E27.m1.3.3.1.1.cmml"><mrow id="S5.E27.m1.3.3.1.1" xref="S5.E27.m1.3.3.1.1.cmml"><mi id="S5.E27.m1.3.3.1.1.2" xref="S5.E27.m1.3.3.1.1.2.cmml">c</mi><mo id="S5.E27.m1.3.3.1.1.3" lspace="0.278em" rspace="0.278em" xref="S5.E27.m1.3.3.1.1.3.cmml">:=</mo><mstyle displaystyle="true" id="S5.E27.m1.3.3.1.1.4" xref="S5.E27.m1.3.3.1.1.4.cmml"><mfrac id="S5.E27.m1.3.3.1.1.4a" xref="S5.E27.m1.3.3.1.1.4.cmml"><mrow id="S5.E27.m1.3.3.1.1.4.2" xref="S5.E27.m1.3.3.1.1.4.2.cmml"><mn id="S5.E27.m1.3.3.1.1.4.2.2" xref="S5.E27.m1.3.3.1.1.4.2.2.cmml">2</mn><mo id="S5.E27.m1.3.3.1.1.4.2.1" xref="S5.E27.m1.3.3.1.1.4.2.1.cmml">⁢</mo><mi id="S5.E27.m1.3.3.1.1.4.2.3" xref="S5.E27.m1.3.3.1.1.4.2.3.cmml">β</mi><mo id="S5.E27.m1.3.3.1.1.4.2.1a" xref="S5.E27.m1.3.3.1.1.4.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.E27.m1.3.3.1.1.4.2.4" xref="S5.E27.m1.3.3.1.1.4.2.4.cmml"><mi id="S5.E27.m1.3.3.1.1.4.2.4.2" xref="S5.E27.m1.3.3.1.1.4.2.4.2.cmml">r</mi><mo id="S5.E27.m1.3.3.1.1.4.2.4.1" xref="S5.E27.m1.3.3.1.1.4.2.4.1.cmml">¯</mo></munder></mrow><mrow id="S5.E27.m1.3.3.1.1.4.3" xref="S5.E27.m1.3.3.1.1.4.3.cmml"><mrow id="S5.E27.m1.3.3.1.1.4.3.2" xref="S5.E27.m1.3.3.1.1.4.3.2.cmml"><mn id="S5.E27.m1.3.3.1.1.4.3.2.2" xref="S5.E27.m1.3.3.1.1.4.3.2.2.cmml">2</mn><mo id="S5.E27.m1.3.3.1.1.4.3.2.1" xref="S5.E27.m1.3.3.1.1.4.3.2.1.cmml">⁢</mo><mi id="S5.E27.m1.3.3.1.1.4.3.2.3" xref="S5.E27.m1.3.3.1.1.4.3.2.3.cmml">β</mi><mo id="S5.E27.m1.3.3.1.1.4.3.2.1a" xref="S5.E27.m1.3.3.1.1.4.3.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.E27.m1.3.3.1.1.4.3.2.4" xref="S5.E27.m1.3.3.1.1.4.3.2.4.cmml"><mi id="S5.E27.m1.3.3.1.1.4.3.2.4.2" xref="S5.E27.m1.3.3.1.1.4.3.2.4.2.cmml">r</mi><mo id="S5.E27.m1.3.3.1.1.4.3.2.4.1" xref="S5.E27.m1.3.3.1.1.4.3.2.4.1.cmml">¯</mo></munder></mrow><mo id="S5.E27.m1.3.3.1.1.4.3.1" xref="S5.E27.m1.3.3.1.1.4.3.1.cmml">+</mo><mn id="S5.E27.m1.3.3.1.1.4.3.3" xref="S5.E27.m1.3.3.1.1.4.3.3.cmml">1</mn></mrow></mfrac></mstyle><mo id="S5.E27.m1.3.3.1.1.5" xref="S5.E27.m1.3.3.1.1.5.cmml">∈</mo><mrow id="S5.E27.m1.3.3.1.1.6.2" xref="S5.E27.m1.3.3.1.1.6.1.cmml"><mo id="S5.E27.m1.3.3.1.1.6.2.1" stretchy="false" xref="S5.E27.m1.3.3.1.1.6.1.cmml">(</mo><mn id="S5.E27.m1.1.1" xref="S5.E27.m1.1.1.cmml">0</mn><mo id="S5.E27.m1.3.3.1.1.6.2.2" xref="S5.E27.m1.3.3.1.1.6.1.cmml">,</mo><mn id="S5.E27.m1.2.2" xref="S5.E27.m1.2.2.cmml">1</mn><mo id="S5.E27.m1.3.3.1.1.6.2.3" stretchy="false" xref="S5.E27.m1.3.3.1.1.6.1.cmml">)</mo></mrow></mrow><mo id="S5.E27.m1.3.3.1.2" lspace="0em" xref="S5.E27.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E27.m1.3b"><apply id="S5.E27.m1.3.3.1.1.cmml" xref="S5.E27.m1.3.3.1"><and id="S5.E27.m1.3.3.1.1a.cmml" xref="S5.E27.m1.3.3.1"></and><apply id="S5.E27.m1.3.3.1.1b.cmml" xref="S5.E27.m1.3.3.1"><csymbol cd="latexml" id="S5.E27.m1.3.3.1.1.3.cmml" xref="S5.E27.m1.3.3.1.1.3">assign</csymbol><ci id="S5.E27.m1.3.3.1.1.2.cmml" xref="S5.E27.m1.3.3.1.1.2">𝑐</ci><apply id="S5.E27.m1.3.3.1.1.4.cmml" xref="S5.E27.m1.3.3.1.1.4"><divide id="S5.E27.m1.3.3.1.1.4.1.cmml" xref="S5.E27.m1.3.3.1.1.4"></divide><apply id="S5.E27.m1.3.3.1.1.4.2.cmml" xref="S5.E27.m1.3.3.1.1.4.2"><times id="S5.E27.m1.3.3.1.1.4.2.1.cmml" xref="S5.E27.m1.3.3.1.1.4.2.1"></times><cn id="S5.E27.m1.3.3.1.1.4.2.2.cmml" type="integer" xref="S5.E27.m1.3.3.1.1.4.2.2">2</cn><ci id="S5.E27.m1.3.3.1.1.4.2.3.cmml" xref="S5.E27.m1.3.3.1.1.4.2.3">𝛽</ci><apply id="S5.E27.m1.3.3.1.1.4.2.4.cmml" xref="S5.E27.m1.3.3.1.1.4.2.4"><ci id="S5.E27.m1.3.3.1.1.4.2.4.1.cmml" xref="S5.E27.m1.3.3.1.1.4.2.4.1">¯</ci><ci id="S5.E27.m1.3.3.1.1.4.2.4.2.cmml" xref="S5.E27.m1.3.3.1.1.4.2.4.2">𝑟</ci></apply></apply><apply id="S5.E27.m1.3.3.1.1.4.3.cmml" xref="S5.E27.m1.3.3.1.1.4.3"><plus id="S5.E27.m1.3.3.1.1.4.3.1.cmml" xref="S5.E27.m1.3.3.1.1.4.3.1"></plus><apply id="S5.E27.m1.3.3.1.1.4.3.2.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2"><times id="S5.E27.m1.3.3.1.1.4.3.2.1.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2.1"></times><cn id="S5.E27.m1.3.3.1.1.4.3.2.2.cmml" type="integer" xref="S5.E27.m1.3.3.1.1.4.3.2.2">2</cn><ci id="S5.E27.m1.3.3.1.1.4.3.2.3.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2.3">𝛽</ci><apply id="S5.E27.m1.3.3.1.1.4.3.2.4.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2.4"><ci id="S5.E27.m1.3.3.1.1.4.3.2.4.1.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2.4.1">¯</ci><ci id="S5.E27.m1.3.3.1.1.4.3.2.4.2.cmml" xref="S5.E27.m1.3.3.1.1.4.3.2.4.2">𝑟</ci></apply></apply><cn id="S5.E27.m1.3.3.1.1.4.3.3.cmml" type="integer" xref="S5.E27.m1.3.3.1.1.4.3.3">1</cn></apply></apply></apply><apply id="S5.E27.m1.3.3.1.1c.cmml" xref="S5.E27.m1.3.3.1"><in id="S5.E27.m1.3.3.1.1.5.cmml" xref="S5.E27.m1.3.3.1.1.5"></in><share href="#S5.E27.m1.3.3.1.1.4.cmml" id="S5.E27.m1.3.3.1.1d.cmml" xref="S5.E27.m1.3.3.1"></share><interval closure="open" id="S5.E27.m1.3.3.1.1.6.1.cmml" xref="S5.E27.m1.3.3.1.1.6.2"><cn id="S5.E27.m1.1.1.cmml" type="integer" xref="S5.E27.m1.1.1">0</cn><cn id="S5.E27.m1.2.2.cmml" type="integer" xref="S5.E27.m1.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E27.m1.3c">\displaystyle c:=\frac{2\beta\underline{r}}{2\beta\underline{r}+1}\in(0,1).</annotation><annotation encoding="application/x-llamapun" id="S5.E27.m1.3d">italic_c := divide start_ARG 2 italic_β under¯ start_ARG italic_r end_ARG end_ARG start_ARG 2 italic_β under¯ start_ARG italic_r end_ARG + 1 end_ARG ∈ ( 0 , 1 ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(27)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.p3.6">This represents a crossover from the noiseless regime where it was shown that the test error scales like <math alttext="E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-2\beta\underline{r}}" class="ltx_Math" display="inline" id="S5.p3.6.m1.1"><semantics id="S5.p3.6.m1.1a"><mrow id="S5.p3.6.m1.1.1" xref="S5.p3.6.m1.1.1.cmml"><mrow id="S5.p3.6.m1.1.1.1" xref="S5.p3.6.m1.1.1.1.cmml"><msub id="S5.p3.6.m1.1.1.1.3" xref="S5.p3.6.m1.1.1.1.3.cmml"><mi id="S5.p3.6.m1.1.1.1.3.2" xref="S5.p3.6.m1.1.1.1.3.2.cmml">E</mi><mrow id="S5.p3.6.m1.1.1.1.3.3" xref="S5.p3.6.m1.1.1.1.3.3.cmml"><mi id="S5.p3.6.m1.1.1.1.3.3.2" xref="S5.p3.6.m1.1.1.1.3.3.2.cmml">t</mi><mo id="S5.p3.6.m1.1.1.1.3.3.1" xref="S5.p3.6.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.3.3.3" xref="S5.p3.6.m1.1.1.1.3.3.3.cmml">e</mi><mo id="S5.p3.6.m1.1.1.1.3.3.1a" xref="S5.p3.6.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.3.3.4" xref="S5.p3.6.m1.1.1.1.3.3.4.cmml">s</mi><mo id="S5.p3.6.m1.1.1.1.3.3.1b" xref="S5.p3.6.m1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.3.3.5" xref="S5.p3.6.m1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.p3.6.m1.1.1.1.2" xref="S5.p3.6.m1.1.1.1.2.cmml">⁢</mo><mrow id="S5.p3.6.m1.1.1.1.1.1" xref="S5.p3.6.m1.1.1.1.1.1.1.cmml"><mo id="S5.p3.6.m1.1.1.1.1.1.2" stretchy="false" xref="S5.p3.6.m1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.p3.6.m1.1.1.1.1.1.1" xref="S5.p3.6.m1.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.p3.6.m1.1.1.1.1.1.1.2.2" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2.cmml"><mi id="S5.p3.6.m1.1.1.1.1.1.1.2.2.2" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.p3.6.m1.1.1.1.1.1.1.2.2.1" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S5.p3.6.m1.1.1.1.1.1.1.2.3" xref="S5.p3.6.m1.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S5.p3.6.m1.1.1.1.1.1.1.3" xref="S5.p3.6.m1.1.1.1.1.1.1.3.cmml"><mi id="S5.p3.6.m1.1.1.1.1.1.1.3.2" xref="S5.p3.6.m1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.p3.6.m1.1.1.1.1.1.1.3.1" xref="S5.p3.6.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.1.1.1.3.3" xref="S5.p3.6.m1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.p3.6.m1.1.1.1.1.1.1.3.1a" xref="S5.p3.6.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.1.1.1.3.4" xref="S5.p3.6.m1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.p3.6.m1.1.1.1.1.1.1.3.1b" xref="S5.p3.6.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.1.1.1.1.3.5" xref="S5.p3.6.m1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.p3.6.m1.1.1.1.1.1.3" stretchy="false" xref="S5.p3.6.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.p3.6.m1.1.1.2" xref="S5.p3.6.m1.1.1.2.cmml">≍</mo><msup id="S5.p3.6.m1.1.1.3" xref="S5.p3.6.m1.1.1.3.cmml"><mi id="S5.p3.6.m1.1.1.3.2" xref="S5.p3.6.m1.1.1.3.2.cmml">T</mi><mrow id="S5.p3.6.m1.1.1.3.3" xref="S5.p3.6.m1.1.1.3.3.cmml"><mo id="S5.p3.6.m1.1.1.3.3a" xref="S5.p3.6.m1.1.1.3.3.cmml">−</mo><mrow id="S5.p3.6.m1.1.1.3.3.2" xref="S5.p3.6.m1.1.1.3.3.2.cmml"><mn id="S5.p3.6.m1.1.1.3.3.2.2" xref="S5.p3.6.m1.1.1.3.3.2.2.cmml">2</mn><mo id="S5.p3.6.m1.1.1.3.3.2.1" xref="S5.p3.6.m1.1.1.3.3.2.1.cmml">⁢</mo><mi id="S5.p3.6.m1.1.1.3.3.2.3" xref="S5.p3.6.m1.1.1.3.3.2.3.cmml">β</mi><mo id="S5.p3.6.m1.1.1.3.3.2.1a" xref="S5.p3.6.m1.1.1.3.3.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.p3.6.m1.1.1.3.3.2.4" xref="S5.p3.6.m1.1.1.3.3.2.4.cmml"><mi id="S5.p3.6.m1.1.1.3.3.2.4.2" xref="S5.p3.6.m1.1.1.3.3.2.4.2.cmml">r</mi><mo id="S5.p3.6.m1.1.1.3.3.2.4.1" xref="S5.p3.6.m1.1.1.3.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.p3.6.m1.1b"><apply id="S5.p3.6.m1.1.1.cmml" xref="S5.p3.6.m1.1.1"><csymbol cd="latexml" id="S5.p3.6.m1.1.1.2.cmml" xref="S5.p3.6.m1.1.1.2">asymptotically-equals</csymbol><apply id="S5.p3.6.m1.1.1.1.cmml" xref="S5.p3.6.m1.1.1.1"><times id="S5.p3.6.m1.1.1.1.2.cmml" xref="S5.p3.6.m1.1.1.1.2"></times><apply id="S5.p3.6.m1.1.1.1.3.cmml" xref="S5.p3.6.m1.1.1.1.3"><csymbol cd="ambiguous" id="S5.p3.6.m1.1.1.1.3.1.cmml" xref="S5.p3.6.m1.1.1.1.3">subscript</csymbol><ci id="S5.p3.6.m1.1.1.1.3.2.cmml" xref="S5.p3.6.m1.1.1.1.3.2">𝐸</ci><apply id="S5.p3.6.m1.1.1.1.3.3.cmml" xref="S5.p3.6.m1.1.1.1.3.3"><times id="S5.p3.6.m1.1.1.1.3.3.1.cmml" xref="S5.p3.6.m1.1.1.1.3.3.1"></times><ci id="S5.p3.6.m1.1.1.1.3.3.2.cmml" xref="S5.p3.6.m1.1.1.1.3.3.2">𝑡</ci><ci id="S5.p3.6.m1.1.1.1.3.3.3.cmml" xref="S5.p3.6.m1.1.1.1.3.3.3">𝑒</ci><ci id="S5.p3.6.m1.1.1.1.3.3.4.cmml" xref="S5.p3.6.m1.1.1.1.3.3.4">𝑠</ci><ci id="S5.p3.6.m1.1.1.1.3.3.5.cmml" xref="S5.p3.6.m1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.p3.6.m1.1.1.1.1.1.1.cmml" xref="S5.p3.6.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.p3.6.m1.1.1.1.1.1.1.1.cmml" xref="S5.p3.6.m1.1.1.1.1.1">superscript</csymbol><apply id="S5.p3.6.m1.1.1.1.1.1.1.2.cmml" xref="S5.p3.6.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.p3.6.m1.1.1.1.1.1.1.2.1.cmml" xref="S5.p3.6.m1.1.1.1.1.1">subscript</csymbol><apply id="S5.p3.6.m1.1.1.1.1.1.1.2.2.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2"><ci id="S5.p3.6.m1.1.1.1.1.1.1.2.2.1.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.p3.6.m1.1.1.1.1.1.1.2.2.2.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S5.p3.6.m1.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S5.p3.6.m1.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S5.p3.6.m1.1.1.1.1.1.1.3.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3"><times id="S5.p3.6.m1.1.1.1.1.1.1.3.1.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3.1"></times><ci id="S5.p3.6.m1.1.1.1.1.1.1.3.2.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.p3.6.m1.1.1.1.1.1.1.3.3.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.p3.6.m1.1.1.1.1.1.1.3.4.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.p3.6.m1.1.1.1.1.1.1.3.5.cmml" xref="S5.p3.6.m1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.p3.6.m1.1.1.3.cmml" xref="S5.p3.6.m1.1.1.3"><csymbol cd="ambiguous" id="S5.p3.6.m1.1.1.3.1.cmml" xref="S5.p3.6.m1.1.1.3">superscript</csymbol><ci id="S5.p3.6.m1.1.1.3.2.cmml" xref="S5.p3.6.m1.1.1.3.2">𝑇</ci><apply id="S5.p3.6.m1.1.1.3.3.cmml" xref="S5.p3.6.m1.1.1.3.3"><minus id="S5.p3.6.m1.1.1.3.3.1.cmml" xref="S5.p3.6.m1.1.1.3.3"></minus><apply id="S5.p3.6.m1.1.1.3.3.2.cmml" xref="S5.p3.6.m1.1.1.3.3.2"><times id="S5.p3.6.m1.1.1.3.3.2.1.cmml" xref="S5.p3.6.m1.1.1.3.3.2.1"></times><cn id="S5.p3.6.m1.1.1.3.3.2.2.cmml" type="integer" xref="S5.p3.6.m1.1.1.3.3.2.2">2</cn><ci id="S5.p3.6.m1.1.1.3.3.2.3.cmml" xref="S5.p3.6.m1.1.1.3.3.2.3">𝛽</ci><apply id="S5.p3.6.m1.1.1.3.3.2.4.cmml" xref="S5.p3.6.m1.1.1.3.3.2.4"><ci id="S5.p3.6.m1.1.1.3.3.2.4.1.cmml" xref="S5.p3.6.m1.1.1.3.3.2.4.1">¯</ci><ci id="S5.p3.6.m1.1.1.3.3.2.4.2.cmml" xref="S5.p3.6.m1.1.1.3.3.2.4.2">𝑟</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p3.6.m1.1c">E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-2\beta\underline{r}}</annotation><annotation encoding="application/x-llamapun" id="S5.p3.6.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - 2 italic_β under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT</annotation></semantics></math>, a must faster rate. We shall show that the picture drastically changes in the context of training on fake data considered in this manuscript for the purpose of understanding model collapse <cite class="ltx_cite ltx_citemacro_citep">(Shumailov et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib41" title="">2023</a>)</cite>.</p> </div> <div class="ltx_theorem ltx_theorem_remark" id="S5.Thmtheorem1"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_italic" id="S5.Thmtheorem1.1.1.1">Remark 5.1</span></span><span class="ltx_text ltx_font_italic" id="S5.Thmtheorem1.2.2">.</span> </h6> <div class="ltx_para" id="S5.Thmtheorem1.p1"> <p class="ltx_p" id="S5.Thmtheorem1.p1.2">Unlike <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> which considered the proportionate scaling limit (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E13" title="13 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">13</span></a>) for input dimension <math alttext="d" class="ltx_Math" display="inline" id="S5.Thmtheorem1.p1.1.m1.1"><semantics id="S5.Thmtheorem1.p1.1.m1.1a"><mi id="S5.Thmtheorem1.p1.1.m1.1.1" xref="S5.Thmtheorem1.p1.1.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem1.p1.1.m1.1b"><ci id="S5.Thmtheorem1.p1.1.m1.1.1.cmml" xref="S5.Thmtheorem1.p1.1.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem1.p1.1.m1.1c">d</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem1.p1.1.m1.1d">italic_d</annotation></semantics></math> and sample size <math alttext="T" class="ltx_Math" display="inline" id="S5.Thmtheorem1.p1.2.m2.1"><semantics id="S5.Thmtheorem1.p1.2.m2.1a"><mi id="S5.Thmtheorem1.p1.2.m2.1.1" xref="S5.Thmtheorem1.p1.2.m2.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem1.p1.2.m2.1b"><ci id="S5.Thmtheorem1.p1.2.m2.1.1.cmml" xref="S5.Thmtheorem1.p1.2.m2.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem1.p1.2.m2.1c">T</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem1.p1.2.m2.1d">italic_T</annotation></semantics></math>, we shall consider the more general (and more realistic) polynomial scaling limit (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E14" title="14 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">14</span></a>), and invoked the tools of so-called <em class="ltx_emph ltx_font_italic" id="S5.Thmtheorem1.p1.2.1">anisotropic local RMT</em> developed in <cite class="ltx_cite ltx_citemacro_citep">(Knowles & Yin, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib23" title="">2017</a>)</cite> to compute deterministic equivalents for quantities involving the spectra of random matrices.</p> </div> </div> <section class="ltx_subsection" id="S5.SS1"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">5.1 </span>Main Result III: A ”Collapsed” Scaling Law</h3> <div class="ltx_para" id="S5.SS1.p1"> <p class="ltx_p" id="S5.SS1.p1.1">The following result shows that model collapse is a modification of usual scaling laws induced by fake data.</p> </div> <div class="ltx_theorem ltx_theorem_theorem" id="S5.Thmtheorem2"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S5.Thmtheorem2.1.1.1">Theorem 5.2</span></span><span class="ltx_text ltx_font_bold" id="S5.Thmtheorem2.2.2">.</span> </h6> <div class="ltx_para" id="S5.Thmtheorem2.p1"> <p class="ltx_p" id="S5.Thmtheorem2.p1.7"><span class="ltx_text ltx_font_italic" id="S5.Thmtheorem2.p1.7.7">Consider <math alttext="n" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.1.1.m1.1"><semantics id="S5.Thmtheorem2.p1.1.1.m1.1a"><mi id="S5.Thmtheorem2.p1.1.1.m1.1.1" xref="S5.Thmtheorem2.p1.1.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.1.1.m1.1b"><ci id="S5.Thmtheorem2.p1.1.1.m1.1.1.cmml" xref="S5.Thmtheorem2.p1.1.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.1.1.m1.1c">n</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.1.1.m1.1d">italic_n</annotation></semantics></math>-fold fake-data generation with sample size <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.2.2.m2.1"><semantics id="S5.Thmtheorem2.p1.2.2.m2.1a"><mrow id="S5.Thmtheorem2.p1.2.2.m2.1.1" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.cmml"><msub id="S5.Thmtheorem2.p1.2.2.m2.1.1.2" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2.cmml"><mi id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.2" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2.2.cmml">T</mi><mn id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.3" mathvariant="normal" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2.3.cmml">0</mn></msub><mo id="S5.Thmtheorem2.p1.2.2.m2.1.1.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.1.cmml">≥</mo><mrow id="S5.Thmtheorem2.p1.2.2.m2.1.1.3" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.cmml"><mi id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.2" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.2.cmml">d</mi><mo id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.1.cmml">+</mo><mn id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.3" mathvariant="normal" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.2.2.m2.1b"><apply id="S5.Thmtheorem2.p1.2.2.m2.1.1.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1"><geq id="S5.Thmtheorem2.p1.2.2.m2.1.1.1.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.1"></geq><apply id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2"><csymbol cd="ambiguous" id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.1.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2">subscript</csymbol><ci id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.2.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2.2">𝑇</ci><cn id="S5.Thmtheorem2.p1.2.2.m2.1.1.2.3.cmml" type="integer" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.2.3">0</cn></apply><apply id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3"><plus id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.1.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.1"></plus><ci id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.2.cmml" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.2">𝑑</ci><cn id="S5.Thmtheorem2.p1.2.2.m2.1.1.3.3.cmml" type="integer" xref="S5.Thmtheorem2.p1.2.2.m2.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.2.2.m2.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.2.2.m2.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math> and set <math alttext="\phi_{0}:=d/T_{0}\in(0,1)" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.3.3.m3.2"><semantics id="S5.Thmtheorem2.p1.3.3.m3.2a"><mrow id="S5.Thmtheorem2.p1.3.3.m3.2.3" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.cmml"><msub id="S5.Thmtheorem2.p1.3.3.m3.2.3.2" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2.cmml"><mi id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.2" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2.2.cmml">ϕ</mi><mn id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.3" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2.3.cmml">0</mn></msub><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.3" lspace="0.278em" mathvariant="normal" rspace="0.278em" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.3.cmml">:=</mo><mrow id="S5.Thmtheorem2.p1.3.3.m3.2.3.4" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.cmml"><mi id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.2" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.2.cmml">d</mi><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.1.cmml">/</mo><msub id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.cmml"><mi id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.2" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.2.cmml">T</mi><mn id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.3" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.3.cmml">0</mn></msub></mrow><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.5" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.5.cmml">∈</mo><mrow id="S5.Thmtheorem2.p1.3.3.m3.2.3.6.2" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.6.1.cmml"><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.6.2.1" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.6.1.cmml">(</mo><mn id="S5.Thmtheorem2.p1.3.3.m3.1.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.1.1.cmml">0</mn><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.6.2.2" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.6.1.cmml">,</mo><mn id="S5.Thmtheorem2.p1.3.3.m3.2.2" mathvariant="normal" xref="S5.Thmtheorem2.p1.3.3.m3.2.2.cmml">1</mn><mo id="S5.Thmtheorem2.p1.3.3.m3.2.3.6.2.3" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.6.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.3.3.m3.2b"><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3"><and id="S5.Thmtheorem2.p1.3.3.m3.2.3a.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3"></and><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3b.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3"><csymbol cd="latexml" id="S5.Thmtheorem2.p1.3.3.m3.2.3.3.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.3">assign</csymbol><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2"><csymbol cd="ambiguous" id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.1.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2">subscript</csymbol><ci id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.2.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2.2">italic-ϕ</ci><cn id="S5.Thmtheorem2.p1.3.3.m3.2.3.2.3.cmml" type="integer" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.2.3">0</cn></apply><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4"><divide id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.1.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.1"></divide><ci id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.2.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.2">𝑑</ci><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3"><csymbol cd="ambiguous" id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.1.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3">subscript</csymbol><ci id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.2.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.2">𝑇</ci><cn id="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.3.cmml" type="integer" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.4.3.3">0</cn></apply></apply></apply><apply id="S5.Thmtheorem2.p1.3.3.m3.2.3c.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3"><in id="S5.Thmtheorem2.p1.3.3.m3.2.3.5.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.5"></in><share href="#S5.Thmtheorem2.p1.3.3.m3.2.3.4.cmml" id="S5.Thmtheorem2.p1.3.3.m3.2.3d.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3"></share><interval closure="open" id="S5.Thmtheorem2.p1.3.3.m3.2.3.6.1.cmml" xref="S5.Thmtheorem2.p1.3.3.m3.2.3.6.2"><cn id="S5.Thmtheorem2.p1.3.3.m3.1.1.cmml" type="integer" xref="S5.Thmtheorem2.p1.3.3.m3.1.1">0</cn><cn id="S5.Thmtheorem2.p1.3.3.m3.2.2.cmml" type="integer" xref="S5.Thmtheorem2.p1.3.3.m3.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.3.3.m3.2c">\phi_{0}:=d/T_{0}\in(0,1)</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.3.3.m3.2d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := italic_d / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ ( 0 , 1 )</annotation></semantics></math>. For a ridge predictor <math alttext="\widehat{w}_{n}^{pred}" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.4.4.m4.1"><semantics id="S5.Thmtheorem2.p1.4.4.m4.1a"><msubsup id="S5.Thmtheorem2.p1.4.4.m4.1.1" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.cmml"><mover accent="true" id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.cmml"><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.2" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.2.cmml">w</mi><mo id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.3" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.3.cmml">n</mi><mrow id="S5.Thmtheorem2.p1.4.4.m4.1.1.3" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.cmml"><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.2" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.2.cmml">p</mi><mo id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1" mathvariant="italic" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.3" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.3.cmml">r</mi><mo id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1a" mathvariant="italic" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.4" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.4.cmml">e</mi><mo id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1b" mathvariant="italic" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.5" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.5.cmml">d</mi></mrow></msubsup><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.4.4.m4.1b"><apply id="S5.Thmtheorem2.p1.4.4.m4.1.1.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1"><csymbol cd="ambiguous" id="S5.Thmtheorem2.p1.4.4.m4.1.1.1.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1">superscript</csymbol><apply id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1"><csymbol cd="ambiguous" id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.1.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1">subscript</csymbol><apply id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2"><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.1.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.1">normal-^</ci><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.2.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.2.2">𝑤</ci></apply><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.2.3.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.2.3">𝑛</ci></apply><apply id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3"><times id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.1"></times><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.2.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.2">𝑝</ci><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.3.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.3">𝑟</ci><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.4.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.4">𝑒</ci><ci id="S5.Thmtheorem2.p1.4.4.m4.1.1.3.5.cmml" xref="S5.Thmtheorem2.p1.4.4.m4.1.1.3.5">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.4.4.m4.1c">\widehat{w}_{n}^{pred}</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.4.4.m4.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>) based on a fake sample of size <math alttext="T" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.5.5.m5.1"><semantics id="S5.Thmtheorem2.p1.5.5.m5.1a"><mi id="S5.Thmtheorem2.p1.5.5.m5.1.1" xref="S5.Thmtheorem2.p1.5.5.m5.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.5.5.m5.1b"><ci id="S5.Thmtheorem2.p1.5.5.m5.1.1.cmml" xref="S5.Thmtheorem2.p1.5.5.m5.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.5.5.m5.1c">T</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.5.5.m5.1d">italic_T</annotation></semantics></math>, with regularization parameter <math alttext="\lambda=\lambda(T)" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.6.6.m6.1"><semantics id="S5.Thmtheorem2.p1.6.6.m6.1a"><mrow id="S5.Thmtheorem2.p1.6.6.m6.1.2" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.cmml"><mi id="S5.Thmtheorem2.p1.6.6.m6.1.2.2" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.2.cmml">λ</mi><mo id="S5.Thmtheorem2.p1.6.6.m6.1.2.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.1.cmml">=</mo><mrow id="S5.Thmtheorem2.p1.6.6.m6.1.2.3" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.cmml"><mi id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.2" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.2.cmml">λ</mi><mo id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.1" mathvariant="italic" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.1.cmml">⁢</mo><mrow id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.3.2" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.cmml"><mo id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.3.2.1" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.cmml">(</mo><mi id="S5.Thmtheorem2.p1.6.6.m6.1.1" xref="S5.Thmtheorem2.p1.6.6.m6.1.1.cmml">T</mi><mo id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.3.2.2" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.6.6.m6.1b"><apply id="S5.Thmtheorem2.p1.6.6.m6.1.2.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2"><eq id="S5.Thmtheorem2.p1.6.6.m6.1.2.1.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.1"></eq><ci id="S5.Thmtheorem2.p1.6.6.m6.1.2.2.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.2">𝜆</ci><apply id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3"><times id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.1.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.1"></times><ci id="S5.Thmtheorem2.p1.6.6.m6.1.2.3.2.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.2.3.2">𝜆</ci><ci id="S5.Thmtheorem2.p1.6.6.m6.1.1.cmml" xref="S5.Thmtheorem2.p1.6.6.m6.1.1">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.6.6.m6.1c">\lambda=\lambda(T)</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.6.6.m6.1d">italic_λ = italic_λ ( italic_T )</annotation></semantics></math> tuned adaptively as in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E25" title="25 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">25</span></a>) with exponent <math alttext="\ell\in[0,\beta]" class="ltx_Math" display="inline" id="S5.Thmtheorem2.p1.7.7.m7.2"><semantics id="S5.Thmtheorem2.p1.7.7.m7.2a"><mrow id="S5.Thmtheorem2.p1.7.7.m7.2.3" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.cmml"><mi id="S5.Thmtheorem2.p1.7.7.m7.2.3.2" mathvariant="normal" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.2.cmml">ℓ</mi><mo id="S5.Thmtheorem2.p1.7.7.m7.2.3.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.1.cmml">∈</mo><mrow id="S5.Thmtheorem2.p1.7.7.m7.2.3.3.2" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.3.1.cmml"><mo id="S5.Thmtheorem2.p1.7.7.m7.2.3.3.2.1" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.3.1.cmml">[</mo><mn id="S5.Thmtheorem2.p1.7.7.m7.1.1" mathvariant="normal" xref="S5.Thmtheorem2.p1.7.7.m7.1.1.cmml">0</mn><mo id="S5.Thmtheorem2.p1.7.7.m7.2.3.3.2.2" mathvariant="normal" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.3.1.cmml">,</mo><mi id="S5.Thmtheorem2.p1.7.7.m7.2.2" xref="S5.Thmtheorem2.p1.7.7.m7.2.2.cmml">β</mi><mo id="S5.Thmtheorem2.p1.7.7.m7.2.3.3.2.3" mathvariant="normal" stretchy="false" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.3.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem2.p1.7.7.m7.2b"><apply id="S5.Thmtheorem2.p1.7.7.m7.2.3.cmml" xref="S5.Thmtheorem2.p1.7.7.m7.2.3"><in id="S5.Thmtheorem2.p1.7.7.m7.2.3.1.cmml" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.1"></in><ci id="S5.Thmtheorem2.p1.7.7.m7.2.3.2.cmml" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.2">normal-ℓ</ci><interval closure="closed" id="S5.Thmtheorem2.p1.7.7.m7.2.3.3.1.cmml" xref="S5.Thmtheorem2.p1.7.7.m7.2.3.3.2"><cn id="S5.Thmtheorem2.p1.7.7.m7.1.1.cmml" type="integer" xref="S5.Thmtheorem2.p1.7.7.m7.1.1">0</cn><ci id="S5.Thmtheorem2.p1.7.7.m7.2.2.cmml" xref="S5.Thmtheorem2.p1.7.7.m7.2.2">𝛽</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem2.p1.7.7.m7.2c">\ell\in[0,\beta]</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem2.p1.7.7.m7.2d">roman_ℓ ∈ [ 0 , italic_β ]</annotation></semantics></math>, the test error satisfies the following scaling law in the limit (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E14" title="14 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">14</span></a>)</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx25"> <tbody id="S5.E28"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}&E_{test}(\widehat{w}_{n}^{pred})\asymp\max(\sigma^{% 2},T^{1-2\underline{r}\ell-\ell/\beta)})\cdot T^{-(1-\ell/\beta)}\\ &\quad\quad+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\frac{\sigma_% {0}^{2}}{1-\phi_{0}}\max\left(T/T_{0},\phi_{0}\right)\cdot T^{-(1-\ell/\beta)}% }.\end{split}" class="ltx_math_unparsed" display="inline" id="S5.E28.m1.41"><semantics id="S5.E28.m1.41a"><mtable columnspacing="0pt" id="S5.E28.m1.41.41.5" rowspacing="0pt"><mtr id="S5.E28.m1.41.41.5a"><mtd id="S5.E28.m1.41.41.5b"></mtd><mtd class="ltx_align_left" columnalign="left" id="S5.E28.m1.41.41.5c"><mrow id="S5.E28.m1.40.40.4.39.22.22"><mrow id="S5.E28.m1.38.38.2.37.20.20.20"><msub id="S5.E28.m1.38.38.2.37.20.20.20.3"><mi id="S5.E28.m1.1.1.1.1.1.1">E</mi><mrow id="S5.E28.m1.2.2.2.2.2.2.1"><mi id="S5.E28.m1.2.2.2.2.2.2.1.2">t</mi><mo id="S5.E28.m1.2.2.2.2.2.2.1.1">⁢</mo><mi id="S5.E28.m1.2.2.2.2.2.2.1.3">e</mi><mo id="S5.E28.m1.2.2.2.2.2.2.1.1a">⁢</mo><mi id="S5.E28.m1.2.2.2.2.2.2.1.4">s</mi><mo id="S5.E28.m1.2.2.2.2.2.2.1.1b">⁢</mo><mi id="S5.E28.m1.2.2.2.2.2.2.1.5">t</mi></mrow></msub><mo id="S5.E28.m1.38.38.2.37.20.20.20.2">⁢</mo><mrow id="S5.E28.m1.38.38.2.37.20.20.20.1.1"><mo id="S5.E28.m1.3.3.3.3.3.3" stretchy="false">(</mo><msubsup id="S5.E28.m1.38.38.2.37.20.20.20.1.1.1"><mover accent="true" id="S5.E28.m1.4.4.4.4.4.4"><mi id="S5.E28.m1.4.4.4.4.4.4.2">w</mi><mo id="S5.E28.m1.4.4.4.4.4.4.1">^</mo></mover><mi id="S5.E28.m1.5.5.5.5.5.5.1">n</mi><mrow id="S5.E28.m1.6.6.6.6.6.6.1"><mi id="S5.E28.m1.6.6.6.6.6.6.1.2">p</mi><mo id="S5.E28.m1.6.6.6.6.6.6.1.1">⁢</mo><mi id="S5.E28.m1.6.6.6.6.6.6.1.3">r</mi><mo id="S5.E28.m1.6.6.6.6.6.6.1.1a">⁢</mo><mi id="S5.E28.m1.6.6.6.6.6.6.1.4">e</mi><mo id="S5.E28.m1.6.6.6.6.6.6.1.1b">⁢</mo><mi id="S5.E28.m1.6.6.6.6.6.6.1.5">d</mi></mrow></msubsup><mo id="S5.E28.m1.7.7.7.7.7.7" stretchy="false">)</mo></mrow></mrow><mo id="S5.E28.m1.8.8.8.8.8.8">≍</mo><mrow id="S5.E28.m1.40.40.4.39.22.22.22"><mrow id="S5.E28.m1.40.40.4.39.22.22.22.2.2"><mi id="S5.E28.m1.9.9.9.9.9.9">max</mi><mo id="S5.E28.m1.40.40.4.39.22.22.22.2.2a">⁡</mo><mrow id="S5.E28.m1.40.40.4.39.22.22.22.2.2.2"><mo id="S5.E28.m1.10.10.10.10.10.10" stretchy="false">(</mo><msup id="S5.E28.m1.39.39.3.38.21.21.21.1.1.1.1"><mi id="S5.E28.m1.11.11.11.11.11.11">σ</mi><mn id="S5.E28.m1.12.12.12.12.12.12.1">2</mn></msup><mo id="S5.E28.m1.13.13.13.13.13.13">,</mo><msup id="S5.E28.m1.40.40.4.39.22.22.22.2.2.2.2"><mi id="S5.E28.m1.14.14.14.14.14.14">T</mi><mrow id="S5.E28.m1.15.15.15.15.15.15.1"><mn id="S5.E28.m1.15.15.15.15.15.15.1.1">1</mn><mo id="S5.E28.m1.15.15.15.15.15.15.1.2">−</mo><mn id="S5.E28.m1.15.15.15.15.15.15.1.3">2</mn><munder accentunder="true" id="S5.E28.m1.15.15.15.15.15.15.1.4"><mi id="S5.E28.m1.15.15.15.15.15.15.1.4.2">r</mi><mo id="S5.E28.m1.15.15.15.15.15.15.1.4.1">¯</mo></munder><mi id="S5.E28.m1.15.15.15.15.15.15.1.5" mathvariant="normal">ℓ</mi><mo id="S5.E28.m1.15.15.15.15.15.15.1.6">−</mo><mi id="S5.E28.m1.15.15.15.15.15.15.1.7" mathvariant="normal">ℓ</mi><mo id="S5.E28.m1.15.15.15.15.15.15.1.8">/</mo><mi id="S5.E28.m1.15.15.15.15.15.15.1.9">β</mi><mo id="S5.E28.m1.15.15.15.15.15.15.1.10" stretchy="false">)</mo></mrow></msup><mo id="S5.E28.m1.16.16.16.16.16.16" rspace="0.055em" stretchy="false">)</mo></mrow></mrow><mo id="S5.E28.m1.17.17.17.17.17.17" rspace="0.222em">⋅</mo><msup id="S5.E28.m1.40.40.4.39.22.22.22.3"><mi id="S5.E28.m1.18.18.18.18.18.18">T</mi><mrow id="S5.E28.m1.19.19.19.19.19.19.1"><mo id="S5.E28.m1.19.19.19.19.19.19.1a">−</mo><mrow id="S5.E28.m1.19.19.19.19.19.19.1.1.1"><mo id="S5.E28.m1.19.19.19.19.19.19.1.1.1.2" stretchy="false">(</mo><mrow id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1"><mn id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.2">1</mn><mo id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.1">−</mo><mrow id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.3"><mi id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.3.2" mathvariant="normal">ℓ</mi><mo id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.3.1">/</mo><mi id="S5.E28.m1.19.19.19.19.19.19.1.1.1.1.3.3">β</mi></mrow></mrow><mo id="S5.E28.m1.19.19.19.19.19.19.1.1.1.3" stretchy="false">)</mo></mrow></mrow></msup></mrow></mrow></mtd></mtr><mtr id="S5.E28.m1.41.41.5d"><mtd id="S5.E28.m1.41.41.5e"></mtd><mtd class="ltx_align_left" columnalign="left" id="S5.E28.m1.41.41.5f"><mrow id="S5.E28.m1.41.41.5.40.18.18.18"><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1"><mo id="S5.E28.m1.41.41.5.40.18.18.18.1a">+</mo><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1.2"><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2"><mi id="S5.E28.m1.21.21.21.2.2.2" mathcolor="#FF0000">n</mi><mo id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.3" mathcolor="#FF0000">⁢</mo><mstyle displaystyle="true" id="S5.E28.m1.22.22.22.3.3.3"><mfrac id="S5.E28.m1.22.22.22.3.3.3a" mathcolor="#FF0000"><msubsup id="S5.E28.m1.22.22.22.3.3.3.2"><mi id="S5.E28.m1.22.22.22.3.3.3.2.2.2" mathcolor="#FF0000">σ</mi><mn id="S5.E28.m1.22.22.22.3.3.3.2.2.3" mathcolor="#FF0000">0</mn><mn id="S5.E28.m1.22.22.22.3.3.3.2.3" mathcolor="#FF0000">2</mn></msubsup><mrow id="S5.E28.m1.22.22.22.3.3.3.3"><mn id="S5.E28.m1.22.22.22.3.3.3.3.2" mathcolor="#FF0000">1</mn><mo id="S5.E28.m1.22.22.22.3.3.3.3.1" mathcolor="#FF0000">−</mo><msub id="S5.E28.m1.22.22.22.3.3.3.3.3"><mi id="S5.E28.m1.22.22.22.3.3.3.3.3.2" mathcolor="#FF0000">ϕ</mi><mn id="S5.E28.m1.22.22.22.3.3.3.3.3.3" mathcolor="#FF0000">0</mn></msub></mrow></mfrac></mstyle><mo id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.3a" lspace="0.167em" mathcolor="#FF0000">⁢</mo><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.2.2"><mi id="S5.E28.m1.23.23.23.4.4.4" mathcolor="#FF0000">max</mi><mo id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.2.2a" mathcolor="#FF0000">⁡</mo><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.2.2.2"><mo id="S5.E28.m1.24.24.24.5.5.5" mathcolor="#FF0000">(</mo><mrow id="S5.E28.m1.41.41.5.40.18.18.18.1.1.1.1.1.1.1"><mi id="S5.E28.m1.25.25.25.6.6.6" mathcolor="#FF0000">T</mi><mo id="S5.E28.m1.26.26.26.7.7.7" mathcolor="#FF0000">/</mo><msub id="S5.E28.m1.41.41.5.40.18.18.18.1.1.1.1.1.1.1.1"><mi id="S5.E28.m1.27.27.27.8.8.8" mathcolor="#FF0000">T</mi><mn id="S5.E28.m1.28.28.28.9.9.9.1" mathcolor="#FF0000">0</mn></msub></mrow><mo id="S5.E28.m1.29.29.29.10.10.10" mathcolor="#FF0000">,</mo><msub id="S5.E28.m1.41.41.5.40.18.18.18.1.2.2.2.2.2.2"><mi id="S5.E28.m1.30.30.30.11.11.11" mathcolor="#FF0000">ϕ</mi><mn id="S5.E28.m1.31.31.31.12.12.12.1" mathcolor="#FF0000">0</mn></msub><mo id="S5.E28.m1.32.32.32.13.13.13" mathcolor="#FF0000" rspace="0.055em">)</mo></mrow></mrow></mrow><mo id="S5.E28.m1.33.33.33.14.14.14" mathcolor="#FF0000" rspace="0.222em">⋅</mo><msup id="S5.E28.m1.41.41.5.40.18.18.18.1.2.3"><mi id="S5.E28.m1.34.34.34.15.15.15" mathcolor="#FF0000">T</mi><mrow id="S5.E28.m1.35.35.35.16.16.16.1"><mo id="S5.E28.m1.35.35.35.16.16.16.1a" mathcolor="#FF0000">−</mo><mrow id="S5.E28.m1.35.35.35.16.16.16.1.1.1"><mo id="S5.E28.m1.35.35.35.16.16.16.1.1.1.2" mathcolor="#FF0000" stretchy="false">(</mo><mrow id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1"><mn id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.2" mathcolor="#FF0000">1</mn><mo id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.1" mathcolor="#FF0000">−</mo><mrow id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.3"><mi id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.3.2" mathcolor="#FF0000" mathvariant="normal">ℓ</mi><mo id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.3.1" mathcolor="#FF0000">/</mo><mi id="S5.E28.m1.35.35.35.16.16.16.1.1.1.1.3.3" mathcolor="#FF0000">β</mi></mrow></mrow><mo id="S5.E28.m1.35.35.35.16.16.16.1.1.1.3" mathcolor="#FF0000" stretchy="false">)</mo></mrow></mrow></msup></mrow></mrow><mo id="S5.E28.m1.36.36.36.17.17.17" lspace="0em">.</mo></mrow></mtd></mtr></mtable><annotation encoding="application/x-tex" id="S5.E28.m1.41b">\displaystyle\begin{split}&E_{test}(\widehat{w}_{n}^{pred})\asymp\max(\sigma^{% 2},T^{1-2\underline{r}\ell-\ell/\beta)})\cdot T^{-(1-\ell/\beta)}\\ &\quad\quad+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\frac{\sigma_% {0}^{2}}{1-\phi_{0}}\max\left(T/T_{0},\phi_{0}\right)\cdot T^{-(1-\ell/\beta)}% }.\end{split}</annotation><annotation encoding="application/x-llamapun" id="S5.E28.m1.41c">start_ROW start_CELL end_CELL start_CELL italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ roman_max ( italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT , italic_T start_POSTSUPERSCRIPT 1 - 2 under¯ start_ARG italic_r end_ARG roman_ℓ - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ) ⋅ italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL + italic_n divide start_ARG italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG roman_max ( italic_T / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) ⋅ italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT . end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(28)</span></td> </tr></tbody> </table> </div> </div> </section> <section class="ltx_subsection" id="S5.SS2"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">5.2 </span>Optimal Regularization for Mitigating Collapse</h3> <div class="ltx_para" id="S5.SS2.p1"> <p class="ltx_p" id="S5.SS2.p1.1">Let us provide an instructive interpretation of the result.</p> </div> <div class="ltx_para" id="S5.SS2.p2"> <p class="ltx_p" id="S5.SS2.p2.12"><span class="ltx_text ltx_font_bold" id="S5.SS2.p2.12.1">Noiseless Regime.</span> Suppose <math alttext="\sigma=0" class="ltx_Math" display="inline" id="S5.SS2.p2.1.m1.1"><semantics id="S5.SS2.p2.1.m1.1a"><mrow id="S5.SS2.p2.1.m1.1.1" xref="S5.SS2.p2.1.m1.1.1.cmml"><mi id="S5.SS2.p2.1.m1.1.1.2" xref="S5.SS2.p2.1.m1.1.1.2.cmml">σ</mi><mo id="S5.SS2.p2.1.m1.1.1.1" xref="S5.SS2.p2.1.m1.1.1.1.cmml">=</mo><mn id="S5.SS2.p2.1.m1.1.1.3" xref="S5.SS2.p2.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.1.m1.1b"><apply id="S5.SS2.p2.1.m1.1.1.cmml" xref="S5.SS2.p2.1.m1.1.1"><eq id="S5.SS2.p2.1.m1.1.1.1.cmml" xref="S5.SS2.p2.1.m1.1.1.1"></eq><ci id="S5.SS2.p2.1.m1.1.1.2.cmml" xref="S5.SS2.p2.1.m1.1.1.2">𝜎</ci><cn id="S5.SS2.p2.1.m1.1.1.3.cmml" type="integer" xref="S5.SS2.p2.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.1.m1.1c">\sigma=0</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.1.m1.1d">italic_σ = 0</annotation></semantics></math> (or equivalently, exponentially small in <math alttext="T" class="ltx_Math" display="inline" id="S5.SS2.p2.2.m2.1"><semantics id="S5.SS2.p2.2.m2.1a"><mi id="S5.SS2.p2.2.m2.1.1" xref="S5.SS2.p2.2.m2.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.2.m2.1b"><ci id="S5.SS2.p2.2.m2.1.1.cmml" xref="S5.SS2.p2.2.m2.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.2.m2.1c">T</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.2.m2.1d">italic_T</annotation></semantics></math>) and <math alttext="\phi_{0}\in(0,1)" class="ltx_Math" display="inline" id="S5.SS2.p2.3.m3.2"><semantics id="S5.SS2.p2.3.m3.2a"><mrow id="S5.SS2.p2.3.m3.2.3" xref="S5.SS2.p2.3.m3.2.3.cmml"><msub id="S5.SS2.p2.3.m3.2.3.2" xref="S5.SS2.p2.3.m3.2.3.2.cmml"><mi id="S5.SS2.p2.3.m3.2.3.2.2" xref="S5.SS2.p2.3.m3.2.3.2.2.cmml">ϕ</mi><mn id="S5.SS2.p2.3.m3.2.3.2.3" xref="S5.SS2.p2.3.m3.2.3.2.3.cmml">0</mn></msub><mo id="S5.SS2.p2.3.m3.2.3.1" xref="S5.SS2.p2.3.m3.2.3.1.cmml">∈</mo><mrow id="S5.SS2.p2.3.m3.2.3.3.2" xref="S5.SS2.p2.3.m3.2.3.3.1.cmml"><mo id="S5.SS2.p2.3.m3.2.3.3.2.1" stretchy="false" xref="S5.SS2.p2.3.m3.2.3.3.1.cmml">(</mo><mn id="S5.SS2.p2.3.m3.1.1" xref="S5.SS2.p2.3.m3.1.1.cmml">0</mn><mo id="S5.SS2.p2.3.m3.2.3.3.2.2" xref="S5.SS2.p2.3.m3.2.3.3.1.cmml">,</mo><mn id="S5.SS2.p2.3.m3.2.2" xref="S5.SS2.p2.3.m3.2.2.cmml">1</mn><mo id="S5.SS2.p2.3.m3.2.3.3.2.3" stretchy="false" xref="S5.SS2.p2.3.m3.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.3.m3.2b"><apply id="S5.SS2.p2.3.m3.2.3.cmml" xref="S5.SS2.p2.3.m3.2.3"><in id="S5.SS2.p2.3.m3.2.3.1.cmml" xref="S5.SS2.p2.3.m3.2.3.1"></in><apply id="S5.SS2.p2.3.m3.2.3.2.cmml" xref="S5.SS2.p2.3.m3.2.3.2"><csymbol cd="ambiguous" id="S5.SS2.p2.3.m3.2.3.2.1.cmml" xref="S5.SS2.p2.3.m3.2.3.2">subscript</csymbol><ci id="S5.SS2.p2.3.m3.2.3.2.2.cmml" xref="S5.SS2.p2.3.m3.2.3.2.2">italic-ϕ</ci><cn id="S5.SS2.p2.3.m3.2.3.2.3.cmml" type="integer" xref="S5.SS2.p2.3.m3.2.3.2.3">0</cn></apply><interval closure="open" id="S5.SS2.p2.3.m3.2.3.3.1.cmml" xref="S5.SS2.p2.3.m3.2.3.3.2"><cn id="S5.SS2.p2.3.m3.1.1.cmml" type="integer" xref="S5.SS2.p2.3.m3.1.1">0</cn><cn id="S5.SS2.p2.3.m3.2.2.cmml" type="integer" xref="S5.SS2.p2.3.m3.2.2">1</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.3.m3.2c">\phi_{0}\in(0,1)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.3.m3.2d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ ( 0 , 1 )</annotation></semantics></math> is fixed, and consider a number of generations <math alttext="n" class="ltx_Math" display="inline" id="S5.SS2.p2.4.m4.1"><semantics id="S5.SS2.p2.4.m4.1a"><mi id="S5.SS2.p2.4.m4.1.1" xref="S5.SS2.p2.4.m4.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.4.m4.1b"><ci id="S5.SS2.p2.4.m4.1.1.cmml" xref="S5.SS2.p2.4.m4.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.4.m4.1c">n</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.4.m4.1d">italic_n</annotation></semantics></math> such that <math alttext="n\sigma_{0}^{2}\asymp T^{a}" class="ltx_Math" display="inline" id="S5.SS2.p2.5.m5.1"><semantics id="S5.SS2.p2.5.m5.1a"><mrow id="S5.SS2.p2.5.m5.1.1" xref="S5.SS2.p2.5.m5.1.1.cmml"><mrow id="S5.SS2.p2.5.m5.1.1.2" xref="S5.SS2.p2.5.m5.1.1.2.cmml"><mi id="S5.SS2.p2.5.m5.1.1.2.2" xref="S5.SS2.p2.5.m5.1.1.2.2.cmml">n</mi><mo id="S5.SS2.p2.5.m5.1.1.2.1" xref="S5.SS2.p2.5.m5.1.1.2.1.cmml">⁢</mo><msubsup id="S5.SS2.p2.5.m5.1.1.2.3" xref="S5.SS2.p2.5.m5.1.1.2.3.cmml"><mi id="S5.SS2.p2.5.m5.1.1.2.3.2.2" xref="S5.SS2.p2.5.m5.1.1.2.3.2.2.cmml">σ</mi><mn id="S5.SS2.p2.5.m5.1.1.2.3.2.3" xref="S5.SS2.p2.5.m5.1.1.2.3.2.3.cmml">0</mn><mn id="S5.SS2.p2.5.m5.1.1.2.3.3" xref="S5.SS2.p2.5.m5.1.1.2.3.3.cmml">2</mn></msubsup></mrow><mo id="S5.SS2.p2.5.m5.1.1.1" xref="S5.SS2.p2.5.m5.1.1.1.cmml">≍</mo><msup id="S5.SS2.p2.5.m5.1.1.3" xref="S5.SS2.p2.5.m5.1.1.3.cmml"><mi id="S5.SS2.p2.5.m5.1.1.3.2" xref="S5.SS2.p2.5.m5.1.1.3.2.cmml">T</mi><mi id="S5.SS2.p2.5.m5.1.1.3.3" xref="S5.SS2.p2.5.m5.1.1.3.3.cmml">a</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.5.m5.1b"><apply id="S5.SS2.p2.5.m5.1.1.cmml" xref="S5.SS2.p2.5.m5.1.1"><csymbol cd="latexml" id="S5.SS2.p2.5.m5.1.1.1.cmml" xref="S5.SS2.p2.5.m5.1.1.1">asymptotically-equals</csymbol><apply id="S5.SS2.p2.5.m5.1.1.2.cmml" xref="S5.SS2.p2.5.m5.1.1.2"><times id="S5.SS2.p2.5.m5.1.1.2.1.cmml" xref="S5.SS2.p2.5.m5.1.1.2.1"></times><ci id="S5.SS2.p2.5.m5.1.1.2.2.cmml" xref="S5.SS2.p2.5.m5.1.1.2.2">𝑛</ci><apply id="S5.SS2.p2.5.m5.1.1.2.3.cmml" xref="S5.SS2.p2.5.m5.1.1.2.3"><csymbol cd="ambiguous" id="S5.SS2.p2.5.m5.1.1.2.3.1.cmml" xref="S5.SS2.p2.5.m5.1.1.2.3">superscript</csymbol><apply id="S5.SS2.p2.5.m5.1.1.2.3.2.cmml" xref="S5.SS2.p2.5.m5.1.1.2.3"><csymbol cd="ambiguous" id="S5.SS2.p2.5.m5.1.1.2.3.2.1.cmml" xref="S5.SS2.p2.5.m5.1.1.2.3">subscript</csymbol><ci id="S5.SS2.p2.5.m5.1.1.2.3.2.2.cmml" xref="S5.SS2.p2.5.m5.1.1.2.3.2.2">𝜎</ci><cn id="S5.SS2.p2.5.m5.1.1.2.3.2.3.cmml" type="integer" xref="S5.SS2.p2.5.m5.1.1.2.3.2.3">0</cn></apply><cn id="S5.SS2.p2.5.m5.1.1.2.3.3.cmml" type="integer" xref="S5.SS2.p2.5.m5.1.1.2.3.3">2</cn></apply></apply><apply id="S5.SS2.p2.5.m5.1.1.3.cmml" xref="S5.SS2.p2.5.m5.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p2.5.m5.1.1.3.1.cmml" xref="S5.SS2.p2.5.m5.1.1.3">superscript</csymbol><ci id="S5.SS2.p2.5.m5.1.1.3.2.cmml" xref="S5.SS2.p2.5.m5.1.1.3.2">𝑇</ci><ci id="S5.SS2.p2.5.m5.1.1.3.3.cmml" xref="S5.SS2.p2.5.m5.1.1.3.3">𝑎</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.5.m5.1c">n\sigma_{0}^{2}\asymp T^{a}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.5.m5.1d">italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ≍ italic_T start_POSTSUPERSCRIPT italic_a end_POSTSUPERSCRIPT</annotation></semantics></math>, where <math alttext="0\leq a\leq 1-\ell/\beta\leq 1" class="ltx_Math" display="inline" id="S5.SS2.p2.6.m6.1"><semantics id="S5.SS2.p2.6.m6.1a"><mrow id="S5.SS2.p2.6.m6.1.1" xref="S5.SS2.p2.6.m6.1.1.cmml"><mn id="S5.SS2.p2.6.m6.1.1.2" xref="S5.SS2.p2.6.m6.1.1.2.cmml">0</mn><mo id="S5.SS2.p2.6.m6.1.1.3" xref="S5.SS2.p2.6.m6.1.1.3.cmml">≤</mo><mi id="S5.SS2.p2.6.m6.1.1.4" xref="S5.SS2.p2.6.m6.1.1.4.cmml">a</mi><mo id="S5.SS2.p2.6.m6.1.1.5" xref="S5.SS2.p2.6.m6.1.1.5.cmml">≤</mo><mrow id="S5.SS2.p2.6.m6.1.1.6" xref="S5.SS2.p2.6.m6.1.1.6.cmml"><mn id="S5.SS2.p2.6.m6.1.1.6.2" xref="S5.SS2.p2.6.m6.1.1.6.2.cmml">1</mn><mo id="S5.SS2.p2.6.m6.1.1.6.1" xref="S5.SS2.p2.6.m6.1.1.6.1.cmml">−</mo><mrow id="S5.SS2.p2.6.m6.1.1.6.3" xref="S5.SS2.p2.6.m6.1.1.6.3.cmml"><mi id="S5.SS2.p2.6.m6.1.1.6.3.2" mathvariant="normal" xref="S5.SS2.p2.6.m6.1.1.6.3.2.cmml">ℓ</mi><mo id="S5.SS2.p2.6.m6.1.1.6.3.1" xref="S5.SS2.p2.6.m6.1.1.6.3.1.cmml">/</mo><mi id="S5.SS2.p2.6.m6.1.1.6.3.3" xref="S5.SS2.p2.6.m6.1.1.6.3.3.cmml">β</mi></mrow></mrow><mo id="S5.SS2.p2.6.m6.1.1.7" xref="S5.SS2.p2.6.m6.1.1.7.cmml">≤</mo><mn id="S5.SS2.p2.6.m6.1.1.8" xref="S5.SS2.p2.6.m6.1.1.8.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.6.m6.1b"><apply id="S5.SS2.p2.6.m6.1.1.cmml" xref="S5.SS2.p2.6.m6.1.1"><and id="S5.SS2.p2.6.m6.1.1a.cmml" xref="S5.SS2.p2.6.m6.1.1"></and><apply id="S5.SS2.p2.6.m6.1.1b.cmml" xref="S5.SS2.p2.6.m6.1.1"><leq id="S5.SS2.p2.6.m6.1.1.3.cmml" xref="S5.SS2.p2.6.m6.1.1.3"></leq><cn id="S5.SS2.p2.6.m6.1.1.2.cmml" type="integer" xref="S5.SS2.p2.6.m6.1.1.2">0</cn><ci id="S5.SS2.p2.6.m6.1.1.4.cmml" xref="S5.SS2.p2.6.m6.1.1.4">𝑎</ci></apply><apply id="S5.SS2.p2.6.m6.1.1c.cmml" xref="S5.SS2.p2.6.m6.1.1"><leq id="S5.SS2.p2.6.m6.1.1.5.cmml" xref="S5.SS2.p2.6.m6.1.1.5"></leq><share href="#S5.SS2.p2.6.m6.1.1.4.cmml" id="S5.SS2.p2.6.m6.1.1d.cmml" xref="S5.SS2.p2.6.m6.1.1"></share><apply id="S5.SS2.p2.6.m6.1.1.6.cmml" xref="S5.SS2.p2.6.m6.1.1.6"><minus id="S5.SS2.p2.6.m6.1.1.6.1.cmml" xref="S5.SS2.p2.6.m6.1.1.6.1"></minus><cn id="S5.SS2.p2.6.m6.1.1.6.2.cmml" type="integer" xref="S5.SS2.p2.6.m6.1.1.6.2">1</cn><apply id="S5.SS2.p2.6.m6.1.1.6.3.cmml" xref="S5.SS2.p2.6.m6.1.1.6.3"><divide id="S5.SS2.p2.6.m6.1.1.6.3.1.cmml" xref="S5.SS2.p2.6.m6.1.1.6.3.1"></divide><ci id="S5.SS2.p2.6.m6.1.1.6.3.2.cmml" xref="S5.SS2.p2.6.m6.1.1.6.3.2">ℓ</ci><ci id="S5.SS2.p2.6.m6.1.1.6.3.3.cmml" xref="S5.SS2.p2.6.m6.1.1.6.3.3">𝛽</ci></apply></apply></apply><apply id="S5.SS2.p2.6.m6.1.1e.cmml" xref="S5.SS2.p2.6.m6.1.1"><leq id="S5.SS2.p2.6.m6.1.1.7.cmml" xref="S5.SS2.p2.6.m6.1.1.7"></leq><share href="#S5.SS2.p2.6.m6.1.1.6.cmml" id="S5.SS2.p2.6.m6.1.1f.cmml" xref="S5.SS2.p2.6.m6.1.1"></share><cn id="S5.SS2.p2.6.m6.1.1.8.cmml" type="integer" xref="S5.SS2.p2.6.m6.1.1.8">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.6.m6.1c">0\leq a\leq 1-\ell/\beta\leq 1</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.6.m6.1d">0 ≤ italic_a ≤ 1 - roman_ℓ / italic_β ≤ 1</annotation></semantics></math>. Note that <math alttext="a=0" class="ltx_Math" display="inline" id="S5.SS2.p2.7.m7.1"><semantics id="S5.SS2.p2.7.m7.1a"><mrow id="S5.SS2.p2.7.m7.1.1" xref="S5.SS2.p2.7.m7.1.1.cmml"><mi id="S5.SS2.p2.7.m7.1.1.2" xref="S5.SS2.p2.7.m7.1.1.2.cmml">a</mi><mo id="S5.SS2.p2.7.m7.1.1.1" xref="S5.SS2.p2.7.m7.1.1.1.cmml">=</mo><mn id="S5.SS2.p2.7.m7.1.1.3" xref="S5.SS2.p2.7.m7.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.7.m7.1b"><apply id="S5.SS2.p2.7.m7.1.1.cmml" xref="S5.SS2.p2.7.m7.1.1"><eq id="S5.SS2.p2.7.m7.1.1.1.cmml" xref="S5.SS2.p2.7.m7.1.1.1"></eq><ci id="S5.SS2.p2.7.m7.1.1.2.cmml" xref="S5.SS2.p2.7.m7.1.1.2">𝑎</ci><cn id="S5.SS2.p2.7.m7.1.1.3.cmml" type="integer" xref="S5.SS2.p2.7.m7.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.7.m7.1c">a=0</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.7.m7.1d">italic_a = 0</annotation></semantics></math> corresponds to constant number of generations. Also take <math alttext="T_{0}=T^{b}" class="ltx_Math" display="inline" id="S5.SS2.p2.8.m8.1"><semantics id="S5.SS2.p2.8.m8.1a"><mrow id="S5.SS2.p2.8.m8.1.1" xref="S5.SS2.p2.8.m8.1.1.cmml"><msub id="S5.SS2.p2.8.m8.1.1.2" xref="S5.SS2.p2.8.m8.1.1.2.cmml"><mi id="S5.SS2.p2.8.m8.1.1.2.2" xref="S5.SS2.p2.8.m8.1.1.2.2.cmml">T</mi><mn id="S5.SS2.p2.8.m8.1.1.2.3" xref="S5.SS2.p2.8.m8.1.1.2.3.cmml">0</mn></msub><mo id="S5.SS2.p2.8.m8.1.1.1" xref="S5.SS2.p2.8.m8.1.1.1.cmml">=</mo><msup id="S5.SS2.p2.8.m8.1.1.3" xref="S5.SS2.p2.8.m8.1.1.3.cmml"><mi id="S5.SS2.p2.8.m8.1.1.3.2" xref="S5.SS2.p2.8.m8.1.1.3.2.cmml">T</mi><mi id="S5.SS2.p2.8.m8.1.1.3.3" xref="S5.SS2.p2.8.m8.1.1.3.3.cmml">b</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.8.m8.1b"><apply id="S5.SS2.p2.8.m8.1.1.cmml" xref="S5.SS2.p2.8.m8.1.1"><eq id="S5.SS2.p2.8.m8.1.1.1.cmml" xref="S5.SS2.p2.8.m8.1.1.1"></eq><apply id="S5.SS2.p2.8.m8.1.1.2.cmml" xref="S5.SS2.p2.8.m8.1.1.2"><csymbol cd="ambiguous" id="S5.SS2.p2.8.m8.1.1.2.1.cmml" xref="S5.SS2.p2.8.m8.1.1.2">subscript</csymbol><ci id="S5.SS2.p2.8.m8.1.1.2.2.cmml" xref="S5.SS2.p2.8.m8.1.1.2.2">𝑇</ci><cn id="S5.SS2.p2.8.m8.1.1.2.3.cmml" type="integer" xref="S5.SS2.p2.8.m8.1.1.2.3">0</cn></apply><apply id="S5.SS2.p2.8.m8.1.1.3.cmml" xref="S5.SS2.p2.8.m8.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p2.8.m8.1.1.3.1.cmml" xref="S5.SS2.p2.8.m8.1.1.3">superscript</csymbol><ci id="S5.SS2.p2.8.m8.1.1.3.2.cmml" xref="S5.SS2.p2.8.m8.1.1.3.2">𝑇</ci><ci id="S5.SS2.p2.8.m8.1.1.3.3.cmml" xref="S5.SS2.p2.8.m8.1.1.3.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.8.m8.1c">T_{0}=T^{b}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.8.m8.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = italic_T start_POSTSUPERSCRIPT italic_b end_POSTSUPERSCRIPT</annotation></semantics></math>, for some constant <math alttext="b\in(0,\infty)" class="ltx_Math" display="inline" id="S5.SS2.p2.9.m9.2"><semantics id="S5.SS2.p2.9.m9.2a"><mrow id="S5.SS2.p2.9.m9.2.3" xref="S5.SS2.p2.9.m9.2.3.cmml"><mi id="S5.SS2.p2.9.m9.2.3.2" xref="S5.SS2.p2.9.m9.2.3.2.cmml">b</mi><mo id="S5.SS2.p2.9.m9.2.3.1" xref="S5.SS2.p2.9.m9.2.3.1.cmml">∈</mo><mrow id="S5.SS2.p2.9.m9.2.3.3.2" xref="S5.SS2.p2.9.m9.2.3.3.1.cmml"><mo id="S5.SS2.p2.9.m9.2.3.3.2.1" stretchy="false" xref="S5.SS2.p2.9.m9.2.3.3.1.cmml">(</mo><mn id="S5.SS2.p2.9.m9.1.1" xref="S5.SS2.p2.9.m9.1.1.cmml">0</mn><mo id="S5.SS2.p2.9.m9.2.3.3.2.2" xref="S5.SS2.p2.9.m9.2.3.3.1.cmml">,</mo><mi id="S5.SS2.p2.9.m9.2.2" mathvariant="normal" xref="S5.SS2.p2.9.m9.2.2.cmml">∞</mi><mo id="S5.SS2.p2.9.m9.2.3.3.2.3" stretchy="false" xref="S5.SS2.p2.9.m9.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.9.m9.2b"><apply id="S5.SS2.p2.9.m9.2.3.cmml" xref="S5.SS2.p2.9.m9.2.3"><in id="S5.SS2.p2.9.m9.2.3.1.cmml" xref="S5.SS2.p2.9.m9.2.3.1"></in><ci id="S5.SS2.p2.9.m9.2.3.2.cmml" xref="S5.SS2.p2.9.m9.2.3.2">𝑏</ci><interval closure="open" id="S5.SS2.p2.9.m9.2.3.3.1.cmml" xref="S5.SS2.p2.9.m9.2.3.3.2"><cn id="S5.SS2.p2.9.m9.1.1.cmml" type="integer" xref="S5.SS2.p2.9.m9.1.1">0</cn><infinity id="S5.SS2.p2.9.m9.2.2.cmml" xref="S5.SS2.p2.9.m9.2.2"></infinity></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.9.m9.2c">b\in(0,\infty)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.9.m9.2d">italic_b ∈ ( 0 , ∞ )</annotation></semantics></math>. According to Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a>, if we want to balance out the model-collapsing negative effect of training on fake data, we should chose <math alttext="\ell" class="ltx_Math" display="inline" id="S5.SS2.p2.10.m10.1"><semantics id="S5.SS2.p2.10.m10.1a"><mi id="S5.SS2.p2.10.m10.1.1" mathvariant="normal" xref="S5.SS2.p2.10.m10.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.10.m10.1b"><ci id="S5.SS2.p2.10.m10.1.1.cmml" xref="S5.SS2.p2.10.m10.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.10.m10.1c">\ell</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.10.m10.1d">roman_ℓ</annotation></semantics></math> so as to balance the second term <math alttext="n(T/T_{0})T^{-(1-\ell/\beta)}=T^{-(b-\ell/\beta-a)}" class="ltx_Math" display="inline" id="S5.SS2.p2.11.m11.3"><semantics id="S5.SS2.p2.11.m11.3a"><mrow id="S5.SS2.p2.11.m11.3.3" xref="S5.SS2.p2.11.m11.3.3.cmml"><mrow id="S5.SS2.p2.11.m11.3.3.1" xref="S5.SS2.p2.11.m11.3.3.1.cmml"><mi id="S5.SS2.p2.11.m11.3.3.1.3" xref="S5.SS2.p2.11.m11.3.3.1.3.cmml">n</mi><mo id="S5.SS2.p2.11.m11.3.3.1.2" xref="S5.SS2.p2.11.m11.3.3.1.2.cmml">⁢</mo><mrow id="S5.SS2.p2.11.m11.3.3.1.1.1" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.cmml"><mo id="S5.SS2.p2.11.m11.3.3.1.1.1.2" stretchy="false" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p2.11.m11.3.3.1.1.1.1" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.cmml"><mi id="S5.SS2.p2.11.m11.3.3.1.1.1.1.2" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.2.cmml">T</mi><mo id="S5.SS2.p2.11.m11.3.3.1.1.1.1.1" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.1.cmml">/</mo><msub id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.cmml"><mi id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.2" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.2.cmml">T</mi><mn id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.3" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="S5.SS2.p2.11.m11.3.3.1.1.1.3" stretchy="false" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.cmml">)</mo></mrow><mo id="S5.SS2.p2.11.m11.3.3.1.2a" xref="S5.SS2.p2.11.m11.3.3.1.2.cmml">⁢</mo><msup id="S5.SS2.p2.11.m11.3.3.1.4" xref="S5.SS2.p2.11.m11.3.3.1.4.cmml"><mi id="S5.SS2.p2.11.m11.3.3.1.4.2" xref="S5.SS2.p2.11.m11.3.3.1.4.2.cmml">T</mi><mrow id="S5.SS2.p2.11.m11.1.1.1" xref="S5.SS2.p2.11.m11.1.1.1.cmml"><mo id="S5.SS2.p2.11.m11.1.1.1a" xref="S5.SS2.p2.11.m11.1.1.1.cmml">−</mo><mrow id="S5.SS2.p2.11.m11.1.1.1.1.1" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p2.11.m11.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p2.11.m11.1.1.1.1.1.1" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.cmml"><mn id="S5.SS2.p2.11.m11.1.1.1.1.1.1.2" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.2.cmml">1</mn><mo id="S5.SS2.p2.11.m11.1.1.1.1.1.1.1" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.cmml"><mi id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.2" mathvariant="normal" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.2.cmml">ℓ</mi><mo id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.1" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.1.cmml">/</mo><mi id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.3" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="S5.SS2.p2.11.m11.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="S5.SS2.p2.11.m11.3.3.2" xref="S5.SS2.p2.11.m11.3.3.2.cmml">=</mo><msup id="S5.SS2.p2.11.m11.3.3.3" xref="S5.SS2.p2.11.m11.3.3.3.cmml"><mi id="S5.SS2.p2.11.m11.3.3.3.2" xref="S5.SS2.p2.11.m11.3.3.3.2.cmml">T</mi><mrow id="S5.SS2.p2.11.m11.2.2.1" xref="S5.SS2.p2.11.m11.2.2.1.cmml"><mo id="S5.SS2.p2.11.m11.2.2.1a" xref="S5.SS2.p2.11.m11.2.2.1.cmml">−</mo><mrow id="S5.SS2.p2.11.m11.2.2.1.1.1" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.cmml"><mo id="S5.SS2.p2.11.m11.2.2.1.1.1.2" stretchy="false" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p2.11.m11.2.2.1.1.1.1" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.cmml"><mi id="S5.SS2.p2.11.m11.2.2.1.1.1.1.2" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p2.11.m11.2.2.1.1.1.1.1" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.1.cmml">−</mo><mrow id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.cmml"><mi id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.2" mathvariant="normal" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.2.cmml">ℓ</mi><mo id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.1" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.1.cmml">/</mo><mi id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.3" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.3.cmml">β</mi></mrow><mo id="S5.SS2.p2.11.m11.2.2.1.1.1.1.1a" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p2.11.m11.2.2.1.1.1.1.4" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.4.cmml">a</mi></mrow><mo id="S5.SS2.p2.11.m11.2.2.1.1.1.3" stretchy="false" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.11.m11.3b"><apply id="S5.SS2.p2.11.m11.3.3.cmml" xref="S5.SS2.p2.11.m11.3.3"><eq id="S5.SS2.p2.11.m11.3.3.2.cmml" xref="S5.SS2.p2.11.m11.3.3.2"></eq><apply id="S5.SS2.p2.11.m11.3.3.1.cmml" xref="S5.SS2.p2.11.m11.3.3.1"><times id="S5.SS2.p2.11.m11.3.3.1.2.cmml" xref="S5.SS2.p2.11.m11.3.3.1.2"></times><ci id="S5.SS2.p2.11.m11.3.3.1.3.cmml" xref="S5.SS2.p2.11.m11.3.3.1.3">𝑛</ci><apply id="S5.SS2.p2.11.m11.3.3.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1"><divide id="S5.SS2.p2.11.m11.3.3.1.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.1"></divide><ci id="S5.SS2.p2.11.m11.3.3.1.1.1.1.2.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.2">𝑇</ci><apply id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.1.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3">subscript</csymbol><ci id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.2.cmml" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.2">𝑇</ci><cn id="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.3.cmml" type="integer" xref="S5.SS2.p2.11.m11.3.3.1.1.1.1.3.3">0</cn></apply></apply><apply id="S5.SS2.p2.11.m11.3.3.1.4.cmml" xref="S5.SS2.p2.11.m11.3.3.1.4"><csymbol cd="ambiguous" id="S5.SS2.p2.11.m11.3.3.1.4.1.cmml" xref="S5.SS2.p2.11.m11.3.3.1.4">superscript</csymbol><ci id="S5.SS2.p2.11.m11.3.3.1.4.2.cmml" xref="S5.SS2.p2.11.m11.3.3.1.4.2">𝑇</ci><apply id="S5.SS2.p2.11.m11.1.1.1.cmml" xref="S5.SS2.p2.11.m11.1.1.1"><minus id="S5.SS2.p2.11.m11.1.1.1.2.cmml" xref="S5.SS2.p2.11.m11.1.1.1"></minus><apply id="S5.SS2.p2.11.m11.1.1.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1"><minus id="S5.SS2.p2.11.m11.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.1"></minus><cn id="S5.SS2.p2.11.m11.1.1.1.1.1.1.2.cmml" type="integer" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.2">1</cn><apply id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3"><divide id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.1"></divide><ci id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.2">ℓ</ci><ci id="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p2.11.m11.1.1.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply><apply id="S5.SS2.p2.11.m11.3.3.3.cmml" xref="S5.SS2.p2.11.m11.3.3.3"><csymbol cd="ambiguous" id="S5.SS2.p2.11.m11.3.3.3.1.cmml" xref="S5.SS2.p2.11.m11.3.3.3">superscript</csymbol><ci id="S5.SS2.p2.11.m11.3.3.3.2.cmml" xref="S5.SS2.p2.11.m11.3.3.3.2">𝑇</ci><apply id="S5.SS2.p2.11.m11.2.2.1.cmml" xref="S5.SS2.p2.11.m11.2.2.1"><minus id="S5.SS2.p2.11.m11.2.2.1.2.cmml" xref="S5.SS2.p2.11.m11.2.2.1"></minus><apply id="S5.SS2.p2.11.m11.2.2.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1"><minus id="S5.SS2.p2.11.m11.2.2.1.1.1.1.1.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.1"></minus><ci id="S5.SS2.p2.11.m11.2.2.1.1.1.1.2.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.2">𝑏</ci><apply id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3"><divide id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.1.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.1"></divide><ci id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.2.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.2">ℓ</ci><ci id="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.3.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.3.3">𝛽</ci></apply><ci id="S5.SS2.p2.11.m11.2.2.1.1.1.1.4.cmml" xref="S5.SS2.p2.11.m11.2.2.1.1.1.1.4">𝑎</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.11.m11.3c">n(T/T_{0})T^{-(1-\ell/\beta)}=T^{-(b-\ell/\beta-a)}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.11.m11.3d">italic_n ( italic_T / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT = italic_T start_POSTSUPERSCRIPT - ( italic_b - roman_ℓ / italic_β - italic_a ) end_POSTSUPERSCRIPT</annotation></semantics></math> and the first term <math alttext="T^{-2\ell\underline{r}}" class="ltx_Math" display="inline" id="S5.SS2.p2.12.m12.1"><semantics id="S5.SS2.p2.12.m12.1a"><msup id="S5.SS2.p2.12.m12.1.1" xref="S5.SS2.p2.12.m12.1.1.cmml"><mi id="S5.SS2.p2.12.m12.1.1.2" xref="S5.SS2.p2.12.m12.1.1.2.cmml">T</mi><mrow id="S5.SS2.p2.12.m12.1.1.3" xref="S5.SS2.p2.12.m12.1.1.3.cmml"><mo id="S5.SS2.p2.12.m12.1.1.3a" xref="S5.SS2.p2.12.m12.1.1.3.cmml">−</mo><mrow id="S5.SS2.p2.12.m12.1.1.3.2" xref="S5.SS2.p2.12.m12.1.1.3.2.cmml"><mn id="S5.SS2.p2.12.m12.1.1.3.2.2" xref="S5.SS2.p2.12.m12.1.1.3.2.2.cmml">2</mn><mo id="S5.SS2.p2.12.m12.1.1.3.2.1" xref="S5.SS2.p2.12.m12.1.1.3.2.1.cmml">⁢</mo><mi id="S5.SS2.p2.12.m12.1.1.3.2.3" mathvariant="normal" xref="S5.SS2.p2.12.m12.1.1.3.2.3.cmml">ℓ</mi><mo id="S5.SS2.p2.12.m12.1.1.3.2.1a" xref="S5.SS2.p2.12.m12.1.1.3.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p2.12.m12.1.1.3.2.4" xref="S5.SS2.p2.12.m12.1.1.3.2.4.cmml"><mi id="S5.SS2.p2.12.m12.1.1.3.2.4.2" xref="S5.SS2.p2.12.m12.1.1.3.2.4.2.cmml">r</mi><mo id="S5.SS2.p2.12.m12.1.1.3.2.4.1" xref="S5.SS2.p2.12.m12.1.1.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.12.m12.1b"><apply id="S5.SS2.p2.12.m12.1.1.cmml" xref="S5.SS2.p2.12.m12.1.1"><csymbol cd="ambiguous" id="S5.SS2.p2.12.m12.1.1.1.cmml" xref="S5.SS2.p2.12.m12.1.1">superscript</csymbol><ci id="S5.SS2.p2.12.m12.1.1.2.cmml" xref="S5.SS2.p2.12.m12.1.1.2">𝑇</ci><apply id="S5.SS2.p2.12.m12.1.1.3.cmml" xref="S5.SS2.p2.12.m12.1.1.3"><minus id="S5.SS2.p2.12.m12.1.1.3.1.cmml" xref="S5.SS2.p2.12.m12.1.1.3"></minus><apply id="S5.SS2.p2.12.m12.1.1.3.2.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2"><times id="S5.SS2.p2.12.m12.1.1.3.2.1.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2.1"></times><cn id="S5.SS2.p2.12.m12.1.1.3.2.2.cmml" type="integer" xref="S5.SS2.p2.12.m12.1.1.3.2.2">2</cn><ci id="S5.SS2.p2.12.m12.1.1.3.2.3.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2.3">ℓ</ci><apply id="S5.SS2.p2.12.m12.1.1.3.2.4.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2.4"><ci id="S5.SS2.p2.12.m12.1.1.3.2.4.1.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2.4.1">¯</ci><ci id="S5.SS2.p2.12.m12.1.1.3.2.4.2.cmml" xref="S5.SS2.p2.12.m12.1.1.3.2.4.2">𝑟</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.12.m12.1c">T^{-2\ell\underline{r}}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p2.12.m12.1d">italic_T start_POSTSUPERSCRIPT - 2 roman_ℓ under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT</annotation></semantics></math> in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E28" title="28 ‣ Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">28</span></a>). This gives the following result. </p> </div> <div class="ltx_theorem ltx_theorem_corollary" id="S5.Thmtheorem3"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="S5.Thmtheorem3.1.1.1">Corollary 5.3</span></span><span class="ltx_text ltx_font_bold" id="S5.Thmtheorem3.2.2">.</span> </h6> <div class="ltx_para" id="S5.Thmtheorem3.p1"> <p class="ltx_p" id="S5.Thmtheorem3.p1.3"><span class="ltx_text ltx_font_italic" id="S5.Thmtheorem3.p1.3.3">In the setting of Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a> with <math alttext="T_{0}\asymp T^{b}" class="ltx_Math" display="inline" id="S5.Thmtheorem3.p1.1.1.m1.1"><semantics id="S5.Thmtheorem3.p1.1.1.m1.1a"><mrow id="S5.Thmtheorem3.p1.1.1.m1.1.1" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.cmml"><msub id="S5.Thmtheorem3.p1.1.1.m1.1.1.2" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2.cmml"><mi id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.2" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2.2.cmml">T</mi><mn id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.3" mathvariant="normal" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2.3.cmml">0</mn></msub><mo id="S5.Thmtheorem3.p1.1.1.m1.1.1.1" mathvariant="normal" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.1.cmml">≍</mo><msup id="S5.Thmtheorem3.p1.1.1.m1.1.1.3" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3.cmml"><mi id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.2" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3.2.cmml">T</mi><mi id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.3" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3.3.cmml">b</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem3.p1.1.1.m1.1b"><apply id="S5.Thmtheorem3.p1.1.1.m1.1.1.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1"><csymbol cd="latexml" id="S5.Thmtheorem3.p1.1.1.m1.1.1.1.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.1">asymptotically-equals</csymbol><apply id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.1.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2">subscript</csymbol><ci id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.2.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2.2">𝑇</ci><cn id="S5.Thmtheorem3.p1.1.1.m1.1.1.2.3.cmml" type="integer" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.2.3">0</cn></apply><apply id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.1.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3">superscript</csymbol><ci id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.2.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3.2">𝑇</ci><ci id="S5.Thmtheorem3.p1.1.1.m1.1.1.3.3.cmml" xref="S5.Thmtheorem3.p1.1.1.m1.1.1.3.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem3.p1.1.1.m1.1c">T_{0}\asymp T^{b}</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem3.p1.1.1.m1.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≍ italic_T start_POSTSUPERSCRIPT italic_b end_POSTSUPERSCRIPT</annotation></semantics></math> and <math alttext="n\asymp T^{b}" class="ltx_Math" display="inline" id="S5.Thmtheorem3.p1.2.2.m2.1"><semantics id="S5.Thmtheorem3.p1.2.2.m2.1a"><mrow id="S5.Thmtheorem3.p1.2.2.m2.1.1" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.cmml"><mi id="S5.Thmtheorem3.p1.2.2.m2.1.1.2" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.2.cmml">n</mi><mo id="S5.Thmtheorem3.p1.2.2.m2.1.1.1" mathvariant="normal" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.1.cmml">≍</mo><msup id="S5.Thmtheorem3.p1.2.2.m2.1.1.3" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3.cmml"><mi id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.2" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3.2.cmml">T</mi><mi id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.3" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3.3.cmml">b</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem3.p1.2.2.m2.1b"><apply id="S5.Thmtheorem3.p1.2.2.m2.1.1.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1"><csymbol cd="latexml" id="S5.Thmtheorem3.p1.2.2.m2.1.1.1.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.1">asymptotically-equals</csymbol><ci id="S5.Thmtheorem3.p1.2.2.m2.1.1.2.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.2">𝑛</ci><apply id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3"><csymbol cd="ambiguous" id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.1.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3">superscript</csymbol><ci id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.2.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3.2">𝑇</ci><ci id="S5.Thmtheorem3.p1.2.2.m2.1.1.3.3.cmml" xref="S5.Thmtheorem3.p1.2.2.m2.1.1.3.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem3.p1.2.2.m2.1c">n\asymp T^{b}</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem3.p1.2.2.m2.1d">italic_n ≍ italic_T start_POSTSUPERSCRIPT italic_b end_POSTSUPERSCRIPT</annotation></semantics></math>, the optimal exponent of the ridge regularization parameter in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E25" title="25 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">25</span></a>) is <math alttext="\ell=\ell_{\star}" class="ltx_Math" display="inline" id="S5.Thmtheorem3.p1.3.3.m3.1"><semantics id="S5.Thmtheorem3.p1.3.3.m3.1a"><mrow id="S5.Thmtheorem3.p1.3.3.m3.1.1" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.cmml"><mi id="S5.Thmtheorem3.p1.3.3.m3.1.1.2" mathvariant="normal" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.2.cmml">ℓ</mi><mo id="S5.Thmtheorem3.p1.3.3.m3.1.1.1" mathvariant="normal" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.1.cmml">=</mo><msub id="S5.Thmtheorem3.p1.3.3.m3.1.1.3" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3.cmml"><mi id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.2" mathvariant="normal" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3.2.cmml">ℓ</mi><mo id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.3" mathvariant="normal" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3.3.cmml">⋆</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem3.p1.3.3.m3.1b"><apply id="S5.Thmtheorem3.p1.3.3.m3.1.1.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1"><eq id="S5.Thmtheorem3.p1.3.3.m3.1.1.1.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.1"></eq><ci id="S5.Thmtheorem3.p1.3.3.m3.1.1.2.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.2">normal-ℓ</ci><apply id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3"><csymbol cd="ambiguous" id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.1.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3">subscript</csymbol><ci id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.2.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3.2">normal-ℓ</ci><ci id="S5.Thmtheorem3.p1.3.3.m3.1.1.3.3.cmml" xref="S5.Thmtheorem3.p1.3.3.m3.1.1.3.3">normal-⋆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem3.p1.3.3.m3.1c">\ell=\ell_{\star}</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem3.p1.3.3.m3.1d">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT</annotation></semantics></math>, where</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx26"> <tbody id="S5.E29"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\ell_{\star}=\min((b-a)\ell_{crit},\beta)," class="ltx_Math" display="inline" id="S5.E29.m1.3"><semantics id="S5.E29.m1.3a"><mrow id="S5.E29.m1.3.3.1" xref="S5.E29.m1.3.3.1.1.cmml"><mrow id="S5.E29.m1.3.3.1.1" xref="S5.E29.m1.3.3.1.1.cmml"><msub id="S5.E29.m1.3.3.1.1.3" xref="S5.E29.m1.3.3.1.1.3.cmml"><mi id="S5.E29.m1.3.3.1.1.3.2" mathvariant="normal" xref="S5.E29.m1.3.3.1.1.3.2.cmml">ℓ</mi><mo id="S5.E29.m1.3.3.1.1.3.3" xref="S5.E29.m1.3.3.1.1.3.3.cmml">⋆</mo></msub><mo id="S5.E29.m1.3.3.1.1.2" xref="S5.E29.m1.3.3.1.1.2.cmml">=</mo><mrow id="S5.E29.m1.3.3.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.2.cmml"><mi id="S5.E29.m1.1.1" xref="S5.E29.m1.1.1.cmml">min</mi><mo id="S5.E29.m1.3.3.1.1.1.1a" xref="S5.E29.m1.3.3.1.1.1.2.cmml">⁡</mo><mrow id="S5.E29.m1.3.3.1.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.2.cmml"><mo id="S5.E29.m1.3.3.1.1.1.1.1.2" stretchy="false" xref="S5.E29.m1.3.3.1.1.1.2.cmml">(</mo><mrow id="S5.E29.m1.3.3.1.1.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.1.1.1.cmml"><mrow id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.cmml"><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.cmml"><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.2" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.3" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.3.cmml">a</mi></mrow><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.2" xref="S5.E29.m1.3.3.1.1.1.1.1.1.2.cmml">⁢</mo><msub id="S5.E29.m1.3.3.1.1.1.1.1.1.3" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.cmml"><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.3.2" mathvariant="normal" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.2.cmml">ℓ</mi><mrow id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.cmml"><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.2" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.2.cmml">c</mi><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.3" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.3.cmml">r</mi><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1a" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.4" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.4.cmml">i</mi><mo id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1b" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.5" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><mo id="S5.E29.m1.3.3.1.1.1.1.1.3" xref="S5.E29.m1.3.3.1.1.1.2.cmml">,</mo><mi id="S5.E29.m1.2.2" xref="S5.E29.m1.2.2.cmml">β</mi><mo id="S5.E29.m1.3.3.1.1.1.1.1.4" stretchy="false" xref="S5.E29.m1.3.3.1.1.1.2.cmml">)</mo></mrow></mrow></mrow><mo id="S5.E29.m1.3.3.1.2" xref="S5.E29.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E29.m1.3b"><apply id="S5.E29.m1.3.3.1.1.cmml" xref="S5.E29.m1.3.3.1"><eq id="S5.E29.m1.3.3.1.1.2.cmml" xref="S5.E29.m1.3.3.1.1.2"></eq><apply id="S5.E29.m1.3.3.1.1.3.cmml" xref="S5.E29.m1.3.3.1.1.3"><csymbol cd="ambiguous" id="S5.E29.m1.3.3.1.1.3.1.cmml" xref="S5.E29.m1.3.3.1.1.3">subscript</csymbol><ci id="S5.E29.m1.3.3.1.1.3.2.cmml" xref="S5.E29.m1.3.3.1.1.3.2">ℓ</ci><ci id="S5.E29.m1.3.3.1.1.3.3.cmml" xref="S5.E29.m1.3.3.1.1.3.3">⋆</ci></apply><apply id="S5.E29.m1.3.3.1.1.1.2.cmml" xref="S5.E29.m1.3.3.1.1.1.1"><min id="S5.E29.m1.1.1.cmml" xref="S5.E29.m1.1.1"></min><apply id="S5.E29.m1.3.3.1.1.1.1.1.1.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1"><times id="S5.E29.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.2"></times><apply id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1"><minus id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.1"></minus><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.2.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.2">𝑏</ci><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.3.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.1.1.1.3">𝑎</ci></apply><apply id="S5.E29.m1.3.3.1.1.1.1.1.1.3.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.E29.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3">subscript</csymbol><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.2">ℓ</ci><apply id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3"><times id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.1"></times><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.2.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.2">𝑐</ci><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.3.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.3">𝑟</ci><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.4.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.4">𝑖</ci><ci id="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.5.cmml" xref="S5.E29.m1.3.3.1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply></apply><ci id="S5.E29.m1.2.2.cmml" xref="S5.E29.m1.2.2">𝛽</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E29.m1.3c">\displaystyle\ell_{\star}=\min((b-a)\ell_{crit},\beta),</annotation><annotation encoding="application/x-llamapun" id="S5.E29.m1.3d">roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT = roman_min ( ( italic_b - italic_a ) roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT , italic_β ) ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(29)</span></td> </tr></tbody> </table> <p class="ltx_p" id="S5.Thmtheorem3.p1.4"><span class="ltx_text ltx_font_italic" id="S5.Thmtheorem3.p1.4.1">and <math alttext="\ell_{crit}" class="ltx_Math" display="inline" id="S5.Thmtheorem3.p1.4.1.m1.1"><semantics id="S5.Thmtheorem3.p1.4.1.m1.1a"><msub id="S5.Thmtheorem3.p1.4.1.m1.1.1" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.cmml"><mi id="S5.Thmtheorem3.p1.4.1.m1.1.1.2" mathvariant="normal" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.2.cmml">ℓ</mi><mrow id="S5.Thmtheorem3.p1.4.1.m1.1.1.3" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.cmml"><mi id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.2" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.2.cmml">c</mi><mo id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1" mathvariant="italic" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.3" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.3.cmml">r</mi><mo id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1a" mathvariant="italic" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.4" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.4.cmml">i</mi><mo id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1b" mathvariant="italic" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.5" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.5.cmml">t</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="S5.Thmtheorem3.p1.4.1.m1.1b"><apply id="S5.Thmtheorem3.p1.4.1.m1.1.1.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1"><csymbol cd="ambiguous" id="S5.Thmtheorem3.p1.4.1.m1.1.1.1.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1">subscript</csymbol><ci id="S5.Thmtheorem3.p1.4.1.m1.1.1.2.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.2">normal-ℓ</ci><apply id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3"><times id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.1"></times><ci id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.2.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.2">𝑐</ci><ci id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.3.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.3">𝑟</ci><ci id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.4.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.4">𝑖</ci><ci id="S5.Thmtheorem3.p1.4.1.m1.1.1.3.5.cmml" xref="S5.Thmtheorem3.p1.4.1.m1.1.1.3.5">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Thmtheorem3.p1.4.1.m1.1c">\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S5.Thmtheorem3.p1.4.1.m1.1d">roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math> is as in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E26" title="26 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">26</span></a>), with corresponding optimal test error</span></p> <table class="ltx_equation ltx_eqn_table" id="S5.Ex1"> <tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_eqn_cell ltx_align_center"><math alttext="\inf_{\ell\geq 0}E_{test}(\widehat{w}_{n}^{pred})\asymp E_{test}(\widehat{w}_{% n}^{pred})\big{|}_{\ell=\ell_{\star}}\asymp T^{-(b-a)c}." class="ltx_Math" display="block" id="S5.Ex1.m1.3"><semantics id="S5.Ex1.m1.3a"><mrow id="S5.Ex1.m1.3.3.1" xref="S5.Ex1.m1.3.3.1.1.cmml"><mrow id="S5.Ex1.m1.3.3.1.1" xref="S5.Ex1.m1.3.3.1.1.cmml"><mrow id="S5.Ex1.m1.3.3.1.1.1" xref="S5.Ex1.m1.3.3.1.1.1.cmml"><munder id="S5.Ex1.m1.3.3.1.1.1.2" xref="S5.Ex1.m1.3.3.1.1.1.2.cmml"><mo id="S5.Ex1.m1.3.3.1.1.1.2.2" movablelimits="false" xref="S5.Ex1.m1.3.3.1.1.1.2.2.cmml">inf</mo><mrow id="S5.Ex1.m1.3.3.1.1.1.2.3" xref="S5.Ex1.m1.3.3.1.1.1.2.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.1.2.3.2" mathvariant="normal" xref="S5.Ex1.m1.3.3.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S5.Ex1.m1.3.3.1.1.1.2.3.1" xref="S5.Ex1.m1.3.3.1.1.1.2.3.1.cmml">≥</mo><mn id="S5.Ex1.m1.3.3.1.1.1.2.3.3" xref="S5.Ex1.m1.3.3.1.1.1.2.3.3.cmml">0</mn></mrow></munder><mrow id="S5.Ex1.m1.3.3.1.1.1.1" xref="S5.Ex1.m1.3.3.1.1.1.1.cmml"><msub id="S5.Ex1.m1.3.3.1.1.1.1.3" xref="S5.Ex1.m1.3.3.1.1.1.1.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.1.1.3.2" xref="S5.Ex1.m1.3.3.1.1.1.1.3.2.cmml">E</mi><mrow id="S5.Ex1.m1.3.3.1.1.1.1.3.3" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.1.1.3.3.2" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.2.cmml">t</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.3.3.1" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.3.3.3" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.3.cmml">e</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.3.3.1a" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.3.3.4" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.4.cmml">s</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.3.3.1b" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.3.3.5" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.Ex1.m1.3.3.1.1.1.1.2" xref="S5.Ex1.m1.3.3.1.1.1.1.2.cmml">⁢</mo><mrow id="S5.Ex1.m1.3.3.1.1.1.1.1.1" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.cmml"><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.2" stretchy="false" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.cmml"><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.2" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.1" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.3" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.2" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.3" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1a" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.4" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1b" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.5" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.Ex1.m1.3.3.1.1.1.1.1.1.3" stretchy="false" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S5.Ex1.m1.3.3.1.1.4" xref="S5.Ex1.m1.3.3.1.1.4.cmml">≍</mo><msub id="S5.Ex1.m1.3.3.1.1.2.1" xref="S5.Ex1.m1.3.3.1.1.2.2.cmml"><mrow id="S5.Ex1.m1.3.3.1.1.2.1.1" xref="S5.Ex1.m1.3.3.1.1.2.2.cmml"><mrow id="S5.Ex1.m1.3.3.1.1.2.1.1.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.cmml"><msub id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.2.cmml">E</mi><mrow id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.2.cmml">t</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.3.cmml">e</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1a" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.4" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.4.cmml">s</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1b" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.5" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.2.cmml">⁢</mo><mrow id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.2" stretchy="false" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml"><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.cmml"><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.3" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1a" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.4" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1b" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.5" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.3" stretchy="false" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.Ex1.m1.3.3.1.1.2.1.1.2" maxsize="120%" minsize="120%" xref="S5.Ex1.m1.3.3.1.1.2.2.1.cmml">|</mo></mrow><mrow id="S5.Ex1.m1.2.2.1" xref="S5.Ex1.m1.2.2.1.cmml"><mi id="S5.Ex1.m1.2.2.1.2" mathvariant="normal" xref="S5.Ex1.m1.2.2.1.2.cmml">ℓ</mi><mo id="S5.Ex1.m1.2.2.1.1" xref="S5.Ex1.m1.2.2.1.1.cmml">=</mo><msub id="S5.Ex1.m1.2.2.1.3" xref="S5.Ex1.m1.2.2.1.3.cmml"><mi id="S5.Ex1.m1.2.2.1.3.2" mathvariant="normal" xref="S5.Ex1.m1.2.2.1.3.2.cmml">ℓ</mi><mo id="S5.Ex1.m1.2.2.1.3.3" xref="S5.Ex1.m1.2.2.1.3.3.cmml">⋆</mo></msub></mrow></msub><mo id="S5.Ex1.m1.3.3.1.1.5" xref="S5.Ex1.m1.3.3.1.1.5.cmml">≍</mo><msup id="S5.Ex1.m1.3.3.1.1.6" xref="S5.Ex1.m1.3.3.1.1.6.cmml"><mi id="S5.Ex1.m1.3.3.1.1.6.2" xref="S5.Ex1.m1.3.3.1.1.6.2.cmml">T</mi><mrow id="S5.Ex1.m1.1.1.1" xref="S5.Ex1.m1.1.1.1.cmml"><mo id="S5.Ex1.m1.1.1.1a" xref="S5.Ex1.m1.1.1.1.cmml">−</mo><mrow id="S5.Ex1.m1.1.1.1.1" xref="S5.Ex1.m1.1.1.1.1.cmml"><mrow id="S5.Ex1.m1.1.1.1.1.1.1" xref="S5.Ex1.m1.1.1.1.1.1.1.1.cmml"><mo id="S5.Ex1.m1.1.1.1.1.1.1.2" stretchy="false" xref="S5.Ex1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.Ex1.m1.1.1.1.1.1.1.1" xref="S5.Ex1.m1.1.1.1.1.1.1.1.cmml"><mi id="S5.Ex1.m1.1.1.1.1.1.1.1.2" xref="S5.Ex1.m1.1.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.Ex1.m1.1.1.1.1.1.1.1.1" xref="S5.Ex1.m1.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.Ex1.m1.1.1.1.1.1.1.1.3" xref="S5.Ex1.m1.1.1.1.1.1.1.1.3.cmml">a</mi></mrow><mo id="S5.Ex1.m1.1.1.1.1.1.1.3" stretchy="false" xref="S5.Ex1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="S5.Ex1.m1.1.1.1.1.2" xref="S5.Ex1.m1.1.1.1.1.2.cmml">⁢</mo><mi id="S5.Ex1.m1.1.1.1.1.3" xref="S5.Ex1.m1.1.1.1.1.3.cmml">c</mi></mrow></mrow></msup></mrow><mo id="S5.Ex1.m1.3.3.1.2" lspace="0em" xref="S5.Ex1.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.Ex1.m1.3b"><apply id="S5.Ex1.m1.3.3.1.1.cmml" xref="S5.Ex1.m1.3.3.1"><and id="S5.Ex1.m1.3.3.1.1a.cmml" xref="S5.Ex1.m1.3.3.1"></and><apply id="S5.Ex1.m1.3.3.1.1b.cmml" xref="S5.Ex1.m1.3.3.1"><csymbol cd="latexml" id="S5.Ex1.m1.3.3.1.1.4.cmml" xref="S5.Ex1.m1.3.3.1.1.4">asymptotically-equals</csymbol><apply id="S5.Ex1.m1.3.3.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1"><apply id="S5.Ex1.m1.3.3.1.1.1.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.1.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2">subscript</csymbol><csymbol cd="latexml" id="S5.Ex1.m1.3.3.1.1.1.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2.2">infimum</csymbol><apply id="S5.Ex1.m1.3.3.1.1.1.2.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2.3"><geq id="S5.Ex1.m1.3.3.1.1.1.2.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2.3.1"></geq><ci id="S5.Ex1.m1.3.3.1.1.1.2.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.2.3.2">ℓ</ci><cn id="S5.Ex1.m1.3.3.1.1.1.2.3.3.cmml" type="integer" xref="S5.Ex1.m1.3.3.1.1.1.2.3.3">0</cn></apply></apply><apply id="S5.Ex1.m1.3.3.1.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1"><times id="S5.Ex1.m1.3.3.1.1.1.1.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.2"></times><apply id="S5.Ex1.m1.3.3.1.1.1.1.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.1.1.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3">subscript</csymbol><ci id="S5.Ex1.m1.3.3.1.1.1.1.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.2">𝐸</ci><apply id="S5.Ex1.m1.3.3.1.1.1.1.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3"><times id="S5.Ex1.m1.3.3.1.1.1.1.3.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.1"></times><ci id="S5.Ex1.m1.3.3.1.1.1.1.3.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.2">𝑡</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.3.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.3">𝑒</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.3.3.4.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.4">𝑠</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.3.3.5.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1">superscript</csymbol><apply id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1">subscript</csymbol><apply id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2"><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3"><times id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.1"></times><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.4.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.5.cmml" xref="S5.Ex1.m1.3.3.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></apply><apply id="S5.Ex1.m1.3.3.1.1.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1"><csymbol cd="latexml" id="S5.Ex1.m1.3.3.1.1.2.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.2">evaluated-at</csymbol><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1"><times id="S5.Ex1.m1.3.3.1.1.2.1.1.1.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.2"></times><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3">subscript</csymbol><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.2">𝐸</ci><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3"><times id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.1"></times><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.2">𝑡</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.3">𝑒</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.4.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.4">𝑠</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.5.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1">superscript</csymbol><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1">subscript</csymbol><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2"><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3"><times id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.1"></times><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.3.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.4.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.5.cmml" xref="S5.Ex1.m1.3.3.1.1.2.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.Ex1.m1.2.2.1.cmml" xref="S5.Ex1.m1.2.2.1"><eq id="S5.Ex1.m1.2.2.1.1.cmml" xref="S5.Ex1.m1.2.2.1.1"></eq><ci id="S5.Ex1.m1.2.2.1.2.cmml" xref="S5.Ex1.m1.2.2.1.2">ℓ</ci><apply id="S5.Ex1.m1.2.2.1.3.cmml" xref="S5.Ex1.m1.2.2.1.3"><csymbol cd="ambiguous" id="S5.Ex1.m1.2.2.1.3.1.cmml" xref="S5.Ex1.m1.2.2.1.3">subscript</csymbol><ci id="S5.Ex1.m1.2.2.1.3.2.cmml" xref="S5.Ex1.m1.2.2.1.3.2">ℓ</ci><ci id="S5.Ex1.m1.2.2.1.3.3.cmml" xref="S5.Ex1.m1.2.2.1.3.3">⋆</ci></apply></apply></apply></apply><apply id="S5.Ex1.m1.3.3.1.1c.cmml" xref="S5.Ex1.m1.3.3.1"><csymbol cd="latexml" id="S5.Ex1.m1.3.3.1.1.5.cmml" xref="S5.Ex1.m1.3.3.1.1.5">asymptotically-equals</csymbol><share href="#S5.Ex1.m1.3.3.1.1.2.cmml" id="S5.Ex1.m1.3.3.1.1d.cmml" xref="S5.Ex1.m1.3.3.1"></share><apply id="S5.Ex1.m1.3.3.1.1.6.cmml" xref="S5.Ex1.m1.3.3.1.1.6"><csymbol cd="ambiguous" id="S5.Ex1.m1.3.3.1.1.6.1.cmml" xref="S5.Ex1.m1.3.3.1.1.6">superscript</csymbol><ci id="S5.Ex1.m1.3.3.1.1.6.2.cmml" xref="S5.Ex1.m1.3.3.1.1.6.2">𝑇</ci><apply id="S5.Ex1.m1.1.1.1.cmml" xref="S5.Ex1.m1.1.1.1"><minus id="S5.Ex1.m1.1.1.1.2.cmml" xref="S5.Ex1.m1.1.1.1"></minus><apply id="S5.Ex1.m1.1.1.1.1.cmml" xref="S5.Ex1.m1.1.1.1.1"><times id="S5.Ex1.m1.1.1.1.1.2.cmml" xref="S5.Ex1.m1.1.1.1.1.2"></times><apply id="S5.Ex1.m1.1.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.1.1.1.1.1.1"><minus id="S5.Ex1.m1.1.1.1.1.1.1.1.1.cmml" xref="S5.Ex1.m1.1.1.1.1.1.1.1.1"></minus><ci id="S5.Ex1.m1.1.1.1.1.1.1.1.2.cmml" xref="S5.Ex1.m1.1.1.1.1.1.1.1.2">𝑏</ci><ci id="S5.Ex1.m1.1.1.1.1.1.1.1.3.cmml" xref="S5.Ex1.m1.1.1.1.1.1.1.1.3">𝑎</ci></apply><ci id="S5.Ex1.m1.1.1.1.1.3.cmml" xref="S5.Ex1.m1.1.1.1.1.3">𝑐</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex1.m1.3c">\inf_{\ell\geq 0}E_{test}(\widehat{w}_{n}^{pred})\asymp E_{test}(\widehat{w}_{% n}^{pred})\big{|}_{\ell=\ell_{\star}}\asymp T^{-(b-a)c}.</annotation><annotation encoding="application/x-llamapun" id="S5.Ex1.m1.3d">roman_inf start_POSTSUBSCRIPT roman_ℓ ≥ 0 end_POSTSUBSCRIPT italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) | start_POSTSUBSCRIPT roman_ℓ = roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT end_POSTSUBSCRIPT ≍ italic_T start_POSTSUPERSCRIPT - ( italic_b - italic_a ) italic_c end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> </div> </div> <div class="ltx_para" id="S5.SS2.p3"> <p class="ltx_p" id="S5.SS2.p3.11">Observe that when <math alttext="(b-a)c<2\beta\underline{r}" class="ltx_Math" display="inline" id="S5.SS2.p3.1.m1.1"><semantics id="S5.SS2.p3.1.m1.1a"><mrow id="S5.SS2.p3.1.m1.1.1" xref="S5.SS2.p3.1.m1.1.1.cmml"><mrow id="S5.SS2.p3.1.m1.1.1.1" xref="S5.SS2.p3.1.m1.1.1.1.cmml"><mrow id="S5.SS2.p3.1.m1.1.1.1.1.1" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p3.1.m1.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p3.1.m1.1.1.1.1.1.1" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.cmml"><mi id="S5.SS2.p3.1.m1.1.1.1.1.1.1.2" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p3.1.m1.1.1.1.1.1.1.1" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p3.1.m1.1.1.1.1.1.1.3" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.3.cmml">a</mi></mrow><mo id="S5.SS2.p3.1.m1.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="S5.SS2.p3.1.m1.1.1.1.2" xref="S5.SS2.p3.1.m1.1.1.1.2.cmml">⁢</mo><mi id="S5.SS2.p3.1.m1.1.1.1.3" xref="S5.SS2.p3.1.m1.1.1.1.3.cmml">c</mi></mrow><mo id="S5.SS2.p3.1.m1.1.1.2" xref="S5.SS2.p3.1.m1.1.1.2.cmml"><</mo><mrow id="S5.SS2.p3.1.m1.1.1.3" xref="S5.SS2.p3.1.m1.1.1.3.cmml"><mn id="S5.SS2.p3.1.m1.1.1.3.2" xref="S5.SS2.p3.1.m1.1.1.3.2.cmml">2</mn><mo id="S5.SS2.p3.1.m1.1.1.3.1" xref="S5.SS2.p3.1.m1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.1.m1.1.1.3.3" xref="S5.SS2.p3.1.m1.1.1.3.3.cmml">β</mi><mo id="S5.SS2.p3.1.m1.1.1.3.1a" xref="S5.SS2.p3.1.m1.1.1.3.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p3.1.m1.1.1.3.4" xref="S5.SS2.p3.1.m1.1.1.3.4.cmml"><mi id="S5.SS2.p3.1.m1.1.1.3.4.2" xref="S5.SS2.p3.1.m1.1.1.3.4.2.cmml">r</mi><mo id="S5.SS2.p3.1.m1.1.1.3.4.1" xref="S5.SS2.p3.1.m1.1.1.3.4.1.cmml">¯</mo></munder></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.1.m1.1b"><apply id="S5.SS2.p3.1.m1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1"><lt id="S5.SS2.p3.1.m1.1.1.2.cmml" xref="S5.SS2.p3.1.m1.1.1.2"></lt><apply id="S5.SS2.p3.1.m1.1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1.1"><times id="S5.SS2.p3.1.m1.1.1.1.2.cmml" xref="S5.SS2.p3.1.m1.1.1.1.2"></times><apply id="S5.SS2.p3.1.m1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1.1.1.1"><minus id="S5.SS2.p3.1.m1.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.1"></minus><ci id="S5.SS2.p3.1.m1.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.2">𝑏</ci><ci id="S5.SS2.p3.1.m1.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p3.1.m1.1.1.1.1.1.1.3">𝑎</ci></apply><ci id="S5.SS2.p3.1.m1.1.1.1.3.cmml" xref="S5.SS2.p3.1.m1.1.1.1.3">𝑐</ci></apply><apply id="S5.SS2.p3.1.m1.1.1.3.cmml" xref="S5.SS2.p3.1.m1.1.1.3"><times id="S5.SS2.p3.1.m1.1.1.3.1.cmml" xref="S5.SS2.p3.1.m1.1.1.3.1"></times><cn id="S5.SS2.p3.1.m1.1.1.3.2.cmml" type="integer" xref="S5.SS2.p3.1.m1.1.1.3.2">2</cn><ci id="S5.SS2.p3.1.m1.1.1.3.3.cmml" xref="S5.SS2.p3.1.m1.1.1.3.3">𝛽</ci><apply id="S5.SS2.p3.1.m1.1.1.3.4.cmml" xref="S5.SS2.p3.1.m1.1.1.3.4"><ci id="S5.SS2.p3.1.m1.1.1.3.4.1.cmml" xref="S5.SS2.p3.1.m1.1.1.3.4.1">¯</ci><ci id="S5.SS2.p3.1.m1.1.1.3.4.2.cmml" xref="S5.SS2.p3.1.m1.1.1.3.4.2">𝑟</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.1.m1.1c">(b-a)c<2\beta\underline{r}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.1.m1.1d">( italic_b - italic_a ) italic_c < 2 italic_β under¯ start_ARG italic_r end_ARG</annotation></semantics></math>, which is the case when <math alttext="n=O(1)" class="ltx_Math" display="inline" id="S5.SS2.p3.2.m2.1"><semantics id="S5.SS2.p3.2.m2.1a"><mrow id="S5.SS2.p3.2.m2.1.2" xref="S5.SS2.p3.2.m2.1.2.cmml"><mi id="S5.SS2.p3.2.m2.1.2.2" xref="S5.SS2.p3.2.m2.1.2.2.cmml">n</mi><mo id="S5.SS2.p3.2.m2.1.2.1" xref="S5.SS2.p3.2.m2.1.2.1.cmml">=</mo><mrow id="S5.SS2.p3.2.m2.1.2.3" xref="S5.SS2.p3.2.m2.1.2.3.cmml"><mi id="S5.SS2.p3.2.m2.1.2.3.2" xref="S5.SS2.p3.2.m2.1.2.3.2.cmml">O</mi><mo id="S5.SS2.p3.2.m2.1.2.3.1" xref="S5.SS2.p3.2.m2.1.2.3.1.cmml">⁢</mo><mrow id="S5.SS2.p3.2.m2.1.2.3.3.2" xref="S5.SS2.p3.2.m2.1.2.3.cmml"><mo id="S5.SS2.p3.2.m2.1.2.3.3.2.1" stretchy="false" xref="S5.SS2.p3.2.m2.1.2.3.cmml">(</mo><mn id="S5.SS2.p3.2.m2.1.1" xref="S5.SS2.p3.2.m2.1.1.cmml">1</mn><mo id="S5.SS2.p3.2.m2.1.2.3.3.2.2" stretchy="false" xref="S5.SS2.p3.2.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.2.m2.1b"><apply id="S5.SS2.p3.2.m2.1.2.cmml" xref="S5.SS2.p3.2.m2.1.2"><eq id="S5.SS2.p3.2.m2.1.2.1.cmml" xref="S5.SS2.p3.2.m2.1.2.1"></eq><ci id="S5.SS2.p3.2.m2.1.2.2.cmml" xref="S5.SS2.p3.2.m2.1.2.2">𝑛</ci><apply id="S5.SS2.p3.2.m2.1.2.3.cmml" xref="S5.SS2.p3.2.m2.1.2.3"><times id="S5.SS2.p3.2.m2.1.2.3.1.cmml" xref="S5.SS2.p3.2.m2.1.2.3.1"></times><ci id="S5.SS2.p3.2.m2.1.2.3.2.cmml" xref="S5.SS2.p3.2.m2.1.2.3.2">𝑂</ci><cn id="S5.SS2.p3.2.m2.1.1.cmml" type="integer" xref="S5.SS2.p3.2.m2.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.2.m2.1c">n=O(1)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.2.m2.1d">italic_n = italic_O ( 1 )</annotation></semantics></math>, <math alttext="r\geq 1" class="ltx_Math" display="inline" id="S5.SS2.p3.3.m3.1"><semantics id="S5.SS2.p3.3.m3.1a"><mrow id="S5.SS2.p3.3.m3.1.1" xref="S5.SS2.p3.3.m3.1.1.cmml"><mi id="S5.SS2.p3.3.m3.1.1.2" xref="S5.SS2.p3.3.m3.1.1.2.cmml">r</mi><mo id="S5.SS2.p3.3.m3.1.1.1" xref="S5.SS2.p3.3.m3.1.1.1.cmml">≥</mo><mn id="S5.SS2.p3.3.m3.1.1.3" xref="S5.SS2.p3.3.m3.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.3.m3.1b"><apply id="S5.SS2.p3.3.m3.1.1.cmml" xref="S5.SS2.p3.3.m3.1.1"><geq id="S5.SS2.p3.3.m3.1.1.1.cmml" xref="S5.SS2.p3.3.m3.1.1.1"></geq><ci id="S5.SS2.p3.3.m3.1.1.2.cmml" xref="S5.SS2.p3.3.m3.1.1.2">𝑟</ci><cn id="S5.SS2.p3.3.m3.1.1.3.cmml" type="integer" xref="S5.SS2.p3.3.m3.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.3.m3.1c">r\geq 1</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.3.m3.1d">italic_r ≥ 1</annotation></semantics></math> and <math alttext="b\leq a+1" class="ltx_Math" display="inline" id="S5.SS2.p3.4.m4.1"><semantics id="S5.SS2.p3.4.m4.1a"><mrow id="S5.SS2.p3.4.m4.1.1" xref="S5.SS2.p3.4.m4.1.1.cmml"><mi id="S5.SS2.p3.4.m4.1.1.2" xref="S5.SS2.p3.4.m4.1.1.2.cmml">b</mi><mo id="S5.SS2.p3.4.m4.1.1.1" xref="S5.SS2.p3.4.m4.1.1.1.cmml">≤</mo><mrow id="S5.SS2.p3.4.m4.1.1.3" xref="S5.SS2.p3.4.m4.1.1.3.cmml"><mi id="S5.SS2.p3.4.m4.1.1.3.2" xref="S5.SS2.p3.4.m4.1.1.3.2.cmml">a</mi><mo id="S5.SS2.p3.4.m4.1.1.3.1" xref="S5.SS2.p3.4.m4.1.1.3.1.cmml">+</mo><mn id="S5.SS2.p3.4.m4.1.1.3.3" xref="S5.SS2.p3.4.m4.1.1.3.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.4.m4.1b"><apply id="S5.SS2.p3.4.m4.1.1.cmml" xref="S5.SS2.p3.4.m4.1.1"><leq id="S5.SS2.p3.4.m4.1.1.1.cmml" xref="S5.SS2.p3.4.m4.1.1.1"></leq><ci id="S5.SS2.p3.4.m4.1.1.2.cmml" xref="S5.SS2.p3.4.m4.1.1.2">𝑏</ci><apply id="S5.SS2.p3.4.m4.1.1.3.cmml" xref="S5.SS2.p3.4.m4.1.1.3"><plus id="S5.SS2.p3.4.m4.1.1.3.1.cmml" xref="S5.SS2.p3.4.m4.1.1.3.1"></plus><ci id="S5.SS2.p3.4.m4.1.1.3.2.cmml" xref="S5.SS2.p3.4.m4.1.1.3.2">𝑎</ci><cn id="S5.SS2.p3.4.m4.1.1.3.3.cmml" type="integer" xref="S5.SS2.p3.4.m4.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.4.m4.1c">b\leq a+1</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.4.m4.1d">italic_b ≤ italic_a + 1</annotation></semantics></math>, this corresponds to the condition <math alttext="T\gtrsim T_{0}" class="ltx_Math" display="inline" id="S5.SS2.p3.5.m5.1"><semantics id="S5.SS2.p3.5.m5.1a"><mrow id="S5.SS2.p3.5.m5.1.1" xref="S5.SS2.p3.5.m5.1.1.cmml"><mi id="S5.SS2.p3.5.m5.1.1.2" xref="S5.SS2.p3.5.m5.1.1.2.cmml">T</mi><mo id="S5.SS2.p3.5.m5.1.1.1" xref="S5.SS2.p3.5.m5.1.1.1.cmml">≳</mo><msub id="S5.SS2.p3.5.m5.1.1.3" xref="S5.SS2.p3.5.m5.1.1.3.cmml"><mi id="S5.SS2.p3.5.m5.1.1.3.2" xref="S5.SS2.p3.5.m5.1.1.3.2.cmml">T</mi><mn id="S5.SS2.p3.5.m5.1.1.3.3" xref="S5.SS2.p3.5.m5.1.1.3.3.cmml">0</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.5.m5.1b"><apply id="S5.SS2.p3.5.m5.1.1.cmml" xref="S5.SS2.p3.5.m5.1.1"><csymbol cd="latexml" id="S5.SS2.p3.5.m5.1.1.1.cmml" xref="S5.SS2.p3.5.m5.1.1.1">greater-than-or-equivalent-to</csymbol><ci id="S5.SS2.p3.5.m5.1.1.2.cmml" xref="S5.SS2.p3.5.m5.1.1.2">𝑇</ci><apply id="S5.SS2.p3.5.m5.1.1.3.cmml" xref="S5.SS2.p3.5.m5.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.5.m5.1.1.3.1.cmml" xref="S5.SS2.p3.5.m5.1.1.3">subscript</csymbol><ci id="S5.SS2.p3.5.m5.1.1.3.2.cmml" xref="S5.SS2.p3.5.m5.1.1.3.2">𝑇</ci><cn id="S5.SS2.p3.5.m5.1.1.3.3.cmml" type="integer" xref="S5.SS2.p3.5.m5.1.1.3.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.5.m5.1c">T\gtrsim T_{0}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.5.m5.1d">italic_T ≳ italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>), the above result represents a crossover from the fast rate <math alttext="E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-2\beta\underline{r}}" class="ltx_Math" display="inline" id="S5.SS2.p3.6.m6.1"><semantics id="S5.SS2.p3.6.m6.1a"><mrow id="S5.SS2.p3.6.m6.1.1" xref="S5.SS2.p3.6.m6.1.1.cmml"><mrow id="S5.SS2.p3.6.m6.1.1.1" xref="S5.SS2.p3.6.m6.1.1.1.cmml"><msub id="S5.SS2.p3.6.m6.1.1.1.3" xref="S5.SS2.p3.6.m6.1.1.1.3.cmml"><mi id="S5.SS2.p3.6.m6.1.1.1.3.2" xref="S5.SS2.p3.6.m6.1.1.1.3.2.cmml">E</mi><mrow id="S5.SS2.p3.6.m6.1.1.1.3.3" xref="S5.SS2.p3.6.m6.1.1.1.3.3.cmml"><mi id="S5.SS2.p3.6.m6.1.1.1.3.3.2" xref="S5.SS2.p3.6.m6.1.1.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p3.6.m6.1.1.1.3.3.1" xref="S5.SS2.p3.6.m6.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.3.3.3" xref="S5.SS2.p3.6.m6.1.1.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p3.6.m6.1.1.1.3.3.1a" xref="S5.SS2.p3.6.m6.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.3.3.4" xref="S5.SS2.p3.6.m6.1.1.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p3.6.m6.1.1.1.3.3.1b" xref="S5.SS2.p3.6.m6.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.3.3.5" xref="S5.SS2.p3.6.m6.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p3.6.m6.1.1.1.2" xref="S5.SS2.p3.6.m6.1.1.1.2.cmml">⁢</mo><mrow id="S5.SS2.p3.6.m6.1.1.1.1.1" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p3.6.m6.1.1.1.1.1.1" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.2" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.1" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.3" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.cmml"><mi id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.2" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.3" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1a" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.4" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1b" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.5" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p3.6.m6.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.SS2.p3.6.m6.1.1.2" xref="S5.SS2.p3.6.m6.1.1.2.cmml">≍</mo><msup id="S5.SS2.p3.6.m6.1.1.3" xref="S5.SS2.p3.6.m6.1.1.3.cmml"><mi id="S5.SS2.p3.6.m6.1.1.3.2" xref="S5.SS2.p3.6.m6.1.1.3.2.cmml">T</mi><mrow id="S5.SS2.p3.6.m6.1.1.3.3" xref="S5.SS2.p3.6.m6.1.1.3.3.cmml"><mo id="S5.SS2.p3.6.m6.1.1.3.3a" xref="S5.SS2.p3.6.m6.1.1.3.3.cmml">−</mo><mrow id="S5.SS2.p3.6.m6.1.1.3.3.2" xref="S5.SS2.p3.6.m6.1.1.3.3.2.cmml"><mn id="S5.SS2.p3.6.m6.1.1.3.3.2.2" xref="S5.SS2.p3.6.m6.1.1.3.3.2.2.cmml">2</mn><mo id="S5.SS2.p3.6.m6.1.1.3.3.2.1" xref="S5.SS2.p3.6.m6.1.1.3.3.2.1.cmml">⁢</mo><mi id="S5.SS2.p3.6.m6.1.1.3.3.2.3" xref="S5.SS2.p3.6.m6.1.1.3.3.2.3.cmml">β</mi><mo id="S5.SS2.p3.6.m6.1.1.3.3.2.1a" xref="S5.SS2.p3.6.m6.1.1.3.3.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p3.6.m6.1.1.3.3.2.4" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4.cmml"><mi id="S5.SS2.p3.6.m6.1.1.3.3.2.4.2" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4.2.cmml">r</mi><mo id="S5.SS2.p3.6.m6.1.1.3.3.2.4.1" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.6.m6.1b"><apply id="S5.SS2.p3.6.m6.1.1.cmml" xref="S5.SS2.p3.6.m6.1.1"><csymbol cd="latexml" id="S5.SS2.p3.6.m6.1.1.2.cmml" xref="S5.SS2.p3.6.m6.1.1.2">asymptotically-equals</csymbol><apply id="S5.SS2.p3.6.m6.1.1.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1"><times id="S5.SS2.p3.6.m6.1.1.1.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.2"></times><apply id="S5.SS2.p3.6.m6.1.1.1.3.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.6.m6.1.1.1.3.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3">subscript</csymbol><ci id="S5.SS2.p3.6.m6.1.1.1.3.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.2">𝐸</ci><apply id="S5.SS2.p3.6.m6.1.1.1.3.3.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3"><times id="S5.SS2.p3.6.m6.1.1.1.3.3.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3.1"></times><ci id="S5.SS2.p3.6.m6.1.1.1.3.3.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3.2">𝑡</ci><ci id="S5.SS2.p3.6.m6.1.1.1.3.3.3.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3.3">𝑒</ci><ci id="S5.SS2.p3.6.m6.1.1.1.3.3.4.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3.4">𝑠</ci><ci id="S5.SS2.p3.6.m6.1.1.1.3.3.5.cmml" xref="S5.SS2.p3.6.m6.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p3.6.m6.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.6.m6.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1">superscript</csymbol><apply id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1">subscript</csymbol><apply id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2"><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.3.cmml" type="integer" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.2.3">0</cn></apply><apply id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3"><times id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.1"></times><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.4.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.5.cmml" xref="S5.SS2.p3.6.m6.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.SS2.p3.6.m6.1.1.3.cmml" xref="S5.SS2.p3.6.m6.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.6.m6.1.1.3.1.cmml" xref="S5.SS2.p3.6.m6.1.1.3">superscript</csymbol><ci id="S5.SS2.p3.6.m6.1.1.3.2.cmml" xref="S5.SS2.p3.6.m6.1.1.3.2">𝑇</ci><apply id="S5.SS2.p3.6.m6.1.1.3.3.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3"><minus id="S5.SS2.p3.6.m6.1.1.3.3.1.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3"></minus><apply id="S5.SS2.p3.6.m6.1.1.3.3.2.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2"><times id="S5.SS2.p3.6.m6.1.1.3.3.2.1.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2.1"></times><cn id="S5.SS2.p3.6.m6.1.1.3.3.2.2.cmml" type="integer" xref="S5.SS2.p3.6.m6.1.1.3.3.2.2">2</cn><ci id="S5.SS2.p3.6.m6.1.1.3.3.2.3.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2.3">𝛽</ci><apply id="S5.SS2.p3.6.m6.1.1.3.3.2.4.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4"><ci id="S5.SS2.p3.6.m6.1.1.3.3.2.4.1.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4.1">¯</ci><ci id="S5.SS2.p3.6.m6.1.1.3.3.2.4.2.cmml" xref="S5.SS2.p3.6.m6.1.1.3.3.2.4.2">𝑟</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.6.m6.1c">E_{test}(\widehat{w}_{0}^{pred})\asymp T^{-2\beta\underline{r}}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.6.m6.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - 2 italic_β under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT</annotation></semantics></math> in the case of training on clean data <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, to a much slower rate <math alttext="E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(b-a)c}" class="ltx_Math" display="inline" id="S5.SS2.p3.7.m7.2"><semantics id="S5.SS2.p3.7.m7.2a"><mrow id="S5.SS2.p3.7.m7.2.2" xref="S5.SS2.p3.7.m7.2.2.cmml"><mrow id="S5.SS2.p3.7.m7.2.2.1" xref="S5.SS2.p3.7.m7.2.2.1.cmml"><msub id="S5.SS2.p3.7.m7.2.2.1.3" xref="S5.SS2.p3.7.m7.2.2.1.3.cmml"><mi id="S5.SS2.p3.7.m7.2.2.1.3.2" xref="S5.SS2.p3.7.m7.2.2.1.3.2.cmml">E</mi><mrow id="S5.SS2.p3.7.m7.2.2.1.3.3" xref="S5.SS2.p3.7.m7.2.2.1.3.3.cmml"><mi id="S5.SS2.p3.7.m7.2.2.1.3.3.2" xref="S5.SS2.p3.7.m7.2.2.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p3.7.m7.2.2.1.3.3.1" xref="S5.SS2.p3.7.m7.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.3.3.3" xref="S5.SS2.p3.7.m7.2.2.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p3.7.m7.2.2.1.3.3.1a" xref="S5.SS2.p3.7.m7.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.3.3.4" xref="S5.SS2.p3.7.m7.2.2.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p3.7.m7.2.2.1.3.3.1b" xref="S5.SS2.p3.7.m7.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.3.3.5" xref="S5.SS2.p3.7.m7.2.2.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p3.7.m7.2.2.1.2" xref="S5.SS2.p3.7.m7.2.2.1.2.cmml">⁢</mo><mrow id="S5.SS2.p3.7.m7.2.2.1.1.1" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.cmml"><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.2" stretchy="false" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p3.7.m7.2.2.1.1.1.1" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.2" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.1" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.3" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.cmml"><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.2" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.3" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1a" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.4" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1b" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.5" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p3.7.m7.2.2.1.1.1.3" stretchy="false" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.SS2.p3.7.m7.2.2.2" xref="S5.SS2.p3.7.m7.2.2.2.cmml">≍</mo><msup id="S5.SS2.p3.7.m7.2.2.3" xref="S5.SS2.p3.7.m7.2.2.3.cmml"><mi id="S5.SS2.p3.7.m7.2.2.3.2" xref="S5.SS2.p3.7.m7.2.2.3.2.cmml">T</mi><mrow id="S5.SS2.p3.7.m7.1.1.1" xref="S5.SS2.p3.7.m7.1.1.1.cmml"><mo id="S5.SS2.p3.7.m7.1.1.1a" xref="S5.SS2.p3.7.m7.1.1.1.cmml">−</mo><mrow id="S5.SS2.p3.7.m7.1.1.1.1" xref="S5.SS2.p3.7.m7.1.1.1.1.cmml"><mrow id="S5.SS2.p3.7.m7.1.1.1.1.1.1" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p3.7.m7.1.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml"><mi id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.2" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.1" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.3" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.3.cmml">a</mi></mrow><mo id="S5.SS2.p3.7.m7.1.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="S5.SS2.p3.7.m7.1.1.1.1.2" xref="S5.SS2.p3.7.m7.1.1.1.1.2.cmml">⁢</mo><mi id="S5.SS2.p3.7.m7.1.1.1.1.3" xref="S5.SS2.p3.7.m7.1.1.1.1.3.cmml">c</mi></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.7.m7.2b"><apply id="S5.SS2.p3.7.m7.2.2.cmml" xref="S5.SS2.p3.7.m7.2.2"><csymbol cd="latexml" id="S5.SS2.p3.7.m7.2.2.2.cmml" xref="S5.SS2.p3.7.m7.2.2.2">asymptotically-equals</csymbol><apply id="S5.SS2.p3.7.m7.2.2.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1"><times id="S5.SS2.p3.7.m7.2.2.1.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.2"></times><apply id="S5.SS2.p3.7.m7.2.2.1.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.7.m7.2.2.1.3.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3">subscript</csymbol><ci id="S5.SS2.p3.7.m7.2.2.1.3.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.2">𝐸</ci><apply id="S5.SS2.p3.7.m7.2.2.1.3.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3"><times id="S5.SS2.p3.7.m7.2.2.1.3.3.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3.1"></times><ci id="S5.SS2.p3.7.m7.2.2.1.3.3.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3.2">𝑡</ci><ci id="S5.SS2.p3.7.m7.2.2.1.3.3.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3.3">𝑒</ci><ci id="S5.SS2.p3.7.m7.2.2.1.3.3.4.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3.4">𝑠</ci><ci id="S5.SS2.p3.7.m7.2.2.1.3.3.5.cmml" xref="S5.SS2.p3.7.m7.2.2.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p3.7.m7.2.2.1.1.1.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.7.m7.2.2.1.1.1.1.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1">superscript</csymbol><apply id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1">subscript</csymbol><apply id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2"><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3"><times id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.1"></times><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.2.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.3.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.4.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.5.cmml" xref="S5.SS2.p3.7.m7.2.2.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.SS2.p3.7.m7.2.2.3.cmml" xref="S5.SS2.p3.7.m7.2.2.3"><csymbol cd="ambiguous" id="S5.SS2.p3.7.m7.2.2.3.1.cmml" xref="S5.SS2.p3.7.m7.2.2.3">superscript</csymbol><ci id="S5.SS2.p3.7.m7.2.2.3.2.cmml" xref="S5.SS2.p3.7.m7.2.2.3.2">𝑇</ci><apply id="S5.SS2.p3.7.m7.1.1.1.cmml" xref="S5.SS2.p3.7.m7.1.1.1"><minus id="S5.SS2.p3.7.m7.1.1.1.2.cmml" xref="S5.SS2.p3.7.m7.1.1.1"></minus><apply id="S5.SS2.p3.7.m7.1.1.1.1.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1"><times id="S5.SS2.p3.7.m7.1.1.1.1.2.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.2"></times><apply id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1"><minus id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.1"></minus><ci id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.2">𝑏</ci><ci id="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.1.1.1.3">𝑎</ci></apply><ci id="S5.SS2.p3.7.m7.1.1.1.1.3.cmml" xref="S5.SS2.p3.7.m7.1.1.1.1.3">𝑐</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.7.m7.2c">E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(b-a)c}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.7.m7.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - ( italic_b - italic_a ) italic_c end_POSTSUPERSCRIPT</annotation></semantics></math>, attained by the adaptive regularization <math alttext="\lambda\asymp T^{-\ell_{\star}}" class="ltx_Math" display="inline" id="S5.SS2.p3.8.m8.1"><semantics id="S5.SS2.p3.8.m8.1a"><mrow id="S5.SS2.p3.8.m8.1.1" xref="S5.SS2.p3.8.m8.1.1.cmml"><mi id="S5.SS2.p3.8.m8.1.1.2" xref="S5.SS2.p3.8.m8.1.1.2.cmml">λ</mi><mo id="S5.SS2.p3.8.m8.1.1.1" xref="S5.SS2.p3.8.m8.1.1.1.cmml">≍</mo><msup id="S5.SS2.p3.8.m8.1.1.3" xref="S5.SS2.p3.8.m8.1.1.3.cmml"><mi id="S5.SS2.p3.8.m8.1.1.3.2" xref="S5.SS2.p3.8.m8.1.1.3.2.cmml">T</mi><mrow id="S5.SS2.p3.8.m8.1.1.3.3" xref="S5.SS2.p3.8.m8.1.1.3.3.cmml"><mo id="S5.SS2.p3.8.m8.1.1.3.3a" xref="S5.SS2.p3.8.m8.1.1.3.3.cmml">−</mo><msub id="S5.SS2.p3.8.m8.1.1.3.3.2" xref="S5.SS2.p3.8.m8.1.1.3.3.2.cmml"><mi id="S5.SS2.p3.8.m8.1.1.3.3.2.2" mathvariant="normal" xref="S5.SS2.p3.8.m8.1.1.3.3.2.2.cmml">ℓ</mi><mo id="S5.SS2.p3.8.m8.1.1.3.3.2.3" xref="S5.SS2.p3.8.m8.1.1.3.3.2.3.cmml">⋆</mo></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.8.m8.1b"><apply id="S5.SS2.p3.8.m8.1.1.cmml" xref="S5.SS2.p3.8.m8.1.1"><csymbol cd="latexml" id="S5.SS2.p3.8.m8.1.1.1.cmml" xref="S5.SS2.p3.8.m8.1.1.1">asymptotically-equals</csymbol><ci id="S5.SS2.p3.8.m8.1.1.2.cmml" xref="S5.SS2.p3.8.m8.1.1.2">𝜆</ci><apply id="S5.SS2.p3.8.m8.1.1.3.cmml" xref="S5.SS2.p3.8.m8.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.8.m8.1.1.3.1.cmml" xref="S5.SS2.p3.8.m8.1.1.3">superscript</csymbol><ci id="S5.SS2.p3.8.m8.1.1.3.2.cmml" xref="S5.SS2.p3.8.m8.1.1.3.2">𝑇</ci><apply id="S5.SS2.p3.8.m8.1.1.3.3.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3"><minus id="S5.SS2.p3.8.m8.1.1.3.3.1.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3"></minus><apply id="S5.SS2.p3.8.m8.1.1.3.3.2.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3.2"><csymbol cd="ambiguous" id="S5.SS2.p3.8.m8.1.1.3.3.2.1.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3.2">subscript</csymbol><ci id="S5.SS2.p3.8.m8.1.1.3.3.2.2.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3.2.2">ℓ</ci><ci id="S5.SS2.p3.8.m8.1.1.3.3.2.3.cmml" xref="S5.SS2.p3.8.m8.1.1.3.3.2.3">⋆</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.8.m8.1c">\lambda\asymp T^{-\ell_{\star}}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.8.m8.1d">italic_λ ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT end_POSTSUPERSCRIPT</annotation></semantics></math>, which is optimal in this setting. Furthermore, in this setting if we still use <math alttext="\lambda\asymp T^{-\ell_{crit}}" class="ltx_Math" display="inline" id="S5.SS2.p3.9.m9.1"><semantics id="S5.SS2.p3.9.m9.1a"><mrow id="S5.SS2.p3.9.m9.1.1" xref="S5.SS2.p3.9.m9.1.1.cmml"><mi id="S5.SS2.p3.9.m9.1.1.2" xref="S5.SS2.p3.9.m9.1.1.2.cmml">λ</mi><mo id="S5.SS2.p3.9.m9.1.1.1" xref="S5.SS2.p3.9.m9.1.1.1.cmml">≍</mo><msup id="S5.SS2.p3.9.m9.1.1.3" xref="S5.SS2.p3.9.m9.1.1.3.cmml"><mi id="S5.SS2.p3.9.m9.1.1.3.2" xref="S5.SS2.p3.9.m9.1.1.3.2.cmml">T</mi><mrow id="S5.SS2.p3.9.m9.1.1.3.3" xref="S5.SS2.p3.9.m9.1.1.3.3.cmml"><mo id="S5.SS2.p3.9.m9.1.1.3.3a" xref="S5.SS2.p3.9.m9.1.1.3.3.cmml">−</mo><msub id="S5.SS2.p3.9.m9.1.1.3.3.2" xref="S5.SS2.p3.9.m9.1.1.3.3.2.cmml"><mi id="S5.SS2.p3.9.m9.1.1.3.3.2.2" mathvariant="normal" xref="S5.SS2.p3.9.m9.1.1.3.3.2.2.cmml">ℓ</mi><mrow id="S5.SS2.p3.9.m9.1.1.3.3.2.3" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.cmml"><mi id="S5.SS2.p3.9.m9.1.1.3.3.2.3.2" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.2.cmml">c</mi><mo id="S5.SS2.p3.9.m9.1.1.3.3.2.3.1" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.9.m9.1.1.3.3.2.3.3" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.3.cmml">r</mi><mo id="S5.SS2.p3.9.m9.1.1.3.3.2.3.1a" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.9.m9.1.1.3.3.2.3.4" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.4.cmml">i</mi><mo id="S5.SS2.p3.9.m9.1.1.3.3.2.3.1b" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.9.m9.1.1.3.3.2.3.5" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.5.cmml">t</mi></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.9.m9.1b"><apply id="S5.SS2.p3.9.m9.1.1.cmml" xref="S5.SS2.p3.9.m9.1.1"><csymbol cd="latexml" id="S5.SS2.p3.9.m9.1.1.1.cmml" xref="S5.SS2.p3.9.m9.1.1.1">asymptotically-equals</csymbol><ci id="S5.SS2.p3.9.m9.1.1.2.cmml" xref="S5.SS2.p3.9.m9.1.1.2">𝜆</ci><apply id="S5.SS2.p3.9.m9.1.1.3.cmml" xref="S5.SS2.p3.9.m9.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.9.m9.1.1.3.1.cmml" xref="S5.SS2.p3.9.m9.1.1.3">superscript</csymbol><ci id="S5.SS2.p3.9.m9.1.1.3.2.cmml" xref="S5.SS2.p3.9.m9.1.1.3.2">𝑇</ci><apply id="S5.SS2.p3.9.m9.1.1.3.3.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3"><minus id="S5.SS2.p3.9.m9.1.1.3.3.1.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3"></minus><apply id="S5.SS2.p3.9.m9.1.1.3.3.2.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2"><csymbol cd="ambiguous" id="S5.SS2.p3.9.m9.1.1.3.3.2.1.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2">subscript</csymbol><ci id="S5.SS2.p3.9.m9.1.1.3.3.2.2.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.2">ℓ</ci><apply id="S5.SS2.p3.9.m9.1.1.3.3.2.3.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3"><times id="S5.SS2.p3.9.m9.1.1.3.3.2.3.1.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.1"></times><ci id="S5.SS2.p3.9.m9.1.1.3.3.2.3.2.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.2">𝑐</ci><ci id="S5.SS2.p3.9.m9.1.1.3.3.2.3.3.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.3">𝑟</ci><ci id="S5.SS2.p3.9.m9.1.1.3.3.2.3.4.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.4">𝑖</ci><ci id="S5.SS2.p3.9.m9.1.1.3.3.2.3.5.cmml" xref="S5.SS2.p3.9.m9.1.1.3.3.2.3.5">𝑡</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.9.m9.1c">\lambda\asymp T^{-\ell_{crit}}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.9.m9.1d">italic_λ ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT end_POSTSUPERSCRIPT</annotation></semantics></math> as proposed in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> in the clean data setting, Corollary <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Ex1" title="Corollary 5.3. ‣ 5.2 Optimal Regularization for Mitigating Collapse ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.3</span></a> predicts that <math alttext="E_{test}(\widehat{w}_{n}^{pred})\gtrsim T^{-(b-\ell_{crit}/\beta-a)}=T^{-(c+b-% a-1)}," class="ltx_Math" display="inline" id="S5.SS2.p3.10.m10.3"><semantics id="S5.SS2.p3.10.m10.3a"><mrow id="S5.SS2.p3.10.m10.3.3.1" xref="S5.SS2.p3.10.m10.3.3.1.1.cmml"><mrow id="S5.SS2.p3.10.m10.3.3.1.1" xref="S5.SS2.p3.10.m10.3.3.1.1.cmml"><mrow id="S5.SS2.p3.10.m10.3.3.1.1.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.cmml"><msub id="S5.SS2.p3.10.m10.3.3.1.1.1.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.3.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.2.cmml">E</mi><mrow id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1a" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.4" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1b" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.5" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.2.cmml">⁢</mo><mrow id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.2" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.3" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1a" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.4" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1b" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.5" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.SS2.p3.10.m10.3.3.1.1.3" xref="S5.SS2.p3.10.m10.3.3.1.1.3.cmml">≳</mo><msup id="S5.SS2.p3.10.m10.3.3.1.1.4" xref="S5.SS2.p3.10.m10.3.3.1.1.4.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.4.2" xref="S5.SS2.p3.10.m10.3.3.1.1.4.2.cmml">T</mi><mrow id="S5.SS2.p3.10.m10.1.1.1" xref="S5.SS2.p3.10.m10.1.1.1.cmml"><mo id="S5.SS2.p3.10.m10.1.1.1a" xref="S5.SS2.p3.10.m10.1.1.1.cmml">−</mo><mrow id="S5.SS2.p3.10.m10.1.1.1.1.1" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p3.10.m10.1.1.1.1.1.1" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.cmml"><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.2" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.1" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.cmml"><msub id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.cmml"><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.2" mathvariant="normal" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.2.cmml">ℓ</mi><mrow id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.cmml"><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.2" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.2.cmml">c</mi><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.3" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.3.cmml">r</mi><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1a" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.4" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.4.cmml">i</mi><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1b" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.5" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.1" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.1.cmml">/</mo><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.3" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.3.cmml">β</mi></mrow><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.1.1a" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p3.10.m10.1.1.1.1.1.1.4" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.4.cmml">a</mi></mrow><mo id="S5.SS2.p3.10.m10.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup><mo id="S5.SS2.p3.10.m10.3.3.1.1.5" xref="S5.SS2.p3.10.m10.3.3.1.1.5.cmml">=</mo><msup id="S5.SS2.p3.10.m10.3.3.1.1.6" xref="S5.SS2.p3.10.m10.3.3.1.1.6.cmml"><mi id="S5.SS2.p3.10.m10.3.3.1.1.6.2" xref="S5.SS2.p3.10.m10.3.3.1.1.6.2.cmml">T</mi><mrow id="S5.SS2.p3.10.m10.2.2.1" xref="S5.SS2.p3.10.m10.2.2.1.cmml"><mo id="S5.SS2.p3.10.m10.2.2.1a" xref="S5.SS2.p3.10.m10.2.2.1.cmml">−</mo><mrow id="S5.SS2.p3.10.m10.2.2.1.1.1" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.cmml"><mo id="S5.SS2.p3.10.m10.2.2.1.1.1.2" stretchy="false" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p3.10.m10.2.2.1.1.1.1" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.cmml"><mrow id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.cmml"><mi id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.2" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.2.cmml">c</mi><mo id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.1" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.1.cmml">+</mo><mi id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.3" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.3.cmml">b</mi></mrow><mo id="S5.SS2.p3.10.m10.2.2.1.1.1.1.1" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p3.10.m10.2.2.1.1.1.1.3" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.3.cmml">a</mi><mo id="S5.SS2.p3.10.m10.2.2.1.1.1.1.1a" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.1.cmml">−</mo><mn id="S5.SS2.p3.10.m10.2.2.1.1.1.1.4" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.4.cmml">1</mn></mrow><mo id="S5.SS2.p3.10.m10.2.2.1.1.1.3" stretchy="false" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="S5.SS2.p3.10.m10.3.3.1.2" xref="S5.SS2.p3.10.m10.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.10.m10.3b"><apply id="S5.SS2.p3.10.m10.3.3.1.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1"><and id="S5.SS2.p3.10.m10.3.3.1.1a.cmml" xref="S5.SS2.p3.10.m10.3.3.1"></and><apply id="S5.SS2.p3.10.m10.3.3.1.1b.cmml" xref="S5.SS2.p3.10.m10.3.3.1"><csymbol cd="latexml" id="S5.SS2.p3.10.m10.3.3.1.1.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.3">greater-than-or-equivalent-to</csymbol><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1"><times id="S5.SS2.p3.10.m10.3.3.1.1.1.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.2"></times><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.3.3.1.1.1.3.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3">subscript</csymbol><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.3.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.2">𝐸</ci><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3"><times id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.1"></times><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.2">𝑡</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.3">𝑒</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.4.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.4">𝑠</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.5.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1">superscript</csymbol><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1">subscript</csymbol><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2"><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3"><times id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.1"></times><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.4.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.5.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.SS2.p3.10.m10.3.3.1.1.4.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.4"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.3.3.1.1.4.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.4">superscript</csymbol><ci id="S5.SS2.p3.10.m10.3.3.1.1.4.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.4.2">𝑇</ci><apply id="S5.SS2.p3.10.m10.1.1.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1"><minus id="S5.SS2.p3.10.m10.1.1.1.2.cmml" xref="S5.SS2.p3.10.m10.1.1.1"></minus><apply id="S5.SS2.p3.10.m10.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1"><minus id="S5.SS2.p3.10.m10.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.1"></minus><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.2">𝑏</ci><apply id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3"><divide id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.1"></divide><apply id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.2.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.2">ℓ</ci><apply id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3"><times id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.1"></times><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.2.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.2">𝑐</ci><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.3.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.3">𝑟</ci><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.4.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.4">𝑖</ci><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.5.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.2.3.5">𝑡</ci></apply></apply><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.3.3">𝛽</ci></apply><ci id="S5.SS2.p3.10.m10.1.1.1.1.1.1.4.cmml" xref="S5.SS2.p3.10.m10.1.1.1.1.1.1.4">𝑎</ci></apply></apply></apply></apply><apply id="S5.SS2.p3.10.m10.3.3.1.1c.cmml" xref="S5.SS2.p3.10.m10.3.3.1"><eq id="S5.SS2.p3.10.m10.3.3.1.1.5.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.5"></eq><share href="#S5.SS2.p3.10.m10.3.3.1.1.4.cmml" id="S5.SS2.p3.10.m10.3.3.1.1d.cmml" xref="S5.SS2.p3.10.m10.3.3.1"></share><apply id="S5.SS2.p3.10.m10.3.3.1.1.6.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.6"><csymbol cd="ambiguous" id="S5.SS2.p3.10.m10.3.3.1.1.6.1.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.6">superscript</csymbol><ci id="S5.SS2.p3.10.m10.3.3.1.1.6.2.cmml" xref="S5.SS2.p3.10.m10.3.3.1.1.6.2">𝑇</ci><apply id="S5.SS2.p3.10.m10.2.2.1.cmml" xref="S5.SS2.p3.10.m10.2.2.1"><minus id="S5.SS2.p3.10.m10.2.2.1.2.cmml" xref="S5.SS2.p3.10.m10.2.2.1"></minus><apply id="S5.SS2.p3.10.m10.2.2.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1"><minus id="S5.SS2.p3.10.m10.2.2.1.1.1.1.1.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.1"></minus><apply id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2"><plus id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.1.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.1"></plus><ci id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.2.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.2">𝑐</ci><ci id="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.3.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.2.3">𝑏</ci></apply><ci id="S5.SS2.p3.10.m10.2.2.1.1.1.1.3.cmml" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.3">𝑎</ci><cn id="S5.SS2.p3.10.m10.2.2.1.1.1.1.4.cmml" type="integer" xref="S5.SS2.p3.10.m10.2.2.1.1.1.1.4">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.10.m10.3c">E_{test}(\widehat{w}_{n}^{pred})\gtrsim T^{-(b-\ell_{crit}/\beta-a)}=T^{-(c+b-% a-1)},</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.10.m10.3d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≳ italic_T start_POSTSUPERSCRIPT - ( italic_b - roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT / italic_β - italic_a ) end_POSTSUPERSCRIPT = italic_T start_POSTSUPERSCRIPT - ( italic_c + italic_b - italic_a - 1 ) end_POSTSUPERSCRIPT ,</annotation></semantics></math> which diverges to infinity if <math alttext="b\geq a+1-c" class="ltx_Math" display="inline" id="S5.SS2.p3.11.m11.1"><semantics id="S5.SS2.p3.11.m11.1a"><mrow id="S5.SS2.p3.11.m11.1.1" xref="S5.SS2.p3.11.m11.1.1.cmml"><mi id="S5.SS2.p3.11.m11.1.1.2" xref="S5.SS2.p3.11.m11.1.1.2.cmml">b</mi><mo id="S5.SS2.p3.11.m11.1.1.1" xref="S5.SS2.p3.11.m11.1.1.1.cmml">≥</mo><mrow id="S5.SS2.p3.11.m11.1.1.3" xref="S5.SS2.p3.11.m11.1.1.3.cmml"><mrow id="S5.SS2.p3.11.m11.1.1.3.2" xref="S5.SS2.p3.11.m11.1.1.3.2.cmml"><mi id="S5.SS2.p3.11.m11.1.1.3.2.2" xref="S5.SS2.p3.11.m11.1.1.3.2.2.cmml">a</mi><mo id="S5.SS2.p3.11.m11.1.1.3.2.1" xref="S5.SS2.p3.11.m11.1.1.3.2.1.cmml">+</mo><mn id="S5.SS2.p3.11.m11.1.1.3.2.3" xref="S5.SS2.p3.11.m11.1.1.3.2.3.cmml">1</mn></mrow><mo id="S5.SS2.p3.11.m11.1.1.3.1" xref="S5.SS2.p3.11.m11.1.1.3.1.cmml">−</mo><mi id="S5.SS2.p3.11.m11.1.1.3.3" xref="S5.SS2.p3.11.m11.1.1.3.3.cmml">c</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.11.m11.1b"><apply id="S5.SS2.p3.11.m11.1.1.cmml" xref="S5.SS2.p3.11.m11.1.1"><geq id="S5.SS2.p3.11.m11.1.1.1.cmml" xref="S5.SS2.p3.11.m11.1.1.1"></geq><ci id="S5.SS2.p3.11.m11.1.1.2.cmml" xref="S5.SS2.p3.11.m11.1.1.2">𝑏</ci><apply id="S5.SS2.p3.11.m11.1.1.3.cmml" xref="S5.SS2.p3.11.m11.1.1.3"><minus id="S5.SS2.p3.11.m11.1.1.3.1.cmml" xref="S5.SS2.p3.11.m11.1.1.3.1"></minus><apply id="S5.SS2.p3.11.m11.1.1.3.2.cmml" xref="S5.SS2.p3.11.m11.1.1.3.2"><plus id="S5.SS2.p3.11.m11.1.1.3.2.1.cmml" xref="S5.SS2.p3.11.m11.1.1.3.2.1"></plus><ci id="S5.SS2.p3.11.m11.1.1.3.2.2.cmml" xref="S5.SS2.p3.11.m11.1.1.3.2.2">𝑎</ci><cn id="S5.SS2.p3.11.m11.1.1.3.2.3.cmml" type="integer" xref="S5.SS2.p3.11.m11.1.1.3.2.3">1</cn></apply><ci id="S5.SS2.p3.11.m11.1.1.3.3.cmml" xref="S5.SS2.p3.11.m11.1.1.3.3">𝑐</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.11.m11.1c">b\geq a+1-c</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p3.11.m11.1d">italic_b ≥ italic_a + 1 - italic_c</annotation></semantics></math>. This is a catastrophic form of model collapse, and is empirically illustrated in Figures <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F2" title="Figure 2 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a> and <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F3" title="Figure 3 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">3</span></a>. </p> </div> <div class="ltx_para" id="S5.SS2.p4"> <p class="ltx_p" id="S5.SS2.p4.9"><span class="ltx_text ltx_font_bold" id="S5.SS2.p4.9.1">Noisy Regime.</span> Now fix <math alttext="\sigma^{2}\neq 0" class="ltx_Math" display="inline" id="S5.SS2.p4.1.m1.1"><semantics id="S5.SS2.p4.1.m1.1a"><mrow id="S5.SS2.p4.1.m1.1.1" xref="S5.SS2.p4.1.m1.1.1.cmml"><msup id="S5.SS2.p4.1.m1.1.1.2" xref="S5.SS2.p4.1.m1.1.1.2.cmml"><mi id="S5.SS2.p4.1.m1.1.1.2.2" xref="S5.SS2.p4.1.m1.1.1.2.2.cmml">σ</mi><mn id="S5.SS2.p4.1.m1.1.1.2.3" xref="S5.SS2.p4.1.m1.1.1.2.3.cmml">2</mn></msup><mo id="S5.SS2.p4.1.m1.1.1.1" xref="S5.SS2.p4.1.m1.1.1.1.cmml">≠</mo><mn id="S5.SS2.p4.1.m1.1.1.3" xref="S5.SS2.p4.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.1.m1.1b"><apply id="S5.SS2.p4.1.m1.1.1.cmml" xref="S5.SS2.p4.1.m1.1.1"><neq id="S5.SS2.p4.1.m1.1.1.1.cmml" xref="S5.SS2.p4.1.m1.1.1.1"></neq><apply id="S5.SS2.p4.1.m1.1.1.2.cmml" xref="S5.SS2.p4.1.m1.1.1.2"><csymbol cd="ambiguous" id="S5.SS2.p4.1.m1.1.1.2.1.cmml" xref="S5.SS2.p4.1.m1.1.1.2">superscript</csymbol><ci id="S5.SS2.p4.1.m1.1.1.2.2.cmml" xref="S5.SS2.p4.1.m1.1.1.2.2">𝜎</ci><cn id="S5.SS2.p4.1.m1.1.1.2.3.cmml" type="integer" xref="S5.SS2.p4.1.m1.1.1.2.3">2</cn></apply><cn id="S5.SS2.p4.1.m1.1.1.3.cmml" type="integer" xref="S5.SS2.p4.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.1.m1.1c">\sigma^{2}\neq 0</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.1.m1.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ≠ 0</annotation></semantics></math> and <math alttext="\phi_{0}\in(0,1)" class="ltx_Math" display="inline" id="S5.SS2.p4.2.m2.2"><semantics id="S5.SS2.p4.2.m2.2a"><mrow id="S5.SS2.p4.2.m2.2.3" xref="S5.SS2.p4.2.m2.2.3.cmml"><msub id="S5.SS2.p4.2.m2.2.3.2" xref="S5.SS2.p4.2.m2.2.3.2.cmml"><mi id="S5.SS2.p4.2.m2.2.3.2.2" xref="S5.SS2.p4.2.m2.2.3.2.2.cmml">ϕ</mi><mn id="S5.SS2.p4.2.m2.2.3.2.3" xref="S5.SS2.p4.2.m2.2.3.2.3.cmml">0</mn></msub><mo id="S5.SS2.p4.2.m2.2.3.1" xref="S5.SS2.p4.2.m2.2.3.1.cmml">∈</mo><mrow id="S5.SS2.p4.2.m2.2.3.3.2" xref="S5.SS2.p4.2.m2.2.3.3.1.cmml"><mo id="S5.SS2.p4.2.m2.2.3.3.2.1" stretchy="false" xref="S5.SS2.p4.2.m2.2.3.3.1.cmml">(</mo><mn id="S5.SS2.p4.2.m2.1.1" xref="S5.SS2.p4.2.m2.1.1.cmml">0</mn><mo id="S5.SS2.p4.2.m2.2.3.3.2.2" xref="S5.SS2.p4.2.m2.2.3.3.1.cmml">,</mo><mn id="S5.SS2.p4.2.m2.2.2" xref="S5.SS2.p4.2.m2.2.2.cmml">1</mn><mo id="S5.SS2.p4.2.m2.2.3.3.2.3" stretchy="false" xref="S5.SS2.p4.2.m2.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.2.m2.2b"><apply id="S5.SS2.p4.2.m2.2.3.cmml" xref="S5.SS2.p4.2.m2.2.3"><in id="S5.SS2.p4.2.m2.2.3.1.cmml" xref="S5.SS2.p4.2.m2.2.3.1"></in><apply id="S5.SS2.p4.2.m2.2.3.2.cmml" xref="S5.SS2.p4.2.m2.2.3.2"><csymbol cd="ambiguous" id="S5.SS2.p4.2.m2.2.3.2.1.cmml" xref="S5.SS2.p4.2.m2.2.3.2">subscript</csymbol><ci id="S5.SS2.p4.2.m2.2.3.2.2.cmml" xref="S5.SS2.p4.2.m2.2.3.2.2">italic-ϕ</ci><cn id="S5.SS2.p4.2.m2.2.3.2.3.cmml" type="integer" xref="S5.SS2.p4.2.m2.2.3.2.3">0</cn></apply><interval closure="open" id="S5.SS2.p4.2.m2.2.3.3.1.cmml" xref="S5.SS2.p4.2.m2.2.3.3.2"><cn id="S5.SS2.p4.2.m2.1.1.cmml" type="integer" xref="S5.SS2.p4.2.m2.1.1">0</cn><cn id="S5.SS2.p4.2.m2.2.2.cmml" type="integer" xref="S5.SS2.p4.2.m2.2.2">1</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.2.m2.2c">\phi_{0}\in(0,1)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.2.m2.2d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ ( 0 , 1 )</annotation></semantics></math>. In this regime, Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a> predicts that consistency (i.e <math alttext="E_{test}(\widehat{w}_{n}^{pred})\overset{T\to\infty}{\longrightarrow}0" class="ltx_Math" display="inline" id="S5.SS2.p4.3.m3.1"><semantics id="S5.SS2.p4.3.m3.1a"><mrow id="S5.SS2.p4.3.m3.1.1" xref="S5.SS2.p4.3.m3.1.1.cmml"><msub id="S5.SS2.p4.3.m3.1.1.3" xref="S5.SS2.p4.3.m3.1.1.3.cmml"><mi id="S5.SS2.p4.3.m3.1.1.3.2" xref="S5.SS2.p4.3.m3.1.1.3.2.cmml">E</mi><mrow id="S5.SS2.p4.3.m3.1.1.3.3" xref="S5.SS2.p4.3.m3.1.1.3.3.cmml"><mi id="S5.SS2.p4.3.m3.1.1.3.3.2" xref="S5.SS2.p4.3.m3.1.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p4.3.m3.1.1.3.3.1" xref="S5.SS2.p4.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.3.3.3" xref="S5.SS2.p4.3.m3.1.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p4.3.m3.1.1.3.3.1a" xref="S5.SS2.p4.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.3.3.4" xref="S5.SS2.p4.3.m3.1.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p4.3.m3.1.1.3.3.1b" xref="S5.SS2.p4.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.3.3.5" xref="S5.SS2.p4.3.m3.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p4.3.m3.1.1.2" xref="S5.SS2.p4.3.m3.1.1.2.cmml">⁢</mo><mrow id="S5.SS2.p4.3.m3.1.1.1.1" xref="S5.SS2.p4.3.m3.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.3.m3.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.3.m3.1.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p4.3.m3.1.1.1.1.1" xref="S5.SS2.p4.3.m3.1.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.2" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.1" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.2.3" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.SS2.p4.3.m3.1.1.1.1.1.3" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.cmml"><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.3.2" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p4.3.m3.1.1.1.1.1.3.1" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.3.3" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p4.3.m3.1.1.1.1.1.3.1a" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.3.4" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p4.3.m3.1.1.1.1.1.3.1b" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.3.m3.1.1.1.1.1.3.5" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p4.3.m3.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.3.m3.1.1.1.1.1.cmml">)</mo></mrow><mo id="S5.SS2.p4.3.m3.1.1.2a" xref="S5.SS2.p4.3.m3.1.1.2.cmml">⁢</mo><mover accent="true" id="S5.SS2.p4.3.m3.1.1.4" xref="S5.SS2.p4.3.m3.1.1.4.cmml"><mo id="S5.SS2.p4.3.m3.1.1.4.2" stretchy="false" xref="S5.SS2.p4.3.m3.1.1.4.2.cmml">⟶</mo><mrow id="S5.SS2.p4.3.m3.1.1.4.1" xref="S5.SS2.p4.3.m3.1.1.4.1.cmml"><mi id="S5.SS2.p4.3.m3.1.1.4.1.2" xref="S5.SS2.p4.3.m3.1.1.4.1.2.cmml">T</mi><mo id="S5.SS2.p4.3.m3.1.1.4.1.1" stretchy="false" xref="S5.SS2.p4.3.m3.1.1.4.1.1.cmml">→</mo><mi id="S5.SS2.p4.3.m3.1.1.4.1.3" mathvariant="normal" xref="S5.SS2.p4.3.m3.1.1.4.1.3.cmml">∞</mi></mrow></mover><mo id="S5.SS2.p4.3.m3.1.1.2b" xref="S5.SS2.p4.3.m3.1.1.2.cmml">⁢</mo><mn id="S5.SS2.p4.3.m3.1.1.5" xref="S5.SS2.p4.3.m3.1.1.5.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.3.m3.1b"><apply id="S5.SS2.p4.3.m3.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1"><times id="S5.SS2.p4.3.m3.1.1.2.cmml" xref="S5.SS2.p4.3.m3.1.1.2"></times><apply id="S5.SS2.p4.3.m3.1.1.3.cmml" xref="S5.SS2.p4.3.m3.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p4.3.m3.1.1.3.1.cmml" xref="S5.SS2.p4.3.m3.1.1.3">subscript</csymbol><ci id="S5.SS2.p4.3.m3.1.1.3.2.cmml" xref="S5.SS2.p4.3.m3.1.1.3.2">𝐸</ci><apply id="S5.SS2.p4.3.m3.1.1.3.3.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3"><times id="S5.SS2.p4.3.m3.1.1.3.3.1.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3.1"></times><ci id="S5.SS2.p4.3.m3.1.1.3.3.2.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3.2">𝑡</ci><ci id="S5.SS2.p4.3.m3.1.1.3.3.3.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3.3">𝑒</ci><ci id="S5.SS2.p4.3.m3.1.1.3.3.4.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3.4">𝑠</ci><ci id="S5.SS2.p4.3.m3.1.1.3.3.5.cmml" xref="S5.SS2.p4.3.m3.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p4.3.m3.1.1.1.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.3.m3.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1">superscript</csymbol><apply id="S5.SS2.p4.3.m3.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.3.m3.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1">subscript</csymbol><apply id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2"><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.2.3.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.SS2.p4.3.m3.1.1.1.1.1.3.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3"><times id="S5.SS2.p4.3.m3.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.1"></times><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.3.4.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p4.3.m3.1.1.1.1.1.3.5.cmml" xref="S5.SS2.p4.3.m3.1.1.1.1.1.3.5">𝑑</ci></apply></apply><apply id="S5.SS2.p4.3.m3.1.1.4.cmml" xref="S5.SS2.p4.3.m3.1.1.4"><apply id="S5.SS2.p4.3.m3.1.1.4.1.cmml" xref="S5.SS2.p4.3.m3.1.1.4.1"><ci id="S5.SS2.p4.3.m3.1.1.4.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1.4.1.1">→</ci><ci id="S5.SS2.p4.3.m3.1.1.4.1.2.cmml" xref="S5.SS2.p4.3.m3.1.1.4.1.2">𝑇</ci><infinity id="S5.SS2.p4.3.m3.1.1.4.1.3.cmml" xref="S5.SS2.p4.3.m3.1.1.4.1.3"></infinity></apply><ci id="S5.SS2.p4.3.m3.1.1.4.2.cmml" xref="S5.SS2.p4.3.m3.1.1.4.2">⟶</ci></apply><cn id="S5.SS2.p4.3.m3.1.1.5.cmml" type="integer" xref="S5.SS2.p4.3.m3.1.1.5">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.3.m3.1c">E_{test}(\widehat{w}_{n}^{pred})\overset{T\to\infty}{\longrightarrow}0</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.3.m3.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) start_OVERACCENT italic_T → ∞ end_OVERACCENT start_ARG ⟶ end_ARG 0</annotation></semantics></math>) is only possible if <math alttext="\ell\leq\ell_{\star}" class="ltx_Math" display="inline" id="S5.SS2.p4.4.m4.1"><semantics id="S5.SS2.p4.4.m4.1a"><mrow id="S5.SS2.p4.4.m4.1.1" xref="S5.SS2.p4.4.m4.1.1.cmml"><mi id="S5.SS2.p4.4.m4.1.1.2" mathvariant="normal" xref="S5.SS2.p4.4.m4.1.1.2.cmml">ℓ</mi><mo id="S5.SS2.p4.4.m4.1.1.1" xref="S5.SS2.p4.4.m4.1.1.1.cmml">≤</mo><msub id="S5.SS2.p4.4.m4.1.1.3" xref="S5.SS2.p4.4.m4.1.1.3.cmml"><mi id="S5.SS2.p4.4.m4.1.1.3.2" mathvariant="normal" xref="S5.SS2.p4.4.m4.1.1.3.2.cmml">ℓ</mi><mo id="S5.SS2.p4.4.m4.1.1.3.3" xref="S5.SS2.p4.4.m4.1.1.3.3.cmml">⋆</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.4.m4.1b"><apply id="S5.SS2.p4.4.m4.1.1.cmml" xref="S5.SS2.p4.4.m4.1.1"><leq id="S5.SS2.p4.4.m4.1.1.1.cmml" xref="S5.SS2.p4.4.m4.1.1.1"></leq><ci id="S5.SS2.p4.4.m4.1.1.2.cmml" xref="S5.SS2.p4.4.m4.1.1.2">ℓ</ci><apply id="S5.SS2.p4.4.m4.1.1.3.cmml" xref="S5.SS2.p4.4.m4.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p4.4.m4.1.1.3.1.cmml" xref="S5.SS2.p4.4.m4.1.1.3">subscript</csymbol><ci id="S5.SS2.p4.4.m4.1.1.3.2.cmml" xref="S5.SS2.p4.4.m4.1.1.3.2">ℓ</ci><ci id="S5.SS2.p4.4.m4.1.1.3.3.cmml" xref="S5.SS2.p4.4.m4.1.1.3.3">⋆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.4.m4.1c">\ell\leq\ell_{\star}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.4.m4.1d">roman_ℓ ≤ roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT</annotation></semantics></math>. First consider values of <math alttext="\ell" class="ltx_Math" display="inline" id="S5.SS2.p4.5.m5.1"><semantics id="S5.SS2.p4.5.m5.1a"><mi id="S5.SS2.p4.5.m5.1.1" mathvariant="normal" xref="S5.SS2.p4.5.m5.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.5.m5.1b"><ci id="S5.SS2.p4.5.m5.1.1.cmml" xref="S5.SS2.p4.5.m5.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.5.m5.1c">\ell</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.5.m5.1d">roman_ℓ</annotation></semantics></math> for which the variance is smaller than the bias, i.e <math alttext="0\leq\ell\leq\ell_{crit}" class="ltx_Math" display="inline" id="S5.SS2.p4.6.m6.1"><semantics id="S5.SS2.p4.6.m6.1a"><mrow id="S5.SS2.p4.6.m6.1.1" xref="S5.SS2.p4.6.m6.1.1.cmml"><mn id="S5.SS2.p4.6.m6.1.1.2" xref="S5.SS2.p4.6.m6.1.1.2.cmml">0</mn><mo id="S5.SS2.p4.6.m6.1.1.3" xref="S5.SS2.p4.6.m6.1.1.3.cmml">≤</mo><mi id="S5.SS2.p4.6.m6.1.1.4" mathvariant="normal" xref="S5.SS2.p4.6.m6.1.1.4.cmml">ℓ</mi><mo id="S5.SS2.p4.6.m6.1.1.5" xref="S5.SS2.p4.6.m6.1.1.5.cmml">≤</mo><msub id="S5.SS2.p4.6.m6.1.1.6" xref="S5.SS2.p4.6.m6.1.1.6.cmml"><mi id="S5.SS2.p4.6.m6.1.1.6.2" mathvariant="normal" xref="S5.SS2.p4.6.m6.1.1.6.2.cmml">ℓ</mi><mrow id="S5.SS2.p4.6.m6.1.1.6.3" xref="S5.SS2.p4.6.m6.1.1.6.3.cmml"><mi id="S5.SS2.p4.6.m6.1.1.6.3.2" xref="S5.SS2.p4.6.m6.1.1.6.3.2.cmml">c</mi><mo id="S5.SS2.p4.6.m6.1.1.6.3.1" xref="S5.SS2.p4.6.m6.1.1.6.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.6.m6.1.1.6.3.3" xref="S5.SS2.p4.6.m6.1.1.6.3.3.cmml">r</mi><mo id="S5.SS2.p4.6.m6.1.1.6.3.1a" xref="S5.SS2.p4.6.m6.1.1.6.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.6.m6.1.1.6.3.4" xref="S5.SS2.p4.6.m6.1.1.6.3.4.cmml">i</mi><mo id="S5.SS2.p4.6.m6.1.1.6.3.1b" xref="S5.SS2.p4.6.m6.1.1.6.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.6.m6.1.1.6.3.5" xref="S5.SS2.p4.6.m6.1.1.6.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.6.m6.1b"><apply id="S5.SS2.p4.6.m6.1.1.cmml" xref="S5.SS2.p4.6.m6.1.1"><and id="S5.SS2.p4.6.m6.1.1a.cmml" xref="S5.SS2.p4.6.m6.1.1"></and><apply id="S5.SS2.p4.6.m6.1.1b.cmml" xref="S5.SS2.p4.6.m6.1.1"><leq id="S5.SS2.p4.6.m6.1.1.3.cmml" xref="S5.SS2.p4.6.m6.1.1.3"></leq><cn id="S5.SS2.p4.6.m6.1.1.2.cmml" type="integer" xref="S5.SS2.p4.6.m6.1.1.2">0</cn><ci id="S5.SS2.p4.6.m6.1.1.4.cmml" xref="S5.SS2.p4.6.m6.1.1.4">ℓ</ci></apply><apply id="S5.SS2.p4.6.m6.1.1c.cmml" xref="S5.SS2.p4.6.m6.1.1"><leq id="S5.SS2.p4.6.m6.1.1.5.cmml" xref="S5.SS2.p4.6.m6.1.1.5"></leq><share href="#S5.SS2.p4.6.m6.1.1.4.cmml" id="S5.SS2.p4.6.m6.1.1d.cmml" xref="S5.SS2.p4.6.m6.1.1"></share><apply id="S5.SS2.p4.6.m6.1.1.6.cmml" xref="S5.SS2.p4.6.m6.1.1.6"><csymbol cd="ambiguous" id="S5.SS2.p4.6.m6.1.1.6.1.cmml" xref="S5.SS2.p4.6.m6.1.1.6">subscript</csymbol><ci id="S5.SS2.p4.6.m6.1.1.6.2.cmml" xref="S5.SS2.p4.6.m6.1.1.6.2">ℓ</ci><apply id="S5.SS2.p4.6.m6.1.1.6.3.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3"><times id="S5.SS2.p4.6.m6.1.1.6.3.1.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3.1"></times><ci id="S5.SS2.p4.6.m6.1.1.6.3.2.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3.2">𝑐</ci><ci id="S5.SS2.p4.6.m6.1.1.6.3.3.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3.3">𝑟</ci><ci id="S5.SS2.p4.6.m6.1.1.6.3.4.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3.4">𝑖</ci><ci id="S5.SS2.p4.6.m6.1.1.6.3.5.cmml" xref="S5.SS2.p4.6.m6.1.1.6.3.5">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.6.m6.1c">0\leq\ell\leq\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.6.m6.1d">0 ≤ roman_ℓ ≤ roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math>. We get <math alttext="E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-2\ell\underline{r}}+T^{-(b-a-\ell/% \beta)}," class="ltx_Math" display="inline" id="S5.SS2.p4.7.m7.2"><semantics id="S5.SS2.p4.7.m7.2a"><mrow id="S5.SS2.p4.7.m7.2.2.1" xref="S5.SS2.p4.7.m7.2.2.1.1.cmml"><mrow id="S5.SS2.p4.7.m7.2.2.1.1" xref="S5.SS2.p4.7.m7.2.2.1.1.cmml"><mrow id="S5.SS2.p4.7.m7.2.2.1.1.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.cmml"><msub id="S5.SS2.p4.7.m7.2.2.1.1.1.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.2.cmml">E</mi><mrow id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1a" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.4" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1b" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.5" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.2.cmml">⁢</mo><mrow id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.3" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1a" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.4" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1b" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.5" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.SS2.p4.7.m7.2.2.1.1.2" xref="S5.SS2.p4.7.m7.2.2.1.1.2.cmml">≍</mo><mrow id="S5.SS2.p4.7.m7.2.2.1.1.3" xref="S5.SS2.p4.7.m7.2.2.1.1.3.cmml"><msup id="S5.SS2.p4.7.m7.2.2.1.1.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.3.2.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.2.cmml">T</mi><mrow id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.cmml"><mo id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3a" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.cmml">−</mo><mrow id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.cmml"><mn id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.2.cmml">2</mn><mo id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1.cmml">⁢</mo><mi id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.3" mathvariant="normal" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.3.cmml">ℓ</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1a" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.2.cmml">r</mi><mo id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.1" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup><mo id="S5.SS2.p4.7.m7.2.2.1.1.3.1" xref="S5.SS2.p4.7.m7.2.2.1.1.3.1.cmml">+</mo><msup id="S5.SS2.p4.7.m7.2.2.1.1.3.3" xref="S5.SS2.p4.7.m7.2.2.1.1.3.3.cmml"><mi id="S5.SS2.p4.7.m7.2.2.1.1.3.3.2" xref="S5.SS2.p4.7.m7.2.2.1.1.3.3.2.cmml">T</mi><mrow id="S5.SS2.p4.7.m7.1.1.1" xref="S5.SS2.p4.7.m7.1.1.1.cmml"><mo id="S5.SS2.p4.7.m7.1.1.1a" xref="S5.SS2.p4.7.m7.1.1.1.cmml">−</mo><mrow id="S5.SS2.p4.7.m7.1.1.1.1.1" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.7.m7.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p4.7.m7.1.1.1.1.1.1" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.cmml"><mi id="S5.SS2.p4.7.m7.1.1.1.1.1.1.2" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p4.7.m7.1.1.1.1.1.1.1" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p4.7.m7.1.1.1.1.1.1.3" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.3.cmml">a</mi><mo id="S5.SS2.p4.7.m7.1.1.1.1.1.1.1a" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.cmml"><mi id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.2" mathvariant="normal" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.2.cmml">ℓ</mi><mo id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.1" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.1.cmml">/</mo><mi id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.3" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.3.cmml">β</mi></mrow></mrow><mo id="S5.SS2.p4.7.m7.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mrow><mo id="S5.SS2.p4.7.m7.2.2.1.2" xref="S5.SS2.p4.7.m7.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.7.m7.2b"><apply id="S5.SS2.p4.7.m7.2.2.1.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1"><csymbol cd="latexml" id="S5.SS2.p4.7.m7.2.2.1.1.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.2">asymptotically-equals</csymbol><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1"><times id="S5.SS2.p4.7.m7.2.2.1.1.1.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.2"></times><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p4.7.m7.2.2.1.1.1.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3">subscript</csymbol><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.2">𝐸</ci><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3"><times id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.1"></times><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.2">𝑡</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.3">𝑒</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.4.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.4">𝑠</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.5.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1">superscript</csymbol><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1">subscript</csymbol><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2"><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3"><times id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.1"></times><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.4.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.5.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3"><plus id="S5.SS2.p4.7.m7.2.2.1.1.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.1"></plus><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2"><csymbol cd="ambiguous" id="S5.SS2.p4.7.m7.2.2.1.1.3.2.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2">superscript</csymbol><ci id="S5.SS2.p4.7.m7.2.2.1.1.3.2.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.2">𝑇</ci><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3"><minus id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3"></minus><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2"><times id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.1"></times><cn id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.2.cmml" type="integer" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.2">2</cn><ci id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.3">ℓ</ci><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4"><ci id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.1">¯</ci><ci id="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.2.3.2.4.2">𝑟</ci></apply></apply></apply></apply><apply id="S5.SS2.p4.7.m7.2.2.1.1.3.3.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.3"><csymbol cd="ambiguous" id="S5.SS2.p4.7.m7.2.2.1.1.3.3.1.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.3">superscript</csymbol><ci id="S5.SS2.p4.7.m7.2.2.1.1.3.3.2.cmml" xref="S5.SS2.p4.7.m7.2.2.1.1.3.3.2">𝑇</ci><apply id="S5.SS2.p4.7.m7.1.1.1.cmml" xref="S5.SS2.p4.7.m7.1.1.1"><minus id="S5.SS2.p4.7.m7.1.1.1.2.cmml" xref="S5.SS2.p4.7.m7.1.1.1"></minus><apply id="S5.SS2.p4.7.m7.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1"><minus id="S5.SS2.p4.7.m7.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.1"></minus><ci id="S5.SS2.p4.7.m7.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.2">𝑏</ci><ci id="S5.SS2.p4.7.m7.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.3">𝑎</ci><apply id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4"><divide id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.1.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.1"></divide><ci id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.2.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.2">ℓ</ci><ci id="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.3.cmml" xref="S5.SS2.p4.7.m7.1.1.1.1.1.1.4.3">𝛽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.7.m7.2c">E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-2\ell\underline{r}}+T^{-(b-a-\ell/% \beta)},</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.7.m7.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - 2 roman_ℓ under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT + italic_T start_POSTSUPERSCRIPT - ( italic_b - italic_a - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ,</annotation></semantics></math> which is minimized by taking <math alttext="\ell=\min(\ell_{\star},\ell_{crit})" class="ltx_Math" display="inline" id="S5.SS2.p4.8.m8.3"><semantics id="S5.SS2.p4.8.m8.3a"><mrow id="S5.SS2.p4.8.m8.3.3" xref="S5.SS2.p4.8.m8.3.3.cmml"><mi id="S5.SS2.p4.8.m8.3.3.4" mathvariant="normal" xref="S5.SS2.p4.8.m8.3.3.4.cmml">ℓ</mi><mo id="S5.SS2.p4.8.m8.3.3.3" xref="S5.SS2.p4.8.m8.3.3.3.cmml">=</mo><mrow id="S5.SS2.p4.8.m8.3.3.2.2" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml"><mi id="S5.SS2.p4.8.m8.1.1" xref="S5.SS2.p4.8.m8.1.1.cmml">min</mi><mo id="S5.SS2.p4.8.m8.3.3.2.2a" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml">⁡</mo><mrow id="S5.SS2.p4.8.m8.3.3.2.2.2" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml"><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.3" stretchy="false" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml">(</mo><msub id="S5.SS2.p4.8.m8.2.2.1.1.1.1" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1.cmml"><mi id="S5.SS2.p4.8.m8.2.2.1.1.1.1.2" mathvariant="normal" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1.2.cmml">ℓ</mi><mo id="S5.SS2.p4.8.m8.2.2.1.1.1.1.3" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1.3.cmml">⋆</mo></msub><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.4" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml">,</mo><msub id="S5.SS2.p4.8.m8.3.3.2.2.2.2" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.cmml"><mi id="S5.SS2.p4.8.m8.3.3.2.2.2.2.2" mathvariant="normal" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.2.cmml">ℓ</mi><mrow id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.cmml"><mi id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.2" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.2.cmml">c</mi><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.3" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.3.cmml">r</mi><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1a" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.4" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.4.cmml">i</mi><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1b" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.5" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p4.8.m8.3.3.2.2.2.5" stretchy="false" xref="S5.SS2.p4.8.m8.3.3.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.8.m8.3b"><apply id="S5.SS2.p4.8.m8.3.3.cmml" xref="S5.SS2.p4.8.m8.3.3"><eq id="S5.SS2.p4.8.m8.3.3.3.cmml" xref="S5.SS2.p4.8.m8.3.3.3"></eq><ci id="S5.SS2.p4.8.m8.3.3.4.cmml" xref="S5.SS2.p4.8.m8.3.3.4">ℓ</ci><apply id="S5.SS2.p4.8.m8.3.3.2.3.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2"><min id="S5.SS2.p4.8.m8.1.1.cmml" xref="S5.SS2.p4.8.m8.1.1"></min><apply id="S5.SS2.p4.8.m8.2.2.1.1.1.1.cmml" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.8.m8.2.2.1.1.1.1.1.cmml" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1">subscript</csymbol><ci id="S5.SS2.p4.8.m8.2.2.1.1.1.1.2.cmml" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1.2">ℓ</ci><ci id="S5.SS2.p4.8.m8.2.2.1.1.1.1.3.cmml" xref="S5.SS2.p4.8.m8.2.2.1.1.1.1.3">⋆</ci></apply><apply id="S5.SS2.p4.8.m8.3.3.2.2.2.2.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2"><csymbol cd="ambiguous" id="S5.SS2.p4.8.m8.3.3.2.2.2.2.1.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2">subscript</csymbol><ci id="S5.SS2.p4.8.m8.3.3.2.2.2.2.2.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.2">ℓ</ci><apply id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3"><times id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.1"></times><ci id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.2.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.2">𝑐</ci><ci id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.3.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.3">𝑟</ci><ci id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.4.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.4">𝑖</ci><ci id="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.5.cmml" xref="S5.SS2.p4.8.m8.3.3.2.2.2.2.3.5">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.8.m8.3c">\ell=\min(\ell_{\star},\ell_{crit})</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.8.m8.3d">roman_ℓ = roman_min ( roman_ℓ start_POSTSUBSCRIPT ⋆ end_POSTSUBSCRIPT , roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT )</annotation></semantics></math>. For other values of <math alttext="\ell" class="ltx_Math" display="inline" id="S5.SS2.p4.9.m9.1"><semantics id="S5.SS2.p4.9.m9.1a"><mi id="S5.SS2.p4.9.m9.1.1" mathvariant="normal" xref="S5.SS2.p4.9.m9.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.9.m9.1b"><ci id="S5.SS2.p4.9.m9.1.1.cmml" xref="S5.SS2.p4.9.m9.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.9.m9.1c">\ell</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.9.m9.1d">roman_ℓ</annotation></semantics></math>, the variance dominates and we have</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx27"> <tbody id="S5.Ex2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(1-\ell/\beta)}+T^{-(% b-\ell/\beta-a)}\asymp T^{-(\gamma-\ell/\beta)}," class="ltx_Math" display="inline" id="S5.Ex2.m1.4"><semantics id="S5.Ex2.m1.4a"><mrow id="S5.Ex2.m1.4.4.1" xref="S5.Ex2.m1.4.4.1.1.cmml"><mrow id="S5.Ex2.m1.4.4.1.1" xref="S5.Ex2.m1.4.4.1.1.cmml"><mrow id="S5.Ex2.m1.4.4.1.1.1" xref="S5.Ex2.m1.4.4.1.1.1.cmml"><msub id="S5.Ex2.m1.4.4.1.1.1.3" xref="S5.Ex2.m1.4.4.1.1.1.3.cmml"><mi id="S5.Ex2.m1.4.4.1.1.1.3.2" xref="S5.Ex2.m1.4.4.1.1.1.3.2.cmml">E</mi><mrow id="S5.Ex2.m1.4.4.1.1.1.3.3" xref="S5.Ex2.m1.4.4.1.1.1.3.3.cmml"><mi id="S5.Ex2.m1.4.4.1.1.1.3.3.2" xref="S5.Ex2.m1.4.4.1.1.1.3.3.2.cmml">t</mi><mo id="S5.Ex2.m1.4.4.1.1.1.3.3.1" xref="S5.Ex2.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.3.3.3" xref="S5.Ex2.m1.4.4.1.1.1.3.3.3.cmml">e</mi><mo id="S5.Ex2.m1.4.4.1.1.1.3.3.1a" xref="S5.Ex2.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.3.3.4" xref="S5.Ex2.m1.4.4.1.1.1.3.3.4.cmml">s</mi><mo id="S5.Ex2.m1.4.4.1.1.1.3.3.1b" xref="S5.Ex2.m1.4.4.1.1.1.3.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.3.3.5" xref="S5.Ex2.m1.4.4.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.Ex2.m1.4.4.1.1.1.2" xref="S5.Ex2.m1.4.4.1.1.1.2.cmml">⁢</mo><mrow id="S5.Ex2.m1.4.4.1.1.1.1.1" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.cmml"><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.2" stretchy="false" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.cmml">(</mo><msubsup id="S5.Ex2.m1.4.4.1.1.1.1.1.1" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.cmml"><mover accent="true" id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.cmml"><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.2" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.1" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.3" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.cmml"><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.2" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.3" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1a" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.4" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1b" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.5" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.Ex2.m1.4.4.1.1.1.1.1.3" stretchy="false" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.Ex2.m1.4.4.1.1.3" xref="S5.Ex2.m1.4.4.1.1.3.cmml">≍</mo><mrow id="S5.Ex2.m1.4.4.1.1.4" xref="S5.Ex2.m1.4.4.1.1.4.cmml"><msup id="S5.Ex2.m1.4.4.1.1.4.2" xref="S5.Ex2.m1.4.4.1.1.4.2.cmml"><mi id="S5.Ex2.m1.4.4.1.1.4.2.2" xref="S5.Ex2.m1.4.4.1.1.4.2.2.cmml">T</mi><mrow id="S5.Ex2.m1.1.1.1" xref="S5.Ex2.m1.1.1.1.cmml"><mo id="S5.Ex2.m1.1.1.1a" xref="S5.Ex2.m1.1.1.1.cmml">−</mo><mrow id="S5.Ex2.m1.1.1.1.1.1" xref="S5.Ex2.m1.1.1.1.1.1.1.cmml"><mo id="S5.Ex2.m1.1.1.1.1.1.2" stretchy="false" xref="S5.Ex2.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.Ex2.m1.1.1.1.1.1.1" xref="S5.Ex2.m1.1.1.1.1.1.1.cmml"><mn id="S5.Ex2.m1.1.1.1.1.1.1.2" xref="S5.Ex2.m1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S5.Ex2.m1.1.1.1.1.1.1.1" xref="S5.Ex2.m1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S5.Ex2.m1.1.1.1.1.1.1.3" xref="S5.Ex2.m1.1.1.1.1.1.1.3.cmml"><mi id="S5.Ex2.m1.1.1.1.1.1.1.3.2" mathvariant="normal" xref="S5.Ex2.m1.1.1.1.1.1.1.3.2.cmml">ℓ</mi><mo id="S5.Ex2.m1.1.1.1.1.1.1.3.1" xref="S5.Ex2.m1.1.1.1.1.1.1.3.1.cmml">/</mo><mi id="S5.Ex2.m1.1.1.1.1.1.1.3.3" xref="S5.Ex2.m1.1.1.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="S5.Ex2.m1.1.1.1.1.1.3" stretchy="false" xref="S5.Ex2.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup><mo id="S5.Ex2.m1.4.4.1.1.4.1" xref="S5.Ex2.m1.4.4.1.1.4.1.cmml">+</mo><msup id="S5.Ex2.m1.4.4.1.1.4.3" xref="S5.Ex2.m1.4.4.1.1.4.3.cmml"><mi id="S5.Ex2.m1.4.4.1.1.4.3.2" xref="S5.Ex2.m1.4.4.1.1.4.3.2.cmml">T</mi><mrow id="S5.Ex2.m1.2.2.1" xref="S5.Ex2.m1.2.2.1.cmml"><mo id="S5.Ex2.m1.2.2.1a" xref="S5.Ex2.m1.2.2.1.cmml">−</mo><mrow id="S5.Ex2.m1.2.2.1.1.1" xref="S5.Ex2.m1.2.2.1.1.1.1.cmml"><mo id="S5.Ex2.m1.2.2.1.1.1.2" stretchy="false" xref="S5.Ex2.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="S5.Ex2.m1.2.2.1.1.1.1" xref="S5.Ex2.m1.2.2.1.1.1.1.cmml"><mi id="S5.Ex2.m1.2.2.1.1.1.1.2" xref="S5.Ex2.m1.2.2.1.1.1.1.2.cmml">b</mi><mo id="S5.Ex2.m1.2.2.1.1.1.1.1" xref="S5.Ex2.m1.2.2.1.1.1.1.1.cmml">−</mo><mrow id="S5.Ex2.m1.2.2.1.1.1.1.3" xref="S5.Ex2.m1.2.2.1.1.1.1.3.cmml"><mi id="S5.Ex2.m1.2.2.1.1.1.1.3.2" mathvariant="normal" xref="S5.Ex2.m1.2.2.1.1.1.1.3.2.cmml">ℓ</mi><mo id="S5.Ex2.m1.2.2.1.1.1.1.3.1" xref="S5.Ex2.m1.2.2.1.1.1.1.3.1.cmml">/</mo><mi id="S5.Ex2.m1.2.2.1.1.1.1.3.3" xref="S5.Ex2.m1.2.2.1.1.1.1.3.3.cmml">β</mi></mrow><mo id="S5.Ex2.m1.2.2.1.1.1.1.1a" xref="S5.Ex2.m1.2.2.1.1.1.1.1.cmml">−</mo><mi id="S5.Ex2.m1.2.2.1.1.1.1.4" xref="S5.Ex2.m1.2.2.1.1.1.1.4.cmml">a</mi></mrow><mo id="S5.Ex2.m1.2.2.1.1.1.3" stretchy="false" xref="S5.Ex2.m1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="S5.Ex2.m1.4.4.1.1.5" xref="S5.Ex2.m1.4.4.1.1.5.cmml">≍</mo><msup id="S5.Ex2.m1.4.4.1.1.6" xref="S5.Ex2.m1.4.4.1.1.6.cmml"><mi id="S5.Ex2.m1.4.4.1.1.6.2" xref="S5.Ex2.m1.4.4.1.1.6.2.cmml">T</mi><mrow id="S5.Ex2.m1.3.3.1" xref="S5.Ex2.m1.3.3.1.cmml"><mo id="S5.Ex2.m1.3.3.1a" xref="S5.Ex2.m1.3.3.1.cmml">−</mo><mrow id="S5.Ex2.m1.3.3.1.1.1" xref="S5.Ex2.m1.3.3.1.1.1.1.cmml"><mo id="S5.Ex2.m1.3.3.1.1.1.2" stretchy="false" xref="S5.Ex2.m1.3.3.1.1.1.1.cmml">(</mo><mrow id="S5.Ex2.m1.3.3.1.1.1.1" xref="S5.Ex2.m1.3.3.1.1.1.1.cmml"><mi id="S5.Ex2.m1.3.3.1.1.1.1.2" xref="S5.Ex2.m1.3.3.1.1.1.1.2.cmml">γ</mi><mo id="S5.Ex2.m1.3.3.1.1.1.1.1" xref="S5.Ex2.m1.3.3.1.1.1.1.1.cmml">−</mo><mrow id="S5.Ex2.m1.3.3.1.1.1.1.3" xref="S5.Ex2.m1.3.3.1.1.1.1.3.cmml"><mi id="S5.Ex2.m1.3.3.1.1.1.1.3.2" mathvariant="normal" xref="S5.Ex2.m1.3.3.1.1.1.1.3.2.cmml">ℓ</mi><mo id="S5.Ex2.m1.3.3.1.1.1.1.3.1" xref="S5.Ex2.m1.3.3.1.1.1.1.3.1.cmml">/</mo><mi id="S5.Ex2.m1.3.3.1.1.1.1.3.3" xref="S5.Ex2.m1.3.3.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="S5.Ex2.m1.3.3.1.1.1.3" stretchy="false" xref="S5.Ex2.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="S5.Ex2.m1.4.4.1.2" xref="S5.Ex2.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.Ex2.m1.4b"><apply id="S5.Ex2.m1.4.4.1.1.cmml" xref="S5.Ex2.m1.4.4.1"><and id="S5.Ex2.m1.4.4.1.1a.cmml" xref="S5.Ex2.m1.4.4.1"></and><apply id="S5.Ex2.m1.4.4.1.1b.cmml" xref="S5.Ex2.m1.4.4.1"><csymbol cd="latexml" id="S5.Ex2.m1.4.4.1.1.3.cmml" xref="S5.Ex2.m1.4.4.1.1.3">asymptotically-equals</csymbol><apply id="S5.Ex2.m1.4.4.1.1.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1"><times id="S5.Ex2.m1.4.4.1.1.1.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.2"></times><apply id="S5.Ex2.m1.4.4.1.1.1.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.1.3.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3">subscript</csymbol><ci id="S5.Ex2.m1.4.4.1.1.1.3.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.2">𝐸</ci><apply id="S5.Ex2.m1.4.4.1.1.1.3.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3"><times id="S5.Ex2.m1.4.4.1.1.1.3.3.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3.1"></times><ci id="S5.Ex2.m1.4.4.1.1.1.3.3.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3.2">𝑡</ci><ci id="S5.Ex2.m1.4.4.1.1.1.3.3.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3.3">𝑒</ci><ci id="S5.Ex2.m1.4.4.1.1.1.3.3.4.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3.4">𝑠</ci><ci id="S5.Ex2.m1.4.4.1.1.1.3.3.5.cmml" xref="S5.Ex2.m1.4.4.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.Ex2.m1.4.4.1.1.1.1.1.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1">superscript</csymbol><apply id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1">subscript</csymbol><apply id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2"><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.1">^</ci><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3"><times id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.1"></times><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.2.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.2">𝑝</ci><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.3.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.3">𝑟</ci><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.4.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.4">𝑒</ci><ci id="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.5.cmml" xref="S5.Ex2.m1.4.4.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.Ex2.m1.4.4.1.1.4.cmml" xref="S5.Ex2.m1.4.4.1.1.4"><plus id="S5.Ex2.m1.4.4.1.1.4.1.cmml" xref="S5.Ex2.m1.4.4.1.1.4.1"></plus><apply id="S5.Ex2.m1.4.4.1.1.4.2.cmml" xref="S5.Ex2.m1.4.4.1.1.4.2"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.4.2.1.cmml" xref="S5.Ex2.m1.4.4.1.1.4.2">superscript</csymbol><ci id="S5.Ex2.m1.4.4.1.1.4.2.2.cmml" xref="S5.Ex2.m1.4.4.1.1.4.2.2">𝑇</ci><apply id="S5.Ex2.m1.1.1.1.cmml" xref="S5.Ex2.m1.1.1.1"><minus id="S5.Ex2.m1.1.1.1.2.cmml" xref="S5.Ex2.m1.1.1.1"></minus><apply id="S5.Ex2.m1.1.1.1.1.1.1.cmml" xref="S5.Ex2.m1.1.1.1.1.1"><minus id="S5.Ex2.m1.1.1.1.1.1.1.1.cmml" xref="S5.Ex2.m1.1.1.1.1.1.1.1"></minus><cn id="S5.Ex2.m1.1.1.1.1.1.1.2.cmml" type="integer" xref="S5.Ex2.m1.1.1.1.1.1.1.2">1</cn><apply id="S5.Ex2.m1.1.1.1.1.1.1.3.cmml" xref="S5.Ex2.m1.1.1.1.1.1.1.3"><divide id="S5.Ex2.m1.1.1.1.1.1.1.3.1.cmml" xref="S5.Ex2.m1.1.1.1.1.1.1.3.1"></divide><ci id="S5.Ex2.m1.1.1.1.1.1.1.3.2.cmml" xref="S5.Ex2.m1.1.1.1.1.1.1.3.2">ℓ</ci><ci id="S5.Ex2.m1.1.1.1.1.1.1.3.3.cmml" xref="S5.Ex2.m1.1.1.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply><apply id="S5.Ex2.m1.4.4.1.1.4.3.cmml" xref="S5.Ex2.m1.4.4.1.1.4.3"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.4.3.1.cmml" xref="S5.Ex2.m1.4.4.1.1.4.3">superscript</csymbol><ci id="S5.Ex2.m1.4.4.1.1.4.3.2.cmml" xref="S5.Ex2.m1.4.4.1.1.4.3.2">𝑇</ci><apply id="S5.Ex2.m1.2.2.1.cmml" xref="S5.Ex2.m1.2.2.1"><minus id="S5.Ex2.m1.2.2.1.2.cmml" xref="S5.Ex2.m1.2.2.1"></minus><apply id="S5.Ex2.m1.2.2.1.1.1.1.cmml" xref="S5.Ex2.m1.2.2.1.1.1"><minus id="S5.Ex2.m1.2.2.1.1.1.1.1.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.1"></minus><ci id="S5.Ex2.m1.2.2.1.1.1.1.2.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.2">𝑏</ci><apply id="S5.Ex2.m1.2.2.1.1.1.1.3.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.3"><divide id="S5.Ex2.m1.2.2.1.1.1.1.3.1.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.3.1"></divide><ci id="S5.Ex2.m1.2.2.1.1.1.1.3.2.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.3.2">ℓ</ci><ci id="S5.Ex2.m1.2.2.1.1.1.1.3.3.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.3.3">𝛽</ci></apply><ci id="S5.Ex2.m1.2.2.1.1.1.1.4.cmml" xref="S5.Ex2.m1.2.2.1.1.1.1.4">𝑎</ci></apply></apply></apply></apply></apply><apply id="S5.Ex2.m1.4.4.1.1c.cmml" xref="S5.Ex2.m1.4.4.1"><csymbol cd="latexml" id="S5.Ex2.m1.4.4.1.1.5.cmml" xref="S5.Ex2.m1.4.4.1.1.5">asymptotically-equals</csymbol><share href="#S5.Ex2.m1.4.4.1.1.4.cmml" id="S5.Ex2.m1.4.4.1.1d.cmml" xref="S5.Ex2.m1.4.4.1"></share><apply id="S5.Ex2.m1.4.4.1.1.6.cmml" xref="S5.Ex2.m1.4.4.1.1.6"><csymbol cd="ambiguous" id="S5.Ex2.m1.4.4.1.1.6.1.cmml" xref="S5.Ex2.m1.4.4.1.1.6">superscript</csymbol><ci id="S5.Ex2.m1.4.4.1.1.6.2.cmml" xref="S5.Ex2.m1.4.4.1.1.6.2">𝑇</ci><apply id="S5.Ex2.m1.3.3.1.cmml" xref="S5.Ex2.m1.3.3.1"><minus id="S5.Ex2.m1.3.3.1.2.cmml" xref="S5.Ex2.m1.3.3.1"></minus><apply id="S5.Ex2.m1.3.3.1.1.1.1.cmml" xref="S5.Ex2.m1.3.3.1.1.1"><minus id="S5.Ex2.m1.3.3.1.1.1.1.1.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.1"></minus><ci id="S5.Ex2.m1.3.3.1.1.1.1.2.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.2">𝛾</ci><apply id="S5.Ex2.m1.3.3.1.1.1.1.3.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.3"><divide id="S5.Ex2.m1.3.3.1.1.1.1.3.1.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.3.1"></divide><ci id="S5.Ex2.m1.3.3.1.1.1.1.3.2.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.3.2">ℓ</ci><ci id="S5.Ex2.m1.3.3.1.1.1.1.3.3.cmml" xref="S5.Ex2.m1.3.3.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.Ex2.m1.4c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(1-\ell/\beta)}+T^{-(% b-\ell/\beta-a)}\asymp T^{-(\gamma-\ell/\beta)},</annotation><annotation encoding="application/x-llamapun" id="S5.Ex2.m1.4d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT + italic_T start_POSTSUPERSCRIPT - ( italic_b - roman_ℓ / italic_β - italic_a ) end_POSTSUPERSCRIPT ≍ italic_T start_POSTSUPERSCRIPT - ( italic_γ - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="S5.SS2.p4.14">where <math alttext="\gamma:=\min(1,b-a)" class="ltx_Math" display="inline" id="S5.SS2.p4.10.m1.3"><semantics id="S5.SS2.p4.10.m1.3a"><mrow id="S5.SS2.p4.10.m1.3.3" xref="S5.SS2.p4.10.m1.3.3.cmml"><mi id="S5.SS2.p4.10.m1.3.3.3" xref="S5.SS2.p4.10.m1.3.3.3.cmml">γ</mi><mo id="S5.SS2.p4.10.m1.3.3.2" lspace="0.278em" rspace="0.278em" xref="S5.SS2.p4.10.m1.3.3.2.cmml">:=</mo><mrow id="S5.SS2.p4.10.m1.3.3.1.1" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml"><mi id="S5.SS2.p4.10.m1.1.1" xref="S5.SS2.p4.10.m1.1.1.cmml">min</mi><mo id="S5.SS2.p4.10.m1.3.3.1.1a" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml">⁡</mo><mrow id="S5.SS2.p4.10.m1.3.3.1.1.1" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml"><mo id="S5.SS2.p4.10.m1.3.3.1.1.1.2" stretchy="false" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml">(</mo><mn id="S5.SS2.p4.10.m1.2.2" xref="S5.SS2.p4.10.m1.2.2.cmml">1</mn><mo id="S5.SS2.p4.10.m1.3.3.1.1.1.3" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml">,</mo><mrow id="S5.SS2.p4.10.m1.3.3.1.1.1.1" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.cmml"><mi id="S5.SS2.p4.10.m1.3.3.1.1.1.1.2" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.2.cmml">b</mi><mo id="S5.SS2.p4.10.m1.3.3.1.1.1.1.1" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.1.cmml">−</mo><mi id="S5.SS2.p4.10.m1.3.3.1.1.1.1.3" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.3.cmml">a</mi></mrow><mo id="S5.SS2.p4.10.m1.3.3.1.1.1.4" stretchy="false" xref="S5.SS2.p4.10.m1.3.3.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.10.m1.3b"><apply id="S5.SS2.p4.10.m1.3.3.cmml" xref="S5.SS2.p4.10.m1.3.3"><csymbol cd="latexml" id="S5.SS2.p4.10.m1.3.3.2.cmml" xref="S5.SS2.p4.10.m1.3.3.2">assign</csymbol><ci id="S5.SS2.p4.10.m1.3.3.3.cmml" xref="S5.SS2.p4.10.m1.3.3.3">𝛾</ci><apply id="S5.SS2.p4.10.m1.3.3.1.2.cmml" xref="S5.SS2.p4.10.m1.3.3.1.1"><min id="S5.SS2.p4.10.m1.1.1.cmml" xref="S5.SS2.p4.10.m1.1.1"></min><cn id="S5.SS2.p4.10.m1.2.2.cmml" type="integer" xref="S5.SS2.p4.10.m1.2.2">1</cn><apply id="S5.SS2.p4.10.m1.3.3.1.1.1.1.cmml" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1"><minus id="S5.SS2.p4.10.m1.3.3.1.1.1.1.1.cmml" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.1"></minus><ci id="S5.SS2.p4.10.m1.3.3.1.1.1.1.2.cmml" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.2">𝑏</ci><ci id="S5.SS2.p4.10.m1.3.3.1.1.1.1.3.cmml" xref="S5.SS2.p4.10.m1.3.3.1.1.1.1.3">𝑎</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.10.m1.3c">\gamma:=\min(1,b-a)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.10.m1.3d">italic_γ := roman_min ( 1 , italic_b - italic_a )</annotation></semantics></math>. This is minimized by taking <math alttext="\ell=\ell_{crit}" class="ltx_Math" display="inline" id="S5.SS2.p4.11.m2.1"><semantics id="S5.SS2.p4.11.m2.1a"><mrow id="S5.SS2.p4.11.m2.1.1" xref="S5.SS2.p4.11.m2.1.1.cmml"><mi id="S5.SS2.p4.11.m2.1.1.2" mathvariant="normal" xref="S5.SS2.p4.11.m2.1.1.2.cmml">ℓ</mi><mo id="S5.SS2.p4.11.m2.1.1.1" xref="S5.SS2.p4.11.m2.1.1.1.cmml">=</mo><msub id="S5.SS2.p4.11.m2.1.1.3" xref="S5.SS2.p4.11.m2.1.1.3.cmml"><mi id="S5.SS2.p4.11.m2.1.1.3.2" mathvariant="normal" xref="S5.SS2.p4.11.m2.1.1.3.2.cmml">ℓ</mi><mrow id="S5.SS2.p4.11.m2.1.1.3.3" xref="S5.SS2.p4.11.m2.1.1.3.3.cmml"><mi id="S5.SS2.p4.11.m2.1.1.3.3.2" xref="S5.SS2.p4.11.m2.1.1.3.3.2.cmml">c</mi><mo id="S5.SS2.p4.11.m2.1.1.3.3.1" xref="S5.SS2.p4.11.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.11.m2.1.1.3.3.3" xref="S5.SS2.p4.11.m2.1.1.3.3.3.cmml">r</mi><mo id="S5.SS2.p4.11.m2.1.1.3.3.1a" xref="S5.SS2.p4.11.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.11.m2.1.1.3.3.4" xref="S5.SS2.p4.11.m2.1.1.3.3.4.cmml">i</mi><mo id="S5.SS2.p4.11.m2.1.1.3.3.1b" xref="S5.SS2.p4.11.m2.1.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.11.m2.1.1.3.3.5" xref="S5.SS2.p4.11.m2.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.11.m2.1b"><apply id="S5.SS2.p4.11.m2.1.1.cmml" xref="S5.SS2.p4.11.m2.1.1"><eq id="S5.SS2.p4.11.m2.1.1.1.cmml" xref="S5.SS2.p4.11.m2.1.1.1"></eq><ci id="S5.SS2.p4.11.m2.1.1.2.cmml" xref="S5.SS2.p4.11.m2.1.1.2">ℓ</ci><apply id="S5.SS2.p4.11.m2.1.1.3.cmml" xref="S5.SS2.p4.11.m2.1.1.3"><csymbol cd="ambiguous" id="S5.SS2.p4.11.m2.1.1.3.1.cmml" xref="S5.SS2.p4.11.m2.1.1.3">subscript</csymbol><ci id="S5.SS2.p4.11.m2.1.1.3.2.cmml" xref="S5.SS2.p4.11.m2.1.1.3.2">ℓ</ci><apply id="S5.SS2.p4.11.m2.1.1.3.3.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3"><times id="S5.SS2.p4.11.m2.1.1.3.3.1.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3.1"></times><ci id="S5.SS2.p4.11.m2.1.1.3.3.2.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3.2">𝑐</ci><ci id="S5.SS2.p4.11.m2.1.1.3.3.3.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3.3">𝑟</ci><ci id="S5.SS2.p4.11.m2.1.1.3.3.4.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3.4">𝑖</ci><ci id="S5.SS2.p4.11.m2.1.1.3.3.5.cmml" xref="S5.SS2.p4.11.m2.1.1.3.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.11.m2.1c">\ell=\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.11.m2.1d">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math>, leading to <math alttext="E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(\gamma-1/(2\beta\underline{r}+1))}" class="ltx_Math" display="inline" id="S5.SS2.p4.12.m3.2"><semantics id="S5.SS2.p4.12.m3.2a"><mrow id="S5.SS2.p4.12.m3.2.2" xref="S5.SS2.p4.12.m3.2.2.cmml"><mrow id="S5.SS2.p4.12.m3.2.2.1" xref="S5.SS2.p4.12.m3.2.2.1.cmml"><msub id="S5.SS2.p4.12.m3.2.2.1.3" xref="S5.SS2.p4.12.m3.2.2.1.3.cmml"><mi id="S5.SS2.p4.12.m3.2.2.1.3.2" xref="S5.SS2.p4.12.m3.2.2.1.3.2.cmml">E</mi><mrow id="S5.SS2.p4.12.m3.2.2.1.3.3" xref="S5.SS2.p4.12.m3.2.2.1.3.3.cmml"><mi id="S5.SS2.p4.12.m3.2.2.1.3.3.2" xref="S5.SS2.p4.12.m3.2.2.1.3.3.2.cmml">t</mi><mo id="S5.SS2.p4.12.m3.2.2.1.3.3.1" xref="S5.SS2.p4.12.m3.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.3.3.3" xref="S5.SS2.p4.12.m3.2.2.1.3.3.3.cmml">e</mi><mo id="S5.SS2.p4.12.m3.2.2.1.3.3.1a" xref="S5.SS2.p4.12.m3.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.3.3.4" xref="S5.SS2.p4.12.m3.2.2.1.3.3.4.cmml">s</mi><mo id="S5.SS2.p4.12.m3.2.2.1.3.3.1b" xref="S5.SS2.p4.12.m3.2.2.1.3.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.3.3.5" xref="S5.SS2.p4.12.m3.2.2.1.3.3.5.cmml">t</mi></mrow></msub><mo id="S5.SS2.p4.12.m3.2.2.1.2" xref="S5.SS2.p4.12.m3.2.2.1.2.cmml">⁢</mo><mrow id="S5.SS2.p4.12.m3.2.2.1.1.1" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.cmml"><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.2" stretchy="false" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.cmml">(</mo><msubsup id="S5.SS2.p4.12.m3.2.2.1.1.1.1" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.cmml"><mover accent="true" id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.cmml"><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.2" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.2.cmml">w</mi><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.1" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.3" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.3.cmml">n</mi><mrow id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.cmml"><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.2" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.2.cmml">p</mi><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.3" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.3.cmml">r</mi><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1a" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.4" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.4.cmml">e</mi><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1b" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.5" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="S5.SS2.p4.12.m3.2.2.1.1.1.3" stretchy="false" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S5.SS2.p4.12.m3.2.2.2" xref="S5.SS2.p4.12.m3.2.2.2.cmml">≍</mo><msup id="S5.SS2.p4.12.m3.2.2.3" xref="S5.SS2.p4.12.m3.2.2.3.cmml"><mi id="S5.SS2.p4.12.m3.2.2.3.2" xref="S5.SS2.p4.12.m3.2.2.3.2.cmml">T</mi><mrow id="S5.SS2.p4.12.m3.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.cmml"><mo id="S5.SS2.p4.12.m3.1.1.1a" xref="S5.SS2.p4.12.m3.1.1.1.cmml">−</mo><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.cmml"><mi id="S5.SS2.p4.12.m3.1.1.1.1.1.1.3" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.3.cmml">γ</mi><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.2" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.2.cmml">−</mo><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.cmml"><mn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.3" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.3.cmml">1</mn><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.2" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.2.cmml">/</mo><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.cmml"><mn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.2" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.2.cmml">2</mn><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><mi id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.3" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.3.cmml">β</mi><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1a" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.cmml"><mi id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.2" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.2.cmml">r</mi><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.1.cmml">¯</mo></munder></mrow><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.1" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.3" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S5.SS2.p4.12.m3.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.12.m3.2b"><apply id="S5.SS2.p4.12.m3.2.2.cmml" xref="S5.SS2.p4.12.m3.2.2"><csymbol cd="latexml" id="S5.SS2.p4.12.m3.2.2.2.cmml" xref="S5.SS2.p4.12.m3.2.2.2">asymptotically-equals</csymbol><apply id="S5.SS2.p4.12.m3.2.2.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1"><times id="S5.SS2.p4.12.m3.2.2.1.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.2"></times><apply id="S5.SS2.p4.12.m3.2.2.1.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3"><csymbol cd="ambiguous" id="S5.SS2.p4.12.m3.2.2.1.3.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3">subscript</csymbol><ci id="S5.SS2.p4.12.m3.2.2.1.3.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.2">𝐸</ci><apply id="S5.SS2.p4.12.m3.2.2.1.3.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3"><times id="S5.SS2.p4.12.m3.2.2.1.3.3.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3.1"></times><ci id="S5.SS2.p4.12.m3.2.2.1.3.3.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3.2">𝑡</ci><ci id="S5.SS2.p4.12.m3.2.2.1.3.3.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3.3">𝑒</ci><ci id="S5.SS2.p4.12.m3.2.2.1.3.3.4.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3.4">𝑠</ci><ci id="S5.SS2.p4.12.m3.2.2.1.3.3.5.cmml" xref="S5.SS2.p4.12.m3.2.2.1.3.3.5">𝑡</ci></apply></apply><apply id="S5.SS2.p4.12.m3.2.2.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.12.m3.2.2.1.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1">superscript</csymbol><apply id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1">subscript</csymbol><apply id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2"><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.1">^</ci><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.2.3">𝑛</ci></apply><apply id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3"><times id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.1"></times><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.2.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.2">𝑝</ci><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.3.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.3">𝑟</ci><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.4.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.4">𝑒</ci><ci id="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.5.cmml" xref="S5.SS2.p4.12.m3.2.2.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="S5.SS2.p4.12.m3.2.2.3.cmml" xref="S5.SS2.p4.12.m3.2.2.3"><csymbol cd="ambiguous" id="S5.SS2.p4.12.m3.2.2.3.1.cmml" xref="S5.SS2.p4.12.m3.2.2.3">superscript</csymbol><ci id="S5.SS2.p4.12.m3.2.2.3.2.cmml" xref="S5.SS2.p4.12.m3.2.2.3.2">𝑇</ci><apply id="S5.SS2.p4.12.m3.1.1.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1"><minus id="S5.SS2.p4.12.m3.1.1.1.2.cmml" xref="S5.SS2.p4.12.m3.1.1.1"></minus><apply id="S5.SS2.p4.12.m3.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1"><minus id="S5.SS2.p4.12.m3.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.2"></minus><ci id="S5.SS2.p4.12.m3.1.1.1.1.1.1.3.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.3">𝛾</ci><apply id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1"><divide id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.2"></divide><cn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.3">1</cn><apply id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1"><plus id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.1"></plus><apply id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2"><times id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.1"></times><cn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.2.cmml" type="integer" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.2">2</cn><ci id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.3">𝛽</ci><apply id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4"><ci id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.1.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.1">¯</ci><ci id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.2.cmml" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.2.4.2">𝑟</ci></apply></apply><cn id="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S5.SS2.p4.12.m3.1.1.1.1.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.12.m3.2c">E_{test}(\widehat{w}_{n}^{pred})\asymp T^{-(\gamma-1/(2\beta\underline{r}+1))}</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.12.m3.2d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) ≍ italic_T start_POSTSUPERSCRIPT - ( italic_γ - 1 / ( 2 italic_β under¯ start_ARG italic_r end_ARG + 1 ) ) end_POSTSUPERSCRIPT</annotation></semantics></math>. This tends to zero with <math alttext="T\to\infty" class="ltx_Math" display="inline" id="S5.SS2.p4.13.m4.1"><semantics id="S5.SS2.p4.13.m4.1a"><mrow id="S5.SS2.p4.13.m4.1.1" xref="S5.SS2.p4.13.m4.1.1.cmml"><mi id="S5.SS2.p4.13.m4.1.1.2" xref="S5.SS2.p4.13.m4.1.1.2.cmml">T</mi><mo id="S5.SS2.p4.13.m4.1.1.1" stretchy="false" xref="S5.SS2.p4.13.m4.1.1.1.cmml">→</mo><mi id="S5.SS2.p4.13.m4.1.1.3" mathvariant="normal" xref="S5.SS2.p4.13.m4.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.13.m4.1b"><apply id="S5.SS2.p4.13.m4.1.1.cmml" xref="S5.SS2.p4.13.m4.1.1"><ci id="S5.SS2.p4.13.m4.1.1.1.cmml" xref="S5.SS2.p4.13.m4.1.1.1">→</ci><ci id="S5.SS2.p4.13.m4.1.1.2.cmml" xref="S5.SS2.p4.13.m4.1.1.2">𝑇</ci><infinity id="S5.SS2.p4.13.m4.1.1.3.cmml" xref="S5.SS2.p4.13.m4.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.13.m4.1c">T\to\infty</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.13.m4.1d">italic_T → ∞</annotation></semantics></math> only if <math alttext="b>a+1/(2\beta\underline{r}+1)" class="ltx_Math" display="inline" id="S5.SS2.p4.14.m5.1"><semantics id="S5.SS2.p4.14.m5.1a"><mrow id="S5.SS2.p4.14.m5.1.1" xref="S5.SS2.p4.14.m5.1.1.cmml"><mi id="S5.SS2.p4.14.m5.1.1.3" xref="S5.SS2.p4.14.m5.1.1.3.cmml">b</mi><mo id="S5.SS2.p4.14.m5.1.1.2" xref="S5.SS2.p4.14.m5.1.1.2.cmml">></mo><mrow id="S5.SS2.p4.14.m5.1.1.1" xref="S5.SS2.p4.14.m5.1.1.1.cmml"><mi id="S5.SS2.p4.14.m5.1.1.1.3" xref="S5.SS2.p4.14.m5.1.1.1.3.cmml">a</mi><mo id="S5.SS2.p4.14.m5.1.1.1.2" xref="S5.SS2.p4.14.m5.1.1.1.2.cmml">+</mo><mrow id="S5.SS2.p4.14.m5.1.1.1.1" xref="S5.SS2.p4.14.m5.1.1.1.1.cmml"><mn id="S5.SS2.p4.14.m5.1.1.1.1.3" xref="S5.SS2.p4.14.m5.1.1.1.1.3.cmml">1</mn><mo id="S5.SS2.p4.14.m5.1.1.1.1.2" xref="S5.SS2.p4.14.m5.1.1.1.1.2.cmml">/</mo><mrow id="S5.SS2.p4.14.m5.1.1.1.1.1.1" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.cmml"><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.2" stretchy="false" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.cmml"><mrow id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.cmml"><mn id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.2" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.2.cmml">2</mn><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><mi id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.3" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.3.cmml">β</mi><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1a" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><munder accentunder="true" id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.cmml"><mi id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.2" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.2.cmml">r</mi><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.1" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.1.cmml">¯</mo></munder></mrow><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.1" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.1.cmml">+</mo><mn id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.3" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="S5.SS2.p4.14.m5.1.1.1.1.1.1.3" stretchy="false" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.14.m5.1b"><apply id="S5.SS2.p4.14.m5.1.1.cmml" xref="S5.SS2.p4.14.m5.1.1"><gt id="S5.SS2.p4.14.m5.1.1.2.cmml" xref="S5.SS2.p4.14.m5.1.1.2"></gt><ci id="S5.SS2.p4.14.m5.1.1.3.cmml" xref="S5.SS2.p4.14.m5.1.1.3">𝑏</ci><apply id="S5.SS2.p4.14.m5.1.1.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1"><plus id="S5.SS2.p4.14.m5.1.1.1.2.cmml" xref="S5.SS2.p4.14.m5.1.1.1.2"></plus><ci id="S5.SS2.p4.14.m5.1.1.1.3.cmml" xref="S5.SS2.p4.14.m5.1.1.1.3">𝑎</ci><apply id="S5.SS2.p4.14.m5.1.1.1.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1"><divide id="S5.SS2.p4.14.m5.1.1.1.1.2.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.2"></divide><cn id="S5.SS2.p4.14.m5.1.1.1.1.3.cmml" type="integer" xref="S5.SS2.p4.14.m5.1.1.1.1.3">1</cn><apply id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1"><plus id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.1"></plus><apply id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2"><times id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.1"></times><cn id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.2.cmml" type="integer" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.2">2</cn><ci id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.3.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.3">𝛽</ci><apply id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4"><ci id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.1.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.1">¯</ci><ci id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.2.cmml" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.2.4.2">𝑟</ci></apply></apply><cn id="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.3.cmml" type="integer" xref="S5.SS2.p4.14.m5.1.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.14.m5.1c">b>a+1/(2\beta\underline{r}+1)</annotation><annotation encoding="application/x-llamapun" id="S5.SS2.p4.14.m5.1d">italic_b > italic_a + 1 / ( 2 italic_β under¯ start_ARG italic_r end_ARG + 1 )</annotation></semantics></math>.</p> </div> </section> </section> <section class="ltx_section" id="S6"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">6 </span>Experiments</h2> <div class="ltx_para" id="S6.p1"> <p class="ltx_p" id="S6.p1.1">We run a couple of experiments on both simulated and real data to empirically validate our theoretical results.</p> </div> <div class="ltx_para" id="S6.p2"> <p class="ltx_p" id="S6.p2.18"><span class="ltx_text ltx_font_bold" id="S6.p2.18.1">Simulated Data.</span> We consider ordinary / linear ridge regression in <math alttext="\mathbb{R}^{d}" class="ltx_Math" display="inline" id="S6.p2.1.m1.1"><semantics id="S6.p2.1.m1.1a"><msup id="S6.p2.1.m1.1.1" xref="S6.p2.1.m1.1.1.cmml"><mi id="S6.p2.1.m1.1.1.2" xref="S6.p2.1.m1.1.1.2.cmml">ℝ</mi><mi id="S6.p2.1.m1.1.1.3" xref="S6.p2.1.m1.1.1.3.cmml">d</mi></msup><annotation-xml encoding="MathML-Content" id="S6.p2.1.m1.1b"><apply id="S6.p2.1.m1.1.1.cmml" xref="S6.p2.1.m1.1.1"><csymbol cd="ambiguous" id="S6.p2.1.m1.1.1.1.cmml" xref="S6.p2.1.m1.1.1">superscript</csymbol><ci id="S6.p2.1.m1.1.1.2.cmml" xref="S6.p2.1.m1.1.1.2">ℝ</ci><ci id="S6.p2.1.m1.1.1.3.cmml" xref="S6.p2.1.m1.1.1.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.1.m1.1c">\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="S6.p2.1.m1.1d">blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math>, for <math alttext="d=300" class="ltx_Math" display="inline" id="S6.p2.2.m2.1"><semantics id="S6.p2.2.m2.1a"><mrow id="S6.p2.2.m2.1.1" xref="S6.p2.2.m2.1.1.cmml"><mi id="S6.p2.2.m2.1.1.2" xref="S6.p2.2.m2.1.1.2.cmml">d</mi><mo id="S6.p2.2.m2.1.1.1" xref="S6.p2.2.m2.1.1.1.cmml">=</mo><mn id="S6.p2.2.m2.1.1.3" xref="S6.p2.2.m2.1.1.3.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.2.m2.1b"><apply id="S6.p2.2.m2.1.1.cmml" xref="S6.p2.2.m2.1.1"><eq id="S6.p2.2.m2.1.1.1.cmml" xref="S6.p2.2.m2.1.1.1"></eq><ci id="S6.p2.2.m2.1.1.2.cmml" xref="S6.p2.2.m2.1.1.2">𝑑</ci><cn id="S6.p2.2.m2.1.1.3.cmml" type="integer" xref="S6.p2.2.m2.1.1.3">300</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.2.m2.1c">d=300</annotation><annotation encoding="application/x-llamapun" id="S6.p2.2.m2.1d">italic_d = 300</annotation></semantics></math> and different structures for the covariance matrix <math alttext="\Sigma" class="ltx_Math" display="inline" id="S6.p2.3.m3.1"><semantics id="S6.p2.3.m3.1a"><mi id="S6.p2.3.m3.1.1" mathvariant="normal" xref="S6.p2.3.m3.1.1.cmml">Σ</mi><annotation-xml encoding="MathML-Content" id="S6.p2.3.m3.1b"><ci id="S6.p2.3.m3.1.1.cmml" xref="S6.p2.3.m3.1.1">Σ</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.3.m3.1c">\Sigma</annotation><annotation encoding="application/x-llamapun" id="S6.p2.3.m3.1d">roman_Σ</annotation></semantics></math> of the inputs: isotropic (i.e <math alttext="\Sigma=I_{d}" class="ltx_Math" display="inline" id="S6.p2.4.m4.1"><semantics id="S6.p2.4.m4.1a"><mrow id="S6.p2.4.m4.1.1" xref="S6.p2.4.m4.1.1.cmml"><mi id="S6.p2.4.m4.1.1.2" mathvariant="normal" xref="S6.p2.4.m4.1.1.2.cmml">Σ</mi><mo id="S6.p2.4.m4.1.1.1" xref="S6.p2.4.m4.1.1.1.cmml">=</mo><msub id="S6.p2.4.m4.1.1.3" xref="S6.p2.4.m4.1.1.3.cmml"><mi id="S6.p2.4.m4.1.1.3.2" xref="S6.p2.4.m4.1.1.3.2.cmml">I</mi><mi id="S6.p2.4.m4.1.1.3.3" xref="S6.p2.4.m4.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.4.m4.1b"><apply id="S6.p2.4.m4.1.1.cmml" xref="S6.p2.4.m4.1.1"><eq id="S6.p2.4.m4.1.1.1.cmml" xref="S6.p2.4.m4.1.1.1"></eq><ci id="S6.p2.4.m4.1.1.2.cmml" xref="S6.p2.4.m4.1.1.2">Σ</ci><apply id="S6.p2.4.m4.1.1.3.cmml" xref="S6.p2.4.m4.1.1.3"><csymbol cd="ambiguous" id="S6.p2.4.m4.1.1.3.1.cmml" xref="S6.p2.4.m4.1.1.3">subscript</csymbol><ci id="S6.p2.4.m4.1.1.3.2.cmml" xref="S6.p2.4.m4.1.1.3.2">𝐼</ci><ci id="S6.p2.4.m4.1.1.3.3.cmml" xref="S6.p2.4.m4.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.4.m4.1c">\Sigma=I_{d}</annotation><annotation encoding="application/x-llamapun" id="S6.p2.4.m4.1d">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math>) and power-law (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E23" title="23 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">23</span></a>), with <math alttext="(\beta,r)=(2,0.375)" class="ltx_Math" display="inline" id="S6.p2.5.m5.4"><semantics id="S6.p2.5.m5.4a"><mrow id="S6.p2.5.m5.4.5" xref="S6.p2.5.m5.4.5.cmml"><mrow id="S6.p2.5.m5.4.5.2.2" xref="S6.p2.5.m5.4.5.2.1.cmml"><mo id="S6.p2.5.m5.4.5.2.2.1" stretchy="false" xref="S6.p2.5.m5.4.5.2.1.cmml">(</mo><mi id="S6.p2.5.m5.1.1" xref="S6.p2.5.m5.1.1.cmml">β</mi><mo id="S6.p2.5.m5.4.5.2.2.2" xref="S6.p2.5.m5.4.5.2.1.cmml">,</mo><mi id="S6.p2.5.m5.2.2" xref="S6.p2.5.m5.2.2.cmml">r</mi><mo id="S6.p2.5.m5.4.5.2.2.3" stretchy="false" xref="S6.p2.5.m5.4.5.2.1.cmml">)</mo></mrow><mo id="S6.p2.5.m5.4.5.1" xref="S6.p2.5.m5.4.5.1.cmml">=</mo><mrow id="S6.p2.5.m5.4.5.3.2" xref="S6.p2.5.m5.4.5.3.1.cmml"><mo id="S6.p2.5.m5.4.5.3.2.1" stretchy="false" xref="S6.p2.5.m5.4.5.3.1.cmml">(</mo><mn id="S6.p2.5.m5.3.3" xref="S6.p2.5.m5.3.3.cmml">2</mn><mo id="S6.p2.5.m5.4.5.3.2.2" xref="S6.p2.5.m5.4.5.3.1.cmml">,</mo><mn id="S6.p2.5.m5.4.4" xref="S6.p2.5.m5.4.4.cmml">0.375</mn><mo id="S6.p2.5.m5.4.5.3.2.3" stretchy="false" xref="S6.p2.5.m5.4.5.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.5.m5.4b"><apply id="S6.p2.5.m5.4.5.cmml" xref="S6.p2.5.m5.4.5"><eq id="S6.p2.5.m5.4.5.1.cmml" xref="S6.p2.5.m5.4.5.1"></eq><interval closure="open" id="S6.p2.5.m5.4.5.2.1.cmml" xref="S6.p2.5.m5.4.5.2.2"><ci id="S6.p2.5.m5.1.1.cmml" xref="S6.p2.5.m5.1.1">𝛽</ci><ci id="S6.p2.5.m5.2.2.cmml" xref="S6.p2.5.m5.2.2">𝑟</ci></interval><interval closure="open" id="S6.p2.5.m5.4.5.3.1.cmml" xref="S6.p2.5.m5.4.5.3.2"><cn id="S6.p2.5.m5.3.3.cmml" type="integer" xref="S6.p2.5.m5.3.3">2</cn><cn id="S6.p2.5.m5.4.4.cmml" type="float" xref="S6.p2.5.m5.4.4">0.375</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.5.m5.4c">(\beta,r)=(2,0.375)</annotation><annotation encoding="application/x-llamapun" id="S6.p2.5.m5.4d">( italic_β , italic_r ) = ( 2 , 0.375 )</annotation></semantics></math>. For each value of <math alttext="n" class="ltx_Math" display="inline" id="S6.p2.6.m6.1"><semantics id="S6.p2.6.m6.1a"><mi id="S6.p2.6.m6.1.1" xref="S6.p2.6.m6.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S6.p2.6.m6.1b"><ci id="S6.p2.6.m6.1.1.cmml" xref="S6.p2.6.m6.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.6.m6.1c">n</annotation><annotation encoding="application/x-llamapun" id="S6.p2.6.m6.1d">italic_n</annotation></semantics></math> (the generation index), the fake data-generator is constructed according to the process described in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E4" title="4 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4</span></a>), with <math alttext="\sigma=0.1" class="ltx_Math" display="inline" id="S6.p2.7.m7.1"><semantics id="S6.p2.7.m7.1a"><mrow id="S6.p2.7.m7.1.1" xref="S6.p2.7.m7.1.1.cmml"><mi id="S6.p2.7.m7.1.1.2" xref="S6.p2.7.m7.1.1.2.cmml">σ</mi><mo id="S6.p2.7.m7.1.1.1" xref="S6.p2.7.m7.1.1.1.cmml">=</mo><mn id="S6.p2.7.m7.1.1.3" xref="S6.p2.7.m7.1.1.3.cmml">0.1</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.7.m7.1b"><apply id="S6.p2.7.m7.1.1.cmml" xref="S6.p2.7.m7.1.1"><eq id="S6.p2.7.m7.1.1.1.cmml" xref="S6.p2.7.m7.1.1.1"></eq><ci id="S6.p2.7.m7.1.1.2.cmml" xref="S6.p2.7.m7.1.1.2">𝜎</ci><cn id="S6.p2.7.m7.1.1.3.cmml" type="float" xref="S6.p2.7.m7.1.1.3">0.1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.7.m7.1c">\sigma=0.1</annotation><annotation encoding="application/x-llamapun" id="S6.p2.7.m7.1d">italic_σ = 0.1</annotation></semantics></math> and <math alttext="\sigma_{0}=0.2" class="ltx_Math" display="inline" id="S6.p2.8.m8.1"><semantics id="S6.p2.8.m8.1a"><mrow id="S6.p2.8.m8.1.1" xref="S6.p2.8.m8.1.1.cmml"><msub id="S6.p2.8.m8.1.1.2" xref="S6.p2.8.m8.1.1.2.cmml"><mi id="S6.p2.8.m8.1.1.2.2" xref="S6.p2.8.m8.1.1.2.2.cmml">σ</mi><mn id="S6.p2.8.m8.1.1.2.3" xref="S6.p2.8.m8.1.1.2.3.cmml">0</mn></msub><mo id="S6.p2.8.m8.1.1.1" xref="S6.p2.8.m8.1.1.1.cmml">=</mo><mn id="S6.p2.8.m8.1.1.3" xref="S6.p2.8.m8.1.1.3.cmml">0.2</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.8.m8.1b"><apply id="S6.p2.8.m8.1.1.cmml" xref="S6.p2.8.m8.1.1"><eq id="S6.p2.8.m8.1.1.1.cmml" xref="S6.p2.8.m8.1.1.1"></eq><apply id="S6.p2.8.m8.1.1.2.cmml" xref="S6.p2.8.m8.1.1.2"><csymbol cd="ambiguous" id="S6.p2.8.m8.1.1.2.1.cmml" xref="S6.p2.8.m8.1.1.2">subscript</csymbol><ci id="S6.p2.8.m8.1.1.2.2.cmml" xref="S6.p2.8.m8.1.1.2.2">𝜎</ci><cn id="S6.p2.8.m8.1.1.2.3.cmml" type="integer" xref="S6.p2.8.m8.1.1.2.3">0</cn></apply><cn id="S6.p2.8.m8.1.1.3.cmml" type="float" xref="S6.p2.8.m8.1.1.3">0.2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.8.m8.1c">\sigma_{0}=0.2</annotation><annotation encoding="application/x-llamapun" id="S6.p2.8.m8.1d">italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = 0.2</annotation></semantics></math> (results are similar for other nonzero values of <math alttext="\sigma" class="ltx_Math" display="inline" id="S6.p2.9.m9.1"><semantics id="S6.p2.9.m9.1a"><mi id="S6.p2.9.m9.1.1" xref="S6.p2.9.m9.1.1.cmml">σ</mi><annotation-xml encoding="MathML-Content" id="S6.p2.9.m9.1b"><ci id="S6.p2.9.m9.1.1.cmml" xref="S6.p2.9.m9.1.1">𝜎</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.9.m9.1c">\sigma</annotation><annotation encoding="application/x-llamapun" id="S6.p2.9.m9.1d">italic_σ</annotation></semantics></math> and <math alttext="\sigma_{0}" class="ltx_Math" display="inline" id="S6.p2.10.m10.1"><semantics id="S6.p2.10.m10.1a"><msub id="S6.p2.10.m10.1.1" xref="S6.p2.10.m10.1.1.cmml"><mi id="S6.p2.10.m10.1.1.2" xref="S6.p2.10.m10.1.1.2.cmml">σ</mi><mn id="S6.p2.10.m10.1.1.3" xref="S6.p2.10.m10.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="S6.p2.10.m10.1b"><apply id="S6.p2.10.m10.1.1.cmml" xref="S6.p2.10.m10.1.1"><csymbol cd="ambiguous" id="S6.p2.10.m10.1.1.1.cmml" xref="S6.p2.10.m10.1.1">subscript</csymbol><ci id="S6.p2.10.m10.1.1.2.cmml" xref="S6.p2.10.m10.1.1.2">𝜎</ci><cn id="S6.p2.10.m10.1.1.3.cmml" type="integer" xref="S6.p2.10.m10.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.10.m10.1c">\sigma_{0}</annotation><annotation encoding="application/x-llamapun" id="S6.p2.10.m10.1d">italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>). Then, for different values of <math alttext="T" class="ltx_Math" display="inline" id="S6.p2.11.m11.1"><semantics id="S6.p2.11.m11.1a"><mi id="S6.p2.11.m11.1.1" xref="S6.p2.11.m11.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S6.p2.11.m11.1b"><ci id="S6.p2.11.m11.1.1.cmml" xref="S6.p2.11.m11.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.11.m11.1c">T</annotation><annotation encoding="application/x-llamapun" id="S6.p2.11.m11.1d">italic_T</annotation></semantics></math> (between <math alttext="1" class="ltx_Math" display="inline" id="S6.p2.12.m12.1"><semantics id="S6.p2.12.m12.1a"><mn id="S6.p2.12.m12.1.1" xref="S6.p2.12.m12.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S6.p2.12.m12.1b"><cn id="S6.p2.12.m12.1.1.cmml" type="integer" xref="S6.p2.12.m12.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.12.m12.1c">1</annotation><annotation encoding="application/x-llamapun" id="S6.p2.12.m12.1d">1</annotation></semantics></math> and <math alttext="1000,000" class="ltx_Math" display="inline" id="S6.p2.13.m13.2"><semantics id="S6.p2.13.m13.2a"><mrow id="S6.p2.13.m13.2.3.2" xref="S6.p2.13.m13.2.3.1.cmml"><mn id="S6.p2.13.m13.1.1" xref="S6.p2.13.m13.1.1.cmml">1000</mn><mo id="S6.p2.13.m13.2.3.2.1" xref="S6.p2.13.m13.2.3.1.cmml">,</mo><mn id="S6.p2.13.m13.2.2" xref="S6.p2.13.m13.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.13.m13.2b"><list id="S6.p2.13.m13.2.3.1.cmml" xref="S6.p2.13.m13.2.3.2"><cn id="S6.p2.13.m13.1.1.cmml" type="integer" xref="S6.p2.13.m13.1.1">1000</cn><cn id="S6.p2.13.m13.2.2.cmml" type="integer" xref="S6.p2.13.m13.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.13.m13.2c">1000,000</annotation><annotation encoding="application/x-llamapun" id="S6.p2.13.m13.2d">1000 , 000</annotation></semantics></math>), a sample of size <math alttext="T" class="ltx_Math" display="inline" id="S6.p2.14.m14.1"><semantics id="S6.p2.14.m14.1a"><mi id="S6.p2.14.m14.1.1" xref="S6.p2.14.m14.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S6.p2.14.m14.1b"><ci id="S6.p2.14.m14.1.1.cmml" xref="S6.p2.14.m14.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.14.m14.1c">T</annotation><annotation encoding="application/x-llamapun" id="S6.p2.14.m14.1d">italic_T</annotation></semantics></math> is drawn from this fake data-generator and then a downstream ridge model (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S3.E5" title="5 ‣ 3 Theoretical Setup ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5</span></a>) is fitted. The test set consists of <math alttext="100,000" class="ltx_Math" display="inline" id="S6.p2.15.m15.2"><semantics id="S6.p2.15.m15.2a"><mrow id="S6.p2.15.m15.2.3.2" xref="S6.p2.15.m15.2.3.1.cmml"><mn id="S6.p2.15.m15.1.1" xref="S6.p2.15.m15.1.1.cmml">100</mn><mo id="S6.p2.15.m15.2.3.2.1" xref="S6.p2.15.m15.2.3.1.cmml">,</mo><mn id="S6.p2.15.m15.2.2" xref="S6.p2.15.m15.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.15.m15.2b"><list id="S6.p2.15.m15.2.3.1.cmml" xref="S6.p2.15.m15.2.3.2"><cn id="S6.p2.15.m15.1.1.cmml" type="integer" xref="S6.p2.15.m15.1.1">100</cn><cn id="S6.p2.15.m15.2.2.cmml" type="integer" xref="S6.p2.15.m15.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.15.m15.2c">100,000</annotation><annotation encoding="application/x-llamapun" id="S6.p2.15.m15.2d">100 , 000</annotation></semantics></math> clean pairs <math alttext="(x,y)" class="ltx_Math" display="inline" id="S6.p2.16.m16.2"><semantics id="S6.p2.16.m16.2a"><mrow id="S6.p2.16.m16.2.3.2" xref="S6.p2.16.m16.2.3.1.cmml"><mo id="S6.p2.16.m16.2.3.2.1" stretchy="false" xref="S6.p2.16.m16.2.3.1.cmml">(</mo><mi id="S6.p2.16.m16.1.1" xref="S6.p2.16.m16.1.1.cmml">x</mi><mo id="S6.p2.16.m16.2.3.2.2" xref="S6.p2.16.m16.2.3.1.cmml">,</mo><mi id="S6.p2.16.m16.2.2" xref="S6.p2.16.m16.2.2.cmml">y</mi><mo id="S6.p2.16.m16.2.3.2.3" stretchy="false" xref="S6.p2.16.m16.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.16.m16.2b"><interval closure="open" id="S6.p2.16.m16.2.3.1.cmml" xref="S6.p2.16.m16.2.3.2"><ci id="S6.p2.16.m16.1.1.cmml" xref="S6.p2.16.m16.1.1">𝑥</ci><ci id="S6.p2.16.m16.2.2.cmml" xref="S6.p2.16.m16.2.2">𝑦</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.16.m16.2c">(x,y)</annotation><annotation encoding="application/x-llamapun" id="S6.p2.16.m16.2d">( italic_x , italic_y )</annotation></semantics></math> form the true data distribution <math alttext="P_{\Sigma,w_{0},\sigma^{2}}" class="ltx_Math" display="inline" id="S6.p2.17.m17.3"><semantics id="S6.p2.17.m17.3a"><msub id="S6.p2.17.m17.3.4" xref="S6.p2.17.m17.3.4.cmml"><mi id="S6.p2.17.m17.3.4.2" xref="S6.p2.17.m17.3.4.2.cmml">P</mi><mrow id="S6.p2.17.m17.3.3.3.3" xref="S6.p2.17.m17.3.3.3.4.cmml"><mi id="S6.p2.17.m17.1.1.1.1" mathvariant="normal" xref="S6.p2.17.m17.1.1.1.1.cmml">Σ</mi><mo id="S6.p2.17.m17.3.3.3.3.3" xref="S6.p2.17.m17.3.3.3.4.cmml">,</mo><msub id="S6.p2.17.m17.2.2.2.2.1" xref="S6.p2.17.m17.2.2.2.2.1.cmml"><mi id="S6.p2.17.m17.2.2.2.2.1.2" xref="S6.p2.17.m17.2.2.2.2.1.2.cmml">w</mi><mn id="S6.p2.17.m17.2.2.2.2.1.3" xref="S6.p2.17.m17.2.2.2.2.1.3.cmml">0</mn></msub><mo id="S6.p2.17.m17.3.3.3.3.4" xref="S6.p2.17.m17.3.3.3.4.cmml">,</mo><msup id="S6.p2.17.m17.3.3.3.3.2" xref="S6.p2.17.m17.3.3.3.3.2.cmml"><mi id="S6.p2.17.m17.3.3.3.3.2.2" xref="S6.p2.17.m17.3.3.3.3.2.2.cmml">σ</mi><mn id="S6.p2.17.m17.3.3.3.3.2.3" xref="S6.p2.17.m17.3.3.3.3.2.3.cmml">2</mn></msup></mrow></msub><annotation-xml encoding="MathML-Content" id="S6.p2.17.m17.3b"><apply id="S6.p2.17.m17.3.4.cmml" xref="S6.p2.17.m17.3.4"><csymbol cd="ambiguous" id="S6.p2.17.m17.3.4.1.cmml" xref="S6.p2.17.m17.3.4">subscript</csymbol><ci id="S6.p2.17.m17.3.4.2.cmml" xref="S6.p2.17.m17.3.4.2">𝑃</ci><list id="S6.p2.17.m17.3.3.3.4.cmml" xref="S6.p2.17.m17.3.3.3.3"><ci id="S6.p2.17.m17.1.1.1.1.cmml" xref="S6.p2.17.m17.1.1.1.1">Σ</ci><apply id="S6.p2.17.m17.2.2.2.2.1.cmml" xref="S6.p2.17.m17.2.2.2.2.1"><csymbol cd="ambiguous" id="S6.p2.17.m17.2.2.2.2.1.1.cmml" xref="S6.p2.17.m17.2.2.2.2.1">subscript</csymbol><ci id="S6.p2.17.m17.2.2.2.2.1.2.cmml" xref="S6.p2.17.m17.2.2.2.2.1.2">𝑤</ci><cn id="S6.p2.17.m17.2.2.2.2.1.3.cmml" type="integer" xref="S6.p2.17.m17.2.2.2.2.1.3">0</cn></apply><apply id="S6.p2.17.m17.3.3.3.3.2.cmml" xref="S6.p2.17.m17.3.3.3.3.2"><csymbol cd="ambiguous" id="S6.p2.17.m17.3.3.3.3.2.1.cmml" xref="S6.p2.17.m17.3.3.3.3.2">superscript</csymbol><ci id="S6.p2.17.m17.3.3.3.3.2.2.cmml" xref="S6.p2.17.m17.3.3.3.3.2.2">𝜎</ci><cn id="S6.p2.17.m17.3.3.3.3.2.3.cmml" type="integer" xref="S6.p2.17.m17.3.3.3.3.2.3">2</cn></apply></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.17.m17.3c">P_{\Sigma,w_{0},\sigma^{2}}</annotation><annotation encoding="application/x-llamapun" id="S6.p2.17.m17.3d">italic_P start_POSTSUBSCRIPT roman_Σ , italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_POSTSUBSCRIPT</annotation></semantics></math>. This experiment is repeated <math alttext="10" class="ltx_Math" display="inline" id="S6.p2.18.m18.1"><semantics id="S6.p2.18.m18.1a"><mn id="S6.p2.18.m18.1.1" xref="S6.p2.18.m18.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="S6.p2.18.m18.1b"><cn id="S6.p2.18.m18.1.1.cmml" type="integer" xref="S6.p2.18.m18.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.18.m18.1c">10</annotation><annotation encoding="application/x-llamapun" id="S6.p2.18.m18.1d">10</annotation></semantics></math> times to generate error bars. The results for the isotropic setting are shown in Figure <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F1" title="Figure 1 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">1</span></a> and the results for the power-law setting are shown in Figure <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F2" title="Figure 2 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">2</span></a>.</p> </div> <div class="ltx_para" id="S6.p3"> <p class="ltx_p" id="S6.p3.18"><span class="ltx_text ltx_font_bold" id="S6.p3.18.1">Real Data: Kernel Ridge Regression on MNIST.</span> As in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>; Wei et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib46" title="">2022</a>)</cite> we consider a distribution on MNIST, a popular dataset in the ML community. Classification dataset normally contains <math alttext="60,000" class="ltx_Math" display="inline" id="S6.p3.1.m1.2"><semantics id="S6.p3.1.m1.2a"><mrow id="S6.p3.1.m1.2.3.2" xref="S6.p3.1.m1.2.3.1.cmml"><mn id="S6.p3.1.m1.1.1" xref="S6.p3.1.m1.1.1.cmml">60</mn><mo id="S6.p3.1.m1.2.3.2.1" xref="S6.p3.1.m1.2.3.1.cmml">,</mo><mn id="S6.p3.1.m1.2.2" xref="S6.p3.1.m1.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.1.m1.2b"><list id="S6.p3.1.m1.2.3.1.cmml" xref="S6.p3.1.m1.2.3.2"><cn id="S6.p3.1.m1.1.1.cmml" type="integer" xref="S6.p3.1.m1.1.1">60</cn><cn id="S6.p3.1.m1.2.2.cmml" type="integer" xref="S6.p3.1.m1.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.1.m1.2c">60,000</annotation><annotation encoding="application/x-llamapun" id="S6.p3.1.m1.2d">60 , 000</annotation></semantics></math> training and <math alttext="10,000" class="ltx_Math" display="inline" id="S6.p3.2.m2.2"><semantics id="S6.p3.2.m2.2a"><mrow id="S6.p3.2.m2.2.3.2" xref="S6.p3.2.m2.2.3.1.cmml"><mn id="S6.p3.2.m2.1.1" xref="S6.p3.2.m2.1.1.cmml">10</mn><mo id="S6.p3.2.m2.2.3.2.1" xref="S6.p3.2.m2.2.3.1.cmml">,</mo><mn id="S6.p3.2.m2.2.2" xref="S6.p3.2.m2.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.2.m2.2b"><list id="S6.p3.2.m2.2.3.1.cmml" xref="S6.p3.2.m2.2.3.2"><cn id="S6.p3.2.m2.1.1.cmml" type="integer" xref="S6.p3.2.m2.1.1">10</cn><cn id="S6.p3.2.m2.2.2.cmml" type="integer" xref="S6.p3.2.m2.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.2.m2.2c">10,000</annotation><annotation encoding="application/x-llamapun" id="S6.p3.2.m2.2d">10 , 000</annotation></semantics></math> test data points (handwritten), with labels from 0 to 9 inclusive. Like in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, we convert the labels into real numbers (i.e a regression problem) like so: <math alttext="y=\text{label}\text{ mod }2+\text{ noise }" class="ltx_Math" display="inline" id="S6.p3.3.m3.1"><semantics id="S6.p3.3.m3.1a"><mrow id="S6.p3.3.m3.1.1" xref="S6.p3.3.m3.1.1.cmml"><mi id="S6.p3.3.m3.1.1.2" xref="S6.p3.3.m3.1.1.2.cmml">y</mi><mo id="S6.p3.3.m3.1.1.1" xref="S6.p3.3.m3.1.1.1.cmml">=</mo><mrow id="S6.p3.3.m3.1.1.3" xref="S6.p3.3.m3.1.1.3.cmml"><mrow id="S6.p3.3.m3.1.1.3.2" xref="S6.p3.3.m3.1.1.3.2.cmml"><mrow id="S6.p3.3.m3.1.1.3.2.2" xref="S6.p3.3.m3.1.1.3.2.2c.cmml"><mtext id="S6.p3.3.m3.1.1.3.2.2a" xref="S6.p3.3.m3.1.1.3.2.2c.cmml">label</mtext><mtext id="S6.p3.3.m3.1.1.3.2.2b" xref="S6.p3.3.m3.1.1.3.2.2c.cmml"> mod </mtext></mrow><mo id="S6.p3.3.m3.1.1.3.2.1" xref="S6.p3.3.m3.1.1.3.2.1.cmml">⁢</mo><mn id="S6.p3.3.m3.1.1.3.2.3" xref="S6.p3.3.m3.1.1.3.2.3.cmml">2</mn></mrow><mo id="S6.p3.3.m3.1.1.3.1" xref="S6.p3.3.m3.1.1.3.1.cmml">+</mo><mtext id="S6.p3.3.m3.1.1.3.3" xref="S6.p3.3.m3.1.1.3.3a.cmml"> noise </mtext></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.3.m3.1b"><apply id="S6.p3.3.m3.1.1.cmml" xref="S6.p3.3.m3.1.1"><eq id="S6.p3.3.m3.1.1.1.cmml" xref="S6.p3.3.m3.1.1.1"></eq><ci id="S6.p3.3.m3.1.1.2.cmml" xref="S6.p3.3.m3.1.1.2">𝑦</ci><apply id="S6.p3.3.m3.1.1.3.cmml" xref="S6.p3.3.m3.1.1.3"><plus id="S6.p3.3.m3.1.1.3.1.cmml" xref="S6.p3.3.m3.1.1.3.1"></plus><apply id="S6.p3.3.m3.1.1.3.2.cmml" xref="S6.p3.3.m3.1.1.3.2"><times id="S6.p3.3.m3.1.1.3.2.1.cmml" xref="S6.p3.3.m3.1.1.3.2.1"></times><ci id="S6.p3.3.m3.1.1.3.2.2c.cmml" xref="S6.p3.3.m3.1.1.3.2.2"><mrow id="S6.p3.3.m3.1.1.3.2.2.cmml" xref="S6.p3.3.m3.1.1.3.2.2"><mtext id="S6.p3.3.m3.1.1.3.2.2a.cmml" xref="S6.p3.3.m3.1.1.3.2.2">label</mtext><mtext id="S6.p3.3.m3.1.1.3.2.2b.cmml" xref="S6.p3.3.m3.1.1.3.2.2"> mod </mtext></mrow></ci><cn id="S6.p3.3.m3.1.1.3.2.3.cmml" type="integer" xref="S6.p3.3.m3.1.1.3.2.3">2</cn></apply><ci id="S6.p3.3.m3.1.1.3.3a.cmml" xref="S6.p3.3.m3.1.1.3.3"><mtext id="S6.p3.3.m3.1.1.3.3.cmml" xref="S6.p3.3.m3.1.1.3.3"> noise </mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.3.m3.1c">y=\text{label}\text{ mod }2+\text{ noise }</annotation><annotation encoding="application/x-llamapun" id="S6.p3.3.m3.1d">italic_y = roman_label mod 2 + noise</annotation></semantics></math>, where the variance of the noise is <math alttext="\sigma^{2}=1" class="ltx_Math" display="inline" id="S6.p3.4.m4.1"><semantics id="S6.p3.4.m4.1a"><mrow id="S6.p3.4.m4.1.1" xref="S6.p3.4.m4.1.1.cmml"><msup id="S6.p3.4.m4.1.1.2" xref="S6.p3.4.m4.1.1.2.cmml"><mi id="S6.p3.4.m4.1.1.2.2" xref="S6.p3.4.m4.1.1.2.2.cmml">σ</mi><mn id="S6.p3.4.m4.1.1.2.3" xref="S6.p3.4.m4.1.1.2.3.cmml">2</mn></msup><mo id="S6.p3.4.m4.1.1.1" xref="S6.p3.4.m4.1.1.1.cmml">=</mo><mn id="S6.p3.4.m4.1.1.3" xref="S6.p3.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.4.m4.1b"><apply id="S6.p3.4.m4.1.1.cmml" xref="S6.p3.4.m4.1.1"><eq id="S6.p3.4.m4.1.1.1.cmml" xref="S6.p3.4.m4.1.1.1"></eq><apply id="S6.p3.4.m4.1.1.2.cmml" xref="S6.p3.4.m4.1.1.2"><csymbol cd="ambiguous" id="S6.p3.4.m4.1.1.2.1.cmml" xref="S6.p3.4.m4.1.1.2">superscript</csymbol><ci id="S6.p3.4.m4.1.1.2.2.cmml" xref="S6.p3.4.m4.1.1.2.2">𝜎</ci><cn id="S6.p3.4.m4.1.1.2.3.cmml" type="integer" xref="S6.p3.4.m4.1.1.2.3">2</cn></apply><cn id="S6.p3.4.m4.1.1.3.cmml" type="integer" xref="S6.p3.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.4.m4.1c">\sigma^{2}=1</annotation><annotation encoding="application/x-llamapun" id="S6.p3.4.m4.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = 1</annotation></semantics></math> (for simplicity, we also set <math alttext="\sigma_{0}^{2}=1" class="ltx_Math" display="inline" id="S6.p3.5.m5.1"><semantics id="S6.p3.5.m5.1a"><mrow id="S6.p3.5.m5.1.1" xref="S6.p3.5.m5.1.1.cmml"><msubsup id="S6.p3.5.m5.1.1.2" xref="S6.p3.5.m5.1.1.2.cmml"><mi id="S6.p3.5.m5.1.1.2.2.2" xref="S6.p3.5.m5.1.1.2.2.2.cmml">σ</mi><mn id="S6.p3.5.m5.1.1.2.2.3" xref="S6.p3.5.m5.1.1.2.2.3.cmml">0</mn><mn id="S6.p3.5.m5.1.1.2.3" xref="S6.p3.5.m5.1.1.2.3.cmml">2</mn></msubsup><mo id="S6.p3.5.m5.1.1.1" xref="S6.p3.5.m5.1.1.1.cmml">=</mo><mn id="S6.p3.5.m5.1.1.3" xref="S6.p3.5.m5.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.5.m5.1b"><apply id="S6.p3.5.m5.1.1.cmml" xref="S6.p3.5.m5.1.1"><eq id="S6.p3.5.m5.1.1.1.cmml" xref="S6.p3.5.m5.1.1.1"></eq><apply id="S6.p3.5.m5.1.1.2.cmml" xref="S6.p3.5.m5.1.1.2"><csymbol cd="ambiguous" id="S6.p3.5.m5.1.1.2.1.cmml" xref="S6.p3.5.m5.1.1.2">superscript</csymbol><apply id="S6.p3.5.m5.1.1.2.2.cmml" xref="S6.p3.5.m5.1.1.2"><csymbol cd="ambiguous" id="S6.p3.5.m5.1.1.2.2.1.cmml" xref="S6.p3.5.m5.1.1.2">subscript</csymbol><ci id="S6.p3.5.m5.1.1.2.2.2.cmml" xref="S6.p3.5.m5.1.1.2.2.2">𝜎</ci><cn id="S6.p3.5.m5.1.1.2.2.3.cmml" type="integer" xref="S6.p3.5.m5.1.1.2.2.3">0</cn></apply><cn id="S6.p3.5.m5.1.1.2.3.cmml" type="integer" xref="S6.p3.5.m5.1.1.2.3">2</cn></apply><cn id="S6.p3.5.m5.1.1.3.cmml" type="integer" xref="S6.p3.5.m5.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.5.m5.1c">\sigma_{0}^{2}=1</annotation><annotation encoding="application/x-llamapun" id="S6.p3.5.m5.1d">italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = 1</annotation></semantics></math>). The test set consists of <math alttext="10,000" class="ltx_Math" display="inline" id="S6.p3.6.m6.2"><semantics id="S6.p3.6.m6.2a"><mrow id="S6.p3.6.m6.2.3.2" xref="S6.p3.6.m6.2.3.1.cmml"><mn id="S6.p3.6.m6.1.1" xref="S6.p3.6.m6.1.1.cmml">10</mn><mo id="S6.p3.6.m6.2.3.2.1" xref="S6.p3.6.m6.2.3.1.cmml">,</mo><mn id="S6.p3.6.m6.2.2" xref="S6.p3.6.m6.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.6.m6.2b"><list id="S6.p3.6.m6.2.3.1.cmml" xref="S6.p3.6.m6.2.3.2"><cn id="S6.p3.6.m6.1.1.cmml" type="integer" xref="S6.p3.6.m6.1.1">10</cn><cn id="S6.p3.6.m6.2.2.cmml" type="integer" xref="S6.p3.6.m6.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.6.m6.2c">10,000</annotation><annotation encoding="application/x-llamapun" id="S6.p3.6.m6.2d">10 , 000</annotation></semantics></math> pairs <math alttext="(x,y)" class="ltx_Math" display="inline" id="S6.p3.7.m7.2"><semantics id="S6.p3.7.m7.2a"><mrow id="S6.p3.7.m7.2.3.2" xref="S6.p3.7.m7.2.3.1.cmml"><mo id="S6.p3.7.m7.2.3.2.1" stretchy="false" xref="S6.p3.7.m7.2.3.1.cmml">(</mo><mi id="S6.p3.7.m7.1.1" xref="S6.p3.7.m7.1.1.cmml">x</mi><mo id="S6.p3.7.m7.2.3.2.2" xref="S6.p3.7.m7.2.3.1.cmml">,</mo><mi id="S6.p3.7.m7.2.2" xref="S6.p3.7.m7.2.2.cmml">y</mi><mo id="S6.p3.7.m7.2.3.2.3" stretchy="false" xref="S6.p3.7.m7.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.7.m7.2b"><interval closure="open" id="S6.p3.7.m7.2.3.1.cmml" xref="S6.p3.7.m7.2.3.2"><ci id="S6.p3.7.m7.1.1.cmml" xref="S6.p3.7.m7.1.1">𝑥</ci><ci id="S6.p3.7.m7.2.2.cmml" xref="S6.p3.7.m7.2.2">𝑦</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.7.m7.2c">(x,y)</annotation><annotation encoding="application/x-llamapun" id="S6.p3.7.m7.2d">( italic_x , italic_y )</annotation></semantics></math>, with the labels <math alttext="y" class="ltx_Math" display="inline" id="S6.p3.8.m8.1"><semantics id="S6.p3.8.m8.1a"><mi id="S6.p3.8.m8.1.1" xref="S6.p3.8.m8.1.1.cmml">y</mi><annotation-xml encoding="MathML-Content" id="S6.p3.8.m8.1b"><ci id="S6.p3.8.m8.1.1.cmml" xref="S6.p3.8.m8.1.1">𝑦</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.8.m8.1c">y</annotation><annotation encoding="application/x-llamapun" id="S6.p3.8.m8.1d">italic_y</annotation></semantics></math> constructed as described in previous sentence. The fake data used for training is generated as in the previous experiment, but via kernel ridge regression (instead of least squares) with polynomial kernel (degree = <math alttext="5" class="ltx_Math" display="inline" id="S6.p3.9.m9.1"><semantics id="S6.p3.9.m9.1a"><mn id="S6.p3.9.m9.1.1" xref="S6.p3.9.m9.1.1.cmml">5</mn><annotation-xml encoding="MathML-Content" id="S6.p3.9.m9.1b"><cn id="S6.p3.9.m9.1.1.cmml" type="integer" xref="S6.p3.9.m9.1.1">5</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.9.m9.1c">5</annotation><annotation encoding="application/x-llamapun" id="S6.p3.9.m9.1d">5</annotation></semantics></math>, bandwidth = <math alttext="10^{-4}" class="ltx_Math" display="inline" id="S6.p3.10.m10.1"><semantics id="S6.p3.10.m10.1a"><msup id="S6.p3.10.m10.1.1" xref="S6.p3.10.m10.1.1.cmml"><mn id="S6.p3.10.m10.1.1.2" xref="S6.p3.10.m10.1.1.2.cmml">10</mn><mrow id="S6.p3.10.m10.1.1.3" xref="S6.p3.10.m10.1.1.3.cmml"><mo id="S6.p3.10.m10.1.1.3a" xref="S6.p3.10.m10.1.1.3.cmml">−</mo><mn id="S6.p3.10.m10.1.1.3.2" xref="S6.p3.10.m10.1.1.3.2.cmml">4</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S6.p3.10.m10.1b"><apply id="S6.p3.10.m10.1.1.cmml" xref="S6.p3.10.m10.1.1"><csymbol cd="ambiguous" id="S6.p3.10.m10.1.1.1.cmml" xref="S6.p3.10.m10.1.1">superscript</csymbol><cn id="S6.p3.10.m10.1.1.2.cmml" type="integer" xref="S6.p3.10.m10.1.1.2">10</cn><apply id="S6.p3.10.m10.1.1.3.cmml" xref="S6.p3.10.m10.1.1.3"><minus id="S6.p3.10.m10.1.1.3.1.cmml" xref="S6.p3.10.m10.1.1.3"></minus><cn id="S6.p3.10.m10.1.1.3.2.cmml" type="integer" xref="S6.p3.10.m10.1.1.3.2">4</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.10.m10.1c">10^{-4}</annotation><annotation encoding="application/x-llamapun" id="S6.p3.10.m10.1d">10 start_POSTSUPERSCRIPT - 4 end_POSTSUPERSCRIPT</annotation></semantics></math>) and polynomial kernel (degree = <math alttext="5" class="ltx_Math" display="inline" id="S6.p3.11.m11.1"><semantics id="S6.p3.11.m11.1a"><mn id="S6.p3.11.m11.1.1" xref="S6.p3.11.m11.1.1.cmml">5</mn><annotation-xml encoding="MathML-Content" id="S6.p3.11.m11.1b"><cn id="S6.p3.11.m11.1.1.cmml" type="integer" xref="S6.p3.11.m11.1.1">5</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.11.m11.1c">5</annotation><annotation encoding="application/x-llamapun" id="S6.p3.11.m11.1d">5</annotation></semantics></math>). Note that it was empirically shown in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> that these datasets verify (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E23" title="23 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">23</span></a>) with <math alttext="(\beta,r)\approx(1.65,0.097)" class="ltx_Math" display="inline" id="S6.p3.12.m12.4"><semantics id="S6.p3.12.m12.4a"><mrow id="S6.p3.12.m12.4.5" xref="S6.p3.12.m12.4.5.cmml"><mrow id="S6.p3.12.m12.4.5.2.2" xref="S6.p3.12.m12.4.5.2.1.cmml"><mo id="S6.p3.12.m12.4.5.2.2.1" stretchy="false" xref="S6.p3.12.m12.4.5.2.1.cmml">(</mo><mi id="S6.p3.12.m12.1.1" xref="S6.p3.12.m12.1.1.cmml">β</mi><mo id="S6.p3.12.m12.4.5.2.2.2" xref="S6.p3.12.m12.4.5.2.1.cmml">,</mo><mi id="S6.p3.12.m12.2.2" xref="S6.p3.12.m12.2.2.cmml">r</mi><mo id="S6.p3.12.m12.4.5.2.2.3" stretchy="false" xref="S6.p3.12.m12.4.5.2.1.cmml">)</mo></mrow><mo id="S6.p3.12.m12.4.5.1" xref="S6.p3.12.m12.4.5.1.cmml">≈</mo><mrow id="S6.p3.12.m12.4.5.3.2" xref="S6.p3.12.m12.4.5.3.1.cmml"><mo id="S6.p3.12.m12.4.5.3.2.1" stretchy="false" xref="S6.p3.12.m12.4.5.3.1.cmml">(</mo><mn id="S6.p3.12.m12.3.3" xref="S6.p3.12.m12.3.3.cmml">1.65</mn><mo id="S6.p3.12.m12.4.5.3.2.2" xref="S6.p3.12.m12.4.5.3.1.cmml">,</mo><mn id="S6.p3.12.m12.4.4" xref="S6.p3.12.m12.4.4.cmml">0.097</mn><mo id="S6.p3.12.m12.4.5.3.2.3" stretchy="false" xref="S6.p3.12.m12.4.5.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.12.m12.4b"><apply id="S6.p3.12.m12.4.5.cmml" xref="S6.p3.12.m12.4.5"><approx id="S6.p3.12.m12.4.5.1.cmml" xref="S6.p3.12.m12.4.5.1"></approx><interval closure="open" id="S6.p3.12.m12.4.5.2.1.cmml" xref="S6.p3.12.m12.4.5.2.2"><ci id="S6.p3.12.m12.1.1.cmml" xref="S6.p3.12.m12.1.1">𝛽</ci><ci id="S6.p3.12.m12.2.2.cmml" xref="S6.p3.12.m12.2.2">𝑟</ci></interval><interval closure="open" id="S6.p3.12.m12.4.5.3.1.cmml" xref="S6.p3.12.m12.4.5.3.2"><cn id="S6.p3.12.m12.3.3.cmml" type="float" xref="S6.p3.12.m12.3.3">1.65</cn><cn id="S6.p3.12.m12.4.4.cmml" type="float" xref="S6.p3.12.m12.4.4">0.097</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.12.m12.4c">(\beta,r)\approx(1.65,0.097)</annotation><annotation encoding="application/x-llamapun" id="S6.p3.12.m12.4d">( italic_β , italic_r ) ≈ ( 1.65 , 0.097 )</annotation></semantics></math> in the case of the aforementioned RBF kernel, and <math alttext="(\beta,r)\approx(1.2,0.15)" class="ltx_Math" display="inline" id="S6.p3.13.m13.4"><semantics id="S6.p3.13.m13.4a"><mrow id="S6.p3.13.m13.4.5" xref="S6.p3.13.m13.4.5.cmml"><mrow id="S6.p3.13.m13.4.5.2.2" xref="S6.p3.13.m13.4.5.2.1.cmml"><mo id="S6.p3.13.m13.4.5.2.2.1" stretchy="false" xref="S6.p3.13.m13.4.5.2.1.cmml">(</mo><mi id="S6.p3.13.m13.1.1" xref="S6.p3.13.m13.1.1.cmml">β</mi><mo id="S6.p3.13.m13.4.5.2.2.2" xref="S6.p3.13.m13.4.5.2.1.cmml">,</mo><mi id="S6.p3.13.m13.2.2" xref="S6.p3.13.m13.2.2.cmml">r</mi><mo id="S6.p3.13.m13.4.5.2.2.3" stretchy="false" xref="S6.p3.13.m13.4.5.2.1.cmml">)</mo></mrow><mo id="S6.p3.13.m13.4.5.1" xref="S6.p3.13.m13.4.5.1.cmml">≈</mo><mrow id="S6.p3.13.m13.4.5.3.2" xref="S6.p3.13.m13.4.5.3.1.cmml"><mo id="S6.p3.13.m13.4.5.3.2.1" stretchy="false" xref="S6.p3.13.m13.4.5.3.1.cmml">(</mo><mn id="S6.p3.13.m13.3.3" xref="S6.p3.13.m13.3.3.cmml">1.2</mn><mo id="S6.p3.13.m13.4.5.3.2.2" xref="S6.p3.13.m13.4.5.3.1.cmml">,</mo><mn id="S6.p3.13.m13.4.4" xref="S6.p3.13.m13.4.4.cmml">0.15</mn><mo id="S6.p3.13.m13.4.5.3.2.3" stretchy="false" xref="S6.p3.13.m13.4.5.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.13.m13.4b"><apply id="S6.p3.13.m13.4.5.cmml" xref="S6.p3.13.m13.4.5"><approx id="S6.p3.13.m13.4.5.1.cmml" xref="S6.p3.13.m13.4.5.1"></approx><interval closure="open" id="S6.p3.13.m13.4.5.2.1.cmml" xref="S6.p3.13.m13.4.5.2.2"><ci id="S6.p3.13.m13.1.1.cmml" xref="S6.p3.13.m13.1.1">𝛽</ci><ci id="S6.p3.13.m13.2.2.cmml" xref="S6.p3.13.m13.2.2">𝑟</ci></interval><interval closure="open" id="S6.p3.13.m13.4.5.3.1.cmml" xref="S6.p3.13.m13.4.5.3.2"><cn id="S6.p3.13.m13.3.3.cmml" type="float" xref="S6.p3.13.m13.3.3">1.2</cn><cn id="S6.p3.13.m13.4.4.cmml" type="float" xref="S6.p3.13.m13.4.4">0.15</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.13.m13.4c">(\beta,r)\approx(1.2,0.15)</annotation><annotation encoding="application/x-llamapun" id="S6.p3.13.m13.4d">( italic_β , italic_r ) ≈ ( 1.2 , 0.15 )</annotation></semantics></math> in the case of the polynomial kernel. Then, for different values of <math alttext="T" class="ltx_Math" display="inline" id="S6.p3.14.m14.1"><semantics id="S6.p3.14.m14.1a"><mi id="S6.p3.14.m14.1.1" xref="S6.p3.14.m14.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S6.p3.14.m14.1b"><ci id="S6.p3.14.m14.1.1.cmml" xref="S6.p3.14.m14.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.14.m14.1c">T</annotation><annotation encoding="application/x-llamapun" id="S6.p3.14.m14.1d">italic_T</annotation></semantics></math> (between <math alttext="1" class="ltx_Math" display="inline" id="S6.p3.15.m15.1"><semantics id="S6.p3.15.m15.1a"><mn id="S6.p3.15.m15.1.1" xref="S6.p3.15.m15.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S6.p3.15.m15.1b"><cn id="S6.p3.15.m15.1.1.cmml" type="integer" xref="S6.p3.15.m15.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.15.m15.1c">1</annotation><annotation encoding="application/x-llamapun" id="S6.p3.15.m15.1d">1</annotation></semantics></math> and <math alttext="1000" class="ltx_Math" display="inline" id="S6.p3.16.m16.1"><semantics id="S6.p3.16.m16.1a"><mn id="S6.p3.16.m16.1.1" xref="S6.p3.16.m16.1.1.cmml">1000</mn><annotation-xml encoding="MathML-Content" id="S6.p3.16.m16.1b"><cn id="S6.p3.16.m16.1.1.cmml" type="integer" xref="S6.p3.16.m16.1.1">1000</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.16.m16.1c">1000</annotation><annotation encoding="application/x-llamapun" id="S6.p3.16.m16.1d">1000</annotation></semantics></math>), a sample of size <math alttext="T" class="ltx_Math" display="inline" id="S6.p3.17.m17.1"><semantics id="S6.p3.17.m17.1a"><mi id="S6.p3.17.m17.1.1" xref="S6.p3.17.m17.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S6.p3.17.m17.1b"><ci id="S6.p3.17.m17.1.1.cmml" xref="S6.p3.17.m17.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.17.m17.1c">T</annotation><annotation encoding="application/x-llamapun" id="S6.p3.17.m17.1d">italic_T</annotation></semantics></math> is drawn from the the this fake data-generator and then a downstream kernel ridge model is fitted. Each of these experiments are repeated <math alttext="10" class="ltx_Math" display="inline" id="S6.p3.18.m18.1"><semantics id="S6.p3.18.m18.1a"><mn id="S6.p3.18.m18.1.1" xref="S6.p3.18.m18.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="S6.p3.18.m18.1b"><cn id="S6.p3.18.m18.1.1.cmml" type="integer" xref="S6.p3.18.m18.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.18.m18.1c">10</annotation><annotation encoding="application/x-llamapun" id="S6.p3.18.m18.1d">10</annotation></semantics></math> times to generate error bars (due to different realizations of label noise). The results are shown in Figure <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S1.F3" title="Figure 3 ‣ 1 Introduction ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">3</span></a>.</p> </div> </section> <section class="ltx_section" id="S7"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">7 </span>Concluding Remarks</h2> <div class="ltx_para" id="S7.p1"> <p class="ltx_p" id="S7.p1.1">As we navigate the ”synthetic data age”, our findings signal a departure from traditional test error rates (e.g neural scaling laws), introducing novel challenges and phenomena with the integration of synthetic data from preceding AI models into training sets. Our work provides a solid analytical handle for demystifying the model collapse phenomenon as a modification of usual scaling laws caused by fake / synthesized training data.</p> </div> <div class="ltx_para" id="S7.p2"> <p class="ltx_p" id="S7.p2.1">On the practical side, our analysis reveals that AI-generated data alters the optimal regularization for downstream models. Drawing from the insight that regularization mirrors early stopping <cite class="ltx_cite ltx_citemacro_citet">Ali et al. (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib3" title="">2019</a>)</cite>, our study suggests that models trained on mixed real and AI-generated data may initially improve but later decline in performance (model collapse), necessitating early detection of this inflection point. This observation prompts a re-evaluation of current training approaches and underscores the complexity of model optimization in the era of synthetic data.</p> </div> </section> <section class="ltx_section" id="S8"> <h2 class="ltx_title ltx_title_section"> <span class="ltx_tag ltx_tag_section">8 </span>Acknowledgements</h2> <div class="ltx_para" id="S8.p1"> <p class="ltx_p" id="S8.p1.1">YF and JK acknowledge support through NSF NRT training grant award 1922658. Discussions with Bruno Loureiro are gratefully acknowledged. This work was supported in part through the NYU IT High Performance Computing resources, services, and staff expertise.</p> </div> </section> <section class="ltx_bibliography" id="bib"> <h2 class="ltx_title ltx_title_bibliography">References</h2> <ul class="ltx_biblist"> <li class="ltx_bibitem" id="bib.bib1"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Achiam et al. (2023)</span> <span class="ltx_bibblock"> Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., et al. </span> <span class="ltx_bibblock">Gpt-4 technical report. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib1.1.1">arXiv preprint arXiv:2303.08774</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib2"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Alemohammad et al. (2023)</span> <span class="ltx_bibblock"> Alemohammad, S., Casco-Rodriguez, J., Luzi, L., Humayun, A. I., Babaei, H., LeJeune, D., Siahkoohi, A., and Baraniuk, R. G. </span> <span class="ltx_bibblock">Self-consuming generative models go mad. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib2.1.1">arXiv preprint arxiv:2307.01850</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib3"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ali et al. (2019)</span> <span class="ltx_bibblock"> Ali, A., Kolter, J. Z., and Tibshirani, R. J. </span> <span class="ltx_bibblock">A continuous-time view of early stopping for least squares regression. </span> <span class="ltx_bibblock">In Chaudhuri, K. and Sugiyama, M. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib3.1.1">Proceedings of the Twenty-Second International Conference on Artificial Intelligence and Statistics</em>, volume 89 of <em class="ltx_emph ltx_font_italic" id="bib.bib3.2.2">Proceedings of Machine Learning Research</em>, pp. 1370–1378. PMLR, 16–18 Apr 2019. </span> </li> <li class="ltx_bibitem" id="bib.bib4"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bach (2023)</span> <span class="ltx_bibblock"> Bach, F. </span> <span class="ltx_bibblock">High-dimensional analysis of double descent for linear regression with random projections, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib5"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bai & Silverstein (2010)</span> <span class="ltx_bibblock"> Bai, Z. and Silverstein, J. W. J. W. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib5.1.1">Spectral analysis of large dimensional random matrices</em>. </span> <span class="ltx_bibblock">Springer series in statistics. Springer, New York ;, 2nd ed. edition, 2010. </span> <span class="ltx_bibblock">ISBN 9781441906601. </span> </li> <li class="ltx_bibitem" id="bib.bib6"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Belkin et al. (2018)</span> <span class="ltx_bibblock"> Belkin, M., Ma, S., and Mandal, S. </span> <span class="ltx_bibblock">To understand deep learning we need to understand kernel learning. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib6.1.1">Proceedings of the 35th International Conference on Machine Learning</em>, volume 80 of <em class="ltx_emph ltx_font_italic" id="bib.bib6.2.2">Proceedings of Machine Learning Research</em>, pp. 541–549. PMLR, 2018. </span> </li> <li class="ltx_bibitem" id="bib.bib7"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bertrand et al. (2023)</span> <span class="ltx_bibblock"> Bertrand, Q., Bose, A. J., Duplessis, A., Jiralerspong, M., and Gidel, G. </span> <span class="ltx_bibblock">On the stability of iterative retraining of generative models on their own data. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib7.1.1">arXiv preprint arxiv:2310.00429</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib8"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bohacek & Farid (2023)</span> <span class="ltx_bibblock"> Bohacek, M. and Farid, H. </span> <span class="ltx_bibblock">Nepotistically trained generative-ai models collapse, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib9"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bordelon et al. (2020)</span> <span class="ltx_bibblock"> Bordelon, B., Canatar, A., and Pehlevan, C. </span> <span class="ltx_bibblock">Spectrum dependent learning curves in kernel regression and wide neural networks. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib9.1.1">Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event</em>, volume 119 of <em class="ltx_emph ltx_font_italic" id="bib.bib9.2.2">Proceedings of Machine Learning Research</em>, pp. 1024–1034. PMLR, 2020. </span> </li> <li class="ltx_bibitem" id="bib.bib10"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Briesch et al. (2023)</span> <span class="ltx_bibblock"> Briesch, M., Sobania, D., and Rothlauf, F. </span> <span class="ltx_bibblock">Large language models suffer from their own output: An analysis of the self-consuming training loop, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib11"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Brown et al. (2020)</span> <span class="ltx_bibblock"> Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. </span> <span class="ltx_bibblock">Language models are few-shot learners. </span> <span class="ltx_bibblock">In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib11.1.1">Advances in Neural Information Processing Systems</em>, volume 33, pp. 1877–1901. Curran Associates, Inc., 2020. </span> </li> <li class="ltx_bibitem" id="bib.bib12"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Caponnetto & de Vito (2007)</span> <span class="ltx_bibblock"> Caponnetto, A. and de Vito, E. </span> <span class="ltx_bibblock">Optimal rates for the regularized least-squares algorithm. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib12.1.1">Foundations of Computational Mathematics</em>, 7:331–368, 2007. </span> </li> <li class="ltx_bibitem" id="bib.bib13"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Chizat et al. (2019)</span> <span class="ltx_bibblock"> Chizat, L., Oyallon, E., and Bach, F. </span> <span class="ltx_bibblock">On lazy training in differentiable programming. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib13.1.1">Advances in neural information processing systems</em>, 32, 2019. </span> </li> <li class="ltx_bibitem" id="bib.bib14"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Cui et al. (2021)</span> <span class="ltx_bibblock"> Cui, H., Loureiro, B., Krzakala, F., and Zdeborova, L. </span> <span class="ltx_bibblock">Generalization error rates in kernel regression: The crossover from the noiseless to noisy regime. </span> <span class="ltx_bibblock">In Beygelzimer, A., Dauphin, Y., Liang, P., and Vaughan, J. W. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib14.1.1">Advances in Neural Information Processing Systems</em>, 2021. </span> </li> <li class="ltx_bibitem" id="bib.bib15"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Cui et al. (2022)</span> <span class="ltx_bibblock"> Cui, H., Loureiro, B., Krzakala, F., and Zdeborová, L. </span> <span class="ltx_bibblock">Generalization error rates in kernel regression: the crossover from the noiseless to noisy regime. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib15.1.1">Journal of Statistical Mechanics: Theory and Experiment</em>, 2022(11):114004, nov 2022. </span> </li> <li class="ltx_bibitem" id="bib.bib16"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Cui et al. (2023)</span> <span class="ltx_bibblock"> Cui, H., Loureiro, B., Krzakala, F., and Zdeborová, L. </span> <span class="ltx_bibblock">Error scaling laws for kernel classification under source and capacity conditions. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib16.1.1">Machine Learning: Science and Technology</em>, 4(3):035033, August 2023. </span> <span class="ltx_bibblock">ISSN 2632-2153. </span> </li> <li class="ltx_bibitem" id="bib.bib17"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Devlin et al. (2018)</span> <span class="ltx_bibblock"> Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. </span> <span class="ltx_bibblock">Bert: Pre-training of deep bidirectional transformers for language understanding. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib17.1.1">arXiv preprint arXiv:1810.04805</em>, 2018. </span> </li> <li class="ltx_bibitem" id="bib.bib18"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Fan et al. (2023)</span> <span class="ltx_bibblock"> Fan, L., Chen, K., Krishnan, D., Katabi, D., Isola, P., and Tian, Y. </span> <span class="ltx_bibblock">Scaling laws of synthetic images for model training… for now. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib18.1.1">arXiv preprint arXiv:2312.04567</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib19"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Guo et al. (2023)</span> <span class="ltx_bibblock"> Guo, Y., Shang, G., Vazirgiannis, M., and Clavel, C. </span> <span class="ltx_bibblock">The curious decline of linguistic diversity: Training language models on synthetic text, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib20"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Hastie et al. (2022)</span> <span class="ltx_bibblock"> Hastie, T., Montanari, A., Rosset, S., and Tibshirani, R. J. </span> <span class="ltx_bibblock">Surprises in high-dimensional ridgeless least squares interpolation. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib20.1.1">The Annals of Statistics</em>, 50(2), 2022. </span> </li> <li class="ltx_bibitem" id="bib.bib21"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Hataya et al. (2023)</span> <span class="ltx_bibblock"> Hataya, R., Bao, H., and Arai, H. </span> <span class="ltx_bibblock">Will large-scale generative models corrupt future datasets? </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib21.1.1">Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)</em>, pp. 20555–20565, October 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib22"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Jacot et al. (2018)</span> <span class="ltx_bibblock"> Jacot, A., Gabriel, F., and Hongler, C. </span> <span class="ltx_bibblock">Neural tangent kernel: Convergence and generalization in neural networks. </span> <span class="ltx_bibblock">In Bengio, S., Wallach, H., Larochelle, H., Grauman, K., Cesa-Bianchi, N., and Garnett, R. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib22.1.1">Advances in Neural Information Processing Systems</em>, volume 31. Curran Associates, Inc., 2018. </span> </li> <li class="ltx_bibitem" id="bib.bib23"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Knowles & Yin (2017)</span> <span class="ltx_bibblock"> Knowles, A. and Yin, J. </span> <span class="ltx_bibblock">Anisotropic local laws for random matrices. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib23.1.1">Probability Theory and Related Fields</em>, 169(1):257–352, 2017. </span> </li> <li class="ltx_bibitem" id="bib.bib24"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lee et al. (2018)</span> <span class="ltx_bibblock"> Lee, J., Bahri, Y., Novak, R., Schoenholz, S. S., Pennington, J., and Sohl-Dickstein, J. </span> <span class="ltx_bibblock">Deep neural networks as gaussian processes. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib24.1.1">6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings</em>. OpenReview.net, 2018. </span> </li> <li class="ltx_bibitem" id="bib.bib25"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Liang & Rakhlin (2020)</span> <span class="ltx_bibblock"> Liang, T. and Rakhlin, A. </span> <span class="ltx_bibblock">Just interpolate: Kernel “Ridgeless” regression can generalize. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib25.1.1">The Annals of Statistics</em>, 48(3), 2020. </span> </li> <li class="ltx_bibitem" id="bib.bib26"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Liu et al. (2019)</span> <span class="ltx_bibblock"> Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. </span> <span class="ltx_bibblock">Roberta: A robustly optimized bert pretraining approach. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib26.1.1">arXiv preprint arXiv:1907.11692</em>, 2019. </span> </li> <li class="ltx_bibitem" id="bib.bib27"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Maloney et al. (2022)</span> <span class="ltx_bibblock"> Maloney, A., Roberts, D. A., and Sully, J. </span> <span class="ltx_bibblock">A solvable model of neural scaling laws, 2022. </span> </li> <li class="ltx_bibitem" id="bib.bib28"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Martínez et al. (2023a)</span> <span class="ltx_bibblock"> Martínez, G., Watson, L., Reviriego, P., Hernández, J. A., Juarez, M., and Sarkar, R. </span> <span class="ltx_bibblock">Combining generative artificial intelligence (ai) and the internet: Heading towards evolution or degradation? </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib28.1.1">arXiv preprint arxiv: 2303.01255</em>, 2023a. </span> </li> <li class="ltx_bibitem" id="bib.bib29"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Martínez et al. (2023b)</span> <span class="ltx_bibblock"> Martínez, G., Watson, L., Reviriego, P., Hernández, J. A., Juarez, M., and Sarkar, R. </span> <span class="ltx_bibblock">Towards understanding the interplay of generative artificial intelligence and the internet. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib29.1.1">arXiv preprint arxiv: 2306.06130</em>, 2023b. </span> </li> <li class="ltx_bibitem" id="bib.bib30"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Marčenko & Pastur (1967)</span> <span class="ltx_bibblock"> Marčenko, V. and Pastur, L. </span> <span class="ltx_bibblock">Distribution of eigenvalues for some sets of random matrices. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib30.1.1">Math USSR Sb</em>, 1:457–483, 01 1967. </span> </li> <li class="ltx_bibitem" id="bib.bib31"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Midjourney (2023)</span> <span class="ltx_bibblock"> Midjourney. </span> <span class="ltx_bibblock">Midjourney ai, 2023. </span> <span class="ltx_bibblock">URL <a class="ltx_ref ltx_url ltx_font_typewriter" href="https://www.midjourney.com/" title="">https://www.midjourney.com/</a>. </span> </li> <li class="ltx_bibitem" id="bib.bib32"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Mobahi et al. (2020)</span> <span class="ltx_bibblock"> Mobahi, H., Farajtabar, M., and Bartlett, P. </span> <span class="ltx_bibblock">Self-distillation amplifies regularization in Hilbert space. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib32.1.1">Advances in Neural Information Processing Systems</em>, volume 33, pp. 3351–3361. Curran Associates, Inc., 2020. </span> </li> <li class="ltx_bibitem" id="bib.bib33"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Neal (1996)</span> <span class="ltx_bibblock"> Neal, R. M. </span> <span class="ltx_bibblock">Priors for infinite networks. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib33.1.1">Bayesian Learning for Neural Networks</em>, pp. 29–53. Springer, New York, 1996. </span> </li> <li class="ltx_bibitem" id="bib.bib34"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Nitanda & Suzuki (2021)</span> <span class="ltx_bibblock"> Nitanda, A. and Suzuki, T. </span> <span class="ltx_bibblock">Optimal rates for averaged stochastic gradient descent under neural tangent kernel regime. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib34.1.1">International Conference on Learning Representations</em>, 2021. </span> </li> <li class="ltx_bibitem" id="bib.bib35"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rahimi & Recht (2008)</span> <span class="ltx_bibblock"> Rahimi, A. and Recht, B. </span> <span class="ltx_bibblock">Weighted sums of random kitchen sinks: Replacing minimization with randomization in learning. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib35.1.1">Advances in Neural Information Processing Systems</em>. Curran Associates, Inc., 2008. </span> </li> <li class="ltx_bibitem" id="bib.bib36"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ramesh et al. (2021)</span> <span class="ltx_bibblock"> Ramesh, A., Pavlov, M., Goh, G., Gray, S., Voss, C., Radford, A., Chen, M., and Sutskever, I. </span> <span class="ltx_bibblock">Zero-shot text-to-image generation. </span> <span class="ltx_bibblock">In Meila, M. and Zhang, T. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib36.1.1">Proceedings of the 38th International Conference on Machine Learning</em>, volume 139 of <em class="ltx_emph ltx_font_italic" id="bib.bib36.2.2">Proceedings of Machine Learning Research</em>, pp. 8821–8831. PMLR, 18–24 Jul 2021. </span> </li> <li class="ltx_bibitem" id="bib.bib37"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Richards et al. (2021)</span> <span class="ltx_bibblock"> Richards, D., Mourtada, J., and Rosasco, L. </span> <span class="ltx_bibblock">Asymptotics of ridge(less) regression under general source condition. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib37.1.1">Proceedings of The 24th International Conference on Artificial Intelligence and Statistics</em>, volume 130 of <em class="ltx_emph ltx_font_italic" id="bib.bib37.2.2">Proceedings of Machine Learning Research</em>. PMLR, 2021. </span> </li> <li class="ltx_bibitem" id="bib.bib38"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rombach et al. (2022)</span> <span class="ltx_bibblock"> Rombach, R., Blattmann, A., Lorenz, D., Esser, P., and Ommer, B. </span> <span class="ltx_bibblock">High-resolution image synthesis with latent diffusion models. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib38.1.1">Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)</em>, pp. 10684–10695, June 2022. </span> </li> <li class="ltx_bibitem" id="bib.bib39"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rudi & Rosasco (2017)</span> <span class="ltx_bibblock"> Rudi, A. and Rosasco, L. </span> <span class="ltx_bibblock">Generalization properties of learning with random features. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib39.1.1">Advances in Neural Information Processing Systems</em>. Curran Associates Inc., 2017. </span> <span class="ltx_bibblock">ISBN 9781510860964. </span> </li> <li class="ltx_bibitem" id="bib.bib40"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Schmidt-Hieber (2017)</span> <span class="ltx_bibblock"> Schmidt-Hieber, J. </span> <span class="ltx_bibblock">Nonparametric regression using deep neural networks with relu activation function. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib40.1.1">Annals of Statistics</em>, 48, 08 2017. </span> </li> <li class="ltx_bibitem" id="bib.bib41"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Shumailov et al. (2023)</span> <span class="ltx_bibblock"> Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., and Anderson, R. </span> <span class="ltx_bibblock">The curse of recursion: Training on generated data makes models forget. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib41.1.1">arXiv preprint arxiv:2305.17493</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib42"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Simon et al. (2021)</span> <span class="ltx_bibblock"> Simon, J. B., Dickens, M., and DeWeese, M. R. </span> <span class="ltx_bibblock">Neural tangent kernel eigenvalues accurately predict generalization. </span> <span class="ltx_bibblock">2021. </span> </li> <li class="ltx_bibitem" id="bib.bib43"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Spigler et al. (2020)</span> <span class="ltx_bibblock"> Spigler, S., Geiger, M., and Wyart, M. </span> <span class="ltx_bibblock">Asymptotic learning curves of kernel methods: empirical data versus teacher–student paradigm. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib43.1.1">Journal of Statistical Mechanics: Theory and Experiment</em>, 2020(12), 2020. </span> </li> <li class="ltx_bibitem" id="bib.bib44"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Suzuki (2019)</span> <span class="ltx_bibblock"> Suzuki, T. </span> <span class="ltx_bibblock">Adaptivity of deep reLU network for learning in besov and mixed smooth besov spaces: optimal rate and curse of dimensionality. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib44.1.1">International Conference on Learning Representations</em>, 2019. </span> </li> <li class="ltx_bibitem" id="bib.bib45"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Touvron et al. (2023)</span> <span class="ltx_bibblock"> Touvron, H., Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., Bashlykov, N., Batra, S., Bhargava, P., Bhosale, S., et al. </span> <span class="ltx_bibblock">Llama 2: Open foundation and fine-tuned chat models. </span> <span class="ltx_bibblock"><em class="ltx_emph ltx_font_italic" id="bib.bib45.1.1">arXiv preprint arXiv:2307.09288</em>, 2023. </span> </li> <li class="ltx_bibitem" id="bib.bib46"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Wei et al. (2022)</span> <span class="ltx_bibblock"> Wei, A., Hu, W., and Steinhardt, J. </span> <span class="ltx_bibblock">More than a toy: Random matrix models predict how real-world neural representations generalize. </span> <span class="ltx_bibblock">In <em class="ltx_emph ltx_font_italic" id="bib.bib46.1.1">Proceedings of the 39th International Conference on Machine Learning</em>, volume 162 of <em class="ltx_emph ltx_font_italic" id="bib.bib46.2.2">Proceedings of Machine Learning Research</em>. PMLR, 2022. </span> </li> <li class="ltx_bibitem" id="bib.bib47"> <span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Williams (1996)</span> <span class="ltx_bibblock"> Williams, C. </span> <span class="ltx_bibblock">Computing with infinite networks. </span> <span class="ltx_bibblock">In Mozer, M., Jordan, M., and Petsche, T. (eds.), <em class="ltx_emph ltx_font_italic" id="bib.bib47.1.1">Advances in Neural Information Processing Systems</em>, volume 9. MIT Press, 1996. </span> </li> </ul> </section> <div class="ltx_pagination ltx_role_newpage"></div> <div class="ltx_para ltx_noindent ltx_align_center" id="p3"> <p class="ltx_p" id="p3.1"><span class="ltx_rule" style="width:483.7pt;height:3.0pt;background:black;display:inline-block;"> </span></p> <p class="ltx_p" id="p3.2"><span class="ltx_text ltx_font_bold" id="p3.2.1" style="font-size:207%;">Appendix<span class="ltx_text ltx_font_medium" id="p3.2.1.1"></span></span></p> <br class="ltx_break"/> <p class="ltx_p" id="p3.3"><span class="ltx_text ltx_font_bold" id="p3.3.1" style="font-size:144%;">Model Collapse Demystified: The Case of Regression<span class="ltx_text ltx_font_medium" id="p3.3.1.1"></span></span></p> <p class="ltx_p" id="p3.4"><span class="ltx_rule" style="width:483.7pt;height:1.2pt;background:black;display:inline-block;"> </span><span class="ltx_text" id="p3.4.1" style="font-size:144%;"></span></p> </div> <section class="ltx_appendix" id="A1"> <h2 class="ltx_title ltx_title_appendix"> <span class="ltx_tag ltx_tag_appendix">Appendix A </span>Exact Characterization of Test Error Under Model Collapse</h2> <section class="ltx_subsection" id="A1.SS1"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">A.1 </span>Proof of Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem1" title="Theorem 4.1. ‣ 4.1 Warm-up: Unregularized Downstream Model ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.1</span></a> (Rigeless Regression / OLS)</h3> <div class="ltx_para" id="A1.SS1.p1"> <p class="ltx_p" id="A1.SS1.p1.1">For <math alttext="n=0" class="ltx_Math" display="inline" id="A1.SS1.p1.1.m1.1"><semantics id="A1.SS1.p1.1.m1.1a"><mrow id="A1.SS1.p1.1.m1.1.1" xref="A1.SS1.p1.1.m1.1.1.cmml"><mi id="A1.SS1.p1.1.m1.1.1.2" xref="A1.SS1.p1.1.m1.1.1.2.cmml">n</mi><mo id="A1.SS1.p1.1.m1.1.1.1" xref="A1.SS1.p1.1.m1.1.1.1.cmml">=</mo><mn id="A1.SS1.p1.1.m1.1.1.3" xref="A1.SS1.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.1.m1.1b"><apply id="A1.SS1.p1.1.m1.1.1.cmml" xref="A1.SS1.p1.1.m1.1.1"><eq id="A1.SS1.p1.1.m1.1.1.1.cmml" xref="A1.SS1.p1.1.m1.1.1.1"></eq><ci id="A1.SS1.p1.1.m1.1.1.2.cmml" xref="A1.SS1.p1.1.m1.1.1.2">𝑛</ci><cn id="A1.SS1.p1.1.m1.1.1.3.cmml" type="integer" xref="A1.SS1.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.1.m1.1c">n=0</annotation><annotation encoding="application/x-llamapun" id="A1.SS1.p1.1.m1.1d">italic_n = 0</annotation></semantics></math>, we have</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx28"> <tbody id="A1.E30"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}E_{test}(\widehat{w}_{0}^{pred})&=\mathbb{E}\,\|% \widehat{w}_{0}^{pred}-w_{0}\|^{2}_{\Sigma}=\mathbb{E}\|(X_{0}^{\top}X_{0})^{-% 1}X_{0}^{\top}E_{n-1}\|^{2}_{\Sigma}\\ &=\sigma^{2}\mathbb{E}\mathrm{tr}((X_{0}^{\top}X_{0})^{-1}\Sigma)=\sigma^{2}% \frac{d}{T-d-1}\simeq\frac{\sigma^{2}\phi}{1-\phi},\end{split}" class="ltx_Math" display="inline" id="A1.E30.m1.66"><semantics id="A1.E30.m1.66a"><mtable columnspacing="0pt" id="A1.E30.m1.66.66.5" rowspacing="0pt"><mtr id="A1.E30.m1.66.66.5a"><mtd class="ltx_align_right" columnalign="right" id="A1.E30.m1.66.66.5b"><mrow id="A1.E30.m1.63.63.2.62.39.8"><msub id="A1.E30.m1.63.63.2.62.39.8.10"><mi id="A1.E30.m1.1.1.1.1.1.1" xref="A1.E30.m1.1.1.1.1.1.1.cmml">E</mi><mrow id="A1.E30.m1.2.2.2.2.2.2.1" xref="A1.E30.m1.2.2.2.2.2.2.1.cmml"><mi id="A1.E30.m1.2.2.2.2.2.2.1.2" xref="A1.E30.m1.2.2.2.2.2.2.1.2.cmml">t</mi><mo id="A1.E30.m1.2.2.2.2.2.2.1.1" xref="A1.E30.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.E30.m1.2.2.2.2.2.2.1.3" xref="A1.E30.m1.2.2.2.2.2.2.1.3.cmml">e</mi><mo id="A1.E30.m1.2.2.2.2.2.2.1.1a" xref="A1.E30.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.E30.m1.2.2.2.2.2.2.1.4" xref="A1.E30.m1.2.2.2.2.2.2.1.4.cmml">s</mi><mo id="A1.E30.m1.2.2.2.2.2.2.1.1b" xref="A1.E30.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.E30.m1.2.2.2.2.2.2.1.5" xref="A1.E30.m1.2.2.2.2.2.2.1.5.cmml">t</mi></mrow></msub><mo id="A1.E30.m1.63.63.2.62.39.8.9" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mrow id="A1.E30.m1.63.63.2.62.39.8.8.1"><mo id="A1.E30.m1.3.3.3.3.3.3" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">(</mo><msubsup id="A1.E30.m1.63.63.2.62.39.8.8.1.1"><mover accent="true" id="A1.E30.m1.4.4.4.4.4.4" xref="A1.E30.m1.4.4.4.4.4.4.cmml"><mi id="A1.E30.m1.4.4.4.4.4.4.2" xref="A1.E30.m1.4.4.4.4.4.4.2.cmml">w</mi><mo id="A1.E30.m1.4.4.4.4.4.4.1" xref="A1.E30.m1.4.4.4.4.4.4.1.cmml">^</mo></mover><mn id="A1.E30.m1.5.5.5.5.5.5.1" xref="A1.E30.m1.5.5.5.5.5.5.1.cmml">0</mn><mrow id="A1.E30.m1.6.6.6.6.6.6.1" xref="A1.E30.m1.6.6.6.6.6.6.1.cmml"><mi id="A1.E30.m1.6.6.6.6.6.6.1.2" xref="A1.E30.m1.6.6.6.6.6.6.1.2.cmml">p</mi><mo id="A1.E30.m1.6.6.6.6.6.6.1.1" xref="A1.E30.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.6.6.6.6.6.6.1.3" xref="A1.E30.m1.6.6.6.6.6.6.1.3.cmml">r</mi><mo id="A1.E30.m1.6.6.6.6.6.6.1.1a" xref="A1.E30.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.6.6.6.6.6.6.1.4" xref="A1.E30.m1.6.6.6.6.6.6.1.4.cmml">e</mi><mo id="A1.E30.m1.6.6.6.6.6.6.1.1b" xref="A1.E30.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.6.6.6.6.6.6.1.5" xref="A1.E30.m1.6.6.6.6.6.6.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.E30.m1.7.7.7.7.7.7" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.E30.m1.66.66.5c"><mrow id="A1.E30.m1.65.65.4.64.41.33"><mi id="A1.E30.m1.65.65.4.64.41.33.35" xref="A1.E30.m1.62.62.1.1.1.cmml"></mi><mo id="A1.E30.m1.8.8.8.8.1.1" xref="A1.E30.m1.8.8.8.8.1.1.cmml">=</mo><mrow id="A1.E30.m1.64.64.3.63.40.32.32"><mi id="A1.E30.m1.9.9.9.9.2.2" xref="A1.E30.m1.9.9.9.9.2.2.cmml">𝔼</mi><mo id="A1.E30.m1.64.64.3.63.40.32.32.2" lspace="0.170em" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msubsup id="A1.E30.m1.64.64.3.63.40.32.32.1"><mrow id="A1.E30.m1.64.64.3.63.40.32.32.1.1.1.1"><mo id="A1.E30.m1.10.10.10.10.3.3" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">‖</mo><mrow id="A1.E30.m1.64.64.3.63.40.32.32.1.1.1.1.1"><msubsup id="A1.E30.m1.64.64.3.63.40.32.32.1.1.1.1.1.1"><mover accent="true" id="A1.E30.m1.11.11.11.11.4.4" xref="A1.E30.m1.11.11.11.11.4.4.cmml"><mi id="A1.E30.m1.11.11.11.11.4.4.2" xref="A1.E30.m1.11.11.11.11.4.4.2.cmml">w</mi><mo id="A1.E30.m1.11.11.11.11.4.4.1" xref="A1.E30.m1.11.11.11.11.4.4.1.cmml">^</mo></mover><mn id="A1.E30.m1.12.12.12.12.5.5.1" xref="A1.E30.m1.12.12.12.12.5.5.1.cmml">0</mn><mrow id="A1.E30.m1.13.13.13.13.6.6.1" xref="A1.E30.m1.13.13.13.13.6.6.1.cmml"><mi id="A1.E30.m1.13.13.13.13.6.6.1.2" xref="A1.E30.m1.13.13.13.13.6.6.1.2.cmml">p</mi><mo id="A1.E30.m1.13.13.13.13.6.6.1.1" xref="A1.E30.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.13.13.13.13.6.6.1.3" xref="A1.E30.m1.13.13.13.13.6.6.1.3.cmml">r</mi><mo id="A1.E30.m1.13.13.13.13.6.6.1.1a" xref="A1.E30.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.13.13.13.13.6.6.1.4" xref="A1.E30.m1.13.13.13.13.6.6.1.4.cmml">e</mi><mo id="A1.E30.m1.13.13.13.13.6.6.1.1b" xref="A1.E30.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.E30.m1.13.13.13.13.6.6.1.5" xref="A1.E30.m1.13.13.13.13.6.6.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.E30.m1.14.14.14.14.7.7" xref="A1.E30.m1.14.14.14.14.7.7.cmml">−</mo><msub id="A1.E30.m1.64.64.3.63.40.32.32.1.1.1.1.1.2"><mi id="A1.E30.m1.15.15.15.15.8.8" xref="A1.E30.m1.15.15.15.15.8.8.cmml">w</mi><mn id="A1.E30.m1.16.16.16.16.9.9.1" xref="A1.E30.m1.16.16.16.16.9.9.1.cmml">0</mn></msub></mrow><mo id="A1.E30.m1.17.17.17.17.10.10" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">‖</mo></mrow><mi id="A1.E30.m1.19.19.19.19.12.12.1" mathvariant="normal" xref="A1.E30.m1.19.19.19.19.12.12.1.cmml">Σ</mi><mn id="A1.E30.m1.18.18.18.18.11.11.1" xref="A1.E30.m1.18.18.18.18.11.11.1.cmml">2</mn></msubsup></mrow><mo id="A1.E30.m1.20.20.20.20.13.13" xref="A1.E30.m1.20.20.20.20.13.13.cmml">=</mo><mrow id="A1.E30.m1.65.65.4.64.41.33.33"><mi id="A1.E30.m1.21.21.21.21.14.14" xref="A1.E30.m1.21.21.21.21.14.14.cmml">𝔼</mi><mo id="A1.E30.m1.65.65.4.64.41.33.33.2" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msubsup id="A1.E30.m1.65.65.4.64.41.33.33.1"><mrow id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1"><mo id="A1.E30.m1.22.22.22.22.15.15" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">‖</mo><mrow id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1"><msup id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1"><mrow id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1.1.1"><mo id="A1.E30.m1.23.23.23.23.16.16" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">(</mo><mrow id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1.1.1.1"><msubsup id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1.1.1.1.2"><mi id="A1.E30.m1.24.24.24.24.17.17" xref="A1.E30.m1.24.24.24.24.17.17.cmml">X</mi><mn id="A1.E30.m1.25.25.25.25.18.18.1" xref="A1.E30.m1.25.25.25.25.18.18.1.cmml">0</mn><mo id="A1.E30.m1.26.26.26.26.19.19.1" xref="A1.E30.m1.26.26.26.26.19.19.1.cmml">⊤</mo></msubsup><mo id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1.1.1.1.1" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msub id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.1.1.1.1.3"><mi id="A1.E30.m1.27.27.27.27.20.20" xref="A1.E30.m1.27.27.27.27.20.20.cmml">X</mi><mn id="A1.E30.m1.28.28.28.28.21.21.1" xref="A1.E30.m1.28.28.28.28.21.21.1.cmml">0</mn></msub></mrow><mo id="A1.E30.m1.29.29.29.29.22.22" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">)</mo></mrow><mrow id="A1.E30.m1.30.30.30.30.23.23.1" xref="A1.E30.m1.30.30.30.30.23.23.1.cmml"><mo id="A1.E30.m1.30.30.30.30.23.23.1a" xref="A1.E30.m1.30.30.30.30.23.23.1.cmml">−</mo><mn id="A1.E30.m1.30.30.30.30.23.23.1.2" xref="A1.E30.m1.30.30.30.30.23.23.1.2.cmml">1</mn></mrow></msup><mo id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.2" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msubsup id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.3"><mi id="A1.E30.m1.31.31.31.31.24.24" xref="A1.E30.m1.31.31.31.31.24.24.cmml">X</mi><mn id="A1.E30.m1.32.32.32.32.25.25.1" xref="A1.E30.m1.32.32.32.32.25.25.1.cmml">0</mn><mo id="A1.E30.m1.33.33.33.33.26.26.1" xref="A1.E30.m1.33.33.33.33.26.26.1.cmml">⊤</mo></msubsup><mo id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.2a" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msub id="A1.E30.m1.65.65.4.64.41.33.33.1.1.1.1.1.4"><mi id="A1.E30.m1.34.34.34.34.27.27" xref="A1.E30.m1.34.34.34.34.27.27.cmml">E</mi><mrow id="A1.E30.m1.35.35.35.35.28.28.1" xref="A1.E30.m1.35.35.35.35.28.28.1.cmml"><mi id="A1.E30.m1.35.35.35.35.28.28.1.2" xref="A1.E30.m1.35.35.35.35.28.28.1.2.cmml">n</mi><mo id="A1.E30.m1.35.35.35.35.28.28.1.1" xref="A1.E30.m1.35.35.35.35.28.28.1.1.cmml">−</mo><mn id="A1.E30.m1.35.35.35.35.28.28.1.3" xref="A1.E30.m1.35.35.35.35.28.28.1.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.E30.m1.36.36.36.36.29.29" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">‖</mo></mrow><mi id="A1.E30.m1.38.38.38.38.31.31.1" mathvariant="normal" xref="A1.E30.m1.38.38.38.38.31.31.1.cmml">Σ</mi><mn id="A1.E30.m1.37.37.37.37.30.30.1" xref="A1.E30.m1.37.37.37.37.30.30.1.cmml">2</mn></msubsup></mrow></mrow></mtd></mtr><mtr id="A1.E30.m1.66.66.5d"><mtd id="A1.E30.m1.66.66.5e" xref="A1.E30.m1.62.62.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.E30.m1.66.66.5f"><mrow id="A1.E30.m1.66.66.5.65.24.24.24"><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1"><mi id="A1.E30.m1.66.66.5.65.24.24.24.1.3" xref="A1.E30.m1.62.62.1.1.1.cmml"></mi><mo id="A1.E30.m1.39.39.39.1.1.1" xref="A1.E30.m1.39.39.39.1.1.1.cmml">=</mo><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.1"><msup id="A1.E30.m1.66.66.5.65.24.24.24.1.1.3"><mi id="A1.E30.m1.40.40.40.2.2.2" xref="A1.E30.m1.40.40.40.2.2.2.cmml">σ</mi><mn id="A1.E30.m1.41.41.41.3.3.3.1" xref="A1.E30.m1.41.41.41.3.3.3.1.cmml">2</mn></msup><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.1.2" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mi id="A1.E30.m1.42.42.42.4.4.4" xref="A1.E30.m1.42.42.42.4.4.4.cmml">𝔼</mi><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.1.2a" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mi id="A1.E30.m1.43.43.43.5.5.5" xref="A1.E30.m1.43.43.43.5.5.5.cmml">tr</mi><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.1.2b" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1"><mo id="A1.E30.m1.44.44.44.6.6.6" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">(</mo><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1"><msup id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1"><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1.1.1"><mo id="A1.E30.m1.45.45.45.7.7.7" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">(</mo><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1.1.1.1"><msubsup id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1.1.1.1.2"><mi id="A1.E30.m1.46.46.46.8.8.8" xref="A1.E30.m1.46.46.46.8.8.8.cmml">X</mi><mn id="A1.E30.m1.47.47.47.9.9.9.1" xref="A1.E30.m1.47.47.47.9.9.9.1.cmml">0</mn><mo id="A1.E30.m1.48.48.48.10.10.10.1" xref="A1.E30.m1.48.48.48.10.10.10.1.cmml">⊤</mo></msubsup><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1.1.1.1.1" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><msub id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.1.1.1.1.3"><mi id="A1.E30.m1.49.49.49.11.11.11" xref="A1.E30.m1.49.49.49.11.11.11.cmml">X</mi><mn id="A1.E30.m1.50.50.50.12.12.12.1" xref="A1.E30.m1.50.50.50.12.12.12.1.cmml">0</mn></msub></mrow><mo id="A1.E30.m1.51.51.51.13.13.13" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">)</mo></mrow><mrow id="A1.E30.m1.52.52.52.14.14.14.1" xref="A1.E30.m1.52.52.52.14.14.14.1.cmml"><mo id="A1.E30.m1.52.52.52.14.14.14.1a" xref="A1.E30.m1.52.52.52.14.14.14.1.cmml">−</mo><mn id="A1.E30.m1.52.52.52.14.14.14.1.2" xref="A1.E30.m1.52.52.52.14.14.14.1.2.cmml">1</mn></mrow></msup><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.1.1.1.1.2" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mi id="A1.E30.m1.53.53.53.15.15.15" mathvariant="normal" xref="A1.E30.m1.53.53.53.15.15.15.cmml">Σ</mi></mrow><mo id="A1.E30.m1.54.54.54.16.16.16" stretchy="false" xref="A1.E30.m1.62.62.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E30.m1.55.55.55.17.17.17" xref="A1.E30.m1.55.55.55.17.17.17.cmml">=</mo><mrow id="A1.E30.m1.66.66.5.65.24.24.24.1.4"><msup id="A1.E30.m1.66.66.5.65.24.24.24.1.4.2"><mi id="A1.E30.m1.56.56.56.18.18.18" xref="A1.E30.m1.56.56.56.18.18.18.cmml">σ</mi><mn id="A1.E30.m1.57.57.57.19.19.19.1" xref="A1.E30.m1.57.57.57.19.19.19.1.cmml">2</mn></msup><mo id="A1.E30.m1.66.66.5.65.24.24.24.1.4.1" xref="A1.E30.m1.62.62.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.E30.m1.58.58.58.20.20.20" xref="A1.E30.m1.58.58.58.20.20.20.cmml"><mfrac id="A1.E30.m1.58.58.58.20.20.20a" xref="A1.E30.m1.58.58.58.20.20.20.cmml"><mi id="A1.E30.m1.58.58.58.20.20.20.2" xref="A1.E30.m1.58.58.58.20.20.20.2.cmml">d</mi><mrow id="A1.E30.m1.58.58.58.20.20.20.3" xref="A1.E30.m1.58.58.58.20.20.20.3.cmml"><mi id="A1.E30.m1.58.58.58.20.20.20.3.2" xref="A1.E30.m1.58.58.58.20.20.20.3.2.cmml">T</mi><mo id="A1.E30.m1.58.58.58.20.20.20.3.1" xref="A1.E30.m1.58.58.58.20.20.20.3.1.cmml">−</mo><mi id="A1.E30.m1.58.58.58.20.20.20.3.3" xref="A1.E30.m1.58.58.58.20.20.20.3.3.cmml">d</mi><mo id="A1.E30.m1.58.58.58.20.20.20.3.1a" xref="A1.E30.m1.58.58.58.20.20.20.3.1.cmml">−</mo><mn id="A1.E30.m1.58.58.58.20.20.20.3.4" xref="A1.E30.m1.58.58.58.20.20.20.3.4.cmml">1</mn></mrow></mfrac></mstyle></mrow><mo id="A1.E30.m1.59.59.59.21.21.21" xref="A1.E30.m1.59.59.59.21.21.21.cmml">≃</mo><mstyle displaystyle="true" id="A1.E30.m1.60.60.60.22.22.22" xref="A1.E30.m1.60.60.60.22.22.22.cmml"><mfrac id="A1.E30.m1.60.60.60.22.22.22a" xref="A1.E30.m1.60.60.60.22.22.22.cmml"><mrow id="A1.E30.m1.60.60.60.22.22.22.2" xref="A1.E30.m1.60.60.60.22.22.22.2.cmml"><msup id="A1.E30.m1.60.60.60.22.22.22.2.2" xref="A1.E30.m1.60.60.60.22.22.22.2.2.cmml"><mi id="A1.E30.m1.60.60.60.22.22.22.2.2.2" xref="A1.E30.m1.60.60.60.22.22.22.2.2.2.cmml">σ</mi><mn id="A1.E30.m1.60.60.60.22.22.22.2.2.3" xref="A1.E30.m1.60.60.60.22.22.22.2.2.3.cmml">2</mn></msup><mo id="A1.E30.m1.60.60.60.22.22.22.2.1" xref="A1.E30.m1.60.60.60.22.22.22.2.1.cmml">⁢</mo><mi id="A1.E30.m1.60.60.60.22.22.22.2.3" xref="A1.E30.m1.60.60.60.22.22.22.2.3.cmml">ϕ</mi></mrow><mrow id="A1.E30.m1.60.60.60.22.22.22.3" xref="A1.E30.m1.60.60.60.22.22.22.3.cmml"><mn id="A1.E30.m1.60.60.60.22.22.22.3.2" xref="A1.E30.m1.60.60.60.22.22.22.3.2.cmml">1</mn><mo id="A1.E30.m1.60.60.60.22.22.22.3.1" xref="A1.E30.m1.60.60.60.22.22.22.3.1.cmml">−</mo><mi id="A1.E30.m1.60.60.60.22.22.22.3.3" xref="A1.E30.m1.60.60.60.22.22.22.3.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow><mo id="A1.E30.m1.61.61.61.23.23.23" xref="A1.E30.m1.62.62.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.E30.m1.66b"><apply id="A1.E30.m1.62.62.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><and id="A1.E30.m1.62.62.1.1.1a.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></and><apply id="A1.E30.m1.62.62.1.1.1b.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><eq id="A1.E30.m1.8.8.8.8.1.1.cmml" xref="A1.E30.m1.8.8.8.8.1.1"></eq><apply id="A1.E30.m1.62.62.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.1.1.1.1.1.1">𝐸</ci><apply id="A1.E30.m1.2.2.2.2.2.2.1.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1"><times id="A1.E30.m1.2.2.2.2.2.2.1.1.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1.1"></times><ci id="A1.E30.m1.2.2.2.2.2.2.1.2.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1.2">𝑡</ci><ci id="A1.E30.m1.2.2.2.2.2.2.1.3.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1.3">𝑒</ci><ci id="A1.E30.m1.2.2.2.2.2.2.1.4.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1.4">𝑠</ci><ci id="A1.E30.m1.2.2.2.2.2.2.1.5.cmml" xref="A1.E30.m1.2.2.2.2.2.2.1.5">𝑡</ci></apply></apply><apply id="A1.E30.m1.62.62.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><apply id="A1.E30.m1.4.4.4.4.4.4.cmml" xref="A1.E30.m1.4.4.4.4.4.4"><ci id="A1.E30.m1.4.4.4.4.4.4.1.cmml" xref="A1.E30.m1.4.4.4.4.4.4.1">^</ci><ci id="A1.E30.m1.4.4.4.4.4.4.2.cmml" xref="A1.E30.m1.4.4.4.4.4.4.2">𝑤</ci></apply><cn id="A1.E30.m1.5.5.5.5.5.5.1.cmml" type="integer" xref="A1.E30.m1.5.5.5.5.5.5.1">0</cn></apply><apply id="A1.E30.m1.6.6.6.6.6.6.1.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1"><times id="A1.E30.m1.6.6.6.6.6.6.1.1.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1.1"></times><ci id="A1.E30.m1.6.6.6.6.6.6.1.2.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1.2">𝑝</ci><ci id="A1.E30.m1.6.6.6.6.6.6.1.3.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1.3">𝑟</ci><ci id="A1.E30.m1.6.6.6.6.6.6.1.4.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1.4">𝑒</ci><ci id="A1.E30.m1.6.6.6.6.6.6.1.5.cmml" xref="A1.E30.m1.6.6.6.6.6.6.1.5">𝑑</ci></apply></apply></apply><apply id="A1.E30.m1.62.62.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.2.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><ci id="A1.E30.m1.9.9.9.9.2.2.cmml" xref="A1.E30.m1.9.9.9.9.2.2">𝔼</ci><apply id="A1.E30.m1.62.62.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.2.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.2.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="latexml" id="A1.E30.m1.62.62.1.1.1.2.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">delimited-∥∥</csymbol><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><minus id="A1.E30.m1.14.14.14.14.7.7.cmml" xref="A1.E30.m1.14.14.14.14.7.7"></minus><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.2.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.2.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><apply id="A1.E30.m1.11.11.11.11.4.4.cmml" xref="A1.E30.m1.11.11.11.11.4.4"><ci id="A1.E30.m1.11.11.11.11.4.4.1.cmml" xref="A1.E30.m1.11.11.11.11.4.4.1">^</ci><ci id="A1.E30.m1.11.11.11.11.4.4.2.cmml" xref="A1.E30.m1.11.11.11.11.4.4.2">𝑤</ci></apply><cn id="A1.E30.m1.12.12.12.12.5.5.1.cmml" type="integer" xref="A1.E30.m1.12.12.12.12.5.5.1">0</cn></apply><apply id="A1.E30.m1.13.13.13.13.6.6.1.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1"><times id="A1.E30.m1.13.13.13.13.6.6.1.1.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1.1"></times><ci id="A1.E30.m1.13.13.13.13.6.6.1.2.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1.2">𝑝</ci><ci id="A1.E30.m1.13.13.13.13.6.6.1.3.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1.3">𝑟</ci><ci id="A1.E30.m1.13.13.13.13.6.6.1.4.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1.4">𝑒</ci><ci id="A1.E30.m1.13.13.13.13.6.6.1.5.cmml" xref="A1.E30.m1.13.13.13.13.6.6.1.5">𝑑</ci></apply></apply><apply id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.2.1.1.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.15.15.15.15.8.8.cmml" xref="A1.E30.m1.15.15.15.15.8.8">𝑤</ci><cn id="A1.E30.m1.16.16.16.16.9.9.1.cmml" type="integer" xref="A1.E30.m1.16.16.16.16.9.9.1">0</cn></apply></apply></apply><cn id="A1.E30.m1.18.18.18.18.11.11.1.cmml" type="integer" xref="A1.E30.m1.18.18.18.18.11.11.1">2</cn></apply><ci id="A1.E30.m1.19.19.19.19.12.12.1.cmml" xref="A1.E30.m1.19.19.19.19.12.12.1">Σ</ci></apply></apply></apply><apply id="A1.E30.m1.62.62.1.1.1c.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><eq id="A1.E30.m1.20.20.20.20.13.13.cmml" xref="A1.E30.m1.20.20.20.20.13.13"></eq><share href="#A1.E30.m1.62.62.1.1.1.2.cmml" id="A1.E30.m1.62.62.1.1.1d.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></share><apply id="A1.E30.m1.62.62.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.3.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><ci id="A1.E30.m1.21.21.21.21.14.14.cmml" xref="A1.E30.m1.21.21.21.21.14.14">𝔼</ci><apply id="A1.E30.m1.62.62.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="latexml" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">delimited-∥∥</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.24.24.24.24.17.17.cmml" xref="A1.E30.m1.24.24.24.24.17.17">𝑋</ci><cn id="A1.E30.m1.25.25.25.25.18.18.1.cmml" type="integer" xref="A1.E30.m1.25.25.25.25.18.18.1">0</cn></apply><csymbol cd="latexml" id="A1.E30.m1.26.26.26.26.19.19.1.cmml" xref="A1.E30.m1.26.26.26.26.19.19.1">top</csymbol></apply><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.27.27.27.27.20.20.cmml" xref="A1.E30.m1.27.27.27.27.20.20">𝑋</ci><cn id="A1.E30.m1.28.28.28.28.21.21.1.cmml" type="integer" xref="A1.E30.m1.28.28.28.28.21.21.1">0</cn></apply></apply><apply id="A1.E30.m1.30.30.30.30.23.23.1.cmml" xref="A1.E30.m1.30.30.30.30.23.23.1"><minus id="A1.E30.m1.30.30.30.30.23.23.1.1.cmml" xref="A1.E30.m1.30.30.30.30.23.23.1"></minus><cn id="A1.E30.m1.30.30.30.30.23.23.1.2.cmml" type="integer" xref="A1.E30.m1.30.30.30.30.23.23.1.2">1</cn></apply></apply><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.3.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.3.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.31.31.31.31.24.24.cmml" xref="A1.E30.m1.31.31.31.31.24.24">𝑋</ci><cn id="A1.E30.m1.32.32.32.32.25.25.1.cmml" type="integer" xref="A1.E30.m1.32.32.32.32.25.25.1">0</cn></apply><csymbol cd="latexml" id="A1.E30.m1.33.33.33.33.26.26.1.cmml" xref="A1.E30.m1.33.33.33.33.26.26.1">top</csymbol></apply><apply id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.4.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.3.1.1.1.1.1.4.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.34.34.34.34.27.27.cmml" xref="A1.E30.m1.34.34.34.34.27.27">𝐸</ci><apply id="A1.E30.m1.35.35.35.35.28.28.1.cmml" xref="A1.E30.m1.35.35.35.35.28.28.1"><minus id="A1.E30.m1.35.35.35.35.28.28.1.1.cmml" xref="A1.E30.m1.35.35.35.35.28.28.1.1"></minus><ci id="A1.E30.m1.35.35.35.35.28.28.1.2.cmml" xref="A1.E30.m1.35.35.35.35.28.28.1.2">𝑛</ci><cn id="A1.E30.m1.35.35.35.35.28.28.1.3.cmml" type="integer" xref="A1.E30.m1.35.35.35.35.28.28.1.3">1</cn></apply></apply></apply></apply><cn id="A1.E30.m1.37.37.37.37.30.30.1.cmml" type="integer" xref="A1.E30.m1.37.37.37.37.30.30.1">2</cn></apply><ci id="A1.E30.m1.38.38.38.38.31.31.1.cmml" xref="A1.E30.m1.38.38.38.38.31.31.1">Σ</ci></apply></apply></apply><apply id="A1.E30.m1.62.62.1.1.1e.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><eq id="A1.E30.m1.39.39.39.1.1.1.cmml" xref="A1.E30.m1.39.39.39.1.1.1"></eq><share href="#A1.E30.m1.62.62.1.1.1.3.cmml" id="A1.E30.m1.62.62.1.1.1f.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></share><apply id="A1.E30.m1.62.62.1.1.1.4.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.4.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.4.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.4.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><ci id="A1.E30.m1.40.40.40.2.2.2.cmml" xref="A1.E30.m1.40.40.40.2.2.2">𝜎</ci><cn id="A1.E30.m1.41.41.41.3.3.3.1.cmml" type="integer" xref="A1.E30.m1.41.41.41.3.3.3.1">2</cn></apply><ci id="A1.E30.m1.42.42.42.4.4.4.cmml" xref="A1.E30.m1.42.42.42.4.4.4">𝔼</ci><ci id="A1.E30.m1.43.43.43.5.5.5.cmml" xref="A1.E30.m1.43.43.43.5.5.5">tr</ci><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.4.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.46.46.46.8.8.8.cmml" xref="A1.E30.m1.46.46.46.8.8.8">𝑋</ci><cn id="A1.E30.m1.47.47.47.9.9.9.1.cmml" type="integer" xref="A1.E30.m1.47.47.47.9.9.9.1">0</cn></apply><csymbol cd="latexml" id="A1.E30.m1.48.48.48.10.10.10.1.cmml" xref="A1.E30.m1.48.48.48.10.10.10.1">top</csymbol></apply><apply id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.3.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.4.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">subscript</csymbol><ci id="A1.E30.m1.49.49.49.11.11.11.cmml" xref="A1.E30.m1.49.49.49.11.11.11">𝑋</ci><cn id="A1.E30.m1.50.50.50.12.12.12.1.cmml" type="integer" xref="A1.E30.m1.50.50.50.12.12.12.1">0</cn></apply></apply><apply id="A1.E30.m1.52.52.52.14.14.14.1.cmml" xref="A1.E30.m1.52.52.52.14.14.14.1"><minus id="A1.E30.m1.52.52.52.14.14.14.1.1.cmml" xref="A1.E30.m1.52.52.52.14.14.14.1"></minus><cn id="A1.E30.m1.52.52.52.14.14.14.1.2.cmml" type="integer" xref="A1.E30.m1.52.52.52.14.14.14.1.2">1</cn></apply></apply><ci id="A1.E30.m1.53.53.53.15.15.15.cmml" xref="A1.E30.m1.53.53.53.15.15.15">Σ</ci></apply></apply></apply><apply id="A1.E30.m1.62.62.1.1.1g.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><eq id="A1.E30.m1.55.55.55.17.17.17.cmml" xref="A1.E30.m1.55.55.55.17.17.17"></eq><share href="#A1.E30.m1.62.62.1.1.1.4.cmml" id="A1.E30.m1.62.62.1.1.1h.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></share><apply id="A1.E30.m1.62.62.1.1.1.10.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><times id="A1.E30.m1.62.62.1.1.1.10.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></times><apply id="A1.E30.m1.62.62.1.1.1.10.2.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="ambiguous" id="A1.E30.m1.62.62.1.1.1.10.2.1.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9">superscript</csymbol><ci id="A1.E30.m1.56.56.56.18.18.18.cmml" xref="A1.E30.m1.56.56.56.18.18.18">𝜎</ci><cn id="A1.E30.m1.57.57.57.19.19.19.1.cmml" type="integer" xref="A1.E30.m1.57.57.57.19.19.19.1">2</cn></apply><apply id="A1.E30.m1.58.58.58.20.20.20.cmml" xref="A1.E30.m1.58.58.58.20.20.20"><divide id="A1.E30.m1.58.58.58.20.20.20.1.cmml" xref="A1.E30.m1.58.58.58.20.20.20"></divide><ci id="A1.E30.m1.58.58.58.20.20.20.2.cmml" xref="A1.E30.m1.58.58.58.20.20.20.2">𝑑</ci><apply id="A1.E30.m1.58.58.58.20.20.20.3.cmml" xref="A1.E30.m1.58.58.58.20.20.20.3"><minus id="A1.E30.m1.58.58.58.20.20.20.3.1.cmml" xref="A1.E30.m1.58.58.58.20.20.20.3.1"></minus><ci id="A1.E30.m1.58.58.58.20.20.20.3.2.cmml" xref="A1.E30.m1.58.58.58.20.20.20.3.2">𝑇</ci><ci id="A1.E30.m1.58.58.58.20.20.20.3.3.cmml" xref="A1.E30.m1.58.58.58.20.20.20.3.3">𝑑</ci><cn id="A1.E30.m1.58.58.58.20.20.20.3.4.cmml" type="integer" xref="A1.E30.m1.58.58.58.20.20.20.3.4">1</cn></apply></apply></apply></apply><apply id="A1.E30.m1.62.62.1.1.1i.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"><csymbol cd="latexml" id="A1.E30.m1.59.59.59.21.21.21.cmml" xref="A1.E30.m1.59.59.59.21.21.21">similar-to-or-equals</csymbol><share href="#A1.E30.m1.62.62.1.1.1.10.cmml" id="A1.E30.m1.62.62.1.1.1j.cmml" xref="A1.E30.m1.63.63.2.62.39.8.9"></share><apply id="A1.E30.m1.60.60.60.22.22.22.cmml" xref="A1.E30.m1.60.60.60.22.22.22"><divide id="A1.E30.m1.60.60.60.22.22.22.1.cmml" xref="A1.E30.m1.60.60.60.22.22.22"></divide><apply id="A1.E30.m1.60.60.60.22.22.22.2.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2"><times id="A1.E30.m1.60.60.60.22.22.22.2.1.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2.1"></times><apply id="A1.E30.m1.60.60.60.22.22.22.2.2.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2.2"><csymbol cd="ambiguous" id="A1.E30.m1.60.60.60.22.22.22.2.2.1.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2.2">superscript</csymbol><ci id="A1.E30.m1.60.60.60.22.22.22.2.2.2.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2.2.2">𝜎</ci><cn id="A1.E30.m1.60.60.60.22.22.22.2.2.3.cmml" type="integer" xref="A1.E30.m1.60.60.60.22.22.22.2.2.3">2</cn></apply><ci id="A1.E30.m1.60.60.60.22.22.22.2.3.cmml" xref="A1.E30.m1.60.60.60.22.22.22.2.3">italic-ϕ</ci></apply><apply id="A1.E30.m1.60.60.60.22.22.22.3.cmml" xref="A1.E30.m1.60.60.60.22.22.22.3"><minus id="A1.E30.m1.60.60.60.22.22.22.3.1.cmml" xref="A1.E30.m1.60.60.60.22.22.22.3.1"></minus><cn id="A1.E30.m1.60.60.60.22.22.22.3.2.cmml" type="integer" xref="A1.E30.m1.60.60.60.22.22.22.3.2">1</cn><ci id="A1.E30.m1.60.60.60.22.22.22.3.3.cmml" xref="A1.E30.m1.60.60.60.22.22.22.3.3">italic-ϕ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E30.m1.66c">\displaystyle\begin{split}E_{test}(\widehat{w}_{0}^{pred})&=\mathbb{E}\,\|% \widehat{w}_{0}^{pred}-w_{0}\|^{2}_{\Sigma}=\mathbb{E}\|(X_{0}^{\top}X_{0})^{-% 1}X_{0}^{\top}E_{n-1}\|^{2}_{\Sigma}\\ &=\sigma^{2}\mathbb{E}\mathrm{tr}((X_{0}^{\top}X_{0})^{-1}\Sigma)=\sigma^{2}% \frac{d}{T-d-1}\simeq\frac{\sigma^{2}\phi}{1-\phi},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.E30.m1.66d">start_ROW start_CELL italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) end_CELL start_CELL = blackboard_E ∥ over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT = blackboard_E ∥ ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT blackboard_E roman_tr ( ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT roman_Σ ) = italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT divide start_ARG italic_d end_ARG start_ARG italic_T - italic_d - 1 end_ARG ≃ divide start_ARG italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ end_ARG start_ARG 1 - italic_ϕ end_ARG , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(30)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS1.p1.2">where <math alttext="\phi:=d/T\in(0,1)" class="ltx_Math" display="inline" id="A1.SS1.p1.2.m1.2"><semantics id="A1.SS1.p1.2.m1.2a"><mrow id="A1.SS1.p1.2.m1.2.3" xref="A1.SS1.p1.2.m1.2.3.cmml"><mi id="A1.SS1.p1.2.m1.2.3.2" xref="A1.SS1.p1.2.m1.2.3.2.cmml">ϕ</mi><mo id="A1.SS1.p1.2.m1.2.3.3" lspace="0.278em" rspace="0.278em" xref="A1.SS1.p1.2.m1.2.3.3.cmml">:=</mo><mrow id="A1.SS1.p1.2.m1.2.3.4" xref="A1.SS1.p1.2.m1.2.3.4.cmml"><mi id="A1.SS1.p1.2.m1.2.3.4.2" xref="A1.SS1.p1.2.m1.2.3.4.2.cmml">d</mi><mo id="A1.SS1.p1.2.m1.2.3.4.1" xref="A1.SS1.p1.2.m1.2.3.4.1.cmml">/</mo><mi id="A1.SS1.p1.2.m1.2.3.4.3" xref="A1.SS1.p1.2.m1.2.3.4.3.cmml">T</mi></mrow><mo id="A1.SS1.p1.2.m1.2.3.5" xref="A1.SS1.p1.2.m1.2.3.5.cmml">∈</mo><mrow id="A1.SS1.p1.2.m1.2.3.6.2" xref="A1.SS1.p1.2.m1.2.3.6.1.cmml"><mo id="A1.SS1.p1.2.m1.2.3.6.2.1" stretchy="false" xref="A1.SS1.p1.2.m1.2.3.6.1.cmml">(</mo><mn id="A1.SS1.p1.2.m1.1.1" xref="A1.SS1.p1.2.m1.1.1.cmml">0</mn><mo id="A1.SS1.p1.2.m1.2.3.6.2.2" xref="A1.SS1.p1.2.m1.2.3.6.1.cmml">,</mo><mn id="A1.SS1.p1.2.m1.2.2" xref="A1.SS1.p1.2.m1.2.2.cmml">1</mn><mo id="A1.SS1.p1.2.m1.2.3.6.2.3" stretchy="false" xref="A1.SS1.p1.2.m1.2.3.6.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.2.m1.2b"><apply id="A1.SS1.p1.2.m1.2.3.cmml" xref="A1.SS1.p1.2.m1.2.3"><and id="A1.SS1.p1.2.m1.2.3a.cmml" xref="A1.SS1.p1.2.m1.2.3"></and><apply id="A1.SS1.p1.2.m1.2.3b.cmml" xref="A1.SS1.p1.2.m1.2.3"><csymbol cd="latexml" id="A1.SS1.p1.2.m1.2.3.3.cmml" xref="A1.SS1.p1.2.m1.2.3.3">assign</csymbol><ci id="A1.SS1.p1.2.m1.2.3.2.cmml" xref="A1.SS1.p1.2.m1.2.3.2">italic-ϕ</ci><apply id="A1.SS1.p1.2.m1.2.3.4.cmml" xref="A1.SS1.p1.2.m1.2.3.4"><divide id="A1.SS1.p1.2.m1.2.3.4.1.cmml" xref="A1.SS1.p1.2.m1.2.3.4.1"></divide><ci id="A1.SS1.p1.2.m1.2.3.4.2.cmml" xref="A1.SS1.p1.2.m1.2.3.4.2">𝑑</ci><ci id="A1.SS1.p1.2.m1.2.3.4.3.cmml" xref="A1.SS1.p1.2.m1.2.3.4.3">𝑇</ci></apply></apply><apply id="A1.SS1.p1.2.m1.2.3c.cmml" xref="A1.SS1.p1.2.m1.2.3"><in id="A1.SS1.p1.2.m1.2.3.5.cmml" xref="A1.SS1.p1.2.m1.2.3.5"></in><share href="#A1.SS1.p1.2.m1.2.3.4.cmml" id="A1.SS1.p1.2.m1.2.3d.cmml" xref="A1.SS1.p1.2.m1.2.3"></share><interval closure="open" id="A1.SS1.p1.2.m1.2.3.6.1.cmml" xref="A1.SS1.p1.2.m1.2.3.6.2"><cn id="A1.SS1.p1.2.m1.1.1.cmml" type="integer" xref="A1.SS1.p1.2.m1.1.1">0</cn><cn id="A1.SS1.p1.2.m1.2.2.cmml" type="integer" xref="A1.SS1.p1.2.m1.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.2.m1.2c">\phi:=d/T\in(0,1)</annotation><annotation encoding="application/x-llamapun" id="A1.SS1.p1.2.m1.2d">italic_ϕ := italic_d / italic_T ∈ ( 0 , 1 )</annotation></semantics></math> and we have used Lemma <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx34" title="Lemma A.1. ‣ A.2 Proof of Theorem 4.2 (Ridge Regression) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">A.1</span></a> in the last step. This is a well-known result for the test error of linear regression in the under-parametrized regime, without any AI pollution (fake / synthesize training data).</p> </div> <div class="ltx_para" id="A1.SS1.p2"> <p class="ltx_p" id="A1.SS1.p2.1">Analogously, for <math alttext="n=1" class="ltx_Math" display="inline" id="A1.SS1.p2.1.m1.1"><semantics id="A1.SS1.p2.1.m1.1a"><mrow id="A1.SS1.p2.1.m1.1.1" xref="A1.SS1.p2.1.m1.1.1.cmml"><mi id="A1.SS1.p2.1.m1.1.1.2" xref="A1.SS1.p2.1.m1.1.1.2.cmml">n</mi><mo id="A1.SS1.p2.1.m1.1.1.1" xref="A1.SS1.p2.1.m1.1.1.1.cmml">=</mo><mn id="A1.SS1.p2.1.m1.1.1.3" xref="A1.SS1.p2.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.1.m1.1b"><apply id="A1.SS1.p2.1.m1.1.1.cmml" xref="A1.SS1.p2.1.m1.1.1"><eq id="A1.SS1.p2.1.m1.1.1.1.cmml" xref="A1.SS1.p2.1.m1.1.1.1"></eq><ci id="A1.SS1.p2.1.m1.1.1.2.cmml" xref="A1.SS1.p2.1.m1.1.1.2">𝑛</ci><cn id="A1.SS1.p2.1.m1.1.1.3.cmml" type="integer" xref="A1.SS1.p2.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.1.m1.1c">n=1</annotation><annotation encoding="application/x-llamapun" id="A1.SS1.p2.1.m1.1d">italic_n = 1</annotation></semantics></math> one computes the test error after the first generation of fake data as follows</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx29"> <tbody id="A1.Ex3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}E_{test}(\widehat{w}_{1}^{pred})&=\mathbb{E}\|% \widehat{w}_{1}^{pred}-w_{0}\|^{2}_{\Sigma}=\mathbb{E}\|\widehat{w}_{1}^{pred}% -\widehat{w}_{1}+\widehat{w}_{1}-\widehat{w}_{0}\|^{2}_{\Sigma}\\ &=\mathbb{E}\|(X_{0}^{\top}X_{0})^{-1}X_{0}E_{0}+\widehat{w}_{0}^{pred}-w_{0}% \|^{2}_{\Sigma}=\mathbb{E}\,\|w_{0}-\widehat{w}_{0}^{pred}\|^{2}_{\Sigma}+% \mathbb{E}\,\|(X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}E_{0}\|^{2}_{\Sigma}\\ &=E_{test}(\widehat{w}_{0}^{pred})+\frac{\sigma_{0}^{2}d}{T_{0}-d-1}\simeq% \frac{\sigma^{2}\phi}{1-\phi}+\frac{\sigma_{0}^{2}\phi_{0}}{1-\phi_{0}},\end{split}" class="ltx_Math" display="inline" id="A1.Ex3.m1.116"><semantics id="A1.Ex3.m1.116a"><mtable columnspacing="0pt" id="A1.Ex3.m1.116.116.8" rowspacing="0pt"><mtr id="A1.Ex3.m1.116.116.8a"><mtd class="ltx_align_right" columnalign="right" id="A1.Ex3.m1.116.116.8b"><mrow id="A1.Ex3.m1.110.110.2.109.38.8"><msub id="A1.Ex3.m1.110.110.2.109.38.8.10"><mi id="A1.Ex3.m1.1.1.1.1.1.1" xref="A1.Ex3.m1.1.1.1.1.1.1.cmml">E</mi><mrow id="A1.Ex3.m1.2.2.2.2.2.2.1" xref="A1.Ex3.m1.2.2.2.2.2.2.1.cmml"><mi id="A1.Ex3.m1.2.2.2.2.2.2.1.2" xref="A1.Ex3.m1.2.2.2.2.2.2.1.2.cmml">t</mi><mo id="A1.Ex3.m1.2.2.2.2.2.2.1.1" xref="A1.Ex3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.2.2.2.2.2.2.1.3" xref="A1.Ex3.m1.2.2.2.2.2.2.1.3.cmml">e</mi><mo id="A1.Ex3.m1.2.2.2.2.2.2.1.1a" xref="A1.Ex3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.2.2.2.2.2.2.1.4" xref="A1.Ex3.m1.2.2.2.2.2.2.1.4.cmml">s</mi><mo id="A1.Ex3.m1.2.2.2.2.2.2.1.1b" xref="A1.Ex3.m1.2.2.2.2.2.2.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.2.2.2.2.2.2.1.5" xref="A1.Ex3.m1.2.2.2.2.2.2.1.5.cmml">t</mi></mrow></msub><mo id="A1.Ex3.m1.110.110.2.109.38.8.9" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><mrow id="A1.Ex3.m1.110.110.2.109.38.8.8.1"><mo id="A1.Ex3.m1.3.3.3.3.3.3" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">(</mo><msubsup id="A1.Ex3.m1.110.110.2.109.38.8.8.1.1"><mover accent="true" id="A1.Ex3.m1.4.4.4.4.4.4" xref="A1.Ex3.m1.4.4.4.4.4.4.cmml"><mi id="A1.Ex3.m1.4.4.4.4.4.4.2" xref="A1.Ex3.m1.4.4.4.4.4.4.2.cmml">w</mi><mo id="A1.Ex3.m1.4.4.4.4.4.4.1" xref="A1.Ex3.m1.4.4.4.4.4.4.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.5.5.5.5.5.5.1" xref="A1.Ex3.m1.5.5.5.5.5.5.1.cmml">1</mn><mrow id="A1.Ex3.m1.6.6.6.6.6.6.1" xref="A1.Ex3.m1.6.6.6.6.6.6.1.cmml"><mi id="A1.Ex3.m1.6.6.6.6.6.6.1.2" xref="A1.Ex3.m1.6.6.6.6.6.6.1.2.cmml">p</mi><mo id="A1.Ex3.m1.6.6.6.6.6.6.1.1" xref="A1.Ex3.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.6.6.6.6.6.6.1.3" xref="A1.Ex3.m1.6.6.6.6.6.6.1.3.cmml">r</mi><mo id="A1.Ex3.m1.6.6.6.6.6.6.1.1a" xref="A1.Ex3.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.6.6.6.6.6.6.1.4" xref="A1.Ex3.m1.6.6.6.6.6.6.1.4.cmml">e</mi><mo id="A1.Ex3.m1.6.6.6.6.6.6.1.1b" xref="A1.Ex3.m1.6.6.6.6.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.6.6.6.6.6.6.1.5" xref="A1.Ex3.m1.6.6.6.6.6.6.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex3.m1.7.7.7.7.7.7" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex3.m1.116.116.8c"><mrow id="A1.Ex3.m1.112.112.4.111.40.32"><mi id="A1.Ex3.m1.112.112.4.111.40.32.34" xref="A1.Ex3.m1.109.109.1.1.1.cmml"></mi><mo id="A1.Ex3.m1.8.8.8.8.1.1" xref="A1.Ex3.m1.8.8.8.8.1.1.cmml">=</mo><mrow id="A1.Ex3.m1.111.111.3.110.39.31.31"><mi id="A1.Ex3.m1.9.9.9.9.2.2" xref="A1.Ex3.m1.9.9.9.9.2.2.cmml">𝔼</mi><mo id="A1.Ex3.m1.111.111.3.110.39.31.31.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.111.111.3.110.39.31.31.1"><mrow id="A1.Ex3.m1.111.111.3.110.39.31.31.1.1.1.1"><mo id="A1.Ex3.m1.10.10.10.10.3.3" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo><mrow id="A1.Ex3.m1.111.111.3.110.39.31.31.1.1.1.1.1"><msubsup id="A1.Ex3.m1.111.111.3.110.39.31.31.1.1.1.1.1.1"><mover accent="true" id="A1.Ex3.m1.11.11.11.11.4.4" xref="A1.Ex3.m1.11.11.11.11.4.4.cmml"><mi id="A1.Ex3.m1.11.11.11.11.4.4.2" xref="A1.Ex3.m1.11.11.11.11.4.4.2.cmml">w</mi><mo id="A1.Ex3.m1.11.11.11.11.4.4.1" xref="A1.Ex3.m1.11.11.11.11.4.4.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.12.12.12.12.5.5.1" xref="A1.Ex3.m1.12.12.12.12.5.5.1.cmml">1</mn><mrow id="A1.Ex3.m1.13.13.13.13.6.6.1" xref="A1.Ex3.m1.13.13.13.13.6.6.1.cmml"><mi id="A1.Ex3.m1.13.13.13.13.6.6.1.2" xref="A1.Ex3.m1.13.13.13.13.6.6.1.2.cmml">p</mi><mo id="A1.Ex3.m1.13.13.13.13.6.6.1.1" xref="A1.Ex3.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.13.13.13.13.6.6.1.3" xref="A1.Ex3.m1.13.13.13.13.6.6.1.3.cmml">r</mi><mo id="A1.Ex3.m1.13.13.13.13.6.6.1.1a" xref="A1.Ex3.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.13.13.13.13.6.6.1.4" xref="A1.Ex3.m1.13.13.13.13.6.6.1.4.cmml">e</mi><mo id="A1.Ex3.m1.13.13.13.13.6.6.1.1b" xref="A1.Ex3.m1.13.13.13.13.6.6.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.13.13.13.13.6.6.1.5" xref="A1.Ex3.m1.13.13.13.13.6.6.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex3.m1.14.14.14.14.7.7" xref="A1.Ex3.m1.14.14.14.14.7.7.cmml">−</mo><msub id="A1.Ex3.m1.111.111.3.110.39.31.31.1.1.1.1.1.2"><mi id="A1.Ex3.m1.15.15.15.15.8.8" xref="A1.Ex3.m1.15.15.15.15.8.8.cmml">w</mi><mn id="A1.Ex3.m1.16.16.16.16.9.9.1" xref="A1.Ex3.m1.16.16.16.16.9.9.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.17.17.17.17.10.10" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo></mrow><mi id="A1.Ex3.m1.19.19.19.19.12.12.1" mathvariant="normal" xref="A1.Ex3.m1.19.19.19.19.12.12.1.cmml">Σ</mi><mn id="A1.Ex3.m1.18.18.18.18.11.11.1" xref="A1.Ex3.m1.18.18.18.18.11.11.1.cmml">2</mn></msubsup></mrow><mo id="A1.Ex3.m1.20.20.20.20.13.13" xref="A1.Ex3.m1.20.20.20.20.13.13.cmml">=</mo><mrow id="A1.Ex3.m1.112.112.4.111.40.32.32"><mi id="A1.Ex3.m1.21.21.21.21.14.14" xref="A1.Ex3.m1.21.21.21.21.14.14.cmml">𝔼</mi><mo id="A1.Ex3.m1.112.112.4.111.40.32.32.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.112.112.4.111.40.32.32.1"><mrow id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1"><mo id="A1.Ex3.m1.22.22.22.22.15.15" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo><mrow id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1"><mrow id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.1"><mrow id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.1.1"><msubsup id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.1.1.1"><mover accent="true" id="A1.Ex3.m1.23.23.23.23.16.16" xref="A1.Ex3.m1.23.23.23.23.16.16.cmml"><mi id="A1.Ex3.m1.23.23.23.23.16.16.2" xref="A1.Ex3.m1.23.23.23.23.16.16.2.cmml">w</mi><mo id="A1.Ex3.m1.23.23.23.23.16.16.1" xref="A1.Ex3.m1.23.23.23.23.16.16.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.24.24.24.24.17.17.1" xref="A1.Ex3.m1.24.24.24.24.17.17.1.cmml">1</mn><mrow id="A1.Ex3.m1.25.25.25.25.18.18.1" xref="A1.Ex3.m1.25.25.25.25.18.18.1.cmml"><mi id="A1.Ex3.m1.25.25.25.25.18.18.1.2" xref="A1.Ex3.m1.25.25.25.25.18.18.1.2.cmml">p</mi><mo id="A1.Ex3.m1.25.25.25.25.18.18.1.1" xref="A1.Ex3.m1.25.25.25.25.18.18.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.25.25.25.25.18.18.1.3" xref="A1.Ex3.m1.25.25.25.25.18.18.1.3.cmml">r</mi><mo id="A1.Ex3.m1.25.25.25.25.18.18.1.1a" xref="A1.Ex3.m1.25.25.25.25.18.18.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.25.25.25.25.18.18.1.4" xref="A1.Ex3.m1.25.25.25.25.18.18.1.4.cmml">e</mi><mo id="A1.Ex3.m1.25.25.25.25.18.18.1.1b" xref="A1.Ex3.m1.25.25.25.25.18.18.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.25.25.25.25.18.18.1.5" xref="A1.Ex3.m1.25.25.25.25.18.18.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex3.m1.26.26.26.26.19.19" xref="A1.Ex3.m1.26.26.26.26.19.19.cmml">−</mo><msub id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.1.1.2"><mover accent="true" id="A1.Ex3.m1.27.27.27.27.20.20" xref="A1.Ex3.m1.27.27.27.27.20.20.cmml"><mi id="A1.Ex3.m1.27.27.27.27.20.20.2" xref="A1.Ex3.m1.27.27.27.27.20.20.2.cmml">w</mi><mo id="A1.Ex3.m1.27.27.27.27.20.20.1" xref="A1.Ex3.m1.27.27.27.27.20.20.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.28.28.28.28.21.21.1" xref="A1.Ex3.m1.28.28.28.28.21.21.1.cmml">1</mn></msub></mrow><mo id="A1.Ex3.m1.29.29.29.29.22.22" xref="A1.Ex3.m1.29.29.29.29.22.22.cmml">+</mo><msub id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.1.2"><mover accent="true" id="A1.Ex3.m1.30.30.30.30.23.23" xref="A1.Ex3.m1.30.30.30.30.23.23.cmml"><mi id="A1.Ex3.m1.30.30.30.30.23.23.2" xref="A1.Ex3.m1.30.30.30.30.23.23.2.cmml">w</mi><mo id="A1.Ex3.m1.30.30.30.30.23.23.1" xref="A1.Ex3.m1.30.30.30.30.23.23.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.31.31.31.31.24.24.1" xref="A1.Ex3.m1.31.31.31.31.24.24.1.cmml">1</mn></msub></mrow><mo id="A1.Ex3.m1.32.32.32.32.25.25" xref="A1.Ex3.m1.32.32.32.32.25.25.cmml">−</mo><msub id="A1.Ex3.m1.112.112.4.111.40.32.32.1.1.1.1.1.2"><mover accent="true" id="A1.Ex3.m1.33.33.33.33.26.26" xref="A1.Ex3.m1.33.33.33.33.26.26.cmml"><mi id="A1.Ex3.m1.33.33.33.33.26.26.2" xref="A1.Ex3.m1.33.33.33.33.26.26.2.cmml">w</mi><mo id="A1.Ex3.m1.33.33.33.33.26.26.1" xref="A1.Ex3.m1.33.33.33.33.26.26.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.34.34.34.34.27.27.1" xref="A1.Ex3.m1.34.34.34.34.27.27.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.35.35.35.35.28.28" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo></mrow><mi id="A1.Ex3.m1.37.37.37.37.30.30.1" mathvariant="normal" xref="A1.Ex3.m1.37.37.37.37.30.30.1.cmml">Σ</mi><mn id="A1.Ex3.m1.36.36.36.36.29.29.1" xref="A1.Ex3.m1.36.36.36.36.29.29.1.cmml">2</mn></msubsup></mrow></mrow></mtd></mtr><mtr id="A1.Ex3.m1.116.116.8d"><mtd id="A1.Ex3.m1.116.116.8e" xref="A1.Ex3.m1.109.109.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex3.m1.116.116.8f"><mrow id="A1.Ex3.m1.115.115.7.114.59.59"><mi id="A1.Ex3.m1.115.115.7.114.59.59.61" xref="A1.Ex3.m1.109.109.1.1.1.cmml"></mi><mo id="A1.Ex3.m1.38.38.38.1.1.1" xref="A1.Ex3.m1.38.38.38.1.1.1.cmml">=</mo><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57"><mi id="A1.Ex3.m1.39.39.39.2.2.2" xref="A1.Ex3.m1.39.39.39.2.2.2.cmml">𝔼</mi><mo id="A1.Ex3.m1.113.113.5.112.57.57.57.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.113.113.5.112.57.57.57.1"><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1"><mo id="A1.Ex3.m1.40.40.40.3.3.3" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1"><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1"><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1"><msup id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1"><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1.1.1"><mo id="A1.Ex3.m1.41.41.41.4.4.4" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">(</mo><mrow id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1.1.1.1"><msubsup id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1.1.1.1.2"><mi id="A1.Ex3.m1.42.42.42.5.5.5" xref="A1.Ex3.m1.42.42.42.5.5.5.cmml">X</mi><mn id="A1.Ex3.m1.43.43.43.6.6.6.1" xref="A1.Ex3.m1.43.43.43.6.6.6.1.cmml">0</mn><mo id="A1.Ex3.m1.44.44.44.7.7.7.1" xref="A1.Ex3.m1.44.44.44.7.7.7.1.cmml">⊤</mo></msubsup><mo id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msub id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.1.1.1.1.3"><mi id="A1.Ex3.m1.45.45.45.8.8.8" xref="A1.Ex3.m1.45.45.45.8.8.8.cmml">X</mi><mn id="A1.Ex3.m1.46.46.46.9.9.9.1" xref="A1.Ex3.m1.46.46.46.9.9.9.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.47.47.47.10.10.10" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex3.m1.48.48.48.11.11.11.1" xref="A1.Ex3.m1.48.48.48.11.11.11.1.cmml"><mo id="A1.Ex3.m1.48.48.48.11.11.11.1a" xref="A1.Ex3.m1.48.48.48.11.11.11.1.cmml">−</mo><mn id="A1.Ex3.m1.48.48.48.11.11.11.1.2" xref="A1.Ex3.m1.48.48.48.11.11.11.1.2.cmml">1</mn></mrow></msup><mo id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msub id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.3"><mi id="A1.Ex3.m1.49.49.49.12.12.12" xref="A1.Ex3.m1.49.49.49.12.12.12.cmml">X</mi><mn id="A1.Ex3.m1.50.50.50.13.13.13.1" xref="A1.Ex3.m1.50.50.50.13.13.13.1.cmml">0</mn></msub><mo id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.2a" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msub id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.1.4"><mi id="A1.Ex3.m1.51.51.51.14.14.14" xref="A1.Ex3.m1.51.51.51.14.14.14.cmml">E</mi><mn id="A1.Ex3.m1.52.52.52.15.15.15.1" xref="A1.Ex3.m1.52.52.52.15.15.15.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.53.53.53.16.16.16" xref="A1.Ex3.m1.53.53.53.16.16.16.cmml">+</mo><msubsup id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.1.2"><mover accent="true" id="A1.Ex3.m1.54.54.54.17.17.17" xref="A1.Ex3.m1.54.54.54.17.17.17.cmml"><mi id="A1.Ex3.m1.54.54.54.17.17.17.2" xref="A1.Ex3.m1.54.54.54.17.17.17.2.cmml">w</mi><mo id="A1.Ex3.m1.54.54.54.17.17.17.1" xref="A1.Ex3.m1.54.54.54.17.17.17.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.55.55.55.18.18.18.1" xref="A1.Ex3.m1.55.55.55.18.18.18.1.cmml">0</mn><mrow id="A1.Ex3.m1.56.56.56.19.19.19.1" xref="A1.Ex3.m1.56.56.56.19.19.19.1.cmml"><mi id="A1.Ex3.m1.56.56.56.19.19.19.1.2" xref="A1.Ex3.m1.56.56.56.19.19.19.1.2.cmml">p</mi><mo id="A1.Ex3.m1.56.56.56.19.19.19.1.1" xref="A1.Ex3.m1.56.56.56.19.19.19.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.56.56.56.19.19.19.1.3" xref="A1.Ex3.m1.56.56.56.19.19.19.1.3.cmml">r</mi><mo id="A1.Ex3.m1.56.56.56.19.19.19.1.1a" xref="A1.Ex3.m1.56.56.56.19.19.19.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.56.56.56.19.19.19.1.4" xref="A1.Ex3.m1.56.56.56.19.19.19.1.4.cmml">e</mi><mo id="A1.Ex3.m1.56.56.56.19.19.19.1.1b" xref="A1.Ex3.m1.56.56.56.19.19.19.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.56.56.56.19.19.19.1.5" xref="A1.Ex3.m1.56.56.56.19.19.19.1.5.cmml">d</mi></mrow></msubsup></mrow><mo id="A1.Ex3.m1.57.57.57.20.20.20" xref="A1.Ex3.m1.57.57.57.20.20.20.cmml">−</mo><msub id="A1.Ex3.m1.113.113.5.112.57.57.57.1.1.1.1.1.2"><mi id="A1.Ex3.m1.58.58.58.21.21.21" xref="A1.Ex3.m1.58.58.58.21.21.21.cmml">w</mi><mn id="A1.Ex3.m1.59.59.59.22.22.22.1" xref="A1.Ex3.m1.59.59.59.22.22.22.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.60.60.60.23.23.23" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo></mrow><mi id="A1.Ex3.m1.62.62.62.25.25.25.1" mathvariant="normal" xref="A1.Ex3.m1.62.62.62.25.25.25.1.cmml">Σ</mi><mn id="A1.Ex3.m1.61.61.61.24.24.24.1" xref="A1.Ex3.m1.61.61.61.24.24.24.1.cmml">2</mn></msubsup></mrow><mo id="A1.Ex3.m1.63.63.63.26.26.26" xref="A1.Ex3.m1.63.63.63.26.26.26.cmml">=</mo><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59"><mrow id="A1.Ex3.m1.114.114.6.113.58.58.58.1"><mi id="A1.Ex3.m1.64.64.64.27.27.27" xref="A1.Ex3.m1.64.64.64.27.27.27.cmml">𝔼</mi><mo id="A1.Ex3.m1.114.114.6.113.58.58.58.1.2" lspace="0.170em" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.114.114.6.113.58.58.58.1.1"><mrow id="A1.Ex3.m1.114.114.6.113.58.58.58.1.1.1.1.1"><mo id="A1.Ex3.m1.65.65.65.28.28.28" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo><mrow id="A1.Ex3.m1.114.114.6.113.58.58.58.1.1.1.1.1.1"><msub id="A1.Ex3.m1.114.114.6.113.58.58.58.1.1.1.1.1.1.1"><mi id="A1.Ex3.m1.66.66.66.29.29.29" xref="A1.Ex3.m1.66.66.66.29.29.29.cmml">w</mi><mn id="A1.Ex3.m1.67.67.67.30.30.30.1" xref="A1.Ex3.m1.67.67.67.30.30.30.1.cmml">0</mn></msub><mo id="A1.Ex3.m1.68.68.68.31.31.31" xref="A1.Ex3.m1.68.68.68.31.31.31.cmml">−</mo><msubsup id="A1.Ex3.m1.114.114.6.113.58.58.58.1.1.1.1.1.1.2"><mover accent="true" id="A1.Ex3.m1.69.69.69.32.32.32" xref="A1.Ex3.m1.69.69.69.32.32.32.cmml"><mi id="A1.Ex3.m1.69.69.69.32.32.32.2" xref="A1.Ex3.m1.69.69.69.32.32.32.2.cmml">w</mi><mo id="A1.Ex3.m1.69.69.69.32.32.32.1" xref="A1.Ex3.m1.69.69.69.32.32.32.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.70.70.70.33.33.33.1" xref="A1.Ex3.m1.70.70.70.33.33.33.1.cmml">0</mn><mrow id="A1.Ex3.m1.71.71.71.34.34.34.1" xref="A1.Ex3.m1.71.71.71.34.34.34.1.cmml"><mi id="A1.Ex3.m1.71.71.71.34.34.34.1.2" xref="A1.Ex3.m1.71.71.71.34.34.34.1.2.cmml">p</mi><mo id="A1.Ex3.m1.71.71.71.34.34.34.1.1" xref="A1.Ex3.m1.71.71.71.34.34.34.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.71.71.71.34.34.34.1.3" xref="A1.Ex3.m1.71.71.71.34.34.34.1.3.cmml">r</mi><mo id="A1.Ex3.m1.71.71.71.34.34.34.1.1a" xref="A1.Ex3.m1.71.71.71.34.34.34.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.71.71.71.34.34.34.1.4" xref="A1.Ex3.m1.71.71.71.34.34.34.1.4.cmml">e</mi><mo id="A1.Ex3.m1.71.71.71.34.34.34.1.1b" xref="A1.Ex3.m1.71.71.71.34.34.34.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.71.71.71.34.34.34.1.5" xref="A1.Ex3.m1.71.71.71.34.34.34.1.5.cmml">d</mi></mrow></msubsup></mrow><mo id="A1.Ex3.m1.72.72.72.35.35.35" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo></mrow><mi id="A1.Ex3.m1.74.74.74.37.37.37.1" mathvariant="normal" xref="A1.Ex3.m1.74.74.74.37.37.37.1.cmml">Σ</mi><mn id="A1.Ex3.m1.73.73.73.36.36.36.1" xref="A1.Ex3.m1.73.73.73.36.36.36.1.cmml">2</mn></msubsup></mrow><mo id="A1.Ex3.m1.75.75.75.38.38.38" xref="A1.Ex3.m1.75.75.75.38.38.38.cmml">+</mo><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59.2"><mi id="A1.Ex3.m1.76.76.76.39.39.39" xref="A1.Ex3.m1.76.76.76.39.39.39.cmml">𝔼</mi><mo id="A1.Ex3.m1.115.115.7.114.59.59.59.2.2" lspace="0.170em" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1"><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1"><mo id="A1.Ex3.m1.77.77.77.40.40.40" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1"><msup id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1"><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1.1.1"><mo id="A1.Ex3.m1.78.78.78.41.41.41" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">(</mo><mrow id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1.1.1.1"><msubsup id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1.1.1.1.2"><mi id="A1.Ex3.m1.79.79.79.42.42.42" xref="A1.Ex3.m1.79.79.79.42.42.42.cmml">X</mi><mn id="A1.Ex3.m1.80.80.80.43.43.43.1" xref="A1.Ex3.m1.80.80.80.43.43.43.1.cmml">0</mn><mo id="A1.Ex3.m1.81.81.81.44.44.44.1" xref="A1.Ex3.m1.81.81.81.44.44.44.1.cmml">⊤</mo></msubsup><mo id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msub id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.1.1.1.1.3"><mi id="A1.Ex3.m1.82.82.82.45.45.45" xref="A1.Ex3.m1.82.82.82.45.45.45.cmml">X</mi><mn id="A1.Ex3.m1.83.83.83.46.46.46.1" xref="A1.Ex3.m1.83.83.83.46.46.46.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.84.84.84.47.47.47" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex3.m1.85.85.85.48.48.48.1" xref="A1.Ex3.m1.85.85.85.48.48.48.1.cmml"><mo id="A1.Ex3.m1.85.85.85.48.48.48.1a" xref="A1.Ex3.m1.85.85.85.48.48.48.1.cmml">−</mo><mn id="A1.Ex3.m1.85.85.85.48.48.48.1.2" xref="A1.Ex3.m1.85.85.85.48.48.48.1.2.cmml">1</mn></mrow></msup><mo id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msubsup id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.3"><mi id="A1.Ex3.m1.86.86.86.49.49.49" xref="A1.Ex3.m1.86.86.86.49.49.49.cmml">X</mi><mn id="A1.Ex3.m1.87.87.87.50.50.50.1" xref="A1.Ex3.m1.87.87.87.50.50.50.1.cmml">0</mn><mo id="A1.Ex3.m1.88.88.88.51.51.51.1" xref="A1.Ex3.m1.88.88.88.51.51.51.1.cmml">⊤</mo></msubsup><mo id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.2a" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><msub id="A1.Ex3.m1.115.115.7.114.59.59.59.2.1.1.1.1.1.4"><mi id="A1.Ex3.m1.89.89.89.52.52.52" xref="A1.Ex3.m1.89.89.89.52.52.52.cmml">E</mi><mn id="A1.Ex3.m1.90.90.90.53.53.53.1" xref="A1.Ex3.m1.90.90.90.53.53.53.1.cmml">0</mn></msub></mrow><mo id="A1.Ex3.m1.91.91.91.54.54.54" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">‖</mo></mrow><mi id="A1.Ex3.m1.93.93.93.56.56.56.1" mathvariant="normal" xref="A1.Ex3.m1.93.93.93.56.56.56.1.cmml">Σ</mi><mn id="A1.Ex3.m1.92.92.92.55.55.55.1" xref="A1.Ex3.m1.92.92.92.55.55.55.1.cmml">2</mn></msubsup></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex3.m1.116.116.8g"><mtd id="A1.Ex3.m1.116.116.8h" xref="A1.Ex3.m1.109.109.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex3.m1.116.116.8i"><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16"><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16.1"><mi id="A1.Ex3.m1.116.116.8.115.16.16.16.1.3" xref="A1.Ex3.m1.109.109.1.1.1.cmml"></mi><mo id="A1.Ex3.m1.94.94.94.1.1.1" xref="A1.Ex3.m1.94.94.94.1.1.1.cmml">=</mo><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1"><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1.1"><msub id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1.1.3"><mi id="A1.Ex3.m1.95.95.95.2.2.2" xref="A1.Ex3.m1.95.95.95.2.2.2.cmml">E</mi><mrow id="A1.Ex3.m1.96.96.96.3.3.3.1" xref="A1.Ex3.m1.96.96.96.3.3.3.1.cmml"><mi id="A1.Ex3.m1.96.96.96.3.3.3.1.2" xref="A1.Ex3.m1.96.96.96.3.3.3.1.2.cmml">t</mi><mo id="A1.Ex3.m1.96.96.96.3.3.3.1.1" xref="A1.Ex3.m1.96.96.96.3.3.3.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.96.96.96.3.3.3.1.3" xref="A1.Ex3.m1.96.96.96.3.3.3.1.3.cmml">e</mi><mo id="A1.Ex3.m1.96.96.96.3.3.3.1.1a" xref="A1.Ex3.m1.96.96.96.3.3.3.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.96.96.96.3.3.3.1.4" xref="A1.Ex3.m1.96.96.96.3.3.3.1.4.cmml">s</mi><mo id="A1.Ex3.m1.96.96.96.3.3.3.1.1b" xref="A1.Ex3.m1.96.96.96.3.3.3.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.96.96.96.3.3.3.1.5" xref="A1.Ex3.m1.96.96.96.3.3.3.1.5.cmml">t</mi></mrow></msub><mo id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1.1.2" xref="A1.Ex3.m1.109.109.1.1.1.cmml">⁢</mo><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1.1.1.1"><mo id="A1.Ex3.m1.97.97.97.4.4.4" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">(</mo><msubsup id="A1.Ex3.m1.116.116.8.115.16.16.16.1.1.1.1.1.1"><mover accent="true" id="A1.Ex3.m1.98.98.98.5.5.5" xref="A1.Ex3.m1.98.98.98.5.5.5.cmml"><mi id="A1.Ex3.m1.98.98.98.5.5.5.2" xref="A1.Ex3.m1.98.98.98.5.5.5.2.cmml">w</mi><mo id="A1.Ex3.m1.98.98.98.5.5.5.1" xref="A1.Ex3.m1.98.98.98.5.5.5.1.cmml">^</mo></mover><mn id="A1.Ex3.m1.99.99.99.6.6.6.1" xref="A1.Ex3.m1.99.99.99.6.6.6.1.cmml">0</mn><mrow id="A1.Ex3.m1.100.100.100.7.7.7.1" xref="A1.Ex3.m1.100.100.100.7.7.7.1.cmml"><mi id="A1.Ex3.m1.100.100.100.7.7.7.1.2" xref="A1.Ex3.m1.100.100.100.7.7.7.1.2.cmml">p</mi><mo id="A1.Ex3.m1.100.100.100.7.7.7.1.1" xref="A1.Ex3.m1.100.100.100.7.7.7.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.100.100.100.7.7.7.1.3" xref="A1.Ex3.m1.100.100.100.7.7.7.1.3.cmml">r</mi><mo id="A1.Ex3.m1.100.100.100.7.7.7.1.1a" xref="A1.Ex3.m1.100.100.100.7.7.7.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.100.100.100.7.7.7.1.4" xref="A1.Ex3.m1.100.100.100.7.7.7.1.4.cmml">e</mi><mo id="A1.Ex3.m1.100.100.100.7.7.7.1.1b" xref="A1.Ex3.m1.100.100.100.7.7.7.1.1.cmml">⁢</mo><mi id="A1.Ex3.m1.100.100.100.7.7.7.1.5" xref="A1.Ex3.m1.100.100.100.7.7.7.1.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex3.m1.101.101.101.8.8.8" stretchy="false" xref="A1.Ex3.m1.109.109.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex3.m1.102.102.102.9.9.9" xref="A1.Ex3.m1.102.102.102.9.9.9.cmml">+</mo><mstyle displaystyle="true" id="A1.Ex3.m1.103.103.103.10.10.10" xref="A1.Ex3.m1.103.103.103.10.10.10.cmml"><mfrac id="A1.Ex3.m1.103.103.103.10.10.10a" xref="A1.Ex3.m1.103.103.103.10.10.10.cmml"><mrow id="A1.Ex3.m1.103.103.103.10.10.10.2" xref="A1.Ex3.m1.103.103.103.10.10.10.2.cmml"><msubsup id="A1.Ex3.m1.103.103.103.10.10.10.2.2" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.cmml"><mi id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.2" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.2.cmml">σ</mi><mn id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.3" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.3.cmml">0</mn><mn id="A1.Ex3.m1.103.103.103.10.10.10.2.2.3" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.3.cmml">2</mn></msubsup><mo id="A1.Ex3.m1.103.103.103.10.10.10.2.1" xref="A1.Ex3.m1.103.103.103.10.10.10.2.1.cmml">⁢</mo><mi id="A1.Ex3.m1.103.103.103.10.10.10.2.3" xref="A1.Ex3.m1.103.103.103.10.10.10.2.3.cmml">d</mi></mrow><mrow id="A1.Ex3.m1.103.103.103.10.10.10.3" xref="A1.Ex3.m1.103.103.103.10.10.10.3.cmml"><msub id="A1.Ex3.m1.103.103.103.10.10.10.3.2" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2.cmml"><mi id="A1.Ex3.m1.103.103.103.10.10.10.3.2.2" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2.2.cmml">T</mi><mn id="A1.Ex3.m1.103.103.103.10.10.10.3.2.3" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2.3.cmml">0</mn></msub><mo id="A1.Ex3.m1.103.103.103.10.10.10.3.1" xref="A1.Ex3.m1.103.103.103.10.10.10.3.1.cmml">−</mo><mi id="A1.Ex3.m1.103.103.103.10.10.10.3.3" xref="A1.Ex3.m1.103.103.103.10.10.10.3.3.cmml">d</mi><mo id="A1.Ex3.m1.103.103.103.10.10.10.3.1a" xref="A1.Ex3.m1.103.103.103.10.10.10.3.1.cmml">−</mo><mn id="A1.Ex3.m1.103.103.103.10.10.10.3.4" xref="A1.Ex3.m1.103.103.103.10.10.10.3.4.cmml">1</mn></mrow></mfrac></mstyle></mrow><mo id="A1.Ex3.m1.104.104.104.11.11.11" xref="A1.Ex3.m1.104.104.104.11.11.11.cmml">≃</mo><mrow id="A1.Ex3.m1.116.116.8.115.16.16.16.1.4"><mstyle displaystyle="true" id="A1.Ex3.m1.105.105.105.12.12.12" xref="A1.Ex3.m1.105.105.105.12.12.12.cmml"><mfrac id="A1.Ex3.m1.105.105.105.12.12.12a" xref="A1.Ex3.m1.105.105.105.12.12.12.cmml"><mrow id="A1.Ex3.m1.105.105.105.12.12.12.2" xref="A1.Ex3.m1.105.105.105.12.12.12.2.cmml"><msup id="A1.Ex3.m1.105.105.105.12.12.12.2.2" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2.cmml"><mi id="A1.Ex3.m1.105.105.105.12.12.12.2.2.2" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2.2.cmml">σ</mi><mn id="A1.Ex3.m1.105.105.105.12.12.12.2.2.3" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2.3.cmml">2</mn></msup><mo id="A1.Ex3.m1.105.105.105.12.12.12.2.1" xref="A1.Ex3.m1.105.105.105.12.12.12.2.1.cmml">⁢</mo><mi id="A1.Ex3.m1.105.105.105.12.12.12.2.3" xref="A1.Ex3.m1.105.105.105.12.12.12.2.3.cmml">ϕ</mi></mrow><mrow id="A1.Ex3.m1.105.105.105.12.12.12.3" xref="A1.Ex3.m1.105.105.105.12.12.12.3.cmml"><mn id="A1.Ex3.m1.105.105.105.12.12.12.3.2" xref="A1.Ex3.m1.105.105.105.12.12.12.3.2.cmml">1</mn><mo id="A1.Ex3.m1.105.105.105.12.12.12.3.1" xref="A1.Ex3.m1.105.105.105.12.12.12.3.1.cmml">−</mo><mi id="A1.Ex3.m1.105.105.105.12.12.12.3.3" xref="A1.Ex3.m1.105.105.105.12.12.12.3.3.cmml">ϕ</mi></mrow></mfrac></mstyle><mo id="A1.Ex3.m1.106.106.106.13.13.13" xref="A1.Ex3.m1.106.106.106.13.13.13.cmml">+</mo><mstyle displaystyle="true" id="A1.Ex3.m1.107.107.107.14.14.14" xref="A1.Ex3.m1.107.107.107.14.14.14.cmml"><mfrac id="A1.Ex3.m1.107.107.107.14.14.14a" xref="A1.Ex3.m1.107.107.107.14.14.14.cmml"><mrow id="A1.Ex3.m1.107.107.107.14.14.14.2" xref="A1.Ex3.m1.107.107.107.14.14.14.2.cmml"><msubsup id="A1.Ex3.m1.107.107.107.14.14.14.2.2" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.cmml"><mi id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.2" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.2.cmml">σ</mi><mn id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.3" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.3.cmml">0</mn><mn id="A1.Ex3.m1.107.107.107.14.14.14.2.2.3" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.3.cmml">2</mn></msubsup><mo id="A1.Ex3.m1.107.107.107.14.14.14.2.1" xref="A1.Ex3.m1.107.107.107.14.14.14.2.1.cmml">⁢</mo><msub id="A1.Ex3.m1.107.107.107.14.14.14.2.3" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3.cmml"><mi id="A1.Ex3.m1.107.107.107.14.14.14.2.3.2" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3.2.cmml">ϕ</mi><mn id="A1.Ex3.m1.107.107.107.14.14.14.2.3.3" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3.3.cmml">0</mn></msub></mrow><mrow id="A1.Ex3.m1.107.107.107.14.14.14.3" xref="A1.Ex3.m1.107.107.107.14.14.14.3.cmml"><mn id="A1.Ex3.m1.107.107.107.14.14.14.3.2" xref="A1.Ex3.m1.107.107.107.14.14.14.3.2.cmml">1</mn><mo id="A1.Ex3.m1.107.107.107.14.14.14.3.1" xref="A1.Ex3.m1.107.107.107.14.14.14.3.1.cmml">−</mo><msub id="A1.Ex3.m1.107.107.107.14.14.14.3.3" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3.cmml"><mi id="A1.Ex3.m1.107.107.107.14.14.14.3.3.2" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3.2.cmml">ϕ</mi><mn id="A1.Ex3.m1.107.107.107.14.14.14.3.3.3" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle></mrow></mrow><mo id="A1.Ex3.m1.108.108.108.15.15.15" xref="A1.Ex3.m1.109.109.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.Ex3.m1.116b"><apply id="A1.Ex3.m1.109.109.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><and id="A1.Ex3.m1.109.109.1.1.1a.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></and><apply id="A1.Ex3.m1.109.109.1.1.1b.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><eq id="A1.Ex3.m1.8.8.8.8.1.1.cmml" xref="A1.Ex3.m1.8.8.8.8.1.1"></eq><apply id="A1.Ex3.m1.109.109.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.1.1.1.1.1.1">𝐸</ci><apply id="A1.Ex3.m1.2.2.2.2.2.2.1.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1"><times id="A1.Ex3.m1.2.2.2.2.2.2.1.1.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1.1"></times><ci id="A1.Ex3.m1.2.2.2.2.2.2.1.2.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1.2">𝑡</ci><ci id="A1.Ex3.m1.2.2.2.2.2.2.1.3.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1.3">𝑒</ci><ci id="A1.Ex3.m1.2.2.2.2.2.2.1.4.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1.4">𝑠</ci><ci id="A1.Ex3.m1.2.2.2.2.2.2.1.5.cmml" xref="A1.Ex3.m1.2.2.2.2.2.2.1.5">𝑡</ci></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.4.4.4.4.4.4.cmml" xref="A1.Ex3.m1.4.4.4.4.4.4"><ci id="A1.Ex3.m1.4.4.4.4.4.4.1.cmml" xref="A1.Ex3.m1.4.4.4.4.4.4.1">^</ci><ci id="A1.Ex3.m1.4.4.4.4.4.4.2.cmml" xref="A1.Ex3.m1.4.4.4.4.4.4.2">𝑤</ci></apply><cn id="A1.Ex3.m1.5.5.5.5.5.5.1.cmml" type="integer" xref="A1.Ex3.m1.5.5.5.5.5.5.1">1</cn></apply><apply id="A1.Ex3.m1.6.6.6.6.6.6.1.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1"><times id="A1.Ex3.m1.6.6.6.6.6.6.1.1.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1.1"></times><ci id="A1.Ex3.m1.6.6.6.6.6.6.1.2.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1.2">𝑝</ci><ci id="A1.Ex3.m1.6.6.6.6.6.6.1.3.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1.3">𝑟</ci><ci id="A1.Ex3.m1.6.6.6.6.6.6.1.4.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1.4">𝑒</ci><ci id="A1.Ex3.m1.6.6.6.6.6.6.1.5.cmml" xref="A1.Ex3.m1.6.6.6.6.6.6.1.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><ci id="A1.Ex3.m1.9.9.9.9.2.2.cmml" xref="A1.Ex3.m1.9.9.9.9.2.2">𝔼</ci><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.2.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.2.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">delimited-∥∥</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><minus id="A1.Ex3.m1.14.14.14.14.7.7.cmml" xref="A1.Ex3.m1.14.14.14.14.7.7"></minus><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.11.11.11.11.4.4.cmml" xref="A1.Ex3.m1.11.11.11.11.4.4"><ci id="A1.Ex3.m1.11.11.11.11.4.4.1.cmml" xref="A1.Ex3.m1.11.11.11.11.4.4.1">^</ci><ci id="A1.Ex3.m1.11.11.11.11.4.4.2.cmml" xref="A1.Ex3.m1.11.11.11.11.4.4.2">𝑤</ci></apply><cn id="A1.Ex3.m1.12.12.12.12.5.5.1.cmml" type="integer" xref="A1.Ex3.m1.12.12.12.12.5.5.1">1</cn></apply><apply id="A1.Ex3.m1.13.13.13.13.6.6.1.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1"><times id="A1.Ex3.m1.13.13.13.13.6.6.1.1.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1.1"></times><ci id="A1.Ex3.m1.13.13.13.13.6.6.1.2.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1.2">𝑝</ci><ci id="A1.Ex3.m1.13.13.13.13.6.6.1.3.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1.3">𝑟</ci><ci id="A1.Ex3.m1.13.13.13.13.6.6.1.4.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1.4">𝑒</ci><ci id="A1.Ex3.m1.13.13.13.13.6.6.1.5.cmml" xref="A1.Ex3.m1.13.13.13.13.6.6.1.5">𝑑</ci></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.2.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.15.15.15.15.8.8.cmml" xref="A1.Ex3.m1.15.15.15.15.8.8">𝑤</ci><cn id="A1.Ex3.m1.16.16.16.16.9.9.1.cmml" type="integer" xref="A1.Ex3.m1.16.16.16.16.9.9.1">0</cn></apply></apply></apply><cn id="A1.Ex3.m1.18.18.18.18.11.11.1.cmml" type="integer" xref="A1.Ex3.m1.18.18.18.18.11.11.1">2</cn></apply><ci id="A1.Ex3.m1.19.19.19.19.12.12.1.cmml" xref="A1.Ex3.m1.19.19.19.19.12.12.1">Σ</ci></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1c.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><eq id="A1.Ex3.m1.20.20.20.20.13.13.cmml" xref="A1.Ex3.m1.20.20.20.20.13.13"></eq><share href="#A1.Ex3.m1.109.109.1.1.1.2.cmml" id="A1.Ex3.m1.109.109.1.1.1d.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></share><apply id="A1.Ex3.m1.109.109.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.3.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><ci id="A1.Ex3.m1.21.21.21.21.14.14.cmml" xref="A1.Ex3.m1.21.21.21.21.14.14">𝔼</ci><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">delimited-∥∥</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><minus id="A1.Ex3.m1.32.32.32.32.25.25.cmml" xref="A1.Ex3.m1.32.32.32.32.25.25"></minus><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><plus id="A1.Ex3.m1.29.29.29.29.22.22.cmml" xref="A1.Ex3.m1.29.29.29.29.22.22"></plus><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><minus id="A1.Ex3.m1.26.26.26.26.19.19.cmml" xref="A1.Ex3.m1.26.26.26.26.19.19"></minus><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.2.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.23.23.23.23.16.16.cmml" xref="A1.Ex3.m1.23.23.23.23.16.16"><ci id="A1.Ex3.m1.23.23.23.23.16.16.1.cmml" xref="A1.Ex3.m1.23.23.23.23.16.16.1">^</ci><ci id="A1.Ex3.m1.23.23.23.23.16.16.2.cmml" xref="A1.Ex3.m1.23.23.23.23.16.16.2">𝑤</ci></apply><cn id="A1.Ex3.m1.24.24.24.24.17.17.1.cmml" type="integer" xref="A1.Ex3.m1.24.24.24.24.17.17.1">1</cn></apply><apply id="A1.Ex3.m1.25.25.25.25.18.18.1.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1"><times id="A1.Ex3.m1.25.25.25.25.18.18.1.1.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1.1"></times><ci id="A1.Ex3.m1.25.25.25.25.18.18.1.2.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1.2">𝑝</ci><ci id="A1.Ex3.m1.25.25.25.25.18.18.1.3.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1.3">𝑟</ci><ci id="A1.Ex3.m1.25.25.25.25.18.18.1.4.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1.4">𝑒</ci><ci id="A1.Ex3.m1.25.25.25.25.18.18.1.5.cmml" xref="A1.Ex3.m1.25.25.25.25.18.18.1.5">𝑑</ci></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.2.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.27.27.27.27.20.20.cmml" xref="A1.Ex3.m1.27.27.27.27.20.20"><ci id="A1.Ex3.m1.27.27.27.27.20.20.1.cmml" xref="A1.Ex3.m1.27.27.27.27.20.20.1">^</ci><ci id="A1.Ex3.m1.27.27.27.27.20.20.2.cmml" xref="A1.Ex3.m1.27.27.27.27.20.20.2">𝑤</ci></apply><cn id="A1.Ex3.m1.28.28.28.28.21.21.1.cmml" type="integer" xref="A1.Ex3.m1.28.28.28.28.21.21.1">1</cn></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.2.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.30.30.30.30.23.23.cmml" xref="A1.Ex3.m1.30.30.30.30.23.23"><ci id="A1.Ex3.m1.30.30.30.30.23.23.1.cmml" xref="A1.Ex3.m1.30.30.30.30.23.23.1">^</ci><ci id="A1.Ex3.m1.30.30.30.30.23.23.2.cmml" xref="A1.Ex3.m1.30.30.30.30.23.23.2">𝑤</ci></apply><cn id="A1.Ex3.m1.31.31.31.31.24.24.1.cmml" type="integer" xref="A1.Ex3.m1.31.31.31.31.24.24.1">1</cn></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.3.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.33.33.33.33.26.26.cmml" xref="A1.Ex3.m1.33.33.33.33.26.26"><ci id="A1.Ex3.m1.33.33.33.33.26.26.1.cmml" xref="A1.Ex3.m1.33.33.33.33.26.26.1">^</ci><ci id="A1.Ex3.m1.33.33.33.33.26.26.2.cmml" xref="A1.Ex3.m1.33.33.33.33.26.26.2">𝑤</ci></apply><cn id="A1.Ex3.m1.34.34.34.34.27.27.1.cmml" type="integer" xref="A1.Ex3.m1.34.34.34.34.27.27.1">0</cn></apply></apply></apply><cn id="A1.Ex3.m1.36.36.36.36.29.29.1.cmml" type="integer" xref="A1.Ex3.m1.36.36.36.36.29.29.1">2</cn></apply><ci id="A1.Ex3.m1.37.37.37.37.30.30.1.cmml" xref="A1.Ex3.m1.37.37.37.37.30.30.1">Σ</ci></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1e.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><eq id="A1.Ex3.m1.38.38.38.1.1.1.cmml" xref="A1.Ex3.m1.38.38.38.1.1.1"></eq><share href="#A1.Ex3.m1.109.109.1.1.1.3.cmml" id="A1.Ex3.m1.109.109.1.1.1f.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></share><apply id="A1.Ex3.m1.109.109.1.1.1.4.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.4.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><ci id="A1.Ex3.m1.39.39.39.2.2.2.cmml" xref="A1.Ex3.m1.39.39.39.2.2.2">𝔼</ci><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">delimited-∥∥</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><minus id="A1.Ex3.m1.57.57.57.20.20.20.cmml" xref="A1.Ex3.m1.57.57.57.20.20.20"></minus><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><plus id="A1.Ex3.m1.53.53.53.16.16.16.cmml" xref="A1.Ex3.m1.53.53.53.16.16.16"></plus><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.42.42.42.5.5.5.cmml" xref="A1.Ex3.m1.42.42.42.5.5.5">𝑋</ci><cn id="A1.Ex3.m1.43.43.43.6.6.6.1.cmml" type="integer" xref="A1.Ex3.m1.43.43.43.6.6.6.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex3.m1.44.44.44.7.7.7.1.cmml" xref="A1.Ex3.m1.44.44.44.7.7.7.1">top</csymbol></apply><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.45.45.45.8.8.8.cmml" xref="A1.Ex3.m1.45.45.45.8.8.8">𝑋</ci><cn id="A1.Ex3.m1.46.46.46.9.9.9.1.cmml" type="integer" xref="A1.Ex3.m1.46.46.46.9.9.9.1">0</cn></apply></apply><apply id="A1.Ex3.m1.48.48.48.11.11.11.1.cmml" xref="A1.Ex3.m1.48.48.48.11.11.11.1"><minus id="A1.Ex3.m1.48.48.48.11.11.11.1.1.cmml" xref="A1.Ex3.m1.48.48.48.11.11.11.1"></minus><cn id="A1.Ex3.m1.48.48.48.11.11.11.1.2.cmml" type="integer" xref="A1.Ex3.m1.48.48.48.11.11.11.1.2">1</cn></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.49.49.49.12.12.12.cmml" xref="A1.Ex3.m1.49.49.49.12.12.12">𝑋</ci><cn id="A1.Ex3.m1.50.50.50.13.13.13.1.cmml" type="integer" xref="A1.Ex3.m1.50.50.50.13.13.13.1">0</cn></apply><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.4.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.1.4.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.51.51.51.14.14.14.cmml" xref="A1.Ex3.m1.51.51.51.14.14.14">𝐸</ci><cn id="A1.Ex3.m1.52.52.52.15.15.15.1.cmml" type="integer" xref="A1.Ex3.m1.52.52.52.15.15.15.1">0</cn></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.54.54.54.17.17.17.cmml" xref="A1.Ex3.m1.54.54.54.17.17.17"><ci id="A1.Ex3.m1.54.54.54.17.17.17.1.cmml" xref="A1.Ex3.m1.54.54.54.17.17.17.1">^</ci><ci id="A1.Ex3.m1.54.54.54.17.17.17.2.cmml" xref="A1.Ex3.m1.54.54.54.17.17.17.2">𝑤</ci></apply><cn id="A1.Ex3.m1.55.55.55.18.18.18.1.cmml" type="integer" xref="A1.Ex3.m1.55.55.55.18.18.18.1">0</cn></apply><apply id="A1.Ex3.m1.56.56.56.19.19.19.1.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1"><times id="A1.Ex3.m1.56.56.56.19.19.19.1.1.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1.1"></times><ci id="A1.Ex3.m1.56.56.56.19.19.19.1.2.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1.2">𝑝</ci><ci id="A1.Ex3.m1.56.56.56.19.19.19.1.3.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1.3">𝑟</ci><ci id="A1.Ex3.m1.56.56.56.19.19.19.1.4.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1.4">𝑒</ci><ci id="A1.Ex3.m1.56.56.56.19.19.19.1.5.cmml" xref="A1.Ex3.m1.56.56.56.19.19.19.1.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.4.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.58.58.58.21.21.21.cmml" xref="A1.Ex3.m1.58.58.58.21.21.21">𝑤</ci><cn id="A1.Ex3.m1.59.59.59.22.22.22.1.cmml" type="integer" xref="A1.Ex3.m1.59.59.59.22.22.22.1">0</cn></apply></apply></apply><cn id="A1.Ex3.m1.61.61.61.24.24.24.1.cmml" type="integer" xref="A1.Ex3.m1.61.61.61.24.24.24.1">2</cn></apply><ci id="A1.Ex3.m1.62.62.62.25.25.25.1.cmml" xref="A1.Ex3.m1.62.62.62.25.25.25.1">Σ</ci></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1g.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><eq id="A1.Ex3.m1.63.63.63.26.26.26.cmml" xref="A1.Ex3.m1.63.63.63.26.26.26"></eq><share href="#A1.Ex3.m1.109.109.1.1.1.4.cmml" id="A1.Ex3.m1.109.109.1.1.1h.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></share><apply id="A1.Ex3.m1.109.109.1.1.1.6.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><plus id="A1.Ex3.m1.75.75.75.38.38.38.cmml" xref="A1.Ex3.m1.75.75.75.38.38.38"></plus><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.5.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><ci id="A1.Ex3.m1.64.64.64.27.27.27.cmml" xref="A1.Ex3.m1.64.64.64.27.27.27">𝔼</ci><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">delimited-∥∥</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><minus id="A1.Ex3.m1.68.68.68.31.31.31.cmml" xref="A1.Ex3.m1.68.68.68.31.31.31"></minus><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.66.66.66.29.29.29.cmml" xref="A1.Ex3.m1.66.66.66.29.29.29">𝑤</ci><cn id="A1.Ex3.m1.67.67.67.30.30.30.1.cmml" type="integer" xref="A1.Ex3.m1.67.67.67.30.30.30.1">0</cn></apply><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.5.1.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.69.69.69.32.32.32.cmml" xref="A1.Ex3.m1.69.69.69.32.32.32"><ci id="A1.Ex3.m1.69.69.69.32.32.32.1.cmml" xref="A1.Ex3.m1.69.69.69.32.32.32.1">^</ci><ci id="A1.Ex3.m1.69.69.69.32.32.32.2.cmml" xref="A1.Ex3.m1.69.69.69.32.32.32.2">𝑤</ci></apply><cn id="A1.Ex3.m1.70.70.70.33.33.33.1.cmml" type="integer" xref="A1.Ex3.m1.70.70.70.33.33.33.1">0</cn></apply><apply id="A1.Ex3.m1.71.71.71.34.34.34.1.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1"><times id="A1.Ex3.m1.71.71.71.34.34.34.1.1.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1.1"></times><ci id="A1.Ex3.m1.71.71.71.34.34.34.1.2.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1.2">𝑝</ci><ci id="A1.Ex3.m1.71.71.71.34.34.34.1.3.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1.3">𝑟</ci><ci id="A1.Ex3.m1.71.71.71.34.34.34.1.4.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1.4">𝑒</ci><ci id="A1.Ex3.m1.71.71.71.34.34.34.1.5.cmml" xref="A1.Ex3.m1.71.71.71.34.34.34.1.5">𝑑</ci></apply></apply></apply></apply><cn id="A1.Ex3.m1.73.73.73.36.36.36.1.cmml" type="integer" xref="A1.Ex3.m1.73.73.73.36.36.36.1">2</cn></apply><ci id="A1.Ex3.m1.74.74.74.37.37.37.1.cmml" xref="A1.Ex3.m1.74.74.74.37.37.37.1">Σ</ci></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.6.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><ci id="A1.Ex3.m1.76.76.76.39.39.39.cmml" xref="A1.Ex3.m1.76.76.76.39.39.39">𝔼</ci><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">delimited-∥∥</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.79.79.79.42.42.42.cmml" xref="A1.Ex3.m1.79.79.79.42.42.42">𝑋</ci><cn id="A1.Ex3.m1.80.80.80.43.43.43.1.cmml" type="integer" xref="A1.Ex3.m1.80.80.80.43.43.43.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex3.m1.81.81.81.44.44.44.1.cmml" xref="A1.Ex3.m1.81.81.81.44.44.44.1">top</csymbol></apply><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.82.82.82.45.45.45.cmml" xref="A1.Ex3.m1.82.82.82.45.45.45">𝑋</ci><cn id="A1.Ex3.m1.83.83.83.46.46.46.1.cmml" type="integer" xref="A1.Ex3.m1.83.83.83.46.46.46.1">0</cn></apply></apply><apply id="A1.Ex3.m1.85.85.85.48.48.48.1.cmml" xref="A1.Ex3.m1.85.85.85.48.48.48.1"><minus id="A1.Ex3.m1.85.85.85.48.48.48.1.1.cmml" xref="A1.Ex3.m1.85.85.85.48.48.48.1"></minus><cn id="A1.Ex3.m1.85.85.85.48.48.48.1.2.cmml" type="integer" xref="A1.Ex3.m1.85.85.85.48.48.48.1.2">1</cn></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.3.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.86.86.86.49.49.49.cmml" xref="A1.Ex3.m1.86.86.86.49.49.49">𝑋</ci><cn id="A1.Ex3.m1.87.87.87.50.50.50.1.cmml" type="integer" xref="A1.Ex3.m1.87.87.87.50.50.50.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex3.m1.88.88.88.51.51.51.1.cmml" xref="A1.Ex3.m1.88.88.88.51.51.51.1">top</csymbol></apply><apply id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.4.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.6.2.1.1.1.1.1.4.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.89.89.89.52.52.52.cmml" xref="A1.Ex3.m1.89.89.89.52.52.52">𝐸</ci><cn id="A1.Ex3.m1.90.90.90.53.53.53.1.cmml" type="integer" xref="A1.Ex3.m1.90.90.90.53.53.53.1">0</cn></apply></apply></apply><cn id="A1.Ex3.m1.92.92.92.55.55.55.1.cmml" type="integer" xref="A1.Ex3.m1.92.92.92.55.55.55.1">2</cn></apply><ci id="A1.Ex3.m1.93.93.93.56.56.56.1.cmml" xref="A1.Ex3.m1.93.93.93.56.56.56.1">Σ</ci></apply></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1i.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><eq id="A1.Ex3.m1.94.94.94.1.1.1.cmml" xref="A1.Ex3.m1.94.94.94.1.1.1"></eq><share href="#A1.Ex3.m1.109.109.1.1.1.6.cmml" id="A1.Ex3.m1.109.109.1.1.1j.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></share><apply id="A1.Ex3.m1.109.109.1.1.1.7.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><plus id="A1.Ex3.m1.102.102.102.9.9.9.cmml" xref="A1.Ex3.m1.102.102.102.9.9.9"></plus><apply id="A1.Ex3.m1.109.109.1.1.1.7.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><times id="A1.Ex3.m1.109.109.1.1.1.7.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></times><apply id="A1.Ex3.m1.109.109.1.1.1.7.1.3.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.7.1.3.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><ci id="A1.Ex3.m1.95.95.95.2.2.2.cmml" xref="A1.Ex3.m1.95.95.95.2.2.2">𝐸</ci><apply id="A1.Ex3.m1.96.96.96.3.3.3.1.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1"><times id="A1.Ex3.m1.96.96.96.3.3.3.1.1.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1.1"></times><ci id="A1.Ex3.m1.96.96.96.3.3.3.1.2.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1.2">𝑡</ci><ci id="A1.Ex3.m1.96.96.96.3.3.3.1.3.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1.3">𝑒</ci><ci id="A1.Ex3.m1.96.96.96.3.3.3.1.4.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1.4">𝑠</ci><ci id="A1.Ex3.m1.96.96.96.3.3.3.1.5.cmml" xref="A1.Ex3.m1.96.96.96.3.3.3.1.5">𝑡</ci></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1.7.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.7.1.1.1.1.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">superscript</csymbol><apply id="A1.Ex3.m1.109.109.1.1.1.7.1.1.1.1.2.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="ambiguous" id="A1.Ex3.m1.109.109.1.1.1.7.1.1.1.1.2.1.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9">subscript</csymbol><apply id="A1.Ex3.m1.98.98.98.5.5.5.cmml" xref="A1.Ex3.m1.98.98.98.5.5.5"><ci id="A1.Ex3.m1.98.98.98.5.5.5.1.cmml" xref="A1.Ex3.m1.98.98.98.5.5.5.1">^</ci><ci id="A1.Ex3.m1.98.98.98.5.5.5.2.cmml" xref="A1.Ex3.m1.98.98.98.5.5.5.2">𝑤</ci></apply><cn id="A1.Ex3.m1.99.99.99.6.6.6.1.cmml" type="integer" xref="A1.Ex3.m1.99.99.99.6.6.6.1">0</cn></apply><apply id="A1.Ex3.m1.100.100.100.7.7.7.1.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1"><times id="A1.Ex3.m1.100.100.100.7.7.7.1.1.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1.1"></times><ci id="A1.Ex3.m1.100.100.100.7.7.7.1.2.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1.2">𝑝</ci><ci id="A1.Ex3.m1.100.100.100.7.7.7.1.3.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1.3">𝑟</ci><ci id="A1.Ex3.m1.100.100.100.7.7.7.1.4.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1.4">𝑒</ci><ci id="A1.Ex3.m1.100.100.100.7.7.7.1.5.cmml" xref="A1.Ex3.m1.100.100.100.7.7.7.1.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex3.m1.103.103.103.10.10.10.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10"><divide id="A1.Ex3.m1.103.103.103.10.10.10.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10"></divide><apply id="A1.Ex3.m1.103.103.103.10.10.10.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2"><times id="A1.Ex3.m1.103.103.103.10.10.10.2.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.1"></times><apply id="A1.Ex3.m1.103.103.103.10.10.10.2.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.103.103.103.10.10.10.2.2.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2">superscript</csymbol><apply id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2">subscript</csymbol><ci id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.2">𝜎</ci><cn id="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.3.cmml" type="integer" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.2.3">0</cn></apply><cn id="A1.Ex3.m1.103.103.103.10.10.10.2.2.3.cmml" type="integer" xref="A1.Ex3.m1.103.103.103.10.10.10.2.2.3">2</cn></apply><ci id="A1.Ex3.m1.103.103.103.10.10.10.2.3.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.2.3">𝑑</ci></apply><apply id="A1.Ex3.m1.103.103.103.10.10.10.3.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3"><minus id="A1.Ex3.m1.103.103.103.10.10.10.3.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3.1"></minus><apply id="A1.Ex3.m1.103.103.103.10.10.10.3.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.103.103.103.10.10.10.3.2.1.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2">subscript</csymbol><ci id="A1.Ex3.m1.103.103.103.10.10.10.3.2.2.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2.2">𝑇</ci><cn id="A1.Ex3.m1.103.103.103.10.10.10.3.2.3.cmml" type="integer" xref="A1.Ex3.m1.103.103.103.10.10.10.3.2.3">0</cn></apply><ci id="A1.Ex3.m1.103.103.103.10.10.10.3.3.cmml" xref="A1.Ex3.m1.103.103.103.10.10.10.3.3">𝑑</ci><cn id="A1.Ex3.m1.103.103.103.10.10.10.3.4.cmml" type="integer" xref="A1.Ex3.m1.103.103.103.10.10.10.3.4">1</cn></apply></apply></apply></apply><apply id="A1.Ex3.m1.109.109.1.1.1k.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><csymbol cd="latexml" id="A1.Ex3.m1.104.104.104.11.11.11.cmml" xref="A1.Ex3.m1.104.104.104.11.11.11">similar-to-or-equals</csymbol><share href="#A1.Ex3.m1.109.109.1.1.1.7.cmml" id="A1.Ex3.m1.109.109.1.1.1l.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"></share><apply id="A1.Ex3.m1.109.109.1.1.1.15.cmml" xref="A1.Ex3.m1.110.110.2.109.38.8.9"><plus id="A1.Ex3.m1.106.106.106.13.13.13.cmml" xref="A1.Ex3.m1.106.106.106.13.13.13"></plus><apply id="A1.Ex3.m1.105.105.105.12.12.12.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12"><divide id="A1.Ex3.m1.105.105.105.12.12.12.1.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12"></divide><apply id="A1.Ex3.m1.105.105.105.12.12.12.2.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2"><times id="A1.Ex3.m1.105.105.105.12.12.12.2.1.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2.1"></times><apply id="A1.Ex3.m1.105.105.105.12.12.12.2.2.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.105.105.105.12.12.12.2.2.1.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2">superscript</csymbol><ci id="A1.Ex3.m1.105.105.105.12.12.12.2.2.2.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2.2">𝜎</ci><cn id="A1.Ex3.m1.105.105.105.12.12.12.2.2.3.cmml" type="integer" xref="A1.Ex3.m1.105.105.105.12.12.12.2.2.3">2</cn></apply><ci id="A1.Ex3.m1.105.105.105.12.12.12.2.3.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.2.3">italic-ϕ</ci></apply><apply id="A1.Ex3.m1.105.105.105.12.12.12.3.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.3"><minus id="A1.Ex3.m1.105.105.105.12.12.12.3.1.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.3.1"></minus><cn id="A1.Ex3.m1.105.105.105.12.12.12.3.2.cmml" type="integer" xref="A1.Ex3.m1.105.105.105.12.12.12.3.2">1</cn><ci id="A1.Ex3.m1.105.105.105.12.12.12.3.3.cmml" xref="A1.Ex3.m1.105.105.105.12.12.12.3.3">italic-ϕ</ci></apply></apply><apply id="A1.Ex3.m1.107.107.107.14.14.14.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14"><divide id="A1.Ex3.m1.107.107.107.14.14.14.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14"></divide><apply id="A1.Ex3.m1.107.107.107.14.14.14.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2"><times id="A1.Ex3.m1.107.107.107.14.14.14.2.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.1"></times><apply id="A1.Ex3.m1.107.107.107.14.14.14.2.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.107.107.107.14.14.14.2.2.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2">superscript</csymbol><apply id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2"><csymbol cd="ambiguous" id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2">subscript</csymbol><ci id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.2">𝜎</ci><cn id="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.3.cmml" type="integer" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.2.3">0</cn></apply><cn id="A1.Ex3.m1.107.107.107.14.14.14.2.2.3.cmml" type="integer" xref="A1.Ex3.m1.107.107.107.14.14.14.2.2.3">2</cn></apply><apply id="A1.Ex3.m1.107.107.107.14.14.14.2.3.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3"><csymbol cd="ambiguous" id="A1.Ex3.m1.107.107.107.14.14.14.2.3.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3">subscript</csymbol><ci id="A1.Ex3.m1.107.107.107.14.14.14.2.3.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3.2">italic-ϕ</ci><cn id="A1.Ex3.m1.107.107.107.14.14.14.2.3.3.cmml" type="integer" xref="A1.Ex3.m1.107.107.107.14.14.14.2.3.3">0</cn></apply></apply><apply id="A1.Ex3.m1.107.107.107.14.14.14.3.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.3"><minus id="A1.Ex3.m1.107.107.107.14.14.14.3.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.3.1"></minus><cn id="A1.Ex3.m1.107.107.107.14.14.14.3.2.cmml" type="integer" xref="A1.Ex3.m1.107.107.107.14.14.14.3.2">1</cn><apply id="A1.Ex3.m1.107.107.107.14.14.14.3.3.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3"><csymbol cd="ambiguous" id="A1.Ex3.m1.107.107.107.14.14.14.3.3.1.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3">subscript</csymbol><ci id="A1.Ex3.m1.107.107.107.14.14.14.3.3.2.cmml" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3.2">italic-ϕ</ci><cn id="A1.Ex3.m1.107.107.107.14.14.14.3.3.3.cmml" type="integer" xref="A1.Ex3.m1.107.107.107.14.14.14.3.3.3">0</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex3.m1.116c">\displaystyle\begin{split}E_{test}(\widehat{w}_{1}^{pred})&=\mathbb{E}\|% \widehat{w}_{1}^{pred}-w_{0}\|^{2}_{\Sigma}=\mathbb{E}\|\widehat{w}_{1}^{pred}% -\widehat{w}_{1}+\widehat{w}_{1}-\widehat{w}_{0}\|^{2}_{\Sigma}\\ &=\mathbb{E}\|(X_{0}^{\top}X_{0})^{-1}X_{0}E_{0}+\widehat{w}_{0}^{pred}-w_{0}% \|^{2}_{\Sigma}=\mathbb{E}\,\|w_{0}-\widehat{w}_{0}^{pred}\|^{2}_{\Sigma}+% \mathbb{E}\,\|(X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}E_{0}\|^{2}_{\Sigma}\\ &=E_{test}(\widehat{w}_{0}^{pred})+\frac{\sigma_{0}^{2}d}{T_{0}-d-1}\simeq% \frac{\sigma^{2}\phi}{1-\phi}+\frac{\sigma_{0}^{2}\phi_{0}}{1-\phi_{0}},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.Ex3.m1.116d">start_ROW start_CELL italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) end_CELL start_CELL = blackboard_E ∥ over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT = blackboard_E ∥ over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT + over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT - over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = blackboard_E ∥ ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT italic_E start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT + over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT = blackboard_E ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT + blackboard_E ∥ ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) + divide start_ARG italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_d end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d - 1 end_ARG ≃ divide start_ARG italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ end_ARG start_ARG 1 - italic_ϕ end_ARG + divide start_ARG italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS1.p2.3">where <math alttext="\phi_{0}=d/T_{0}\in(0,1)" class="ltx_Math" display="inline" id="A1.SS1.p2.2.m1.2"><semantics id="A1.SS1.p2.2.m1.2a"><mrow id="A1.SS1.p2.2.m1.2.3" xref="A1.SS1.p2.2.m1.2.3.cmml"><msub id="A1.SS1.p2.2.m1.2.3.2" xref="A1.SS1.p2.2.m1.2.3.2.cmml"><mi id="A1.SS1.p2.2.m1.2.3.2.2" xref="A1.SS1.p2.2.m1.2.3.2.2.cmml">ϕ</mi><mn id="A1.SS1.p2.2.m1.2.3.2.3" xref="A1.SS1.p2.2.m1.2.3.2.3.cmml">0</mn></msub><mo id="A1.SS1.p2.2.m1.2.3.3" xref="A1.SS1.p2.2.m1.2.3.3.cmml">=</mo><mrow id="A1.SS1.p2.2.m1.2.3.4" xref="A1.SS1.p2.2.m1.2.3.4.cmml"><mi id="A1.SS1.p2.2.m1.2.3.4.2" xref="A1.SS1.p2.2.m1.2.3.4.2.cmml">d</mi><mo id="A1.SS1.p2.2.m1.2.3.4.1" xref="A1.SS1.p2.2.m1.2.3.4.1.cmml">/</mo><msub id="A1.SS1.p2.2.m1.2.3.4.3" xref="A1.SS1.p2.2.m1.2.3.4.3.cmml"><mi id="A1.SS1.p2.2.m1.2.3.4.3.2" xref="A1.SS1.p2.2.m1.2.3.4.3.2.cmml">T</mi><mn id="A1.SS1.p2.2.m1.2.3.4.3.3" xref="A1.SS1.p2.2.m1.2.3.4.3.3.cmml">0</mn></msub></mrow><mo id="A1.SS1.p2.2.m1.2.3.5" xref="A1.SS1.p2.2.m1.2.3.5.cmml">∈</mo><mrow id="A1.SS1.p2.2.m1.2.3.6.2" xref="A1.SS1.p2.2.m1.2.3.6.1.cmml"><mo id="A1.SS1.p2.2.m1.2.3.6.2.1" stretchy="false" xref="A1.SS1.p2.2.m1.2.3.6.1.cmml">(</mo><mn id="A1.SS1.p2.2.m1.1.1" xref="A1.SS1.p2.2.m1.1.1.cmml">0</mn><mo id="A1.SS1.p2.2.m1.2.3.6.2.2" xref="A1.SS1.p2.2.m1.2.3.6.1.cmml">,</mo><mn id="A1.SS1.p2.2.m1.2.2" xref="A1.SS1.p2.2.m1.2.2.cmml">1</mn><mo id="A1.SS1.p2.2.m1.2.3.6.2.3" stretchy="false" xref="A1.SS1.p2.2.m1.2.3.6.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.2.m1.2b"><apply id="A1.SS1.p2.2.m1.2.3.cmml" xref="A1.SS1.p2.2.m1.2.3"><and id="A1.SS1.p2.2.m1.2.3a.cmml" xref="A1.SS1.p2.2.m1.2.3"></and><apply id="A1.SS1.p2.2.m1.2.3b.cmml" xref="A1.SS1.p2.2.m1.2.3"><eq id="A1.SS1.p2.2.m1.2.3.3.cmml" xref="A1.SS1.p2.2.m1.2.3.3"></eq><apply id="A1.SS1.p2.2.m1.2.3.2.cmml" xref="A1.SS1.p2.2.m1.2.3.2"><csymbol cd="ambiguous" id="A1.SS1.p2.2.m1.2.3.2.1.cmml" xref="A1.SS1.p2.2.m1.2.3.2">subscript</csymbol><ci id="A1.SS1.p2.2.m1.2.3.2.2.cmml" xref="A1.SS1.p2.2.m1.2.3.2.2">italic-ϕ</ci><cn id="A1.SS1.p2.2.m1.2.3.2.3.cmml" type="integer" xref="A1.SS1.p2.2.m1.2.3.2.3">0</cn></apply><apply id="A1.SS1.p2.2.m1.2.3.4.cmml" xref="A1.SS1.p2.2.m1.2.3.4"><divide id="A1.SS1.p2.2.m1.2.3.4.1.cmml" xref="A1.SS1.p2.2.m1.2.3.4.1"></divide><ci id="A1.SS1.p2.2.m1.2.3.4.2.cmml" xref="A1.SS1.p2.2.m1.2.3.4.2">𝑑</ci><apply id="A1.SS1.p2.2.m1.2.3.4.3.cmml" xref="A1.SS1.p2.2.m1.2.3.4.3"><csymbol cd="ambiguous" id="A1.SS1.p2.2.m1.2.3.4.3.1.cmml" xref="A1.SS1.p2.2.m1.2.3.4.3">subscript</csymbol><ci id="A1.SS1.p2.2.m1.2.3.4.3.2.cmml" xref="A1.SS1.p2.2.m1.2.3.4.3.2">𝑇</ci><cn id="A1.SS1.p2.2.m1.2.3.4.3.3.cmml" type="integer" xref="A1.SS1.p2.2.m1.2.3.4.3.3">0</cn></apply></apply></apply><apply id="A1.SS1.p2.2.m1.2.3c.cmml" xref="A1.SS1.p2.2.m1.2.3"><in id="A1.SS1.p2.2.m1.2.3.5.cmml" xref="A1.SS1.p2.2.m1.2.3.5"></in><share href="#A1.SS1.p2.2.m1.2.3.4.cmml" id="A1.SS1.p2.2.m1.2.3d.cmml" xref="A1.SS1.p2.2.m1.2.3"></share><interval closure="open" id="A1.SS1.p2.2.m1.2.3.6.1.cmml" xref="A1.SS1.p2.2.m1.2.3.6.2"><cn id="A1.SS1.p2.2.m1.1.1.cmml" type="integer" xref="A1.SS1.p2.2.m1.1.1">0</cn><cn id="A1.SS1.p2.2.m1.2.2.cmml" type="integer" xref="A1.SS1.p2.2.m1.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.2.m1.2c">\phi_{0}=d/T_{0}\in(0,1)</annotation><annotation encoding="application/x-llamapun" id="A1.SS1.p2.2.m1.2d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = italic_d / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ ( 0 , 1 )</annotation></semantics></math>. Continuing the induction on <math alttext="n" class="ltx_Math" display="inline" id="A1.SS1.p2.3.m2.1"><semantics id="A1.SS1.p2.3.m2.1a"><mi id="A1.SS1.p2.3.m2.1.1" xref="A1.SS1.p2.3.m2.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.3.m2.1b"><ci id="A1.SS1.p2.3.m2.1.1.cmml" xref="A1.SS1.p2.3.m2.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.3.m2.1c">n</annotation><annotation encoding="application/x-llamapun" id="A1.SS1.p2.3.m2.1d">italic_n</annotation></semantics></math>, we obtain the result. ∎</p> </div> </section> <section class="ltx_subsection" id="A1.SS2"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">A.2 </span>Proof of Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem2" title="Theorem 4.2. ‣ 4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.2</span></a> (Ridge Regression)</h3> <div class="ltx_para" id="A1.SS2.p1"> <p class="ltx_p" id="A1.SS2.p1.14">The case <math alttext="n=0" class="ltx_Math" display="inline" id="A1.SS2.p1.1.m1.1"><semantics id="A1.SS2.p1.1.m1.1a"><mrow id="A1.SS2.p1.1.m1.1.1" xref="A1.SS2.p1.1.m1.1.1.cmml"><mi id="A1.SS2.p1.1.m1.1.1.2" xref="A1.SS2.p1.1.m1.1.1.2.cmml">n</mi><mo id="A1.SS2.p1.1.m1.1.1.1" xref="A1.SS2.p1.1.m1.1.1.1.cmml">=</mo><mn id="A1.SS2.p1.1.m1.1.1.3" xref="A1.SS2.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.1.m1.1b"><apply id="A1.SS2.p1.1.m1.1.1.cmml" xref="A1.SS2.p1.1.m1.1.1"><eq id="A1.SS2.p1.1.m1.1.1.1.cmml" xref="A1.SS2.p1.1.m1.1.1.1"></eq><ci id="A1.SS2.p1.1.m1.1.1.2.cmml" xref="A1.SS2.p1.1.m1.1.1.2">𝑛</ci><cn id="A1.SS2.p1.1.m1.1.1.3.cmml" type="integer" xref="A1.SS2.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.1.m1.1c">n=0</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.1.m1.1d">italic_n = 0</annotation></semantics></math> tautological. The proof for the cases <math alttext="n\geq 1" class="ltx_Math" display="inline" id="A1.SS2.p1.2.m2.1"><semantics id="A1.SS2.p1.2.m2.1a"><mrow id="A1.SS2.p1.2.m2.1.1" xref="A1.SS2.p1.2.m2.1.1.cmml"><mi id="A1.SS2.p1.2.m2.1.1.2" xref="A1.SS2.p1.2.m2.1.1.2.cmml">n</mi><mo id="A1.SS2.p1.2.m2.1.1.1" xref="A1.SS2.p1.2.m2.1.1.1.cmml">≥</mo><mn id="A1.SS2.p1.2.m2.1.1.3" xref="A1.SS2.p1.2.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.2.m2.1b"><apply id="A1.SS2.p1.2.m2.1.1.cmml" xref="A1.SS2.p1.2.m2.1.1"><geq id="A1.SS2.p1.2.m2.1.1.1.cmml" xref="A1.SS2.p1.2.m2.1.1.1"></geq><ci id="A1.SS2.p1.2.m2.1.1.2.cmml" xref="A1.SS2.p1.2.m2.1.1.2">𝑛</ci><cn id="A1.SS2.p1.2.m2.1.1.3.cmml" type="integer" xref="A1.SS2.p1.2.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.2.m2.1c">n\geq 1</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.2.m2.1d">italic_n ≥ 1</annotation></semantics></math> is by induction. Let <math alttext="X" class="ltx_Math" display="inline" id="A1.SS2.p1.3.m3.1"><semantics id="A1.SS2.p1.3.m3.1a"><mi id="A1.SS2.p1.3.m3.1.1" xref="A1.SS2.p1.3.m3.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.3.m3.1b"><ci id="A1.SS2.p1.3.m3.1.1.cmml" xref="A1.SS2.p1.3.m3.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.3.m3.1c">X</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.3.m3.1d">italic_X</annotation></semantics></math> a random <math alttext="T\times d" class="ltx_Math" display="inline" id="A1.SS2.p1.4.m4.1"><semantics id="A1.SS2.p1.4.m4.1a"><mrow id="A1.SS2.p1.4.m4.1.1" xref="A1.SS2.p1.4.m4.1.1.cmml"><mi id="A1.SS2.p1.4.m4.1.1.2" xref="A1.SS2.p1.4.m4.1.1.2.cmml">T</mi><mo id="A1.SS2.p1.4.m4.1.1.1" lspace="0.222em" rspace="0.222em" xref="A1.SS2.p1.4.m4.1.1.1.cmml">×</mo><mi id="A1.SS2.p1.4.m4.1.1.3" xref="A1.SS2.p1.4.m4.1.1.3.cmml">d</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.4.m4.1b"><apply id="A1.SS2.p1.4.m4.1.1.cmml" xref="A1.SS2.p1.4.m4.1.1"><times id="A1.SS2.p1.4.m4.1.1.1.cmml" xref="A1.SS2.p1.4.m4.1.1.1"></times><ci id="A1.SS2.p1.4.m4.1.1.2.cmml" xref="A1.SS2.p1.4.m4.1.1.2">𝑇</ci><ci id="A1.SS2.p1.4.m4.1.1.3.cmml" xref="A1.SS2.p1.4.m4.1.1.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.4.m4.1c">T\times d</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.4.m4.1d">italic_T × italic_d</annotation></semantics></math> matrix from <math alttext="N(0,\Sigma)" class="ltx_Math" display="inline" id="A1.SS2.p1.5.m5.2"><semantics id="A1.SS2.p1.5.m5.2a"><mrow id="A1.SS2.p1.5.m5.2.3" xref="A1.SS2.p1.5.m5.2.3.cmml"><mi id="A1.SS2.p1.5.m5.2.3.2" xref="A1.SS2.p1.5.m5.2.3.2.cmml">N</mi><mo id="A1.SS2.p1.5.m5.2.3.1" xref="A1.SS2.p1.5.m5.2.3.1.cmml">⁢</mo><mrow id="A1.SS2.p1.5.m5.2.3.3.2" xref="A1.SS2.p1.5.m5.2.3.3.1.cmml"><mo id="A1.SS2.p1.5.m5.2.3.3.2.1" stretchy="false" xref="A1.SS2.p1.5.m5.2.3.3.1.cmml">(</mo><mn id="A1.SS2.p1.5.m5.1.1" xref="A1.SS2.p1.5.m5.1.1.cmml">0</mn><mo id="A1.SS2.p1.5.m5.2.3.3.2.2" xref="A1.SS2.p1.5.m5.2.3.3.1.cmml">,</mo><mi id="A1.SS2.p1.5.m5.2.2" mathvariant="normal" xref="A1.SS2.p1.5.m5.2.2.cmml">Σ</mi><mo id="A1.SS2.p1.5.m5.2.3.3.2.3" stretchy="false" xref="A1.SS2.p1.5.m5.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.5.m5.2b"><apply id="A1.SS2.p1.5.m5.2.3.cmml" xref="A1.SS2.p1.5.m5.2.3"><times id="A1.SS2.p1.5.m5.2.3.1.cmml" xref="A1.SS2.p1.5.m5.2.3.1"></times><ci id="A1.SS2.p1.5.m5.2.3.2.cmml" xref="A1.SS2.p1.5.m5.2.3.2">𝑁</ci><interval closure="open" id="A1.SS2.p1.5.m5.2.3.3.1.cmml" xref="A1.SS2.p1.5.m5.2.3.3.2"><cn id="A1.SS2.p1.5.m5.1.1.cmml" type="integer" xref="A1.SS2.p1.5.m5.1.1">0</cn><ci id="A1.SS2.p1.5.m5.2.2.cmml" xref="A1.SS2.p1.5.m5.2.2">Σ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.5.m5.2c">N(0,\Sigma)</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.5.m5.2d">italic_N ( 0 , roman_Σ )</annotation></semantics></math> and let <math alttext="E" class="ltx_Math" display="inline" id="A1.SS2.p1.6.m6.1"><semantics id="A1.SS2.p1.6.m6.1a"><mi id="A1.SS2.p1.6.m6.1.1" xref="A1.SS2.p1.6.m6.1.1.cmml">E</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.6.m6.1b"><ci id="A1.SS2.p1.6.m6.1.1.cmml" xref="A1.SS2.p1.6.m6.1.1">𝐸</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.6.m6.1c">E</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.6.m6.1d">italic_E</annotation></semantics></math> be a <math alttext="T" class="ltx_Math" display="inline" id="A1.SS2.p1.7.m7.1"><semantics id="A1.SS2.p1.7.m7.1a"><mi id="A1.SS2.p1.7.m7.1.1" xref="A1.SS2.p1.7.m7.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.7.m7.1b"><ci id="A1.SS2.p1.7.m7.1.1.cmml" xref="A1.SS2.p1.7.m7.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.7.m7.1c">T</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.7.m7.1d">italic_T</annotation></semantics></math>-dimensional Gaussian vector independent of <math alttext="X" class="ltx_Math" display="inline" id="A1.SS2.p1.8.m8.1"><semantics id="A1.SS2.p1.8.m8.1a"><mi id="A1.SS2.p1.8.m8.1.1" xref="A1.SS2.p1.8.m8.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.8.m8.1b"><ci id="A1.SS2.p1.8.m8.1.1.cmml" xref="A1.SS2.p1.8.m8.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.8.m8.1c">X</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.8.m8.1d">italic_X</annotation></semantics></math>, with iid entries from <math alttext="N(0,\sigma^{2})" class="ltx_Math" display="inline" id="A1.SS2.p1.9.m9.2"><semantics id="A1.SS2.p1.9.m9.2a"><mrow id="A1.SS2.p1.9.m9.2.2" xref="A1.SS2.p1.9.m9.2.2.cmml"><mi id="A1.SS2.p1.9.m9.2.2.3" xref="A1.SS2.p1.9.m9.2.2.3.cmml">N</mi><mo id="A1.SS2.p1.9.m9.2.2.2" xref="A1.SS2.p1.9.m9.2.2.2.cmml">⁢</mo><mrow id="A1.SS2.p1.9.m9.2.2.1.1" xref="A1.SS2.p1.9.m9.2.2.1.2.cmml"><mo id="A1.SS2.p1.9.m9.2.2.1.1.2" stretchy="false" xref="A1.SS2.p1.9.m9.2.2.1.2.cmml">(</mo><mn id="A1.SS2.p1.9.m9.1.1" xref="A1.SS2.p1.9.m9.1.1.cmml">0</mn><mo id="A1.SS2.p1.9.m9.2.2.1.1.3" xref="A1.SS2.p1.9.m9.2.2.1.2.cmml">,</mo><msup id="A1.SS2.p1.9.m9.2.2.1.1.1" xref="A1.SS2.p1.9.m9.2.2.1.1.1.cmml"><mi id="A1.SS2.p1.9.m9.2.2.1.1.1.2" xref="A1.SS2.p1.9.m9.2.2.1.1.1.2.cmml">σ</mi><mn id="A1.SS2.p1.9.m9.2.2.1.1.1.3" xref="A1.SS2.p1.9.m9.2.2.1.1.1.3.cmml">2</mn></msup><mo id="A1.SS2.p1.9.m9.2.2.1.1.4" stretchy="false" xref="A1.SS2.p1.9.m9.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.9.m9.2b"><apply id="A1.SS2.p1.9.m9.2.2.cmml" xref="A1.SS2.p1.9.m9.2.2"><times id="A1.SS2.p1.9.m9.2.2.2.cmml" xref="A1.SS2.p1.9.m9.2.2.2"></times><ci id="A1.SS2.p1.9.m9.2.2.3.cmml" xref="A1.SS2.p1.9.m9.2.2.3">𝑁</ci><interval closure="open" id="A1.SS2.p1.9.m9.2.2.1.2.cmml" xref="A1.SS2.p1.9.m9.2.2.1.1"><cn id="A1.SS2.p1.9.m9.1.1.cmml" type="integer" xref="A1.SS2.p1.9.m9.1.1">0</cn><apply id="A1.SS2.p1.9.m9.2.2.1.1.1.cmml" xref="A1.SS2.p1.9.m9.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p1.9.m9.2.2.1.1.1.1.cmml" xref="A1.SS2.p1.9.m9.2.2.1.1.1">superscript</csymbol><ci id="A1.SS2.p1.9.m9.2.2.1.1.1.2.cmml" xref="A1.SS2.p1.9.m9.2.2.1.1.1.2">𝜎</ci><cn id="A1.SS2.p1.9.m9.2.2.1.1.1.3.cmml" type="integer" xref="A1.SS2.p1.9.m9.2.2.1.1.1.3">2</cn></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.9.m9.2c">N(0,\sigma^{2})</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.9.m9.2d">italic_N ( 0 , italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT )</annotation></semantics></math>. The final predictor fitted on the <math alttext="n" class="ltx_Math" display="inline" id="A1.SS2.p1.10.m10.1"><semantics id="A1.SS2.p1.10.m10.1a"><mi id="A1.SS2.p1.10.m10.1.1" xref="A1.SS2.p1.10.m10.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.10.m10.1b"><ci id="A1.SS2.p1.10.m10.1.1.cmml" xref="A1.SS2.p1.10.m10.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.10.m10.1c">n</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.10.m10.1d">italic_n</annotation></semantics></math> generation of fake data is <math alttext="\widehat{w}_{n}^{pred}=RX^{\top}Y/T" class="ltx_Math" display="inline" id="A1.SS2.p1.11.m11.1"><semantics id="A1.SS2.p1.11.m11.1a"><mrow id="A1.SS2.p1.11.m11.1.1" xref="A1.SS2.p1.11.m11.1.1.cmml"><msubsup id="A1.SS2.p1.11.m11.1.1.2" xref="A1.SS2.p1.11.m11.1.1.2.cmml"><mover accent="true" id="A1.SS2.p1.11.m11.1.1.2.2.2" xref="A1.SS2.p1.11.m11.1.1.2.2.2.cmml"><mi id="A1.SS2.p1.11.m11.1.1.2.2.2.2" xref="A1.SS2.p1.11.m11.1.1.2.2.2.2.cmml">w</mi><mo id="A1.SS2.p1.11.m11.1.1.2.2.2.1" xref="A1.SS2.p1.11.m11.1.1.2.2.2.1.cmml">^</mo></mover><mi id="A1.SS2.p1.11.m11.1.1.2.2.3" xref="A1.SS2.p1.11.m11.1.1.2.2.3.cmml">n</mi><mrow id="A1.SS2.p1.11.m11.1.1.2.3" xref="A1.SS2.p1.11.m11.1.1.2.3.cmml"><mi id="A1.SS2.p1.11.m11.1.1.2.3.2" xref="A1.SS2.p1.11.m11.1.1.2.3.2.cmml">p</mi><mo id="A1.SS2.p1.11.m11.1.1.2.3.1" xref="A1.SS2.p1.11.m11.1.1.2.3.1.cmml">⁢</mo><mi id="A1.SS2.p1.11.m11.1.1.2.3.3" xref="A1.SS2.p1.11.m11.1.1.2.3.3.cmml">r</mi><mo id="A1.SS2.p1.11.m11.1.1.2.3.1a" xref="A1.SS2.p1.11.m11.1.1.2.3.1.cmml">⁢</mo><mi id="A1.SS2.p1.11.m11.1.1.2.3.4" xref="A1.SS2.p1.11.m11.1.1.2.3.4.cmml">e</mi><mo id="A1.SS2.p1.11.m11.1.1.2.3.1b" xref="A1.SS2.p1.11.m11.1.1.2.3.1.cmml">⁢</mo><mi id="A1.SS2.p1.11.m11.1.1.2.3.5" xref="A1.SS2.p1.11.m11.1.1.2.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.SS2.p1.11.m11.1.1.1" xref="A1.SS2.p1.11.m11.1.1.1.cmml">=</mo><mrow id="A1.SS2.p1.11.m11.1.1.3" xref="A1.SS2.p1.11.m11.1.1.3.cmml"><mrow id="A1.SS2.p1.11.m11.1.1.3.2" xref="A1.SS2.p1.11.m11.1.1.3.2.cmml"><mi id="A1.SS2.p1.11.m11.1.1.3.2.2" xref="A1.SS2.p1.11.m11.1.1.3.2.2.cmml">R</mi><mo id="A1.SS2.p1.11.m11.1.1.3.2.1" xref="A1.SS2.p1.11.m11.1.1.3.2.1.cmml">⁢</mo><msup id="A1.SS2.p1.11.m11.1.1.3.2.3" xref="A1.SS2.p1.11.m11.1.1.3.2.3.cmml"><mi id="A1.SS2.p1.11.m11.1.1.3.2.3.2" xref="A1.SS2.p1.11.m11.1.1.3.2.3.2.cmml">X</mi><mo id="A1.SS2.p1.11.m11.1.1.3.2.3.3" xref="A1.SS2.p1.11.m11.1.1.3.2.3.3.cmml">⊤</mo></msup><mo id="A1.SS2.p1.11.m11.1.1.3.2.1a" xref="A1.SS2.p1.11.m11.1.1.3.2.1.cmml">⁢</mo><mi id="A1.SS2.p1.11.m11.1.1.3.2.4" xref="A1.SS2.p1.11.m11.1.1.3.2.4.cmml">Y</mi></mrow><mo id="A1.SS2.p1.11.m11.1.1.3.1" xref="A1.SS2.p1.11.m11.1.1.3.1.cmml">/</mo><mi id="A1.SS2.p1.11.m11.1.1.3.3" xref="A1.SS2.p1.11.m11.1.1.3.3.cmml">T</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.11.m11.1b"><apply id="A1.SS2.p1.11.m11.1.1.cmml" xref="A1.SS2.p1.11.m11.1.1"><eq id="A1.SS2.p1.11.m11.1.1.1.cmml" xref="A1.SS2.p1.11.m11.1.1.1"></eq><apply id="A1.SS2.p1.11.m11.1.1.2.cmml" xref="A1.SS2.p1.11.m11.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p1.11.m11.1.1.2.1.cmml" xref="A1.SS2.p1.11.m11.1.1.2">superscript</csymbol><apply id="A1.SS2.p1.11.m11.1.1.2.2.cmml" xref="A1.SS2.p1.11.m11.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p1.11.m11.1.1.2.2.1.cmml" xref="A1.SS2.p1.11.m11.1.1.2">subscript</csymbol><apply id="A1.SS2.p1.11.m11.1.1.2.2.2.cmml" xref="A1.SS2.p1.11.m11.1.1.2.2.2"><ci id="A1.SS2.p1.11.m11.1.1.2.2.2.1.cmml" xref="A1.SS2.p1.11.m11.1.1.2.2.2.1">^</ci><ci id="A1.SS2.p1.11.m11.1.1.2.2.2.2.cmml" xref="A1.SS2.p1.11.m11.1.1.2.2.2.2">𝑤</ci></apply><ci id="A1.SS2.p1.11.m11.1.1.2.2.3.cmml" xref="A1.SS2.p1.11.m11.1.1.2.2.3">𝑛</ci></apply><apply id="A1.SS2.p1.11.m11.1.1.2.3.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3"><times id="A1.SS2.p1.11.m11.1.1.2.3.1.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3.1"></times><ci id="A1.SS2.p1.11.m11.1.1.2.3.2.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3.2">𝑝</ci><ci id="A1.SS2.p1.11.m11.1.1.2.3.3.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3.3">𝑟</ci><ci id="A1.SS2.p1.11.m11.1.1.2.3.4.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3.4">𝑒</ci><ci id="A1.SS2.p1.11.m11.1.1.2.3.5.cmml" xref="A1.SS2.p1.11.m11.1.1.2.3.5">𝑑</ci></apply></apply><apply id="A1.SS2.p1.11.m11.1.1.3.cmml" xref="A1.SS2.p1.11.m11.1.1.3"><divide id="A1.SS2.p1.11.m11.1.1.3.1.cmml" xref="A1.SS2.p1.11.m11.1.1.3.1"></divide><apply id="A1.SS2.p1.11.m11.1.1.3.2.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2"><times id="A1.SS2.p1.11.m11.1.1.3.2.1.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.1"></times><ci id="A1.SS2.p1.11.m11.1.1.3.2.2.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.2">𝑅</ci><apply id="A1.SS2.p1.11.m11.1.1.3.2.3.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.3"><csymbol cd="ambiguous" id="A1.SS2.p1.11.m11.1.1.3.2.3.1.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.3">superscript</csymbol><ci id="A1.SS2.p1.11.m11.1.1.3.2.3.2.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.3.2">𝑋</ci><csymbol cd="latexml" id="A1.SS2.p1.11.m11.1.1.3.2.3.3.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.3.3">top</csymbol></apply><ci id="A1.SS2.p1.11.m11.1.1.3.2.4.cmml" xref="A1.SS2.p1.11.m11.1.1.3.2.4">𝑌</ci></apply><ci id="A1.SS2.p1.11.m11.1.1.3.3.cmml" xref="A1.SS2.p1.11.m11.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.11.m11.1c">\widehat{w}_{n}^{pred}=RX^{\top}Y/T</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.11.m11.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT = italic_R italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_Y / italic_T</annotation></semantics></math>, where <math alttext="S=\widehat{\Sigma}:=X^{\top}X/T" class="ltx_Math" display="inline" id="A1.SS2.p1.12.m12.1"><semantics id="A1.SS2.p1.12.m12.1a"><mrow id="A1.SS2.p1.12.m12.1.1" xref="A1.SS2.p1.12.m12.1.1.cmml"><mi id="A1.SS2.p1.12.m12.1.1.2" xref="A1.SS2.p1.12.m12.1.1.2.cmml">S</mi><mo id="A1.SS2.p1.12.m12.1.1.3" xref="A1.SS2.p1.12.m12.1.1.3.cmml">=</mo><mover accent="true" id="A1.SS2.p1.12.m12.1.1.4" xref="A1.SS2.p1.12.m12.1.1.4.cmml"><mi id="A1.SS2.p1.12.m12.1.1.4.2" mathvariant="normal" xref="A1.SS2.p1.12.m12.1.1.4.2.cmml">Σ</mi><mo id="A1.SS2.p1.12.m12.1.1.4.1" xref="A1.SS2.p1.12.m12.1.1.4.1.cmml">^</mo></mover><mo id="A1.SS2.p1.12.m12.1.1.5" lspace="0.278em" rspace="0.278em" xref="A1.SS2.p1.12.m12.1.1.5.cmml">:=</mo><mrow id="A1.SS2.p1.12.m12.1.1.6" xref="A1.SS2.p1.12.m12.1.1.6.cmml"><mrow id="A1.SS2.p1.12.m12.1.1.6.2" xref="A1.SS2.p1.12.m12.1.1.6.2.cmml"><msup id="A1.SS2.p1.12.m12.1.1.6.2.2" xref="A1.SS2.p1.12.m12.1.1.6.2.2.cmml"><mi id="A1.SS2.p1.12.m12.1.1.6.2.2.2" xref="A1.SS2.p1.12.m12.1.1.6.2.2.2.cmml">X</mi><mo id="A1.SS2.p1.12.m12.1.1.6.2.2.3" xref="A1.SS2.p1.12.m12.1.1.6.2.2.3.cmml">⊤</mo></msup><mo id="A1.SS2.p1.12.m12.1.1.6.2.1" xref="A1.SS2.p1.12.m12.1.1.6.2.1.cmml">⁢</mo><mi id="A1.SS2.p1.12.m12.1.1.6.2.3" xref="A1.SS2.p1.12.m12.1.1.6.2.3.cmml">X</mi></mrow><mo id="A1.SS2.p1.12.m12.1.1.6.1" xref="A1.SS2.p1.12.m12.1.1.6.1.cmml">/</mo><mi id="A1.SS2.p1.12.m12.1.1.6.3" xref="A1.SS2.p1.12.m12.1.1.6.3.cmml">T</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.12.m12.1b"><apply id="A1.SS2.p1.12.m12.1.1.cmml" xref="A1.SS2.p1.12.m12.1.1"><and id="A1.SS2.p1.12.m12.1.1a.cmml" xref="A1.SS2.p1.12.m12.1.1"></and><apply id="A1.SS2.p1.12.m12.1.1b.cmml" xref="A1.SS2.p1.12.m12.1.1"><eq id="A1.SS2.p1.12.m12.1.1.3.cmml" xref="A1.SS2.p1.12.m12.1.1.3"></eq><ci id="A1.SS2.p1.12.m12.1.1.2.cmml" xref="A1.SS2.p1.12.m12.1.1.2">𝑆</ci><apply id="A1.SS2.p1.12.m12.1.1.4.cmml" xref="A1.SS2.p1.12.m12.1.1.4"><ci id="A1.SS2.p1.12.m12.1.1.4.1.cmml" xref="A1.SS2.p1.12.m12.1.1.4.1">^</ci><ci id="A1.SS2.p1.12.m12.1.1.4.2.cmml" xref="A1.SS2.p1.12.m12.1.1.4.2">Σ</ci></apply></apply><apply id="A1.SS2.p1.12.m12.1.1c.cmml" xref="A1.SS2.p1.12.m12.1.1"><csymbol cd="latexml" id="A1.SS2.p1.12.m12.1.1.5.cmml" xref="A1.SS2.p1.12.m12.1.1.5">assign</csymbol><share href="#A1.SS2.p1.12.m12.1.1.4.cmml" id="A1.SS2.p1.12.m12.1.1d.cmml" xref="A1.SS2.p1.12.m12.1.1"></share><apply id="A1.SS2.p1.12.m12.1.1.6.cmml" xref="A1.SS2.p1.12.m12.1.1.6"><divide id="A1.SS2.p1.12.m12.1.1.6.1.cmml" xref="A1.SS2.p1.12.m12.1.1.6.1"></divide><apply id="A1.SS2.p1.12.m12.1.1.6.2.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2"><times id="A1.SS2.p1.12.m12.1.1.6.2.1.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.1"></times><apply id="A1.SS2.p1.12.m12.1.1.6.2.2.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.2"><csymbol cd="ambiguous" id="A1.SS2.p1.12.m12.1.1.6.2.2.1.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.2">superscript</csymbol><ci id="A1.SS2.p1.12.m12.1.1.6.2.2.2.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.2.2">𝑋</ci><csymbol cd="latexml" id="A1.SS2.p1.12.m12.1.1.6.2.2.3.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.2.3">top</csymbol></apply><ci id="A1.SS2.p1.12.m12.1.1.6.2.3.cmml" xref="A1.SS2.p1.12.m12.1.1.6.2.3">𝑋</ci></apply><ci id="A1.SS2.p1.12.m12.1.1.6.3.cmml" xref="A1.SS2.p1.12.m12.1.1.6.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.12.m12.1c">S=\widehat{\Sigma}:=X^{\top}X/T</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.12.m12.1d">italic_S = over^ start_ARG roman_Σ end_ARG := italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X / italic_T</annotation></semantics></math>, <math alttext="R=(S+\lambda I_{d})^{-1}" class="ltx_Math" display="inline" id="A1.SS2.p1.13.m13.1"><semantics id="A1.SS2.p1.13.m13.1a"><mrow id="A1.SS2.p1.13.m13.1.1" xref="A1.SS2.p1.13.m13.1.1.cmml"><mi id="A1.SS2.p1.13.m13.1.1.3" xref="A1.SS2.p1.13.m13.1.1.3.cmml">R</mi><mo id="A1.SS2.p1.13.m13.1.1.2" xref="A1.SS2.p1.13.m13.1.1.2.cmml">=</mo><msup id="A1.SS2.p1.13.m13.1.1.1" xref="A1.SS2.p1.13.m13.1.1.1.cmml"><mrow id="A1.SS2.p1.13.m13.1.1.1.1.1" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.cmml"><mo id="A1.SS2.p1.13.m13.1.1.1.1.1.2" stretchy="false" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS2.p1.13.m13.1.1.1.1.1.1" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.cmml"><mi id="A1.SS2.p1.13.m13.1.1.1.1.1.1.2" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.2.cmml">S</mi><mo id="A1.SS2.p1.13.m13.1.1.1.1.1.1.1" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.cmml"><mi id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.2" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.1" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.cmml"><mi id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.2" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.3" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.SS2.p1.13.m13.1.1.1.1.1.3" stretchy="false" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.SS2.p1.13.m13.1.1.1.3" xref="A1.SS2.p1.13.m13.1.1.1.3.cmml"><mo id="A1.SS2.p1.13.m13.1.1.1.3a" xref="A1.SS2.p1.13.m13.1.1.1.3.cmml">−</mo><mn id="A1.SS2.p1.13.m13.1.1.1.3.2" xref="A1.SS2.p1.13.m13.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.13.m13.1b"><apply id="A1.SS2.p1.13.m13.1.1.cmml" xref="A1.SS2.p1.13.m13.1.1"><eq id="A1.SS2.p1.13.m13.1.1.2.cmml" xref="A1.SS2.p1.13.m13.1.1.2"></eq><ci id="A1.SS2.p1.13.m13.1.1.3.cmml" xref="A1.SS2.p1.13.m13.1.1.3">𝑅</ci><apply id="A1.SS2.p1.13.m13.1.1.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p1.13.m13.1.1.1.2.cmml" xref="A1.SS2.p1.13.m13.1.1.1">superscript</csymbol><apply id="A1.SS2.p1.13.m13.1.1.1.1.1.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1"><plus id="A1.SS2.p1.13.m13.1.1.1.1.1.1.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.1"></plus><ci id="A1.SS2.p1.13.m13.1.1.1.1.1.1.2.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.2">𝑆</ci><apply id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3"><times id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.1"></times><ci id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.2.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.2">𝜆</ci><apply id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.2.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.3.cmml" xref="A1.SS2.p1.13.m13.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.SS2.p1.13.m13.1.1.1.3.cmml" xref="A1.SS2.p1.13.m13.1.1.1.3"><minus id="A1.SS2.p1.13.m13.1.1.1.3.1.cmml" xref="A1.SS2.p1.13.m13.1.1.1.3"></minus><cn id="A1.SS2.p1.13.m13.1.1.1.3.2.cmml" type="integer" xref="A1.SS2.p1.13.m13.1.1.1.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.13.m13.1c">R=(S+\lambda I_{d})^{-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.13.m13.1d">italic_R = ( italic_S + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math>, and <math alttext="Y=X\widehat{w}_{n}+E" class="ltx_Math" display="inline" id="A1.SS2.p1.14.m14.1"><semantics id="A1.SS2.p1.14.m14.1a"><mrow id="A1.SS2.p1.14.m14.1.1" xref="A1.SS2.p1.14.m14.1.1.cmml"><mi id="A1.SS2.p1.14.m14.1.1.2" xref="A1.SS2.p1.14.m14.1.1.2.cmml">Y</mi><mo id="A1.SS2.p1.14.m14.1.1.1" xref="A1.SS2.p1.14.m14.1.1.1.cmml">=</mo><mrow id="A1.SS2.p1.14.m14.1.1.3" xref="A1.SS2.p1.14.m14.1.1.3.cmml"><mrow id="A1.SS2.p1.14.m14.1.1.3.2" xref="A1.SS2.p1.14.m14.1.1.3.2.cmml"><mi id="A1.SS2.p1.14.m14.1.1.3.2.2" xref="A1.SS2.p1.14.m14.1.1.3.2.2.cmml">X</mi><mo id="A1.SS2.p1.14.m14.1.1.3.2.1" xref="A1.SS2.p1.14.m14.1.1.3.2.1.cmml">⁢</mo><msub id="A1.SS2.p1.14.m14.1.1.3.2.3" xref="A1.SS2.p1.14.m14.1.1.3.2.3.cmml"><mover accent="true" id="A1.SS2.p1.14.m14.1.1.3.2.3.2" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2.cmml"><mi id="A1.SS2.p1.14.m14.1.1.3.2.3.2.2" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2.2.cmml">w</mi><mo id="A1.SS2.p1.14.m14.1.1.3.2.3.2.1" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2.1.cmml">^</mo></mover><mi id="A1.SS2.p1.14.m14.1.1.3.2.3.3" xref="A1.SS2.p1.14.m14.1.1.3.2.3.3.cmml">n</mi></msub></mrow><mo id="A1.SS2.p1.14.m14.1.1.3.1" xref="A1.SS2.p1.14.m14.1.1.3.1.cmml">+</mo><mi id="A1.SS2.p1.14.m14.1.1.3.3" xref="A1.SS2.p1.14.m14.1.1.3.3.cmml">E</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.14.m14.1b"><apply id="A1.SS2.p1.14.m14.1.1.cmml" xref="A1.SS2.p1.14.m14.1.1"><eq id="A1.SS2.p1.14.m14.1.1.1.cmml" xref="A1.SS2.p1.14.m14.1.1.1"></eq><ci id="A1.SS2.p1.14.m14.1.1.2.cmml" xref="A1.SS2.p1.14.m14.1.1.2">𝑌</ci><apply id="A1.SS2.p1.14.m14.1.1.3.cmml" xref="A1.SS2.p1.14.m14.1.1.3"><plus id="A1.SS2.p1.14.m14.1.1.3.1.cmml" xref="A1.SS2.p1.14.m14.1.1.3.1"></plus><apply id="A1.SS2.p1.14.m14.1.1.3.2.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2"><times id="A1.SS2.p1.14.m14.1.1.3.2.1.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.1"></times><ci id="A1.SS2.p1.14.m14.1.1.3.2.2.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.2">𝑋</ci><apply id="A1.SS2.p1.14.m14.1.1.3.2.3.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3"><csymbol cd="ambiguous" id="A1.SS2.p1.14.m14.1.1.3.2.3.1.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3">subscript</csymbol><apply id="A1.SS2.p1.14.m14.1.1.3.2.3.2.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2"><ci id="A1.SS2.p1.14.m14.1.1.3.2.3.2.1.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2.1">^</ci><ci id="A1.SS2.p1.14.m14.1.1.3.2.3.2.2.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3.2.2">𝑤</ci></apply><ci id="A1.SS2.p1.14.m14.1.1.3.2.3.3.cmml" xref="A1.SS2.p1.14.m14.1.1.3.2.3.3">𝑛</ci></apply></apply><ci id="A1.SS2.p1.14.m14.1.1.3.3.cmml" xref="A1.SS2.p1.14.m14.1.1.3.3">𝐸</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.14.m14.1c">Y=X\widehat{w}_{n}+E</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.14.m14.1d">italic_Y = italic_X over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT + italic_E</annotation></semantics></math>, where </p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx30"> <tbody id="A1.E31"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\widehat{w}_{n}&:=X_{n-1}^{\dagger}\widehat{Y}_{n-1}% =X_{n-1}^{\dagger}(X_{n-1}\widehat{w}_{n-1}+E_{n-1}).\\ \end{split}" class="ltx_Math" display="inline" id="A1.E31.m1.24"><semantics id="A1.E31.m1.24a"><mtable columnspacing="0pt" id="A1.E31.m1.24.24.2"><mtr id="A1.E31.m1.24.24.2a"><mtd class="ltx_align_right" columnalign="right" id="A1.E31.m1.24.24.2b"><msub id="A1.E31.m1.2.2.2.2.2a"><mover accent="true" id="A1.E31.m1.1.1.1.1.1.1" xref="A1.E31.m1.1.1.1.1.1.1.cmml"><mi id="A1.E31.m1.1.1.1.1.1.1.2" xref="A1.E31.m1.1.1.1.1.1.1.2.cmml">w</mi><mo id="A1.E31.m1.1.1.1.1.1.1.1" xref="A1.E31.m1.1.1.1.1.1.1.1.cmml">^</mo></mover><mi id="A1.E31.m1.2.2.2.2.2.2.1" xref="A1.E31.m1.2.2.2.2.2.2.1.cmml">n</mi></msub></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.E31.m1.24.24.2c"><mrow id="A1.E31.m1.24.24.2.23.23.21.21"><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1"><mi id="A1.E31.m1.24.24.2.23.23.21.21.1.3" xref="A1.E31.m1.23.23.1.1.1.cmml"></mi><mo id="A1.E31.m1.3.3.3.3.1.1" lspace="0.278em" rspace="0.278em" xref="A1.E31.m1.3.3.3.3.1.1.cmml">:=</mo><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1.4"><msubsup id="A1.E31.m1.24.24.2.23.23.21.21.1.4.2"><mi id="A1.E31.m1.4.4.4.4.2.2" xref="A1.E31.m1.4.4.4.4.2.2.cmml">X</mi><mrow id="A1.E31.m1.5.5.5.5.3.3.1" xref="A1.E31.m1.5.5.5.5.3.3.1.cmml"><mi id="A1.E31.m1.5.5.5.5.3.3.1.2" xref="A1.E31.m1.5.5.5.5.3.3.1.2.cmml">n</mi><mo id="A1.E31.m1.5.5.5.5.3.3.1.1" xref="A1.E31.m1.5.5.5.5.3.3.1.1.cmml">−</mo><mn id="A1.E31.m1.5.5.5.5.3.3.1.3" xref="A1.E31.m1.5.5.5.5.3.3.1.3.cmml">1</mn></mrow><mo id="A1.E31.m1.6.6.6.6.4.4.1" xref="A1.E31.m1.6.6.6.6.4.4.1.cmml">†</mo></msubsup><mo id="A1.E31.m1.24.24.2.23.23.21.21.1.4.1" xref="A1.E31.m1.23.23.1.1.1.cmml">⁢</mo><msub id="A1.E31.m1.24.24.2.23.23.21.21.1.4.3"><mover accent="true" id="A1.E31.m1.7.7.7.7.5.5" xref="A1.E31.m1.7.7.7.7.5.5.cmml"><mi id="A1.E31.m1.7.7.7.7.5.5.2" xref="A1.E31.m1.7.7.7.7.5.5.2.cmml">Y</mi><mo id="A1.E31.m1.7.7.7.7.5.5.1" xref="A1.E31.m1.7.7.7.7.5.5.1.cmml">^</mo></mover><mrow id="A1.E31.m1.8.8.8.8.6.6.1" xref="A1.E31.m1.8.8.8.8.6.6.1.cmml"><mi id="A1.E31.m1.8.8.8.8.6.6.1.2" xref="A1.E31.m1.8.8.8.8.6.6.1.2.cmml">n</mi><mo id="A1.E31.m1.8.8.8.8.6.6.1.1" xref="A1.E31.m1.8.8.8.8.6.6.1.1.cmml">−</mo><mn id="A1.E31.m1.8.8.8.8.6.6.1.3" xref="A1.E31.m1.8.8.8.8.6.6.1.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.E31.m1.9.9.9.9.7.7" xref="A1.E31.m1.9.9.9.9.7.7.cmml">=</mo><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1.1"><msubsup id="A1.E31.m1.24.24.2.23.23.21.21.1.1.3"><mi id="A1.E31.m1.10.10.10.10.8.8" xref="A1.E31.m1.10.10.10.10.8.8.cmml">X</mi><mrow id="A1.E31.m1.11.11.11.11.9.9.1" xref="A1.E31.m1.11.11.11.11.9.9.1.cmml"><mi id="A1.E31.m1.11.11.11.11.9.9.1.2" xref="A1.E31.m1.11.11.11.11.9.9.1.2.cmml">n</mi><mo id="A1.E31.m1.11.11.11.11.9.9.1.1" xref="A1.E31.m1.11.11.11.11.9.9.1.1.cmml">−</mo><mn id="A1.E31.m1.11.11.11.11.9.9.1.3" xref="A1.E31.m1.11.11.11.11.9.9.1.3.cmml">1</mn></mrow><mo id="A1.E31.m1.12.12.12.12.10.10.1" xref="A1.E31.m1.12.12.12.12.10.10.1.cmml">†</mo></msubsup><mo id="A1.E31.m1.24.24.2.23.23.21.21.1.1.2" xref="A1.E31.m1.23.23.1.1.1.cmml">⁢</mo><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1"><mo id="A1.E31.m1.13.13.13.13.11.11" stretchy="false" xref="A1.E31.m1.23.23.1.1.1.cmml">(</mo><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1"><mrow id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1.1"><msub id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1.1.2"><mi id="A1.E31.m1.14.14.14.14.12.12" xref="A1.E31.m1.14.14.14.14.12.12.cmml">X</mi><mrow id="A1.E31.m1.15.15.15.15.13.13.1" xref="A1.E31.m1.15.15.15.15.13.13.1.cmml"><mi id="A1.E31.m1.15.15.15.15.13.13.1.2" xref="A1.E31.m1.15.15.15.15.13.13.1.2.cmml">n</mi><mo id="A1.E31.m1.15.15.15.15.13.13.1.1" xref="A1.E31.m1.15.15.15.15.13.13.1.1.cmml">−</mo><mn id="A1.E31.m1.15.15.15.15.13.13.1.3" xref="A1.E31.m1.15.15.15.15.13.13.1.3.cmml">1</mn></mrow></msub><mo id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1.1.1" xref="A1.E31.m1.23.23.1.1.1.cmml">⁢</mo><msub id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1.1.3"><mover accent="true" id="A1.E31.m1.16.16.16.16.14.14" xref="A1.E31.m1.16.16.16.16.14.14.cmml"><mi id="A1.E31.m1.16.16.16.16.14.14.2" xref="A1.E31.m1.16.16.16.16.14.14.2.cmml">w</mi><mo id="A1.E31.m1.16.16.16.16.14.14.1" xref="A1.E31.m1.16.16.16.16.14.14.1.cmml">^</mo></mover><mrow id="A1.E31.m1.17.17.17.17.15.15.1" xref="A1.E31.m1.17.17.17.17.15.15.1.cmml"><mi id="A1.E31.m1.17.17.17.17.15.15.1.2" xref="A1.E31.m1.17.17.17.17.15.15.1.2.cmml">n</mi><mo id="A1.E31.m1.17.17.17.17.15.15.1.1" xref="A1.E31.m1.17.17.17.17.15.15.1.1.cmml">−</mo><mn id="A1.E31.m1.17.17.17.17.15.15.1.3" xref="A1.E31.m1.17.17.17.17.15.15.1.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.E31.m1.18.18.18.18.16.16" xref="A1.E31.m1.18.18.18.18.16.16.cmml">+</mo><msub id="A1.E31.m1.24.24.2.23.23.21.21.1.1.1.1.1.2"><mi id="A1.E31.m1.19.19.19.19.17.17" xref="A1.E31.m1.19.19.19.19.17.17.cmml">E</mi><mrow id="A1.E31.m1.20.20.20.20.18.18.1" xref="A1.E31.m1.20.20.20.20.18.18.1.cmml"><mi id="A1.E31.m1.20.20.20.20.18.18.1.2" xref="A1.E31.m1.20.20.20.20.18.18.1.2.cmml">n</mi><mo id="A1.E31.m1.20.20.20.20.18.18.1.1" xref="A1.E31.m1.20.20.20.20.18.18.1.1.cmml">−</mo><mn id="A1.E31.m1.20.20.20.20.18.18.1.3" xref="A1.E31.m1.20.20.20.20.18.18.1.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.E31.m1.21.21.21.21.19.19" stretchy="false" xref="A1.E31.m1.23.23.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A1.E31.m1.22.22.22.22.20.20" lspace="0em" xref="A1.E31.m1.23.23.1.1.1.cmml">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.E31.m1.24b"><apply id="A1.E31.m1.23.23.1.1.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><and id="A1.E31.m1.23.23.1.1.1a.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"></and><apply id="A1.E31.m1.23.23.1.1.1b.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="latexml" id="A1.E31.m1.3.3.3.3.1.1.cmml" xref="A1.E31.m1.3.3.3.3.1.1">assign</csymbol><apply id="A1.E31.m1.23.23.1.1.1.3.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.3.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><apply id="A1.E31.m1.1.1.1.1.1.1.cmml" xref="A1.E31.m1.1.1.1.1.1.1"><ci id="A1.E31.m1.1.1.1.1.1.1.1.cmml" xref="A1.E31.m1.1.1.1.1.1.1.1">^</ci><ci id="A1.E31.m1.1.1.1.1.1.1.2.cmml" xref="A1.E31.m1.1.1.1.1.1.1.2">𝑤</ci></apply><ci id="A1.E31.m1.2.2.2.2.2.2.1.cmml" xref="A1.E31.m1.2.2.2.2.2.2.1">𝑛</ci></apply><apply id="A1.E31.m1.23.23.1.1.1.5.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><times id="A1.E31.m1.23.23.1.1.1.5.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"></times><apply id="A1.E31.m1.23.23.1.1.1.5.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.5.2.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">superscript</csymbol><apply id="A1.E31.m1.23.23.1.1.1.5.2.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.5.2.2.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><ci id="A1.E31.m1.4.4.4.4.2.2.cmml" xref="A1.E31.m1.4.4.4.4.2.2">𝑋</ci><apply id="A1.E31.m1.5.5.5.5.3.3.1.cmml" xref="A1.E31.m1.5.5.5.5.3.3.1"><minus id="A1.E31.m1.5.5.5.5.3.3.1.1.cmml" xref="A1.E31.m1.5.5.5.5.3.3.1.1"></minus><ci id="A1.E31.m1.5.5.5.5.3.3.1.2.cmml" xref="A1.E31.m1.5.5.5.5.3.3.1.2">𝑛</ci><cn id="A1.E31.m1.5.5.5.5.3.3.1.3.cmml" type="integer" xref="A1.E31.m1.5.5.5.5.3.3.1.3">1</cn></apply></apply><ci id="A1.E31.m1.6.6.6.6.4.4.1.cmml" xref="A1.E31.m1.6.6.6.6.4.4.1">†</ci></apply><apply id="A1.E31.m1.23.23.1.1.1.5.3.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.5.3.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><apply id="A1.E31.m1.7.7.7.7.5.5.cmml" xref="A1.E31.m1.7.7.7.7.5.5"><ci id="A1.E31.m1.7.7.7.7.5.5.1.cmml" xref="A1.E31.m1.7.7.7.7.5.5.1">^</ci><ci id="A1.E31.m1.7.7.7.7.5.5.2.cmml" xref="A1.E31.m1.7.7.7.7.5.5.2">𝑌</ci></apply><apply id="A1.E31.m1.8.8.8.8.6.6.1.cmml" xref="A1.E31.m1.8.8.8.8.6.6.1"><minus id="A1.E31.m1.8.8.8.8.6.6.1.1.cmml" xref="A1.E31.m1.8.8.8.8.6.6.1.1"></minus><ci id="A1.E31.m1.8.8.8.8.6.6.1.2.cmml" xref="A1.E31.m1.8.8.8.8.6.6.1.2">𝑛</ci><cn id="A1.E31.m1.8.8.8.8.6.6.1.3.cmml" type="integer" xref="A1.E31.m1.8.8.8.8.6.6.1.3">1</cn></apply></apply></apply></apply><apply id="A1.E31.m1.23.23.1.1.1c.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><eq id="A1.E31.m1.9.9.9.9.7.7.cmml" xref="A1.E31.m1.9.9.9.9.7.7"></eq><share href="#A1.E31.m1.23.23.1.1.1.5.cmml" id="A1.E31.m1.23.23.1.1.1d.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"></share><apply id="A1.E31.m1.23.23.1.1.1.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><times id="A1.E31.m1.23.23.1.1.1.1.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"></times><apply id="A1.E31.m1.23.23.1.1.1.1.3.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.1.3.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">superscript</csymbol><apply id="A1.E31.m1.23.23.1.1.1.1.3.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.1.3.2.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><ci id="A1.E31.m1.10.10.10.10.8.8.cmml" xref="A1.E31.m1.10.10.10.10.8.8">𝑋</ci><apply id="A1.E31.m1.11.11.11.11.9.9.1.cmml" xref="A1.E31.m1.11.11.11.11.9.9.1"><minus id="A1.E31.m1.11.11.11.11.9.9.1.1.cmml" xref="A1.E31.m1.11.11.11.11.9.9.1.1"></minus><ci id="A1.E31.m1.11.11.11.11.9.9.1.2.cmml" xref="A1.E31.m1.11.11.11.11.9.9.1.2">𝑛</ci><cn id="A1.E31.m1.11.11.11.11.9.9.1.3.cmml" type="integer" xref="A1.E31.m1.11.11.11.11.9.9.1.3">1</cn></apply></apply><ci id="A1.E31.m1.12.12.12.12.10.10.1.cmml" xref="A1.E31.m1.12.12.12.12.10.10.1">†</ci></apply><apply id="A1.E31.m1.23.23.1.1.1.1.1.1.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><plus id="A1.E31.m1.18.18.18.18.16.16.cmml" xref="A1.E31.m1.18.18.18.18.16.16"></plus><apply id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><times id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"></times><apply id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><ci id="A1.E31.m1.14.14.14.14.12.12.cmml" xref="A1.E31.m1.14.14.14.14.12.12">𝑋</ci><apply id="A1.E31.m1.15.15.15.15.13.13.1.cmml" xref="A1.E31.m1.15.15.15.15.13.13.1"><minus id="A1.E31.m1.15.15.15.15.13.13.1.1.cmml" xref="A1.E31.m1.15.15.15.15.13.13.1.1"></minus><ci id="A1.E31.m1.15.15.15.15.13.13.1.2.cmml" xref="A1.E31.m1.15.15.15.15.13.13.1.2">𝑛</ci><cn id="A1.E31.m1.15.15.15.15.13.13.1.3.cmml" type="integer" xref="A1.E31.m1.15.15.15.15.13.13.1.3">1</cn></apply></apply><apply id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.3.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.1.1.1.1.2.3.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><apply id="A1.E31.m1.16.16.16.16.14.14.cmml" xref="A1.E31.m1.16.16.16.16.14.14"><ci id="A1.E31.m1.16.16.16.16.14.14.1.cmml" xref="A1.E31.m1.16.16.16.16.14.14.1">^</ci><ci id="A1.E31.m1.16.16.16.16.14.14.2.cmml" xref="A1.E31.m1.16.16.16.16.14.14.2">𝑤</ci></apply><apply id="A1.E31.m1.17.17.17.17.15.15.1.cmml" xref="A1.E31.m1.17.17.17.17.15.15.1"><minus id="A1.E31.m1.17.17.17.17.15.15.1.1.cmml" xref="A1.E31.m1.17.17.17.17.15.15.1.1"></minus><ci id="A1.E31.m1.17.17.17.17.15.15.1.2.cmml" xref="A1.E31.m1.17.17.17.17.15.15.1.2">𝑛</ci><cn id="A1.E31.m1.17.17.17.17.15.15.1.3.cmml" type="integer" xref="A1.E31.m1.17.17.17.17.15.15.1.3">1</cn></apply></apply></apply><apply id="A1.E31.m1.23.23.1.1.1.1.1.1.1.3.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3"><csymbol cd="ambiguous" id="A1.E31.m1.23.23.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E31.m1.24.24.2.23.23.21.21.1.3">subscript</csymbol><ci id="A1.E31.m1.19.19.19.19.17.17.cmml" xref="A1.E31.m1.19.19.19.19.17.17">𝐸</ci><apply id="A1.E31.m1.20.20.20.20.18.18.1.cmml" xref="A1.E31.m1.20.20.20.20.18.18.1"><minus id="A1.E31.m1.20.20.20.20.18.18.1.1.cmml" xref="A1.E31.m1.20.20.20.20.18.18.1.1"></minus><ci id="A1.E31.m1.20.20.20.20.18.18.1.2.cmml" xref="A1.E31.m1.20.20.20.20.18.18.1.2">𝑛</ci><cn id="A1.E31.m1.20.20.20.20.18.18.1.3.cmml" type="integer" xref="A1.E31.m1.20.20.20.20.18.18.1.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E31.m1.24c">\displaystyle\begin{split}\widehat{w}_{n}&:=X_{n-1}^{\dagger}\widehat{Y}_{n-1}% =X_{n-1}^{\dagger}(X_{n-1}\widehat{w}_{n-1}+E_{n-1}).\\ \end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.E31.m1.24d">start_ROW start_CELL over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT end_CELL start_CELL := italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT over^ start_ARG italic_Y end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT = italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT ( italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT + italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT ) . end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(31)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p1.18">Thus, we have</p> <table class="ltx_equation ltx_eqn_table" id="A1.Ex4"> <tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_eqn_cell ltx_align_center"><math alttext="\widehat{w}_{n}^{pred}=RX^{\top}Y/T=RSP_{n-1}\widehat{w}_{n-1}+RSX_{n-1}^{% \dagger}E_{n-1}+RX^{\top}E/T," class="ltx_Math" display="block" id="A1.Ex4.m1.1"><semantics id="A1.Ex4.m1.1a"><mrow id="A1.Ex4.m1.1.1.1" xref="A1.Ex4.m1.1.1.1.1.cmml"><mrow id="A1.Ex4.m1.1.1.1.1" xref="A1.Ex4.m1.1.1.1.1.cmml"><msubsup id="A1.Ex4.m1.1.1.1.1.2" xref="A1.Ex4.m1.1.1.1.1.2.cmml"><mover accent="true" id="A1.Ex4.m1.1.1.1.1.2.2.2" xref="A1.Ex4.m1.1.1.1.1.2.2.2.cmml"><mi id="A1.Ex4.m1.1.1.1.1.2.2.2.2" xref="A1.Ex4.m1.1.1.1.1.2.2.2.2.cmml">w</mi><mo id="A1.Ex4.m1.1.1.1.1.2.2.2.1" xref="A1.Ex4.m1.1.1.1.1.2.2.2.1.cmml">^</mo></mover><mi id="A1.Ex4.m1.1.1.1.1.2.2.3" xref="A1.Ex4.m1.1.1.1.1.2.2.3.cmml">n</mi><mrow id="A1.Ex4.m1.1.1.1.1.2.3" xref="A1.Ex4.m1.1.1.1.1.2.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.2.3.2" xref="A1.Ex4.m1.1.1.1.1.2.3.2.cmml">p</mi><mo id="A1.Ex4.m1.1.1.1.1.2.3.1" xref="A1.Ex4.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.2.3.3" xref="A1.Ex4.m1.1.1.1.1.2.3.3.cmml">r</mi><mo id="A1.Ex4.m1.1.1.1.1.2.3.1a" xref="A1.Ex4.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.2.3.4" xref="A1.Ex4.m1.1.1.1.1.2.3.4.cmml">e</mi><mo id="A1.Ex4.m1.1.1.1.1.2.3.1b" xref="A1.Ex4.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.2.3.5" xref="A1.Ex4.m1.1.1.1.1.2.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex4.m1.1.1.1.1.3" xref="A1.Ex4.m1.1.1.1.1.3.cmml">=</mo><mrow id="A1.Ex4.m1.1.1.1.1.4" xref="A1.Ex4.m1.1.1.1.1.4.cmml"><mrow id="A1.Ex4.m1.1.1.1.1.4.2" xref="A1.Ex4.m1.1.1.1.1.4.2.cmml"><mi id="A1.Ex4.m1.1.1.1.1.4.2.2" xref="A1.Ex4.m1.1.1.1.1.4.2.2.cmml">R</mi><mo id="A1.Ex4.m1.1.1.1.1.4.2.1" xref="A1.Ex4.m1.1.1.1.1.4.2.1.cmml">⁢</mo><msup id="A1.Ex4.m1.1.1.1.1.4.2.3" xref="A1.Ex4.m1.1.1.1.1.4.2.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.4.2.3.2" xref="A1.Ex4.m1.1.1.1.1.4.2.3.2.cmml">X</mi><mo id="A1.Ex4.m1.1.1.1.1.4.2.3.3" xref="A1.Ex4.m1.1.1.1.1.4.2.3.3.cmml">⊤</mo></msup><mo id="A1.Ex4.m1.1.1.1.1.4.2.1a" xref="A1.Ex4.m1.1.1.1.1.4.2.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.4.2.4" xref="A1.Ex4.m1.1.1.1.1.4.2.4.cmml">Y</mi></mrow><mo id="A1.Ex4.m1.1.1.1.1.4.1" xref="A1.Ex4.m1.1.1.1.1.4.1.cmml">/</mo><mi id="A1.Ex4.m1.1.1.1.1.4.3" xref="A1.Ex4.m1.1.1.1.1.4.3.cmml">T</mi></mrow><mo id="A1.Ex4.m1.1.1.1.1.5" xref="A1.Ex4.m1.1.1.1.1.5.cmml">=</mo><mrow id="A1.Ex4.m1.1.1.1.1.6" xref="A1.Ex4.m1.1.1.1.1.6.cmml"><mrow id="A1.Ex4.m1.1.1.1.1.6.2" xref="A1.Ex4.m1.1.1.1.1.6.2.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.2.2" xref="A1.Ex4.m1.1.1.1.1.6.2.2.cmml">R</mi><mo id="A1.Ex4.m1.1.1.1.1.6.2.1" xref="A1.Ex4.m1.1.1.1.1.6.2.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.6.2.3" xref="A1.Ex4.m1.1.1.1.1.6.2.3.cmml">S</mi><mo id="A1.Ex4.m1.1.1.1.1.6.2.1a" xref="A1.Ex4.m1.1.1.1.1.6.2.1.cmml">⁢</mo><msub id="A1.Ex4.m1.1.1.1.1.6.2.4" xref="A1.Ex4.m1.1.1.1.1.6.2.4.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.2.4.2" xref="A1.Ex4.m1.1.1.1.1.6.2.4.2.cmml">P</mi><mrow id="A1.Ex4.m1.1.1.1.1.6.2.4.3" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.2.4.3.2" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.2.cmml">n</mi><mo id="A1.Ex4.m1.1.1.1.1.6.2.4.3.1" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.1.cmml">−</mo><mn id="A1.Ex4.m1.1.1.1.1.6.2.4.3.3" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.3.cmml">1</mn></mrow></msub><mo id="A1.Ex4.m1.1.1.1.1.6.2.1b" xref="A1.Ex4.m1.1.1.1.1.6.2.1.cmml">⁢</mo><msub id="A1.Ex4.m1.1.1.1.1.6.2.5" xref="A1.Ex4.m1.1.1.1.1.6.2.5.cmml"><mover accent="true" id="A1.Ex4.m1.1.1.1.1.6.2.5.2" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.2.5.2.2" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2.2.cmml">w</mi><mo id="A1.Ex4.m1.1.1.1.1.6.2.5.2.1" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2.1.cmml">^</mo></mover><mrow id="A1.Ex4.m1.1.1.1.1.6.2.5.3" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.2.5.3.2" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.2.cmml">n</mi><mo id="A1.Ex4.m1.1.1.1.1.6.2.5.3.1" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.1.cmml">−</mo><mn id="A1.Ex4.m1.1.1.1.1.6.2.5.3.3" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.Ex4.m1.1.1.1.1.6.1" xref="A1.Ex4.m1.1.1.1.1.6.1.cmml">+</mo><mrow id="A1.Ex4.m1.1.1.1.1.6.3" xref="A1.Ex4.m1.1.1.1.1.6.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.3.2" xref="A1.Ex4.m1.1.1.1.1.6.3.2.cmml">R</mi><mo id="A1.Ex4.m1.1.1.1.1.6.3.1" xref="A1.Ex4.m1.1.1.1.1.6.3.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.6.3.3" xref="A1.Ex4.m1.1.1.1.1.6.3.3.cmml">S</mi><mo id="A1.Ex4.m1.1.1.1.1.6.3.1a" xref="A1.Ex4.m1.1.1.1.1.6.3.1.cmml">⁢</mo><msubsup id="A1.Ex4.m1.1.1.1.1.6.3.4" xref="A1.Ex4.m1.1.1.1.1.6.3.4.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.3.4.2.2" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.2.cmml">X</mi><mrow id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.2" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.2.cmml">n</mi><mo id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.1" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.1.cmml">−</mo><mn id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.3" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.3.cmml">1</mn></mrow><mo id="A1.Ex4.m1.1.1.1.1.6.3.4.3" xref="A1.Ex4.m1.1.1.1.1.6.3.4.3.cmml">†</mo></msubsup><mo id="A1.Ex4.m1.1.1.1.1.6.3.1b" xref="A1.Ex4.m1.1.1.1.1.6.3.1.cmml">⁢</mo><msub id="A1.Ex4.m1.1.1.1.1.6.3.5" xref="A1.Ex4.m1.1.1.1.1.6.3.5.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.3.5.2" xref="A1.Ex4.m1.1.1.1.1.6.3.5.2.cmml">E</mi><mrow id="A1.Ex4.m1.1.1.1.1.6.3.5.3" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.3.5.3.2" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.2.cmml">n</mi><mo id="A1.Ex4.m1.1.1.1.1.6.3.5.3.1" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.1.cmml">−</mo><mn id="A1.Ex4.m1.1.1.1.1.6.3.5.3.3" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.Ex4.m1.1.1.1.1.6.1a" xref="A1.Ex4.m1.1.1.1.1.6.1.cmml">+</mo><mrow id="A1.Ex4.m1.1.1.1.1.6.4" xref="A1.Ex4.m1.1.1.1.1.6.4.cmml"><mrow id="A1.Ex4.m1.1.1.1.1.6.4.2" xref="A1.Ex4.m1.1.1.1.1.6.4.2.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.4.2.2" xref="A1.Ex4.m1.1.1.1.1.6.4.2.2.cmml">R</mi><mo id="A1.Ex4.m1.1.1.1.1.6.4.2.1" xref="A1.Ex4.m1.1.1.1.1.6.4.2.1.cmml">⁢</mo><msup id="A1.Ex4.m1.1.1.1.1.6.4.2.3" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3.cmml"><mi id="A1.Ex4.m1.1.1.1.1.6.4.2.3.2" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3.2.cmml">X</mi><mo id="A1.Ex4.m1.1.1.1.1.6.4.2.3.3" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3.3.cmml">⊤</mo></msup><mo id="A1.Ex4.m1.1.1.1.1.6.4.2.1a" xref="A1.Ex4.m1.1.1.1.1.6.4.2.1.cmml">⁢</mo><mi id="A1.Ex4.m1.1.1.1.1.6.4.2.4" xref="A1.Ex4.m1.1.1.1.1.6.4.2.4.cmml">E</mi></mrow><mo id="A1.Ex4.m1.1.1.1.1.6.4.1" xref="A1.Ex4.m1.1.1.1.1.6.4.1.cmml">/</mo><mi id="A1.Ex4.m1.1.1.1.1.6.4.3" xref="A1.Ex4.m1.1.1.1.1.6.4.3.cmml">T</mi></mrow></mrow></mrow><mo id="A1.Ex4.m1.1.1.1.2" xref="A1.Ex4.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex4.m1.1b"><apply id="A1.Ex4.m1.1.1.1.1.cmml" xref="A1.Ex4.m1.1.1.1"><and id="A1.Ex4.m1.1.1.1.1a.cmml" xref="A1.Ex4.m1.1.1.1"></and><apply id="A1.Ex4.m1.1.1.1.1b.cmml" xref="A1.Ex4.m1.1.1.1"><eq id="A1.Ex4.m1.1.1.1.1.3.cmml" xref="A1.Ex4.m1.1.1.1.1.3"></eq><apply id="A1.Ex4.m1.1.1.1.1.2.cmml" xref="A1.Ex4.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.2">superscript</csymbol><apply id="A1.Ex4.m1.1.1.1.1.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.2.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.2">subscript</csymbol><apply id="A1.Ex4.m1.1.1.1.1.2.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.2.2.2"><ci id="A1.Ex4.m1.1.1.1.1.2.2.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.2.2.2.1">^</ci><ci id="A1.Ex4.m1.1.1.1.1.2.2.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.2.2.2.2">𝑤</ci></apply><ci id="A1.Ex4.m1.1.1.1.1.2.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.2.2.3">𝑛</ci></apply><apply id="A1.Ex4.m1.1.1.1.1.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3"><times id="A1.Ex4.m1.1.1.1.1.2.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3.1"></times><ci id="A1.Ex4.m1.1.1.1.1.2.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3.2">𝑝</ci><ci id="A1.Ex4.m1.1.1.1.1.2.3.3.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3.3">𝑟</ci><ci id="A1.Ex4.m1.1.1.1.1.2.3.4.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3.4">𝑒</ci><ci id="A1.Ex4.m1.1.1.1.1.2.3.5.cmml" xref="A1.Ex4.m1.1.1.1.1.2.3.5">𝑑</ci></apply></apply><apply id="A1.Ex4.m1.1.1.1.1.4.cmml" xref="A1.Ex4.m1.1.1.1.1.4"><divide id="A1.Ex4.m1.1.1.1.1.4.1.cmml" xref="A1.Ex4.m1.1.1.1.1.4.1"></divide><apply id="A1.Ex4.m1.1.1.1.1.4.2.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2"><times id="A1.Ex4.m1.1.1.1.1.4.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.1"></times><ci id="A1.Ex4.m1.1.1.1.1.4.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.2">𝑅</ci><apply id="A1.Ex4.m1.1.1.1.1.4.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.3"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.4.2.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.3">superscript</csymbol><ci id="A1.Ex4.m1.1.1.1.1.4.2.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.3.2">𝑋</ci><csymbol cd="latexml" id="A1.Ex4.m1.1.1.1.1.4.2.3.3.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.3.3">top</csymbol></apply><ci id="A1.Ex4.m1.1.1.1.1.4.2.4.cmml" xref="A1.Ex4.m1.1.1.1.1.4.2.4">𝑌</ci></apply><ci id="A1.Ex4.m1.1.1.1.1.4.3.cmml" xref="A1.Ex4.m1.1.1.1.1.4.3">𝑇</ci></apply></apply><apply id="A1.Ex4.m1.1.1.1.1c.cmml" xref="A1.Ex4.m1.1.1.1"><eq id="A1.Ex4.m1.1.1.1.1.5.cmml" xref="A1.Ex4.m1.1.1.1.1.5"></eq><share href="#A1.Ex4.m1.1.1.1.1.4.cmml" id="A1.Ex4.m1.1.1.1.1d.cmml" xref="A1.Ex4.m1.1.1.1"></share><apply id="A1.Ex4.m1.1.1.1.1.6.cmml" xref="A1.Ex4.m1.1.1.1.1.6"><plus id="A1.Ex4.m1.1.1.1.1.6.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.1"></plus><apply id="A1.Ex4.m1.1.1.1.1.6.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2"><times id="A1.Ex4.m1.1.1.1.1.6.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.1"></times><ci id="A1.Ex4.m1.1.1.1.1.6.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.2">𝑅</ci><ci id="A1.Ex4.m1.1.1.1.1.6.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.3">𝑆</ci><apply id="A1.Ex4.m1.1.1.1.1.6.2.4.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.2.4.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4">subscript</csymbol><ci id="A1.Ex4.m1.1.1.1.1.6.2.4.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4.2">𝑃</ci><apply id="A1.Ex4.m1.1.1.1.1.6.2.4.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3"><minus id="A1.Ex4.m1.1.1.1.1.6.2.4.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.1"></minus><ci id="A1.Ex4.m1.1.1.1.1.6.2.4.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.2">𝑛</ci><cn id="A1.Ex4.m1.1.1.1.1.6.2.4.3.3.cmml" type="integer" xref="A1.Ex4.m1.1.1.1.1.6.2.4.3.3">1</cn></apply></apply><apply id="A1.Ex4.m1.1.1.1.1.6.2.5.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.2.5.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5">subscript</csymbol><apply id="A1.Ex4.m1.1.1.1.1.6.2.5.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2"><ci id="A1.Ex4.m1.1.1.1.1.6.2.5.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2.1">^</ci><ci id="A1.Ex4.m1.1.1.1.1.6.2.5.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.2.2">𝑤</ci></apply><apply id="A1.Ex4.m1.1.1.1.1.6.2.5.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3"><minus id="A1.Ex4.m1.1.1.1.1.6.2.5.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.1"></minus><ci id="A1.Ex4.m1.1.1.1.1.6.2.5.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.2">𝑛</ci><cn id="A1.Ex4.m1.1.1.1.1.6.2.5.3.3.cmml" type="integer" xref="A1.Ex4.m1.1.1.1.1.6.2.5.3.3">1</cn></apply></apply></apply><apply id="A1.Ex4.m1.1.1.1.1.6.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3"><times id="A1.Ex4.m1.1.1.1.1.6.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.1"></times><ci id="A1.Ex4.m1.1.1.1.1.6.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.2">𝑅</ci><ci id="A1.Ex4.m1.1.1.1.1.6.3.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.3">𝑆</ci><apply id="A1.Ex4.m1.1.1.1.1.6.3.4.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.3.4.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4">superscript</csymbol><apply id="A1.Ex4.m1.1.1.1.1.6.3.4.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.3.4.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4">subscript</csymbol><ci id="A1.Ex4.m1.1.1.1.1.6.3.4.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.2">𝑋</ci><apply id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3"><minus id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.1"></minus><ci id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.2">𝑛</ci><cn id="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.3.cmml" type="integer" xref="A1.Ex4.m1.1.1.1.1.6.3.4.2.3.3">1</cn></apply></apply><ci id="A1.Ex4.m1.1.1.1.1.6.3.4.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.4.3">†</ci></apply><apply id="A1.Ex4.m1.1.1.1.1.6.3.5.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.3.5.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5">subscript</csymbol><ci id="A1.Ex4.m1.1.1.1.1.6.3.5.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5.2">𝐸</ci><apply id="A1.Ex4.m1.1.1.1.1.6.3.5.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3"><minus id="A1.Ex4.m1.1.1.1.1.6.3.5.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.1"></minus><ci id="A1.Ex4.m1.1.1.1.1.6.3.5.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.2">𝑛</ci><cn id="A1.Ex4.m1.1.1.1.1.6.3.5.3.3.cmml" type="integer" xref="A1.Ex4.m1.1.1.1.1.6.3.5.3.3">1</cn></apply></apply></apply><apply id="A1.Ex4.m1.1.1.1.1.6.4.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4"><divide id="A1.Ex4.m1.1.1.1.1.6.4.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.1"></divide><apply id="A1.Ex4.m1.1.1.1.1.6.4.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2"><times id="A1.Ex4.m1.1.1.1.1.6.4.2.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.1"></times><ci id="A1.Ex4.m1.1.1.1.1.6.4.2.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.2">𝑅</ci><apply id="A1.Ex4.m1.1.1.1.1.6.4.2.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.1.1.6.4.2.3.1.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3">superscript</csymbol><ci id="A1.Ex4.m1.1.1.1.1.6.4.2.3.2.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3.2">𝑋</ci><csymbol cd="latexml" id="A1.Ex4.m1.1.1.1.1.6.4.2.3.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.3.3">top</csymbol></apply><ci id="A1.Ex4.m1.1.1.1.1.6.4.2.4.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.2.4">𝐸</ci></apply><ci id="A1.Ex4.m1.1.1.1.1.6.4.3.cmml" xref="A1.Ex4.m1.1.1.1.1.6.4.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex4.m1.1c">\widehat{w}_{n}^{pred}=RX^{\top}Y/T=RSP_{n-1}\widehat{w}_{n-1}+RSX_{n-1}^{% \dagger}E_{n-1}+RX^{\top}E/T,</annotation><annotation encoding="application/x-llamapun" id="A1.Ex4.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT = italic_R italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_Y / italic_T = italic_R italic_S italic_P start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT + italic_R italic_S italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT + italic_R italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E / italic_T ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p1.17">where <math alttext="P_{n-1}:=X_{n-1}^{\dagger}X_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p1.15.m1.1"><semantics id="A1.SS2.p1.15.m1.1a"><mrow id="A1.SS2.p1.15.m1.1.1" xref="A1.SS2.p1.15.m1.1.1.cmml"><msub id="A1.SS2.p1.15.m1.1.1.2" xref="A1.SS2.p1.15.m1.1.1.2.cmml"><mi id="A1.SS2.p1.15.m1.1.1.2.2" xref="A1.SS2.p1.15.m1.1.1.2.2.cmml">P</mi><mrow id="A1.SS2.p1.15.m1.1.1.2.3" xref="A1.SS2.p1.15.m1.1.1.2.3.cmml"><mi id="A1.SS2.p1.15.m1.1.1.2.3.2" xref="A1.SS2.p1.15.m1.1.1.2.3.2.cmml">n</mi><mo id="A1.SS2.p1.15.m1.1.1.2.3.1" xref="A1.SS2.p1.15.m1.1.1.2.3.1.cmml">−</mo><mn id="A1.SS2.p1.15.m1.1.1.2.3.3" xref="A1.SS2.p1.15.m1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo id="A1.SS2.p1.15.m1.1.1.1" lspace="0.278em" rspace="0.278em" xref="A1.SS2.p1.15.m1.1.1.1.cmml">:=</mo><mrow id="A1.SS2.p1.15.m1.1.1.3" xref="A1.SS2.p1.15.m1.1.1.3.cmml"><msubsup id="A1.SS2.p1.15.m1.1.1.3.2" xref="A1.SS2.p1.15.m1.1.1.3.2.cmml"><mi id="A1.SS2.p1.15.m1.1.1.3.2.2.2" xref="A1.SS2.p1.15.m1.1.1.3.2.2.2.cmml">X</mi><mrow id="A1.SS2.p1.15.m1.1.1.3.2.2.3" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.cmml"><mi id="A1.SS2.p1.15.m1.1.1.3.2.2.3.2" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.2.cmml">n</mi><mo id="A1.SS2.p1.15.m1.1.1.3.2.2.3.1" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.1.cmml">−</mo><mn id="A1.SS2.p1.15.m1.1.1.3.2.2.3.3" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.3.cmml">1</mn></mrow><mo id="A1.SS2.p1.15.m1.1.1.3.2.3" xref="A1.SS2.p1.15.m1.1.1.3.2.3.cmml">†</mo></msubsup><mo id="A1.SS2.p1.15.m1.1.1.3.1" xref="A1.SS2.p1.15.m1.1.1.3.1.cmml">⁢</mo><msub id="A1.SS2.p1.15.m1.1.1.3.3" xref="A1.SS2.p1.15.m1.1.1.3.3.cmml"><mi id="A1.SS2.p1.15.m1.1.1.3.3.2" xref="A1.SS2.p1.15.m1.1.1.3.3.2.cmml">X</mi><mrow id="A1.SS2.p1.15.m1.1.1.3.3.3" xref="A1.SS2.p1.15.m1.1.1.3.3.3.cmml"><mi id="A1.SS2.p1.15.m1.1.1.3.3.3.2" xref="A1.SS2.p1.15.m1.1.1.3.3.3.2.cmml">n</mi><mo id="A1.SS2.p1.15.m1.1.1.3.3.3.1" xref="A1.SS2.p1.15.m1.1.1.3.3.3.1.cmml">−</mo><mn id="A1.SS2.p1.15.m1.1.1.3.3.3.3" xref="A1.SS2.p1.15.m1.1.1.3.3.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.15.m1.1b"><apply id="A1.SS2.p1.15.m1.1.1.cmml" xref="A1.SS2.p1.15.m1.1.1"><csymbol cd="latexml" id="A1.SS2.p1.15.m1.1.1.1.cmml" xref="A1.SS2.p1.15.m1.1.1.1">assign</csymbol><apply id="A1.SS2.p1.15.m1.1.1.2.cmml" xref="A1.SS2.p1.15.m1.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p1.15.m1.1.1.2.1.cmml" xref="A1.SS2.p1.15.m1.1.1.2">subscript</csymbol><ci id="A1.SS2.p1.15.m1.1.1.2.2.cmml" xref="A1.SS2.p1.15.m1.1.1.2.2">𝑃</ci><apply id="A1.SS2.p1.15.m1.1.1.2.3.cmml" xref="A1.SS2.p1.15.m1.1.1.2.3"><minus id="A1.SS2.p1.15.m1.1.1.2.3.1.cmml" xref="A1.SS2.p1.15.m1.1.1.2.3.1"></minus><ci id="A1.SS2.p1.15.m1.1.1.2.3.2.cmml" xref="A1.SS2.p1.15.m1.1.1.2.3.2">𝑛</ci><cn id="A1.SS2.p1.15.m1.1.1.2.3.3.cmml" type="integer" xref="A1.SS2.p1.15.m1.1.1.2.3.3">1</cn></apply></apply><apply id="A1.SS2.p1.15.m1.1.1.3.cmml" xref="A1.SS2.p1.15.m1.1.1.3"><times id="A1.SS2.p1.15.m1.1.1.3.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.1"></times><apply id="A1.SS2.p1.15.m1.1.1.3.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.SS2.p1.15.m1.1.1.3.2.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2">superscript</csymbol><apply id="A1.SS2.p1.15.m1.1.1.3.2.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.SS2.p1.15.m1.1.1.3.2.2.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2">subscript</csymbol><ci id="A1.SS2.p1.15.m1.1.1.3.2.2.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2.2.2">𝑋</ci><apply id="A1.SS2.p1.15.m1.1.1.3.2.2.3.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3"><minus id="A1.SS2.p1.15.m1.1.1.3.2.2.3.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.1"></minus><ci id="A1.SS2.p1.15.m1.1.1.3.2.2.3.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.2">𝑛</ci><cn id="A1.SS2.p1.15.m1.1.1.3.2.2.3.3.cmml" type="integer" xref="A1.SS2.p1.15.m1.1.1.3.2.2.3.3">1</cn></apply></apply><ci id="A1.SS2.p1.15.m1.1.1.3.2.3.cmml" xref="A1.SS2.p1.15.m1.1.1.3.2.3">†</ci></apply><apply id="A1.SS2.p1.15.m1.1.1.3.3.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3"><csymbol cd="ambiguous" id="A1.SS2.p1.15.m1.1.1.3.3.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3">subscript</csymbol><ci id="A1.SS2.p1.15.m1.1.1.3.3.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3.2">𝑋</ci><apply id="A1.SS2.p1.15.m1.1.1.3.3.3.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3.3"><minus id="A1.SS2.p1.15.m1.1.1.3.3.3.1.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3.3.1"></minus><ci id="A1.SS2.p1.15.m1.1.1.3.3.3.2.cmml" xref="A1.SS2.p1.15.m1.1.1.3.3.3.2">𝑛</ci><cn id="A1.SS2.p1.15.m1.1.1.3.3.3.3.cmml" type="integer" xref="A1.SS2.p1.15.m1.1.1.3.3.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.15.m1.1c">P_{n-1}:=X_{n-1}^{\dagger}X_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.15.m1.1d">italic_P start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT := italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math> is the orthogonal projector unto the subspace of <math alttext="\mathbb{R}^{d}" class="ltx_Math" display="inline" id="A1.SS2.p1.16.m2.1"><semantics id="A1.SS2.p1.16.m2.1a"><msup id="A1.SS2.p1.16.m2.1.1" xref="A1.SS2.p1.16.m2.1.1.cmml"><mi id="A1.SS2.p1.16.m2.1.1.2" xref="A1.SS2.p1.16.m2.1.1.2.cmml">ℝ</mi><mi id="A1.SS2.p1.16.m2.1.1.3" xref="A1.SS2.p1.16.m2.1.1.3.cmml">d</mi></msup><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.16.m2.1b"><apply id="A1.SS2.p1.16.m2.1.1.cmml" xref="A1.SS2.p1.16.m2.1.1"><csymbol cd="ambiguous" id="A1.SS2.p1.16.m2.1.1.1.cmml" xref="A1.SS2.p1.16.m2.1.1">superscript</csymbol><ci id="A1.SS2.p1.16.m2.1.1.2.cmml" xref="A1.SS2.p1.16.m2.1.1.2">ℝ</ci><ci id="A1.SS2.p1.16.m2.1.1.3.cmml" xref="A1.SS2.p1.16.m2.1.1.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.16.m2.1c">\mathbb{R}^{d}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.16.m2.1d">blackboard_R start_POSTSUPERSCRIPT italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> spanned by the rows of <math alttext="X_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p1.17.m3.1"><semantics id="A1.SS2.p1.17.m3.1a"><msub id="A1.SS2.p1.17.m3.1.1" xref="A1.SS2.p1.17.m3.1.1.cmml"><mi id="A1.SS2.p1.17.m3.1.1.2" xref="A1.SS2.p1.17.m3.1.1.2.cmml">X</mi><mrow id="A1.SS2.p1.17.m3.1.1.3" xref="A1.SS2.p1.17.m3.1.1.3.cmml"><mi id="A1.SS2.p1.17.m3.1.1.3.2" xref="A1.SS2.p1.17.m3.1.1.3.2.cmml">n</mi><mo id="A1.SS2.p1.17.m3.1.1.3.1" xref="A1.SS2.p1.17.m3.1.1.3.1.cmml">−</mo><mn id="A1.SS2.p1.17.m3.1.1.3.3" xref="A1.SS2.p1.17.m3.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p1.17.m3.1b"><apply id="A1.SS2.p1.17.m3.1.1.cmml" xref="A1.SS2.p1.17.m3.1.1"><csymbol cd="ambiguous" id="A1.SS2.p1.17.m3.1.1.1.cmml" xref="A1.SS2.p1.17.m3.1.1">subscript</csymbol><ci id="A1.SS2.p1.17.m3.1.1.2.cmml" xref="A1.SS2.p1.17.m3.1.1.2">𝑋</ci><apply id="A1.SS2.p1.17.m3.1.1.3.cmml" xref="A1.SS2.p1.17.m3.1.1.3"><minus id="A1.SS2.p1.17.m3.1.1.3.1.cmml" xref="A1.SS2.p1.17.m3.1.1.3.1"></minus><ci id="A1.SS2.p1.17.m3.1.1.3.2.cmml" xref="A1.SS2.p1.17.m3.1.1.3.2">𝑛</ci><cn id="A1.SS2.p1.17.m3.1.1.3.3.cmml" type="integer" xref="A1.SS2.p1.17.m3.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p1.17.m3.1c">X_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p1.17.m3.1d">italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math>.</p> </div> <div class="ltx_para" id="A1.SS2.p2"> <p class="ltx_p" id="A1.SS2.p2.5">Since <math alttext="X_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p2.1.m1.1"><semantics id="A1.SS2.p2.1.m1.1a"><msub id="A1.SS2.p2.1.m1.1.1" xref="A1.SS2.p2.1.m1.1.1.cmml"><mi id="A1.SS2.p2.1.m1.1.1.2" xref="A1.SS2.p2.1.m1.1.1.2.cmml">X</mi><mrow id="A1.SS2.p2.1.m1.1.1.3" xref="A1.SS2.p2.1.m1.1.1.3.cmml"><mi id="A1.SS2.p2.1.m1.1.1.3.2" xref="A1.SS2.p2.1.m1.1.1.3.2.cmml">n</mi><mo id="A1.SS2.p2.1.m1.1.1.3.1" xref="A1.SS2.p2.1.m1.1.1.3.1.cmml">−</mo><mn id="A1.SS2.p2.1.m1.1.1.3.3" xref="A1.SS2.p2.1.m1.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.1.m1.1b"><apply id="A1.SS2.p2.1.m1.1.1.cmml" xref="A1.SS2.p2.1.m1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.1.m1.1.1.1.cmml" xref="A1.SS2.p2.1.m1.1.1">subscript</csymbol><ci id="A1.SS2.p2.1.m1.1.1.2.cmml" xref="A1.SS2.p2.1.m1.1.1.2">𝑋</ci><apply id="A1.SS2.p2.1.m1.1.1.3.cmml" xref="A1.SS2.p2.1.m1.1.1.3"><minus id="A1.SS2.p2.1.m1.1.1.3.1.cmml" xref="A1.SS2.p2.1.m1.1.1.3.1"></minus><ci id="A1.SS2.p2.1.m1.1.1.3.2.cmml" xref="A1.SS2.p2.1.m1.1.1.3.2">𝑛</ci><cn id="A1.SS2.p2.1.m1.1.1.3.3.cmml" type="integer" xref="A1.SS2.p2.1.m1.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.1.m1.1c">X_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.1.m1.1d">italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math> has full column rank (which happens w.p <math alttext="1" class="ltx_Math" display="inline" id="A1.SS2.p2.2.m2.1"><semantics id="A1.SS2.p2.2.m2.1a"><mn id="A1.SS2.p2.2.m2.1.1" xref="A1.SS2.p2.2.m2.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.2.m2.1b"><cn id="A1.SS2.p2.2.m2.1.1.cmml" type="integer" xref="A1.SS2.p2.2.m2.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.2.m2.1c">1</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.2.m2.1d">1</annotation></semantics></math> if <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="A1.SS2.p2.3.m3.1"><semantics id="A1.SS2.p2.3.m3.1a"><mrow id="A1.SS2.p2.3.m3.1.1" xref="A1.SS2.p2.3.m3.1.1.cmml"><msub id="A1.SS2.p2.3.m3.1.1.2" xref="A1.SS2.p2.3.m3.1.1.2.cmml"><mi id="A1.SS2.p2.3.m3.1.1.2.2" xref="A1.SS2.p2.3.m3.1.1.2.2.cmml">T</mi><mn id="A1.SS2.p2.3.m3.1.1.2.3" xref="A1.SS2.p2.3.m3.1.1.2.3.cmml">0</mn></msub><mo id="A1.SS2.p2.3.m3.1.1.1" xref="A1.SS2.p2.3.m3.1.1.1.cmml">≥</mo><mrow id="A1.SS2.p2.3.m3.1.1.3" xref="A1.SS2.p2.3.m3.1.1.3.cmml"><mi id="A1.SS2.p2.3.m3.1.1.3.2" xref="A1.SS2.p2.3.m3.1.1.3.2.cmml">d</mi><mo id="A1.SS2.p2.3.m3.1.1.3.1" xref="A1.SS2.p2.3.m3.1.1.3.1.cmml">+</mo><mn id="A1.SS2.p2.3.m3.1.1.3.3" xref="A1.SS2.p2.3.m3.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.3.m3.1b"><apply id="A1.SS2.p2.3.m3.1.1.cmml" xref="A1.SS2.p2.3.m3.1.1"><geq id="A1.SS2.p2.3.m3.1.1.1.cmml" xref="A1.SS2.p2.3.m3.1.1.1"></geq><apply id="A1.SS2.p2.3.m3.1.1.2.cmml" xref="A1.SS2.p2.3.m3.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.3.m3.1.1.2.1.cmml" xref="A1.SS2.p2.3.m3.1.1.2">subscript</csymbol><ci id="A1.SS2.p2.3.m3.1.1.2.2.cmml" xref="A1.SS2.p2.3.m3.1.1.2.2">𝑇</ci><cn id="A1.SS2.p2.3.m3.1.1.2.3.cmml" type="integer" xref="A1.SS2.p2.3.m3.1.1.2.3">0</cn></apply><apply id="A1.SS2.p2.3.m3.1.1.3.cmml" xref="A1.SS2.p2.3.m3.1.1.3"><plus id="A1.SS2.p2.3.m3.1.1.3.1.cmml" xref="A1.SS2.p2.3.m3.1.1.3.1"></plus><ci id="A1.SS2.p2.3.m3.1.1.3.2.cmml" xref="A1.SS2.p2.3.m3.1.1.3.2">𝑑</ci><cn id="A1.SS2.p2.3.m3.1.1.3.3.cmml" type="integer" xref="A1.SS2.p2.3.m3.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.3.m3.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.3.m3.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math>), then <math alttext="X_{n-1}^{\dagger}=(X_{n-1}^{\top}X_{n-1})^{-1}X_{n-1}^{\top}" class="ltx_Math" display="inline" id="A1.SS2.p2.4.m4.1"><semantics id="A1.SS2.p2.4.m4.1a"><mrow id="A1.SS2.p2.4.m4.1.1" xref="A1.SS2.p2.4.m4.1.1.cmml"><msubsup id="A1.SS2.p2.4.m4.1.1.3" xref="A1.SS2.p2.4.m4.1.1.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.3.2.2" xref="A1.SS2.p2.4.m4.1.1.3.2.2.cmml">X</mi><mrow id="A1.SS2.p2.4.m4.1.1.3.2.3" xref="A1.SS2.p2.4.m4.1.1.3.2.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.3.2.3.2" xref="A1.SS2.p2.4.m4.1.1.3.2.3.2.cmml">n</mi><mo id="A1.SS2.p2.4.m4.1.1.3.2.3.1" xref="A1.SS2.p2.4.m4.1.1.3.2.3.1.cmml">−</mo><mn id="A1.SS2.p2.4.m4.1.1.3.2.3.3" xref="A1.SS2.p2.4.m4.1.1.3.2.3.3.cmml">1</mn></mrow><mo id="A1.SS2.p2.4.m4.1.1.3.3" xref="A1.SS2.p2.4.m4.1.1.3.3.cmml">†</mo></msubsup><mo id="A1.SS2.p2.4.m4.1.1.2" xref="A1.SS2.p2.4.m4.1.1.2.cmml">=</mo><mrow id="A1.SS2.p2.4.m4.1.1.1" xref="A1.SS2.p2.4.m4.1.1.1.cmml"><msup id="A1.SS2.p2.4.m4.1.1.1.1" xref="A1.SS2.p2.4.m4.1.1.1.1.cmml"><mrow id="A1.SS2.p2.4.m4.1.1.1.1.1.1" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.cmml"><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.2" stretchy="false" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.cmml"><msubsup id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.2" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.2.cmml">X</mi><mrow id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.2" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.2.cmml">n</mi><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.1" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.1.cmml">−</mo><mn id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.3.cmml">1</mn></mrow><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.3.cmml">⊤</mo></msubsup><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.1" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.1.cmml">⁢</mo><msub id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.2" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.2.cmml">X</mi><mrow id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.2" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.2.cmml">n</mi><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.1" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.3" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.SS2.p2.4.m4.1.1.1.1.1.1.3" stretchy="false" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.SS2.p2.4.m4.1.1.1.1.3" xref="A1.SS2.p2.4.m4.1.1.1.1.3.cmml"><mo id="A1.SS2.p2.4.m4.1.1.1.1.3a" xref="A1.SS2.p2.4.m4.1.1.1.1.3.cmml">−</mo><mn id="A1.SS2.p2.4.m4.1.1.1.1.3.2" xref="A1.SS2.p2.4.m4.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.SS2.p2.4.m4.1.1.1.2" xref="A1.SS2.p2.4.m4.1.1.1.2.cmml">⁢</mo><msubsup id="A1.SS2.p2.4.m4.1.1.1.3" xref="A1.SS2.p2.4.m4.1.1.1.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.3.2.2" xref="A1.SS2.p2.4.m4.1.1.1.3.2.2.cmml">X</mi><mrow id="A1.SS2.p2.4.m4.1.1.1.3.2.3" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.cmml"><mi id="A1.SS2.p2.4.m4.1.1.1.3.2.3.2" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.2.cmml">n</mi><mo id="A1.SS2.p2.4.m4.1.1.1.3.2.3.1" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.1.cmml">−</mo><mn id="A1.SS2.p2.4.m4.1.1.1.3.2.3.3" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.3.cmml">1</mn></mrow><mo id="A1.SS2.p2.4.m4.1.1.1.3.3" xref="A1.SS2.p2.4.m4.1.1.1.3.3.cmml">⊤</mo></msubsup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.4.m4.1b"><apply id="A1.SS2.p2.4.m4.1.1.cmml" xref="A1.SS2.p2.4.m4.1.1"><eq id="A1.SS2.p2.4.m4.1.1.2.cmml" xref="A1.SS2.p2.4.m4.1.1.2"></eq><apply id="A1.SS2.p2.4.m4.1.1.3.cmml" xref="A1.SS2.p2.4.m4.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.3">superscript</csymbol><apply id="A1.SS2.p2.4.m4.1.1.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.3.2.1.cmml" xref="A1.SS2.p2.4.m4.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.4.m4.1.1.3.2.2.cmml" xref="A1.SS2.p2.4.m4.1.1.3.2.2">𝑋</ci><apply id="A1.SS2.p2.4.m4.1.1.3.2.3.cmml" xref="A1.SS2.p2.4.m4.1.1.3.2.3"><minus id="A1.SS2.p2.4.m4.1.1.3.2.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.3.2.3.1"></minus><ci id="A1.SS2.p2.4.m4.1.1.3.2.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.3.2.3.2">𝑛</ci><cn id="A1.SS2.p2.4.m4.1.1.3.2.3.3.cmml" type="integer" xref="A1.SS2.p2.4.m4.1.1.3.2.3.3">1</cn></apply></apply><ci id="A1.SS2.p2.4.m4.1.1.3.3.cmml" xref="A1.SS2.p2.4.m4.1.1.3.3">†</ci></apply><apply id="A1.SS2.p2.4.m4.1.1.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1"><times id="A1.SS2.p2.4.m4.1.1.1.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.2"></times><apply id="A1.SS2.p2.4.m4.1.1.1.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.1.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1">superscript</csymbol><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1"><times id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.1"></times><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.2">𝑋</ci><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3"><minus id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.1"></minus><ci id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.2">𝑛</ci><cn id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.3.cmml" type="integer" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.2.3.3">1</cn></apply></apply><csymbol cd="latexml" id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.2.3">top</csymbol></apply><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.2">𝑋</ci><apply id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3"><minus id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.1"></minus><ci id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.2">𝑛</ci><cn id="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.3.cmml" type="integer" xref="A1.SS2.p2.4.m4.1.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply><apply id="A1.SS2.p2.4.m4.1.1.1.1.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.3"><minus id="A1.SS2.p2.4.m4.1.1.1.1.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.1.3"></minus><cn id="A1.SS2.p2.4.m4.1.1.1.1.3.2.cmml" type="integer" xref="A1.SS2.p2.4.m4.1.1.1.1.3.2">1</cn></apply></apply><apply id="A1.SS2.p2.4.m4.1.1.1.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3">superscript</csymbol><apply id="A1.SS2.p2.4.m4.1.1.1.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.4.m4.1.1.1.3.2.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.4.m4.1.1.1.3.2.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3.2.2">𝑋</ci><apply id="A1.SS2.p2.4.m4.1.1.1.3.2.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3"><minus id="A1.SS2.p2.4.m4.1.1.1.3.2.3.1.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.1"></minus><ci id="A1.SS2.p2.4.m4.1.1.1.3.2.3.2.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.2">𝑛</ci><cn id="A1.SS2.p2.4.m4.1.1.1.3.2.3.3.cmml" type="integer" xref="A1.SS2.p2.4.m4.1.1.1.3.2.3.3">1</cn></apply></apply><csymbol cd="latexml" id="A1.SS2.p2.4.m4.1.1.1.3.3.cmml" xref="A1.SS2.p2.4.m4.1.1.1.3.3">top</csymbol></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.4.m4.1c">X_{n-1}^{\dagger}=(X_{n-1}^{\top}X_{n-1})^{-1}X_{n-1}^{\top}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.4.m4.1d">italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT = ( italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT</annotation></semantics></math>, <math alttext="P_{n-1}=I_{d}" class="ltx_Math" display="inline" id="A1.SS2.p2.5.m5.1"><semantics id="A1.SS2.p2.5.m5.1a"><mrow id="A1.SS2.p2.5.m5.1.1" xref="A1.SS2.p2.5.m5.1.1.cmml"><msub id="A1.SS2.p2.5.m5.1.1.2" xref="A1.SS2.p2.5.m5.1.1.2.cmml"><mi id="A1.SS2.p2.5.m5.1.1.2.2" xref="A1.SS2.p2.5.m5.1.1.2.2.cmml">P</mi><mrow id="A1.SS2.p2.5.m5.1.1.2.3" xref="A1.SS2.p2.5.m5.1.1.2.3.cmml"><mi id="A1.SS2.p2.5.m5.1.1.2.3.2" xref="A1.SS2.p2.5.m5.1.1.2.3.2.cmml">n</mi><mo id="A1.SS2.p2.5.m5.1.1.2.3.1" xref="A1.SS2.p2.5.m5.1.1.2.3.1.cmml">−</mo><mn id="A1.SS2.p2.5.m5.1.1.2.3.3" xref="A1.SS2.p2.5.m5.1.1.2.3.3.cmml">1</mn></mrow></msub><mo id="A1.SS2.p2.5.m5.1.1.1" xref="A1.SS2.p2.5.m5.1.1.1.cmml">=</mo><msub id="A1.SS2.p2.5.m5.1.1.3" xref="A1.SS2.p2.5.m5.1.1.3.cmml"><mi id="A1.SS2.p2.5.m5.1.1.3.2" xref="A1.SS2.p2.5.m5.1.1.3.2.cmml">I</mi><mi id="A1.SS2.p2.5.m5.1.1.3.3" xref="A1.SS2.p2.5.m5.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.5.m5.1b"><apply id="A1.SS2.p2.5.m5.1.1.cmml" xref="A1.SS2.p2.5.m5.1.1"><eq id="A1.SS2.p2.5.m5.1.1.1.cmml" xref="A1.SS2.p2.5.m5.1.1.1"></eq><apply id="A1.SS2.p2.5.m5.1.1.2.cmml" xref="A1.SS2.p2.5.m5.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.5.m5.1.1.2.1.cmml" xref="A1.SS2.p2.5.m5.1.1.2">subscript</csymbol><ci id="A1.SS2.p2.5.m5.1.1.2.2.cmml" xref="A1.SS2.p2.5.m5.1.1.2.2">𝑃</ci><apply id="A1.SS2.p2.5.m5.1.1.2.3.cmml" xref="A1.SS2.p2.5.m5.1.1.2.3"><minus id="A1.SS2.p2.5.m5.1.1.2.3.1.cmml" xref="A1.SS2.p2.5.m5.1.1.2.3.1"></minus><ci id="A1.SS2.p2.5.m5.1.1.2.3.2.cmml" xref="A1.SS2.p2.5.m5.1.1.2.3.2">𝑛</ci><cn id="A1.SS2.p2.5.m5.1.1.2.3.3.cmml" type="integer" xref="A1.SS2.p2.5.m5.1.1.2.3.3">1</cn></apply></apply><apply id="A1.SS2.p2.5.m5.1.1.3.cmml" xref="A1.SS2.p2.5.m5.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.5.m5.1.1.3.1.cmml" xref="A1.SS2.p2.5.m5.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.5.m5.1.1.3.2.cmml" xref="A1.SS2.p2.5.m5.1.1.3.2">𝐼</ci><ci id="A1.SS2.p2.5.m5.1.1.3.3.cmml" xref="A1.SS2.p2.5.m5.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.5.m5.1c">P_{n-1}=I_{d}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.5.m5.1d">italic_P start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math>, and the above further simplifies to</p> <table class="ltx_equation ltx_eqn_table" id="A1.Ex5"> <tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_eqn_cell ltx_align_center"><math alttext="\widehat{w}_{n}^{pred}=RS\widehat{w}_{n-1}+RX^{\top}E/T+RS(X_{n-1}^{\top}X_{n-% 1})^{-1}X_{n-1}^{\top}E_{n-1}\overset{D}{=}\widehat{w}_{n-1}^{pred}+\Delta_{n}," class="ltx_Math" display="block" id="A1.Ex5.m1.1"><semantics id="A1.Ex5.m1.1a"><mrow id="A1.Ex5.m1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.cmml"><mrow id="A1.Ex5.m1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.cmml"><msubsup id="A1.Ex5.m1.1.1.1.1.3" xref="A1.Ex5.m1.1.1.1.1.3.cmml"><mover accent="true" id="A1.Ex5.m1.1.1.1.1.3.2.2" xref="A1.Ex5.m1.1.1.1.1.3.2.2.cmml"><mi id="A1.Ex5.m1.1.1.1.1.3.2.2.2" xref="A1.Ex5.m1.1.1.1.1.3.2.2.2.cmml">w</mi><mo id="A1.Ex5.m1.1.1.1.1.3.2.2.1" xref="A1.Ex5.m1.1.1.1.1.3.2.2.1.cmml">^</mo></mover><mi id="A1.Ex5.m1.1.1.1.1.3.2.3" xref="A1.Ex5.m1.1.1.1.1.3.2.3.cmml">n</mi><mrow id="A1.Ex5.m1.1.1.1.1.3.3" xref="A1.Ex5.m1.1.1.1.1.3.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.3.3.2" xref="A1.Ex5.m1.1.1.1.1.3.3.2.cmml">p</mi><mo id="A1.Ex5.m1.1.1.1.1.3.3.1" xref="A1.Ex5.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.3.3.3" xref="A1.Ex5.m1.1.1.1.1.3.3.3.cmml">r</mi><mo id="A1.Ex5.m1.1.1.1.1.3.3.1a" xref="A1.Ex5.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.3.3.4" xref="A1.Ex5.m1.1.1.1.1.3.3.4.cmml">e</mi><mo id="A1.Ex5.m1.1.1.1.1.3.3.1b" xref="A1.Ex5.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.3.3.5" xref="A1.Ex5.m1.1.1.1.1.3.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex5.m1.1.1.1.1.2" xref="A1.Ex5.m1.1.1.1.1.2.cmml">=</mo><mrow id="A1.Ex5.m1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.cmml"><mrow id="A1.Ex5.m1.1.1.1.1.1.3" xref="A1.Ex5.m1.1.1.1.1.1.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.3.2" xref="A1.Ex5.m1.1.1.1.1.1.3.2.cmml">R</mi><mo id="A1.Ex5.m1.1.1.1.1.1.3.1" xref="A1.Ex5.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.3.3" xref="A1.Ex5.m1.1.1.1.1.1.3.3.cmml">S</mi><mo id="A1.Ex5.m1.1.1.1.1.1.3.1a" xref="A1.Ex5.m1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.Ex5.m1.1.1.1.1.1.3.4" xref="A1.Ex5.m1.1.1.1.1.1.3.4.cmml"><mover accent="true" id="A1.Ex5.m1.1.1.1.1.1.3.4.2" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.3.4.2.2" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2.2.cmml">w</mi><mo id="A1.Ex5.m1.1.1.1.1.1.3.4.2.1" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2.1.cmml">^</mo></mover><mrow id="A1.Ex5.m1.1.1.1.1.1.3.4.3" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.3.4.3.2" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.3.4.3.1" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.3.4.3.3" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.2" xref="A1.Ex5.m1.1.1.1.1.1.2.cmml">+</mo><mrow id="A1.Ex5.m1.1.1.1.1.1.4" xref="A1.Ex5.m1.1.1.1.1.1.4.cmml"><mrow id="A1.Ex5.m1.1.1.1.1.1.4.2" xref="A1.Ex5.m1.1.1.1.1.1.4.2.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.4.2.2" xref="A1.Ex5.m1.1.1.1.1.1.4.2.2.cmml">R</mi><mo id="A1.Ex5.m1.1.1.1.1.1.4.2.1" xref="A1.Ex5.m1.1.1.1.1.1.4.2.1.cmml">⁢</mo><msup id="A1.Ex5.m1.1.1.1.1.1.4.2.3" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.4.2.3.2" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3.2.cmml">X</mi><mo id="A1.Ex5.m1.1.1.1.1.1.4.2.3.3" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3.3.cmml">⊤</mo></msup><mo id="A1.Ex5.m1.1.1.1.1.1.4.2.1a" xref="A1.Ex5.m1.1.1.1.1.1.4.2.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.4.2.4" xref="A1.Ex5.m1.1.1.1.1.1.4.2.4.cmml">E</mi></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.4.1" xref="A1.Ex5.m1.1.1.1.1.1.4.1.cmml">/</mo><mi id="A1.Ex5.m1.1.1.1.1.1.4.3" xref="A1.Ex5.m1.1.1.1.1.1.4.3.cmml">T</mi></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.2a" xref="A1.Ex5.m1.1.1.1.1.1.2.cmml">+</mo><mrow id="A1.Ex5.m1.1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.1.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.3" xref="A1.Ex5.m1.1.1.1.1.1.1.3.cmml">R</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.2" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.1.4" xref="A1.Ex5.m1.1.1.1.1.1.1.4.cmml">S</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.2a" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><msup id="A1.Ex5.m1.1.1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.cmml"><mrow id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">X</mi><mrow id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.3.cmml">1</mn></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">⊤</mo></msubsup><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">⁢</mo><msub id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">X</mi><mrow id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex5.m1.1.1.1.1.1.1.1.3" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3.cmml"><mo id="A1.Ex5.m1.1.1.1.1.1.1.1.3a" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.1.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.Ex5.m1.1.1.1.1.1.1.2b" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><msubsup id="A1.Ex5.m1.1.1.1.1.1.1.5" xref="A1.Ex5.m1.1.1.1.1.1.1.5.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.5.2.2" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.2.cmml">X</mi><mrow id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.3.cmml">1</mn></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.1.5.3" xref="A1.Ex5.m1.1.1.1.1.1.1.5.3.cmml">⊤</mo></msubsup><mo id="A1.Ex5.m1.1.1.1.1.1.1.2c" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><msub id="A1.Ex5.m1.1.1.1.1.1.1.6" xref="A1.Ex5.m1.1.1.1.1.1.1.6.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.6.2" xref="A1.Ex5.m1.1.1.1.1.1.1.6.2.cmml">E</mi><mrow id="A1.Ex5.m1.1.1.1.1.1.1.6.3" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.6.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.6.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.6.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.3.cmml">1</mn></mrow></msub><mo id="A1.Ex5.m1.1.1.1.1.1.1.2d" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><mover accent="true" id="A1.Ex5.m1.1.1.1.1.1.1.7" xref="A1.Ex5.m1.1.1.1.1.1.1.7.cmml"><mo id="A1.Ex5.m1.1.1.1.1.1.1.7.2" xref="A1.Ex5.m1.1.1.1.1.1.1.7.2.cmml">=</mo><mo id="A1.Ex5.m1.1.1.1.1.1.1.7.1" xref="A1.Ex5.m1.1.1.1.1.1.1.7.1.cmml">𝐷</mo></mover><mo id="A1.Ex5.m1.1.1.1.1.1.1.2e" xref="A1.Ex5.m1.1.1.1.1.1.1.2.cmml">⁢</mo><msubsup id="A1.Ex5.m1.1.1.1.1.1.1.8" xref="A1.Ex5.m1.1.1.1.1.1.1.8.cmml"><mover accent="true" id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.2" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.2.cmml">w</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.1" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.1.cmml">^</mo></mover><mrow id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.2.cmml">n</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.1.cmml">−</mo><mn id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.3.cmml">1</mn></mrow><mrow id="A1.Ex5.m1.1.1.1.1.1.1.8.3" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.3.2" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.2.cmml">p</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.8.3.1" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.3.3" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.3.cmml">r</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.8.3.1a" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.3.4" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.4.cmml">e</mi><mo id="A1.Ex5.m1.1.1.1.1.1.1.8.3.1b" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.1.cmml">⁢</mo><mi id="A1.Ex5.m1.1.1.1.1.1.1.8.3.5" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.5.cmml">d</mi></mrow></msubsup></mrow><mo id="A1.Ex5.m1.1.1.1.1.1.2b" xref="A1.Ex5.m1.1.1.1.1.1.2.cmml">+</mo><msub id="A1.Ex5.m1.1.1.1.1.1.5" xref="A1.Ex5.m1.1.1.1.1.1.5.cmml"><mi id="A1.Ex5.m1.1.1.1.1.1.5.2" mathvariant="normal" xref="A1.Ex5.m1.1.1.1.1.1.5.2.cmml">Δ</mi><mi id="A1.Ex5.m1.1.1.1.1.1.5.3" xref="A1.Ex5.m1.1.1.1.1.1.5.3.cmml">n</mi></msub></mrow></mrow><mo id="A1.Ex5.m1.1.1.1.2" xref="A1.Ex5.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex5.m1.1b"><apply id="A1.Ex5.m1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1"><eq id="A1.Ex5.m1.1.1.1.1.2.cmml" xref="A1.Ex5.m1.1.1.1.1.2"></eq><apply id="A1.Ex5.m1.1.1.1.1.3.cmml" xref="A1.Ex5.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.3">superscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.3.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.3">subscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.3.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.3.2.2"><ci id="A1.Ex5.m1.1.1.1.1.3.2.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.3.2.2.1">^</ci><ci id="A1.Ex5.m1.1.1.1.1.3.2.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.3.2.2.2">𝑤</ci></apply><ci id="A1.Ex5.m1.1.1.1.1.3.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.3.2.3">𝑛</ci></apply><apply id="A1.Ex5.m1.1.1.1.1.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3"><times id="A1.Ex5.m1.1.1.1.1.3.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3.1"></times><ci id="A1.Ex5.m1.1.1.1.1.3.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3.2">𝑝</ci><ci id="A1.Ex5.m1.1.1.1.1.3.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3.3">𝑟</ci><ci id="A1.Ex5.m1.1.1.1.1.3.3.4.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3.4">𝑒</ci><ci id="A1.Ex5.m1.1.1.1.1.3.3.5.cmml" xref="A1.Ex5.m1.1.1.1.1.3.3.5">𝑑</ci></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1"><plus id="A1.Ex5.m1.1.1.1.1.1.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.2"></plus><apply id="A1.Ex5.m1.1.1.1.1.1.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3"><times id="A1.Ex5.m1.1.1.1.1.1.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.1"></times><ci id="A1.Ex5.m1.1.1.1.1.1.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.2">𝑅</ci><ci id="A1.Ex5.m1.1.1.1.1.1.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.3">𝑆</ci><apply id="A1.Ex5.m1.1.1.1.1.1.3.4.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.3.4.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4">subscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.3.4.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2"><ci id="A1.Ex5.m1.1.1.1.1.1.3.4.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2.1">^</ci><ci id="A1.Ex5.m1.1.1.1.1.1.3.4.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.2.2">𝑤</ci></apply><apply id="A1.Ex5.m1.1.1.1.1.1.3.4.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3"><minus id="A1.Ex5.m1.1.1.1.1.1.3.4.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.3.4.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.3.4.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.3.4.3.3">1</cn></apply></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.4.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4"><divide id="A1.Ex5.m1.1.1.1.1.1.4.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.1"></divide><apply id="A1.Ex5.m1.1.1.1.1.1.4.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2"><times id="A1.Ex5.m1.1.1.1.1.1.4.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.1"></times><ci id="A1.Ex5.m1.1.1.1.1.1.4.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.2">𝑅</ci><apply id="A1.Ex5.m1.1.1.1.1.1.4.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.4.2.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3">superscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.4.2.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3.2">𝑋</ci><csymbol cd="latexml" id="A1.Ex5.m1.1.1.1.1.1.4.2.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.3.3">top</csymbol></apply><ci id="A1.Ex5.m1.1.1.1.1.1.4.2.4.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.2.4">𝐸</ci></apply><ci id="A1.Ex5.m1.1.1.1.1.1.4.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.4.3">𝑇</ci></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1"><times id="A1.Ex5.m1.1.1.1.1.1.1.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.2"></times><ci id="A1.Ex5.m1.1.1.1.1.1.1.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.3">𝑅</ci><ci id="A1.Ex5.m1.1.1.1.1.1.1.4.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.4">𝑆</ci><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1"><times id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.2">𝑋</ci><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.2.3.3">1</cn></apply></apply><csymbol cd="latexml" id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.2.3">top</csymbol></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝑋</ci><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.1.1.1.1.3.3.3">1</cn></apply></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3"></minus><cn id="A1.Ex5.m1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.5.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.5.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5">superscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.1.5.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.5.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5">subscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.1.5.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.2">𝑋</ci><apply id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.5.2.3.3">1</cn></apply></apply><csymbol cd="latexml" id="A1.Ex5.m1.1.1.1.1.1.1.5.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.5.3">top</csymbol></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.6.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.6.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6">subscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.1.6.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6.2">𝐸</ci><apply id="A1.Ex5.m1.1.1.1.1.1.1.6.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.6.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.1.6.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.1.6.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.6.3.3">1</cn></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.7.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.7"><ci id="A1.Ex5.m1.1.1.1.1.1.1.7.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.7.1">𝐷</ci><eq id="A1.Ex5.m1.1.1.1.1.1.1.7.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.7.2"></eq></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.8.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.8.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8">superscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.1.8.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.1.8.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8">subscript</csymbol><apply id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2"><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.1">^</ci><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.2.2">𝑤</ci></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3"><minus id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.1"></minus><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.2">𝑛</ci><cn id="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.3.cmml" type="integer" xref="A1.Ex5.m1.1.1.1.1.1.1.8.2.3.3">1</cn></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.1.8.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3"><times id="A1.Ex5.m1.1.1.1.1.1.1.8.3.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.1"></times><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.3.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.2">𝑝</ci><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.3.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.3">𝑟</ci><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.3.4.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.4">𝑒</ci><ci id="A1.Ex5.m1.1.1.1.1.1.1.8.3.5.cmml" xref="A1.Ex5.m1.1.1.1.1.1.1.8.3.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex5.m1.1.1.1.1.1.5.cmml" xref="A1.Ex5.m1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.Ex5.m1.1.1.1.1.1.5.1.cmml" xref="A1.Ex5.m1.1.1.1.1.1.5">subscript</csymbol><ci id="A1.Ex5.m1.1.1.1.1.1.5.2.cmml" xref="A1.Ex5.m1.1.1.1.1.1.5.2">Δ</ci><ci id="A1.Ex5.m1.1.1.1.1.1.5.3.cmml" xref="A1.Ex5.m1.1.1.1.1.1.5.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex5.m1.1c">\widehat{w}_{n}^{pred}=RS\widehat{w}_{n-1}+RX^{\top}E/T+RS(X_{n-1}^{\top}X_{n-% 1})^{-1}X_{n-1}^{\top}E_{n-1}\overset{D}{=}\widehat{w}_{n-1}^{pred}+\Delta_{n},</annotation><annotation encoding="application/x-llamapun" id="A1.Ex5.m1.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT = italic_R italic_S over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT + italic_R italic_X start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E / italic_T + italic_R italic_S ( italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT overitalic_D start_ARG = end_ARG over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT + roman_Δ start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p2.8">where <math alttext="\Delta_{n}:=RS(X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}E_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p2.6.m1.1"><semantics id="A1.SS2.p2.6.m1.1a"><mrow id="A1.SS2.p2.6.m1.1.1" xref="A1.SS2.p2.6.m1.1.1.cmml"><msub id="A1.SS2.p2.6.m1.1.1.3" xref="A1.SS2.p2.6.m1.1.1.3.cmml"><mi id="A1.SS2.p2.6.m1.1.1.3.2" mathvariant="normal" xref="A1.SS2.p2.6.m1.1.1.3.2.cmml">Δ</mi><mi id="A1.SS2.p2.6.m1.1.1.3.3" xref="A1.SS2.p2.6.m1.1.1.3.3.cmml">n</mi></msub><mo id="A1.SS2.p2.6.m1.1.1.2" lspace="0.278em" rspace="0.278em" xref="A1.SS2.p2.6.m1.1.1.2.cmml">:=</mo><mrow id="A1.SS2.p2.6.m1.1.1.1" xref="A1.SS2.p2.6.m1.1.1.1.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.3" xref="A1.SS2.p2.6.m1.1.1.1.3.cmml">R</mi><mo id="A1.SS2.p2.6.m1.1.1.1.2" xref="A1.SS2.p2.6.m1.1.1.1.2.cmml">⁢</mo><mi id="A1.SS2.p2.6.m1.1.1.1.4" xref="A1.SS2.p2.6.m1.1.1.1.4.cmml">S</mi><mo id="A1.SS2.p2.6.m1.1.1.1.2a" xref="A1.SS2.p2.6.m1.1.1.1.2.cmml">⁢</mo><msup id="A1.SS2.p2.6.m1.1.1.1.1" xref="A1.SS2.p2.6.m1.1.1.1.1.cmml"><mrow id="A1.SS2.p2.6.m1.1.1.1.1.1.1" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.cmml"><mo id="A1.SS2.p2.6.m1.1.1.1.1.1.1.2" stretchy="false" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.cmml"><msubsup id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.2" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.2.cmml">X</mi><mn id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.3" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.3.cmml">0</mn><mo id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.3" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.3.cmml">⊤</mo></msubsup><mo id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.1" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.1.cmml">⁢</mo><msub id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.2" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.2.cmml">X</mi><mn id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.3" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="A1.SS2.p2.6.m1.1.1.1.1.1.1.3" stretchy="false" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.SS2.p2.6.m1.1.1.1.1.3" xref="A1.SS2.p2.6.m1.1.1.1.1.3.cmml"><mo id="A1.SS2.p2.6.m1.1.1.1.1.3a" xref="A1.SS2.p2.6.m1.1.1.1.1.3.cmml">−</mo><mn id="A1.SS2.p2.6.m1.1.1.1.1.3.2" xref="A1.SS2.p2.6.m1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.SS2.p2.6.m1.1.1.1.2b" xref="A1.SS2.p2.6.m1.1.1.1.2.cmml">⁢</mo><msubsup id="A1.SS2.p2.6.m1.1.1.1.5" xref="A1.SS2.p2.6.m1.1.1.1.5.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.5.2.2" xref="A1.SS2.p2.6.m1.1.1.1.5.2.2.cmml">X</mi><mn id="A1.SS2.p2.6.m1.1.1.1.5.2.3" xref="A1.SS2.p2.6.m1.1.1.1.5.2.3.cmml">0</mn><mo id="A1.SS2.p2.6.m1.1.1.1.5.3" xref="A1.SS2.p2.6.m1.1.1.1.5.3.cmml">⊤</mo></msubsup><mo id="A1.SS2.p2.6.m1.1.1.1.2c" xref="A1.SS2.p2.6.m1.1.1.1.2.cmml">⁢</mo><msub id="A1.SS2.p2.6.m1.1.1.1.6" xref="A1.SS2.p2.6.m1.1.1.1.6.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.6.2" xref="A1.SS2.p2.6.m1.1.1.1.6.2.cmml">E</mi><mrow id="A1.SS2.p2.6.m1.1.1.1.6.3" xref="A1.SS2.p2.6.m1.1.1.1.6.3.cmml"><mi id="A1.SS2.p2.6.m1.1.1.1.6.3.2" xref="A1.SS2.p2.6.m1.1.1.1.6.3.2.cmml">n</mi><mo id="A1.SS2.p2.6.m1.1.1.1.6.3.1" xref="A1.SS2.p2.6.m1.1.1.1.6.3.1.cmml">−</mo><mn id="A1.SS2.p2.6.m1.1.1.1.6.3.3" xref="A1.SS2.p2.6.m1.1.1.1.6.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.6.m1.1b"><apply id="A1.SS2.p2.6.m1.1.1.cmml" xref="A1.SS2.p2.6.m1.1.1"><csymbol cd="latexml" id="A1.SS2.p2.6.m1.1.1.2.cmml" xref="A1.SS2.p2.6.m1.1.1.2">assign</csymbol><apply id="A1.SS2.p2.6.m1.1.1.3.cmml" xref="A1.SS2.p2.6.m1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.3.1.cmml" xref="A1.SS2.p2.6.m1.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.6.m1.1.1.3.2.cmml" xref="A1.SS2.p2.6.m1.1.1.3.2">Δ</ci><ci id="A1.SS2.p2.6.m1.1.1.3.3.cmml" xref="A1.SS2.p2.6.m1.1.1.3.3">𝑛</ci></apply><apply id="A1.SS2.p2.6.m1.1.1.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1"><times id="A1.SS2.p2.6.m1.1.1.1.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.2"></times><ci id="A1.SS2.p2.6.m1.1.1.1.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.3">𝑅</ci><ci id="A1.SS2.p2.6.m1.1.1.1.4.cmml" xref="A1.SS2.p2.6.m1.1.1.1.4">𝑆</ci><apply id="A1.SS2.p2.6.m1.1.1.1.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.1.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1">superscript</csymbol><apply id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1"><times id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.1"></times><apply id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.2">𝑋</ci><cn id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.3.cmml" type="integer" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.2.3">0</cn></apply><csymbol cd="latexml" id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.2.3">top</csymbol></apply><apply id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.2">𝑋</ci><cn id="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.3.cmml" type="integer" xref="A1.SS2.p2.6.m1.1.1.1.1.1.1.1.3.3">0</cn></apply></apply><apply id="A1.SS2.p2.6.m1.1.1.1.1.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.3"><minus id="A1.SS2.p2.6.m1.1.1.1.1.3.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.1.3"></minus><cn id="A1.SS2.p2.6.m1.1.1.1.1.3.2.cmml" type="integer" xref="A1.SS2.p2.6.m1.1.1.1.1.3.2">1</cn></apply></apply><apply id="A1.SS2.p2.6.m1.1.1.1.5.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.5.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5">superscript</csymbol><apply id="A1.SS2.p2.6.m1.1.1.1.5.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.5.2.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5">subscript</csymbol><ci id="A1.SS2.p2.6.m1.1.1.1.5.2.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5.2.2">𝑋</ci><cn id="A1.SS2.p2.6.m1.1.1.1.5.2.3.cmml" type="integer" xref="A1.SS2.p2.6.m1.1.1.1.5.2.3">0</cn></apply><csymbol cd="latexml" id="A1.SS2.p2.6.m1.1.1.1.5.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.5.3">top</csymbol></apply><apply id="A1.SS2.p2.6.m1.1.1.1.6.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6"><csymbol cd="ambiguous" id="A1.SS2.p2.6.m1.1.1.1.6.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6">subscript</csymbol><ci id="A1.SS2.p2.6.m1.1.1.1.6.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6.2">𝐸</ci><apply id="A1.SS2.p2.6.m1.1.1.1.6.3.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6.3"><minus id="A1.SS2.p2.6.m1.1.1.1.6.3.1.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6.3.1"></minus><ci id="A1.SS2.p2.6.m1.1.1.1.6.3.2.cmml" xref="A1.SS2.p2.6.m1.1.1.1.6.3.2">𝑛</ci><cn id="A1.SS2.p2.6.m1.1.1.1.6.3.3.cmml" type="integer" xref="A1.SS2.p2.6.m1.1.1.1.6.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.6.m1.1c">\Delta_{n}:=RS(X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}E_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.6.m1.1d">roman_Δ start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT := italic_R italic_S ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math>. Since <math alttext="\widehat{w}_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p2.7.m2.1"><semantics id="A1.SS2.p2.7.m2.1a"><msub id="A1.SS2.p2.7.m2.1.1" xref="A1.SS2.p2.7.m2.1.1.cmml"><mover accent="true" id="A1.SS2.p2.7.m2.1.1.2" xref="A1.SS2.p2.7.m2.1.1.2.cmml"><mi id="A1.SS2.p2.7.m2.1.1.2.2" xref="A1.SS2.p2.7.m2.1.1.2.2.cmml">w</mi><mo id="A1.SS2.p2.7.m2.1.1.2.1" xref="A1.SS2.p2.7.m2.1.1.2.1.cmml">^</mo></mover><mrow id="A1.SS2.p2.7.m2.1.1.3" xref="A1.SS2.p2.7.m2.1.1.3.cmml"><mi id="A1.SS2.p2.7.m2.1.1.3.2" xref="A1.SS2.p2.7.m2.1.1.3.2.cmml">n</mi><mo id="A1.SS2.p2.7.m2.1.1.3.1" xref="A1.SS2.p2.7.m2.1.1.3.1.cmml">−</mo><mn id="A1.SS2.p2.7.m2.1.1.3.3" xref="A1.SS2.p2.7.m2.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.7.m2.1b"><apply id="A1.SS2.p2.7.m2.1.1.cmml" xref="A1.SS2.p2.7.m2.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.7.m2.1.1.1.cmml" xref="A1.SS2.p2.7.m2.1.1">subscript</csymbol><apply id="A1.SS2.p2.7.m2.1.1.2.cmml" xref="A1.SS2.p2.7.m2.1.1.2"><ci id="A1.SS2.p2.7.m2.1.1.2.1.cmml" xref="A1.SS2.p2.7.m2.1.1.2.1">^</ci><ci id="A1.SS2.p2.7.m2.1.1.2.2.cmml" xref="A1.SS2.p2.7.m2.1.1.2.2">𝑤</ci></apply><apply id="A1.SS2.p2.7.m2.1.1.3.cmml" xref="A1.SS2.p2.7.m2.1.1.3"><minus id="A1.SS2.p2.7.m2.1.1.3.1.cmml" xref="A1.SS2.p2.7.m2.1.1.3.1"></minus><ci id="A1.SS2.p2.7.m2.1.1.3.2.cmml" xref="A1.SS2.p2.7.m2.1.1.3.2">𝑛</ci><cn id="A1.SS2.p2.7.m2.1.1.3.3.cmml" type="integer" xref="A1.SS2.p2.7.m2.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.7.m2.1c">\widehat{w}_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.7.m2.1d">over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math> and <math alttext="\Delta_{n}" class="ltx_Math" display="inline" id="A1.SS2.p2.8.m3.1"><semantics id="A1.SS2.p2.8.m3.1a"><msub id="A1.SS2.p2.8.m3.1.1" xref="A1.SS2.p2.8.m3.1.1.cmml"><mi id="A1.SS2.p2.8.m3.1.1.2" mathvariant="normal" xref="A1.SS2.p2.8.m3.1.1.2.cmml">Δ</mi><mi id="A1.SS2.p2.8.m3.1.1.3" xref="A1.SS2.p2.8.m3.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.8.m3.1b"><apply id="A1.SS2.p2.8.m3.1.1.cmml" xref="A1.SS2.p2.8.m3.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.8.m3.1.1.1.cmml" xref="A1.SS2.p2.8.m3.1.1">subscript</csymbol><ci id="A1.SS2.p2.8.m3.1.1.2.cmml" xref="A1.SS2.p2.8.m3.1.1.2">Δ</ci><ci id="A1.SS2.p2.8.m3.1.1.3.cmml" xref="A1.SS2.p2.8.m3.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.8.m3.1c">\Delta_{n}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.8.m3.1d">roman_Δ start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT</annotation></semantics></math> are independent by construction, we deduce that</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx31"> <tbody id="A1.E32"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})=\mathbb{E}\,\|\widehat{w}_{n}^{% pred}-w_{0}\|_{\Sigma}^{2}=\mathbb{E}\,\|\widehat{w}_{n-1}^{pred}-w_{0}\|_{% \Sigma}^{2}+\mathbb{E}\,\|\Delta_{n}\|_{\Sigma}^{2}." class="ltx_Math" display="inline" id="A1.E32.m1.1"><semantics id="A1.E32.m1.1a"><mrow id="A1.E32.m1.1.1.1" xref="A1.E32.m1.1.1.1.1.cmml"><mrow id="A1.E32.m1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.cmml"><mrow id="A1.E32.m1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.1.cmml"><msub id="A1.E32.m1.1.1.1.1.1.3" xref="A1.E32.m1.1.1.1.1.1.3.cmml"><mi id="A1.E32.m1.1.1.1.1.1.3.2" xref="A1.E32.m1.1.1.1.1.1.3.2.cmml">E</mi><mrow id="A1.E32.m1.1.1.1.1.1.3.3" xref="A1.E32.m1.1.1.1.1.1.3.3.cmml"><mi id="A1.E32.m1.1.1.1.1.1.3.3.2" xref="A1.E32.m1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="A1.E32.m1.1.1.1.1.1.3.3.1" xref="A1.E32.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.3.3.3" xref="A1.E32.m1.1.1.1.1.1.3.3.3.cmml">e</mi><mo id="A1.E32.m1.1.1.1.1.1.3.3.1a" xref="A1.E32.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.3.3.4" xref="A1.E32.m1.1.1.1.1.1.3.3.4.cmml">s</mi><mo id="A1.E32.m1.1.1.1.1.1.3.3.1b" xref="A1.E32.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.3.3.5" xref="A1.E32.m1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.E32.m1.1.1.1.1.1.2" xref="A1.E32.m1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="A1.E32.m1.1.1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.1.1.1.1.cmml"><mo id="A1.E32.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.E32.m1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="A1.E32.m1.1.1.1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.2" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.1" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.2.3" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="A1.E32.m1.1.1.1.1.1.1.1.1.3" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.3.2" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="A1.E32.m1.1.1.1.1.1.1.1.1.3.1" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.3.3" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="A1.E32.m1.1.1.1.1.1.1.1.1.3.1a" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.3.4" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="A1.E32.m1.1.1.1.1.1.1.1.1.3.1b" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.1.1.1.1.3.5" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.E32.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.E32.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E32.m1.1.1.1.1.6" xref="A1.E32.m1.1.1.1.1.6.cmml">=</mo><mrow id="A1.E32.m1.1.1.1.1.2" xref="A1.E32.m1.1.1.1.1.2.cmml"><mi id="A1.E32.m1.1.1.1.1.2.3" xref="A1.E32.m1.1.1.1.1.2.3.cmml">𝔼</mi><mo id="A1.E32.m1.1.1.1.1.2.2" lspace="0.170em" xref="A1.E32.m1.1.1.1.1.2.2.cmml">⁢</mo><msubsup id="A1.E32.m1.1.1.1.1.2.1" xref="A1.E32.m1.1.1.1.1.2.1.cmml"><mrow id="A1.E32.m1.1.1.1.1.2.1.1.1.1" xref="A1.E32.m1.1.1.1.1.2.1.1.1.2.cmml"><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.2" stretchy="false" xref="A1.E32.m1.1.1.1.1.2.1.1.1.2.1.cmml">‖</mo><mrow id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.cmml"><msubsup id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.cmml"><mover accent="true" id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.cmml"><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.2" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.2.cmml">w</mi><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.1" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.1.cmml">^</mo></mover><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.3" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.3.cmml">n</mi><mrow id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.cmml"><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.2" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.2.cmml">p</mi><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.3" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.3.cmml">r</mi><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1a" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.4" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.4.cmml">e</mi><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1b" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.5" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.1.cmml">−</mo><msub id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.cmml"><mi id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.2" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.2.cmml">w</mi><mn id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.3" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="A1.E32.m1.1.1.1.1.2.1.1.1.1.3" stretchy="false" xref="A1.E32.m1.1.1.1.1.2.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A1.E32.m1.1.1.1.1.2.1.1.3" mathvariant="normal" xref="A1.E32.m1.1.1.1.1.2.1.1.3.cmml">Σ</mi><mn id="A1.E32.m1.1.1.1.1.2.1.3" xref="A1.E32.m1.1.1.1.1.2.1.3.cmml">2</mn></msubsup></mrow><mo id="A1.E32.m1.1.1.1.1.7" xref="A1.E32.m1.1.1.1.1.7.cmml">=</mo><mrow id="A1.E32.m1.1.1.1.1.4" xref="A1.E32.m1.1.1.1.1.4.cmml"><mrow id="A1.E32.m1.1.1.1.1.3.1" xref="A1.E32.m1.1.1.1.1.3.1.cmml"><mi id="A1.E32.m1.1.1.1.1.3.1.3" xref="A1.E32.m1.1.1.1.1.3.1.3.cmml">𝔼</mi><mo id="A1.E32.m1.1.1.1.1.3.1.2" lspace="0.170em" xref="A1.E32.m1.1.1.1.1.3.1.2.cmml">⁢</mo><msubsup id="A1.E32.m1.1.1.1.1.3.1.1" xref="A1.E32.m1.1.1.1.1.3.1.1.cmml"><mrow id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.2.cmml"><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.2" stretchy="false" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.cmml"><msubsup id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.cmml"><mover accent="true" id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.cmml"><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.2.cmml">w</mi><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.1.cmml">^</mo></mover><mrow id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.cmml"><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.2.cmml">n</mi><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.1.cmml">−</mo><mn id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.3.cmml">1</mn></mrow><mrow id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.cmml"><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.2.cmml">p</mi><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.3.cmml">r</mi><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1a" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.4" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.4.cmml">e</mi><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1b" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.5" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.1.cmml">−</mo><msub id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.cmml"><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.2" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.2.cmml">w</mi><mn id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.3" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.3" stretchy="false" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A1.E32.m1.1.1.1.1.3.1.1.1.3" mathvariant="normal" xref="A1.E32.m1.1.1.1.1.3.1.1.1.3.cmml">Σ</mi><mn id="A1.E32.m1.1.1.1.1.3.1.1.3" xref="A1.E32.m1.1.1.1.1.3.1.1.3.cmml">2</mn></msubsup></mrow><mo id="A1.E32.m1.1.1.1.1.4.3" xref="A1.E32.m1.1.1.1.1.4.3.cmml">+</mo><mrow id="A1.E32.m1.1.1.1.1.4.2" xref="A1.E32.m1.1.1.1.1.4.2.cmml"><mi id="A1.E32.m1.1.1.1.1.4.2.3" xref="A1.E32.m1.1.1.1.1.4.2.3.cmml">𝔼</mi><mo id="A1.E32.m1.1.1.1.1.4.2.2" lspace="0.170em" xref="A1.E32.m1.1.1.1.1.4.2.2.cmml">⁢</mo><msubsup id="A1.E32.m1.1.1.1.1.4.2.1" xref="A1.E32.m1.1.1.1.1.4.2.1.cmml"><mrow id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.2.cmml"><mo id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.2" stretchy="false" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.2.1.cmml">‖</mo><msub id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.cmml"><mi id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.2" mathvariant="normal" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.2.cmml">Δ</mi><mi id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.3" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.3.cmml">n</mi></msub><mo id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.3" stretchy="false" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A1.E32.m1.1.1.1.1.4.2.1.1.3" mathvariant="normal" xref="A1.E32.m1.1.1.1.1.4.2.1.1.3.cmml">Σ</mi><mn id="A1.E32.m1.1.1.1.1.4.2.1.3" xref="A1.E32.m1.1.1.1.1.4.2.1.3.cmml">2</mn></msubsup></mrow></mrow></mrow><mo id="A1.E32.m1.1.1.1.2" lspace="0em" xref="A1.E32.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E32.m1.1b"><apply id="A1.E32.m1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1"><and id="A1.E32.m1.1.1.1.1a.cmml" xref="A1.E32.m1.1.1.1"></and><apply id="A1.E32.m1.1.1.1.1b.cmml" xref="A1.E32.m1.1.1.1"><eq id="A1.E32.m1.1.1.1.1.6.cmml" xref="A1.E32.m1.1.1.1.1.6"></eq><apply id="A1.E32.m1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.1"><times id="A1.E32.m1.1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.1.2"></times><apply id="A1.E32.m1.1.1.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.1.3.1.cmml" xref="A1.E32.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.E32.m1.1.1.1.1.1.3.2.cmml" xref="A1.E32.m1.1.1.1.1.1.3.2">𝐸</ci><apply id="A1.E32.m1.1.1.1.1.1.3.3.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3"><times id="A1.E32.m1.1.1.1.1.1.3.3.1.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3.1"></times><ci id="A1.E32.m1.1.1.1.1.1.3.3.2.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3.2">𝑡</ci><ci id="A1.E32.m1.1.1.1.1.1.3.3.3.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3.3">𝑒</ci><ci id="A1.E32.m1.1.1.1.1.1.3.3.4.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3.4">𝑠</ci><ci id="A1.E32.m1.1.1.1.1.1.3.3.5.cmml" xref="A1.E32.m1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.E32.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2"><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="A1.E32.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3"><times id="A1.E32.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.3.4.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="A1.E32.m1.1.1.1.1.1.1.1.1.3.5.cmml" xref="A1.E32.m1.1.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="A1.E32.m1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.2"><times id="A1.E32.m1.1.1.1.1.2.2.cmml" xref="A1.E32.m1.1.1.1.1.2.2"></times><ci id="A1.E32.m1.1.1.1.1.2.3.cmml" xref="A1.E32.m1.1.1.1.1.2.3">𝔼</ci><apply id="A1.E32.m1.1.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.2.1.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.2.1.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.2.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1"><csymbol cd="latexml" id="A1.E32.m1.1.1.1.1.2.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.2">norm</csymbol><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1"><minus id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.1"></minus><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2"><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.1">^</ci><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.2.2">𝑤</ci></apply><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.3.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.2.3">𝑛</ci></apply><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3"><times id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.1"></times><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.2">𝑝</ci><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.3.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.3">𝑟</ci><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.4.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.4">𝑒</ci><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.5.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.2.3.5">𝑑</ci></apply></apply><apply id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.1.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3">subscript</csymbol><ci id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.2.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.2">𝑤</ci><cn id="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.2.1.1.1.1.1.3.3">0</cn></apply></apply></apply><ci id="A1.E32.m1.1.1.1.1.2.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.2.1.1.3">Σ</ci></apply><cn id="A1.E32.m1.1.1.1.1.2.1.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.2.1.3">2</cn></apply></apply></apply><apply id="A1.E32.m1.1.1.1.1c.cmml" xref="A1.E32.m1.1.1.1"><eq id="A1.E32.m1.1.1.1.1.7.cmml" xref="A1.E32.m1.1.1.1.1.7"></eq><share href="#A1.E32.m1.1.1.1.1.2.cmml" id="A1.E32.m1.1.1.1.1d.cmml" xref="A1.E32.m1.1.1.1"></share><apply id="A1.E32.m1.1.1.1.1.4.cmml" xref="A1.E32.m1.1.1.1.1.4"><plus id="A1.E32.m1.1.1.1.1.4.3.cmml" xref="A1.E32.m1.1.1.1.1.4.3"></plus><apply id="A1.E32.m1.1.1.1.1.3.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1"><times id="A1.E32.m1.1.1.1.1.3.1.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.2"></times><ci id="A1.E32.m1.1.1.1.1.3.1.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.3">𝔼</ci><apply id="A1.E32.m1.1.1.1.1.3.1.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.3.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.3.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1"><csymbol cd="latexml" id="A1.E32.m1.1.1.1.1.3.1.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.2">norm</csymbol><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1"><minus id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.1"></minus><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2"><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.1">^</ci><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.2.2">𝑤</ci></apply><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3"><minus id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.1"></minus><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.2">𝑛</ci><cn id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.2.3.3">1</cn></apply></apply><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3"><times id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.1"></times><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.2">𝑝</ci><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.3">𝑟</ci><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.4.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.4">𝑒</ci><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.5.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.2.3.5">𝑑</ci></apply></apply><apply id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.1.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.2.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.2">𝑤</ci><cn id="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.3.1.1.1.1.1.1.3.3">0</cn></apply></apply></apply><ci id="A1.E32.m1.1.1.1.1.3.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.3.1.1.1.3">Σ</ci></apply><cn id="A1.E32.m1.1.1.1.1.3.1.1.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.3.1.1.3">2</cn></apply></apply><apply id="A1.E32.m1.1.1.1.1.4.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2"><times id="A1.E32.m1.1.1.1.1.4.2.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2.2"></times><ci id="A1.E32.m1.1.1.1.1.4.2.3.cmml" xref="A1.E32.m1.1.1.1.1.4.2.3">𝔼</ci><apply id="A1.E32.m1.1.1.1.1.4.2.1.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.4.2.1.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1">superscript</csymbol><apply id="A1.E32.m1.1.1.1.1.4.2.1.1.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.4.2.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1">subscript</csymbol><apply id="A1.E32.m1.1.1.1.1.4.2.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1"><csymbol cd="latexml" id="A1.E32.m1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.2">norm</csymbol><apply id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.1.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1">subscript</csymbol><ci id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.2.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.2">Δ</ci><ci id="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.1.1.1.3">𝑛</ci></apply></apply><ci id="A1.E32.m1.1.1.1.1.4.2.1.1.3.cmml" xref="A1.E32.m1.1.1.1.1.4.2.1.1.3">Σ</ci></apply><cn id="A1.E32.m1.1.1.1.1.4.2.1.3.cmml" type="integer" xref="A1.E32.m1.1.1.1.1.4.2.1.3">2</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E32.m1.1c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})=\mathbb{E}\,\|\widehat{w}_{n}^{% pred}-w_{0}\|_{\Sigma}^{2}=\mathbb{E}\,\|\widehat{w}_{n-1}^{pred}-w_{0}\|_{% \Sigma}^{2}+\mathbb{E}\,\|\Delta_{n}\|_{\Sigma}^{2}.</annotation><annotation encoding="application/x-llamapun" id="A1.E32.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) = blackboard_E ∥ over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = blackboard_E ∥ over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT - italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT + blackboard_E ∥ roman_Δ start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(32)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p2.12">The first term on the RHS is just <math alttext="E_{test}(\widehat{w}_{n-1}^{pred})" class="ltx_Math" display="inline" id="A1.SS2.p2.9.m1.1"><semantics id="A1.SS2.p2.9.m1.1a"><mrow id="A1.SS2.p2.9.m1.1.1" xref="A1.SS2.p2.9.m1.1.1.cmml"><msub id="A1.SS2.p2.9.m1.1.1.3" xref="A1.SS2.p2.9.m1.1.1.3.cmml"><mi id="A1.SS2.p2.9.m1.1.1.3.2" xref="A1.SS2.p2.9.m1.1.1.3.2.cmml">E</mi><mrow id="A1.SS2.p2.9.m1.1.1.3.3" xref="A1.SS2.p2.9.m1.1.1.3.3.cmml"><mi id="A1.SS2.p2.9.m1.1.1.3.3.2" xref="A1.SS2.p2.9.m1.1.1.3.3.2.cmml">t</mi><mo id="A1.SS2.p2.9.m1.1.1.3.3.1" xref="A1.SS2.p2.9.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.3.3.3" xref="A1.SS2.p2.9.m1.1.1.3.3.3.cmml">e</mi><mo id="A1.SS2.p2.9.m1.1.1.3.3.1a" xref="A1.SS2.p2.9.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.3.3.4" xref="A1.SS2.p2.9.m1.1.1.3.3.4.cmml">s</mi><mo id="A1.SS2.p2.9.m1.1.1.3.3.1b" xref="A1.SS2.p2.9.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.3.3.5" xref="A1.SS2.p2.9.m1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.SS2.p2.9.m1.1.1.2" xref="A1.SS2.p2.9.m1.1.1.2.cmml">⁢</mo><mrow id="A1.SS2.p2.9.m1.1.1.1.1" xref="A1.SS2.p2.9.m1.1.1.1.1.1.cmml"><mo id="A1.SS2.p2.9.m1.1.1.1.1.2" stretchy="false" xref="A1.SS2.p2.9.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A1.SS2.p2.9.m1.1.1.1.1.1" xref="A1.SS2.p2.9.m1.1.1.1.1.1.cmml"><mover accent="true" id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.cmml"><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.2" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.1" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mrow id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.cmml"><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.2" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.2.cmml">n</mi><mo id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.1" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.1.cmml">−</mo><mn id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.3" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.3.cmml">1</mn></mrow><mrow id="A1.SS2.p2.9.m1.1.1.1.1.1.3" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.cmml"><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.3.2" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.2.cmml">p</mi><mo id="A1.SS2.p2.9.m1.1.1.1.1.1.3.1" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.3.3" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.3.cmml">r</mi><mo id="A1.SS2.p2.9.m1.1.1.1.1.1.3.1a" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.3.4" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.4.cmml">e</mi><mo id="A1.SS2.p2.9.m1.1.1.1.1.1.3.1b" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS2.p2.9.m1.1.1.1.1.1.3.5" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.SS2.p2.9.m1.1.1.1.1.3" stretchy="false" xref="A1.SS2.p2.9.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.9.m1.1b"><apply id="A1.SS2.p2.9.m1.1.1.cmml" xref="A1.SS2.p2.9.m1.1.1"><times id="A1.SS2.p2.9.m1.1.1.2.cmml" xref="A1.SS2.p2.9.m1.1.1.2"></times><apply id="A1.SS2.p2.9.m1.1.1.3.cmml" xref="A1.SS2.p2.9.m1.1.1.3"><csymbol cd="ambiguous" id="A1.SS2.p2.9.m1.1.1.3.1.cmml" xref="A1.SS2.p2.9.m1.1.1.3">subscript</csymbol><ci id="A1.SS2.p2.9.m1.1.1.3.2.cmml" xref="A1.SS2.p2.9.m1.1.1.3.2">𝐸</ci><apply id="A1.SS2.p2.9.m1.1.1.3.3.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3"><times id="A1.SS2.p2.9.m1.1.1.3.3.1.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3.1"></times><ci id="A1.SS2.p2.9.m1.1.1.3.3.2.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3.2">𝑡</ci><ci id="A1.SS2.p2.9.m1.1.1.3.3.3.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3.3">𝑒</ci><ci id="A1.SS2.p2.9.m1.1.1.3.3.4.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3.4">𝑠</ci><ci id="A1.SS2.p2.9.m1.1.1.3.3.5.cmml" xref="A1.SS2.p2.9.m1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.SS2.p2.9.m1.1.1.1.1.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.9.m1.1.1.1.1.1.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1">superscript</csymbol><apply id="A1.SS2.p2.9.m1.1.1.1.1.1.2.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.9.m1.1.1.1.1.1.2.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1">subscript</csymbol><apply id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2"><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.1">^</ci><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.2.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.2.2">𝑤</ci></apply><apply id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3"><minus id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.1"></minus><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.2.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.2">𝑛</ci><cn id="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.3.cmml" type="integer" xref="A1.SS2.p2.9.m1.1.1.1.1.1.2.3.3">1</cn></apply></apply><apply id="A1.SS2.p2.9.m1.1.1.1.1.1.3.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3"><times id="A1.SS2.p2.9.m1.1.1.1.1.1.3.1.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.1"></times><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.3.2.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.2">𝑝</ci><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.3.3.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.3">𝑟</ci><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.3.4.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.4">𝑒</ci><ci id="A1.SS2.p2.9.m1.1.1.1.1.1.3.5.cmml" xref="A1.SS2.p2.9.m1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.9.m1.1c">E_{test}(\widehat{w}_{n-1}^{pred})</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.9.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math>. Since <math alttext="E_{n-1}" class="ltx_Math" display="inline" id="A1.SS2.p2.10.m2.1"><semantics id="A1.SS2.p2.10.m2.1a"><msub id="A1.SS2.p2.10.m2.1.1" xref="A1.SS2.p2.10.m2.1.1.cmml"><mi id="A1.SS2.p2.10.m2.1.1.2" xref="A1.SS2.p2.10.m2.1.1.2.cmml">E</mi><mrow id="A1.SS2.p2.10.m2.1.1.3" xref="A1.SS2.p2.10.m2.1.1.3.cmml"><mi id="A1.SS2.p2.10.m2.1.1.3.2" xref="A1.SS2.p2.10.m2.1.1.3.2.cmml">n</mi><mo id="A1.SS2.p2.10.m2.1.1.3.1" xref="A1.SS2.p2.10.m2.1.1.3.1.cmml">−</mo><mn id="A1.SS2.p2.10.m2.1.1.3.3" xref="A1.SS2.p2.10.m2.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.10.m2.1b"><apply id="A1.SS2.p2.10.m2.1.1.cmml" xref="A1.SS2.p2.10.m2.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.10.m2.1.1.1.cmml" xref="A1.SS2.p2.10.m2.1.1">subscript</csymbol><ci id="A1.SS2.p2.10.m2.1.1.2.cmml" xref="A1.SS2.p2.10.m2.1.1.2">𝐸</ci><apply id="A1.SS2.p2.10.m2.1.1.3.cmml" xref="A1.SS2.p2.10.m2.1.1.3"><minus id="A1.SS2.p2.10.m2.1.1.3.1.cmml" xref="A1.SS2.p2.10.m2.1.1.3.1"></minus><ci id="A1.SS2.p2.10.m2.1.1.3.2.cmml" xref="A1.SS2.p2.10.m2.1.1.3.2">𝑛</ci><cn id="A1.SS2.p2.10.m2.1.1.3.3.cmml" type="integer" xref="A1.SS2.p2.10.m2.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.10.m2.1c">E_{n-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.10.m2.1d">italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT</annotation></semantics></math> is a <math alttext="T_{0}" class="ltx_Math" display="inline" id="A1.SS2.p2.11.m3.1"><semantics id="A1.SS2.p2.11.m3.1a"><msub id="A1.SS2.p2.11.m3.1.1" xref="A1.SS2.p2.11.m3.1.1.cmml"><mi id="A1.SS2.p2.11.m3.1.1.2" xref="A1.SS2.p2.11.m3.1.1.2.cmml">T</mi><mn id="A1.SS2.p2.11.m3.1.1.3" xref="A1.SS2.p2.11.m3.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.11.m3.1b"><apply id="A1.SS2.p2.11.m3.1.1.cmml" xref="A1.SS2.p2.11.m3.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.11.m3.1.1.1.cmml" xref="A1.SS2.p2.11.m3.1.1">subscript</csymbol><ci id="A1.SS2.p2.11.m3.1.1.2.cmml" xref="A1.SS2.p2.11.m3.1.1.2">𝑇</ci><cn id="A1.SS2.p2.11.m3.1.1.3.cmml" type="integer" xref="A1.SS2.p2.11.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.11.m3.1c">T_{0}</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.11.m3.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>-dimensional Gaussian vector with iid entries from <math alttext="N(0,\sigma_{0}^{2})" class="ltx_Math" display="inline" id="A1.SS2.p2.12.m4.2"><semantics id="A1.SS2.p2.12.m4.2a"><mrow id="A1.SS2.p2.12.m4.2.2" xref="A1.SS2.p2.12.m4.2.2.cmml"><mi id="A1.SS2.p2.12.m4.2.2.3" xref="A1.SS2.p2.12.m4.2.2.3.cmml">N</mi><mo id="A1.SS2.p2.12.m4.2.2.2" xref="A1.SS2.p2.12.m4.2.2.2.cmml">⁢</mo><mrow id="A1.SS2.p2.12.m4.2.2.1.1" xref="A1.SS2.p2.12.m4.2.2.1.2.cmml"><mo id="A1.SS2.p2.12.m4.2.2.1.1.2" stretchy="false" xref="A1.SS2.p2.12.m4.2.2.1.2.cmml">(</mo><mn id="A1.SS2.p2.12.m4.1.1" xref="A1.SS2.p2.12.m4.1.1.cmml">0</mn><mo id="A1.SS2.p2.12.m4.2.2.1.1.3" xref="A1.SS2.p2.12.m4.2.2.1.2.cmml">,</mo><msubsup id="A1.SS2.p2.12.m4.2.2.1.1.1" xref="A1.SS2.p2.12.m4.2.2.1.1.1.cmml"><mi id="A1.SS2.p2.12.m4.2.2.1.1.1.2.2" xref="A1.SS2.p2.12.m4.2.2.1.1.1.2.2.cmml">σ</mi><mn id="A1.SS2.p2.12.m4.2.2.1.1.1.2.3" xref="A1.SS2.p2.12.m4.2.2.1.1.1.2.3.cmml">0</mn><mn id="A1.SS2.p2.12.m4.2.2.1.1.1.3" xref="A1.SS2.p2.12.m4.2.2.1.1.1.3.cmml">2</mn></msubsup><mo id="A1.SS2.p2.12.m4.2.2.1.1.4" stretchy="false" xref="A1.SS2.p2.12.m4.2.2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.12.m4.2b"><apply id="A1.SS2.p2.12.m4.2.2.cmml" xref="A1.SS2.p2.12.m4.2.2"><times id="A1.SS2.p2.12.m4.2.2.2.cmml" xref="A1.SS2.p2.12.m4.2.2.2"></times><ci id="A1.SS2.p2.12.m4.2.2.3.cmml" xref="A1.SS2.p2.12.m4.2.2.3">𝑁</ci><interval closure="open" id="A1.SS2.p2.12.m4.2.2.1.2.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1"><cn id="A1.SS2.p2.12.m4.1.1.cmml" type="integer" xref="A1.SS2.p2.12.m4.1.1">0</cn><apply id="A1.SS2.p2.12.m4.2.2.1.1.1.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.12.m4.2.2.1.1.1.1.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1.1">superscript</csymbol><apply id="A1.SS2.p2.12.m4.2.2.1.1.1.2.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.SS2.p2.12.m4.2.2.1.1.1.2.1.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1.1">subscript</csymbol><ci id="A1.SS2.p2.12.m4.2.2.1.1.1.2.2.cmml" xref="A1.SS2.p2.12.m4.2.2.1.1.1.2.2">𝜎</ci><cn id="A1.SS2.p2.12.m4.2.2.1.1.1.2.3.cmml" type="integer" xref="A1.SS2.p2.12.m4.2.2.1.1.1.2.3">0</cn></apply><cn id="A1.SS2.p2.12.m4.2.2.1.1.1.3.cmml" type="integer" xref="A1.SS2.p2.12.m4.2.2.1.1.1.3">2</cn></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.12.m4.2c">N(0,\sigma_{0}^{2})</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.12.m4.2d">italic_N ( 0 , italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT )</annotation></semantics></math>, the second term evaluates to</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx32"> <tbody id="A1.Ex6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\mathbb{E}\,\|\Delta_{n}\|_{\Sigma}^{2}&=\mathbb{E}% \,\|RSX_{0}^{\dagger}E_{n-1}\|_{\Sigma}^{2}\\ &=\sigma_{0}^{2}\mathbb{E}\,\mathrm{tr}(X_{0}(X_{0}^{\top}X_{0})^{-1}SR\Sigma RS% (X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}),\text{ taking expectations w.r.t }E_{n-1% }\\ &=\sigma_{0}^{2}\mathbb{E}\,\mathrm{tr}((X_{0}^{\top}X_{0})^{-1}SR\Sigma RS),% \text{ by cyclic property of trace}\\ &=\sigma_{0}^{2}\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}SR\Sigma RS)}{T_{0}-d% -1},\text{ by Lemma \ref{lm:expinv}}\\ &=\sigma_{0}^{2}\rho.\end{split}" class="ltx_Math" display="inline" id="A1.Ex6.m1.102"><semantics id="A1.Ex6.m1.102a"><mtable columnspacing="0pt" id="A1.Ex6.m1.102.102.8" rowspacing="0pt"><mtr id="A1.Ex6.m1.102.102.8a"><mtd class="ltx_align_right" columnalign="right" id="A1.Ex6.m1.102.102.8b"><mrow id="A1.Ex6.m1.96.96.2.95.21.8"><mi id="A1.Ex6.m1.1.1.1.1.1.1" xref="A1.Ex6.m1.1.1.1.1.1.1.cmml">𝔼</mi><mo id="A1.Ex6.m1.96.96.2.95.21.8.9" lspace="0.170em">⁢</mo><msubsup id="A1.Ex6.m1.96.96.2.95.21.8.8"><mrow id="A1.Ex6.m1.96.96.2.95.21.8.8.1.1.1"><mo id="A1.Ex6.m1.2.2.2.2.2.2" stretchy="false">‖</mo><msub id="A1.Ex6.m1.96.96.2.95.21.8.8.1.1.1.1"><mi id="A1.Ex6.m1.3.3.3.3.3.3" mathvariant="normal" xref="A1.Ex6.m1.3.3.3.3.3.3.cmml">Δ</mi><mi id="A1.Ex6.m1.4.4.4.4.4.4.1" xref="A1.Ex6.m1.4.4.4.4.4.4.1.cmml">n</mi></msub><mo id="A1.Ex6.m1.5.5.5.5.5.5" stretchy="false">‖</mo></mrow><mi id="A1.Ex6.m1.6.6.6.6.6.6.1" mathvariant="normal" xref="A1.Ex6.m1.6.6.6.6.6.6.1.cmml">Σ</mi><mn id="A1.Ex6.m1.7.7.7.7.7.7.1" xref="A1.Ex6.m1.7.7.7.7.7.7.1.cmml">2</mn></msubsup></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex6.m1.102.102.8c"><mrow id="A1.Ex6.m1.97.97.3.96.22.14"><mi id="A1.Ex6.m1.97.97.3.96.22.14.15"></mi><mo id="A1.Ex6.m1.8.8.8.8.1.1" xref="A1.Ex6.m1.8.8.8.8.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.97.97.3.96.22.14.14"><mi id="A1.Ex6.m1.9.9.9.9.2.2" xref="A1.Ex6.m1.9.9.9.9.2.2.cmml">𝔼</mi><mo id="A1.Ex6.m1.97.97.3.96.22.14.14.2" lspace="0.170em">⁢</mo><msubsup id="A1.Ex6.m1.97.97.3.96.22.14.14.1"><mrow id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1"><mo id="A1.Ex6.m1.10.10.10.10.3.3" stretchy="false">‖</mo><mrow id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1"><mi id="A1.Ex6.m1.11.11.11.11.4.4" xref="A1.Ex6.m1.11.11.11.11.4.4.cmml">R</mi><mo id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1.1">⁢</mo><mi id="A1.Ex6.m1.12.12.12.12.5.5" xref="A1.Ex6.m1.12.12.12.12.5.5.cmml">S</mi><mo id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1.1a">⁢</mo><msubsup id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1.2"><mi id="A1.Ex6.m1.13.13.13.13.6.6" xref="A1.Ex6.m1.13.13.13.13.6.6.cmml">X</mi><mn id="A1.Ex6.m1.14.14.14.14.7.7.1" xref="A1.Ex6.m1.14.14.14.14.7.7.1.cmml">0</mn><mo id="A1.Ex6.m1.15.15.15.15.8.8.1" xref="A1.Ex6.m1.15.15.15.15.8.8.1.cmml">†</mo></msubsup><mo id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1.1b">⁢</mo><msub id="A1.Ex6.m1.97.97.3.96.22.14.14.1.1.1.1.1.3"><mi id="A1.Ex6.m1.16.16.16.16.9.9" xref="A1.Ex6.m1.16.16.16.16.9.9.cmml">E</mi><mrow id="A1.Ex6.m1.17.17.17.17.10.10.1" xref="A1.Ex6.m1.17.17.17.17.10.10.1.cmml"><mi id="A1.Ex6.m1.17.17.17.17.10.10.1.2" xref="A1.Ex6.m1.17.17.17.17.10.10.1.2.cmml">n</mi><mo id="A1.Ex6.m1.17.17.17.17.10.10.1.1" xref="A1.Ex6.m1.17.17.17.17.10.10.1.1.cmml">−</mo><mn id="A1.Ex6.m1.17.17.17.17.10.10.1.3" xref="A1.Ex6.m1.17.17.17.17.10.10.1.3.cmml">1</mn></mrow></msub></mrow><mo id="A1.Ex6.m1.18.18.18.18.11.11" stretchy="false">‖</mo></mrow><mi id="A1.Ex6.m1.19.19.19.19.12.12.1" mathvariant="normal" xref="A1.Ex6.m1.19.19.19.19.12.12.1.cmml">Σ</mi><mn id="A1.Ex6.m1.20.20.20.20.13.13.1" xref="A1.Ex6.m1.20.20.20.20.13.13.1.cmml">2</mn></msubsup></mrow></mrow></mtd></mtr><mtr id="A1.Ex6.m1.102.102.8d"><mtd id="A1.Ex6.m1.102.102.8e"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex6.m1.102.102.8f"><mrow id="A1.Ex6.m1.99.99.5.98.40.40"><mi id="A1.Ex6.m1.99.99.5.98.40.40.41"></mi><mo id="A1.Ex6.m1.21.21.21.1.1.1" xref="A1.Ex6.m1.21.21.21.1.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.99.99.5.98.40.40.40.2"><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1"><msubsup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.3"><mi id="A1.Ex6.m1.22.22.22.2.2.2" xref="A1.Ex6.m1.22.22.22.2.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.23.23.23.3.3.3.1" xref="A1.Ex6.m1.23.23.23.3.3.3.1.cmml">0</mn><mn id="A1.Ex6.m1.24.24.24.4.4.4.1" xref="A1.Ex6.m1.24.24.24.4.4.4.1.cmml">2</mn></msubsup><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.2">⁢</mo><mi id="A1.Ex6.m1.25.25.25.5.5.5" xref="A1.Ex6.m1.25.25.25.5.5.5.cmml">𝔼</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.2a" lspace="0.170em">⁢</mo><mi id="A1.Ex6.m1.26.26.26.6.6.6" xref="A1.Ex6.m1.26.26.26.6.6.6.cmml">tr</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.2b">⁢</mo><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1"><mo id="A1.Ex6.m1.27.27.27.7.7.7" stretchy="false">(</mo><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1"><msub id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.4"><mi id="A1.Ex6.m1.28.28.28.8.8.8" xref="A1.Ex6.m1.28.28.28.8.8.8.cmml">X</mi><mn id="A1.Ex6.m1.29.29.29.9.9.9.1" xref="A1.Ex6.m1.29.29.29.9.9.9.1.cmml">0</mn></msub><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3">⁢</mo><msup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1"><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1.1.1"><mo id="A1.Ex6.m1.30.30.30.10.10.10" stretchy="false">(</mo><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1.1.1.1"><msubsup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1.1.1.1.2"><mi id="A1.Ex6.m1.31.31.31.11.11.11" xref="A1.Ex6.m1.31.31.31.11.11.11.cmml">X</mi><mn id="A1.Ex6.m1.32.32.32.12.12.12.1" xref="A1.Ex6.m1.32.32.32.12.12.12.1.cmml">0</mn><mo id="A1.Ex6.m1.33.33.33.13.13.13.1" xref="A1.Ex6.m1.33.33.33.13.13.13.1.cmml">⊤</mo></msubsup><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1.1.1.1.1">⁢</mo><msub id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.1.1.1.1.3"><mi id="A1.Ex6.m1.34.34.34.14.14.14" xref="A1.Ex6.m1.34.34.34.14.14.14.cmml">X</mi><mn id="A1.Ex6.m1.35.35.35.15.15.15.1" xref="A1.Ex6.m1.35.35.35.15.15.15.1.cmml">0</mn></msub></mrow><mo id="A1.Ex6.m1.36.36.36.16.16.16" stretchy="false">)</mo></mrow><mrow id="A1.Ex6.m1.37.37.37.17.17.17.1" xref="A1.Ex6.m1.37.37.37.17.17.17.1.cmml"><mo id="A1.Ex6.m1.37.37.37.17.17.17.1a" xref="A1.Ex6.m1.37.37.37.17.17.17.1.cmml">−</mo><mn id="A1.Ex6.m1.37.37.37.17.17.17.1.2" xref="A1.Ex6.m1.37.37.37.17.17.17.1.2.cmml">1</mn></mrow></msup><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3a">⁢</mo><mi id="A1.Ex6.m1.38.38.38.18.18.18" xref="A1.Ex6.m1.38.38.38.18.18.18.cmml">S</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3b">⁢</mo><mi id="A1.Ex6.m1.39.39.39.19.19.19" xref="A1.Ex6.m1.39.39.39.19.19.19.cmml">R</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3c">⁢</mo><mi id="A1.Ex6.m1.40.40.40.20.20.20" mathvariant="normal" xref="A1.Ex6.m1.40.40.40.20.20.20.cmml">Σ</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3d">⁢</mo><mi id="A1.Ex6.m1.41.41.41.21.21.21" xref="A1.Ex6.m1.41.41.41.21.21.21.cmml">R</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3e">⁢</mo><mi id="A1.Ex6.m1.42.42.42.22.22.22" xref="A1.Ex6.m1.42.42.42.22.22.22.cmml">S</mi><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3f">⁢</mo><msup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2"><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2.1.1"><mo id="A1.Ex6.m1.43.43.43.23.23.23" stretchy="false">(</mo><mrow id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2.1.1.1"><msubsup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2.1.1.1.2"><mi id="A1.Ex6.m1.44.44.44.24.24.24" xref="A1.Ex6.m1.44.44.44.24.24.24.cmml">X</mi><mn id="A1.Ex6.m1.45.45.45.25.25.25.1" xref="A1.Ex6.m1.45.45.45.25.25.25.1.cmml">0</mn><mo id="A1.Ex6.m1.46.46.46.26.26.26.1" xref="A1.Ex6.m1.46.46.46.26.26.26.1.cmml">⊤</mo></msubsup><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2.1.1.1.1">⁢</mo><msub id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.2.1.1.1.3"><mi id="A1.Ex6.m1.47.47.47.27.27.27" xref="A1.Ex6.m1.47.47.47.27.27.27.cmml">X</mi><mn id="A1.Ex6.m1.48.48.48.28.28.28.1" xref="A1.Ex6.m1.48.48.48.28.28.28.1.cmml">0</mn></msub></mrow><mo id="A1.Ex6.m1.49.49.49.29.29.29" stretchy="false">)</mo></mrow><mrow id="A1.Ex6.m1.50.50.50.30.30.30.1" xref="A1.Ex6.m1.50.50.50.30.30.30.1.cmml"><mo id="A1.Ex6.m1.50.50.50.30.30.30.1a" xref="A1.Ex6.m1.50.50.50.30.30.30.1.cmml">−</mo><mn id="A1.Ex6.m1.50.50.50.30.30.30.1.2" xref="A1.Ex6.m1.50.50.50.30.30.30.1.2.cmml">1</mn></mrow></msup><mo id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.3g">⁢</mo><msubsup id="A1.Ex6.m1.98.98.4.97.39.39.39.1.1.1.1.1.5"><mi id="A1.Ex6.m1.51.51.51.31.31.31" xref="A1.Ex6.m1.51.51.51.31.31.31.cmml">X</mi><mn id="A1.Ex6.m1.52.52.52.32.32.32.1" xref="A1.Ex6.m1.52.52.52.32.32.32.1.cmml">0</mn><mo id="A1.Ex6.m1.53.53.53.33.33.33.1" xref="A1.Ex6.m1.53.53.53.33.33.33.1.cmml">⊤</mo></msubsup></mrow><mo id="A1.Ex6.m1.54.54.54.34.34.34" stretchy="false">)</mo></mrow></mrow><mo id="A1.Ex6.m1.55.55.55.35.35.35">,</mo><mrow id="A1.Ex6.m1.99.99.5.98.40.40.40.2.2"><mtext id="A1.Ex6.m1.56.56.56.36.36.36" xref="A1.Ex6.m1.56.56.56.36.36.36a.cmml"> taking expectations w.r.t </mtext><mo id="A1.Ex6.m1.99.99.5.98.40.40.40.2.2.1">⁢</mo><msub id="A1.Ex6.m1.99.99.5.98.40.40.40.2.2.2"><mi id="A1.Ex6.m1.57.57.57.37.37.37" xref="A1.Ex6.m1.57.57.57.37.37.37.cmml">E</mi><mrow id="A1.Ex6.m1.58.58.58.38.38.38.1" xref="A1.Ex6.m1.58.58.58.38.38.38.1.cmml"><mi id="A1.Ex6.m1.58.58.58.38.38.38.1.2" xref="A1.Ex6.m1.58.58.58.38.38.38.1.2.cmml">n</mi><mo id="A1.Ex6.m1.58.58.58.38.38.38.1.1" xref="A1.Ex6.m1.58.58.58.38.38.38.1.1.cmml">−</mo><mn id="A1.Ex6.m1.58.58.58.38.38.38.1.3" xref="A1.Ex6.m1.58.58.58.38.38.38.1.3.cmml">1</mn></mrow></msub></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex6.m1.102.102.8g"><mtd id="A1.Ex6.m1.102.102.8h"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex6.m1.102.102.8i"><mrow id="A1.Ex6.m1.100.100.6.99.24.24"><mi id="A1.Ex6.m1.100.100.6.99.24.24.25"></mi><mo id="A1.Ex6.m1.59.59.59.1.1.1" xref="A1.Ex6.m1.59.59.59.1.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1"><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1"><msubsup id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.3"><mi id="A1.Ex6.m1.60.60.60.2.2.2" xref="A1.Ex6.m1.60.60.60.2.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.61.61.61.3.3.3.1" xref="A1.Ex6.m1.61.61.61.3.3.3.1.cmml">0</mn><mn id="A1.Ex6.m1.62.62.62.4.4.4.1" xref="A1.Ex6.m1.62.62.62.4.4.4.1.cmml">2</mn></msubsup><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.2">⁢</mo><mi id="A1.Ex6.m1.63.63.63.5.5.5" xref="A1.Ex6.m1.63.63.63.5.5.5.cmml">𝔼</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.2a" lspace="0.170em">⁢</mo><mi id="A1.Ex6.m1.64.64.64.6.6.6" xref="A1.Ex6.m1.64.64.64.6.6.6.cmml">tr</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.2b">⁢</mo><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1"><mo id="A1.Ex6.m1.65.65.65.7.7.7" stretchy="false">(</mo><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1"><msup id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1"><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1.1.1"><mo id="A1.Ex6.m1.66.66.66.8.8.8" stretchy="false">(</mo><mrow id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1.1.1.1"><msubsup id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1.1.1.1.2"><mi id="A1.Ex6.m1.67.67.67.9.9.9" xref="A1.Ex6.m1.67.67.67.9.9.9.cmml">X</mi><mn id="A1.Ex6.m1.68.68.68.10.10.10.1" xref="A1.Ex6.m1.68.68.68.10.10.10.1.cmml">0</mn><mo id="A1.Ex6.m1.69.69.69.11.11.11.1" xref="A1.Ex6.m1.69.69.69.11.11.11.1.cmml">⊤</mo></msubsup><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1.1.1.1.1">⁢</mo><msub id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.1.1.1.1.3"><mi id="A1.Ex6.m1.70.70.70.12.12.12" xref="A1.Ex6.m1.70.70.70.12.12.12.cmml">X</mi><mn id="A1.Ex6.m1.71.71.71.13.13.13.1" xref="A1.Ex6.m1.71.71.71.13.13.13.1.cmml">0</mn></msub></mrow><mo id="A1.Ex6.m1.72.72.72.14.14.14" stretchy="false">)</mo></mrow><mrow id="A1.Ex6.m1.73.73.73.15.15.15.1" xref="A1.Ex6.m1.73.73.73.15.15.15.1.cmml"><mo id="A1.Ex6.m1.73.73.73.15.15.15.1a" xref="A1.Ex6.m1.73.73.73.15.15.15.1.cmml">−</mo><mn id="A1.Ex6.m1.73.73.73.15.15.15.1.2" xref="A1.Ex6.m1.73.73.73.15.15.15.1.2.cmml">1</mn></mrow></msup><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.2">⁢</mo><mi id="A1.Ex6.m1.74.74.74.16.16.16" xref="A1.Ex6.m1.74.74.74.16.16.16.cmml">S</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.2a">⁢</mo><mi id="A1.Ex6.m1.75.75.75.17.17.17" xref="A1.Ex6.m1.75.75.75.17.17.17.cmml">R</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.2b">⁢</mo><mi id="A1.Ex6.m1.76.76.76.18.18.18" mathvariant="normal" xref="A1.Ex6.m1.76.76.76.18.18.18.cmml">Σ</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.2c">⁢</mo><mi id="A1.Ex6.m1.77.77.77.19.19.19" xref="A1.Ex6.m1.77.77.77.19.19.19.cmml">R</mi><mo id="A1.Ex6.m1.100.100.6.99.24.24.24.1.1.1.1.1.2d">⁢</mo><mi id="A1.Ex6.m1.78.78.78.20.20.20" xref="A1.Ex6.m1.78.78.78.20.20.20.cmml">S</mi></mrow><mo id="A1.Ex6.m1.79.79.79.21.21.21" stretchy="false">)</mo></mrow></mrow><mo id="A1.Ex6.m1.80.80.80.22.22.22">,</mo><mtext id="A1.Ex6.m1.81.81.81.23.23.23" xref="A1.Ex6.m1.81.81.81.23.23.23a.cmml"> by cyclic property of trace</mtext></mrow></mrow></mtd></mtr><mtr id="A1.Ex6.m1.102.102.8j"><mtd id="A1.Ex6.m1.102.102.8k"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex6.m1.102.102.8l"><mrow id="A1.Ex6.m1.101.101.7.100.8.8"><mi id="A1.Ex6.m1.101.101.7.100.8.8.9"></mi><mo id="A1.Ex6.m1.82.82.82.1.1.1" xref="A1.Ex6.m1.82.82.82.1.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.101.101.7.100.8.8.8.1"><mrow id="A1.Ex6.m1.101.101.7.100.8.8.8.1.1"><msubsup id="A1.Ex6.m1.101.101.7.100.8.8.8.1.1.2"><mi id="A1.Ex6.m1.83.83.83.2.2.2" xref="A1.Ex6.m1.83.83.83.2.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.84.84.84.3.3.3.1" xref="A1.Ex6.m1.84.84.84.3.3.3.1.cmml">0</mn><mn id="A1.Ex6.m1.85.85.85.4.4.4.1" xref="A1.Ex6.m1.85.85.85.4.4.4.1.cmml">2</mn></msubsup><mo id="A1.Ex6.m1.101.101.7.100.8.8.8.1.1.1">⁢</mo><mstyle displaystyle="true" id="A1.Ex6.m1.86.86.86.5.5.5" xref="A1.Ex6.m1.86.86.86.5.5.5.cmml"><mfrac id="A1.Ex6.m1.86.86.86.5.5.5a" xref="A1.Ex6.m1.86.86.86.5.5.5.cmml"><mrow id="A1.Ex6.m1.86.86.86.5.5.5.1" xref="A1.Ex6.m1.86.86.86.5.5.5.1.cmml"><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.3" xref="A1.Ex6.m1.86.86.86.5.5.5.1.3.cmml">𝔼</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.2" lspace="0.170em" xref="A1.Ex6.m1.86.86.86.5.5.5.1.2.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.4" xref="A1.Ex6.m1.86.86.86.5.5.5.1.4.cmml">tr</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.2a" xref="A1.Ex6.m1.86.86.86.5.5.5.1.2.cmml">⁢</mo><mrow id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.cmml"><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.2" stretchy="false" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.cmml">(</mo><mrow id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.cmml"><msup id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.cmml"><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.2" mathvariant="normal" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.2.cmml">Σ</mi><mrow id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.cmml"><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3a" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.cmml">−</mo><mn id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.2" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.3" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.3.cmml">S</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1a" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.4" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.4.cmml">R</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1b" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.5" mathvariant="normal" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.5.cmml">Σ</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1c" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.6" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.6.cmml">R</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1d" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml">⁢</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.7" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.7.cmml">S</mi></mrow><mo id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.3" stretchy="false" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex6.m1.86.86.86.5.5.5.3" xref="A1.Ex6.m1.86.86.86.5.5.5.3.cmml"><msub id="A1.Ex6.m1.86.86.86.5.5.5.3.2" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2.cmml"><mi id="A1.Ex6.m1.86.86.86.5.5.5.3.2.2" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2.2.cmml">T</mi><mn id="A1.Ex6.m1.86.86.86.5.5.5.3.2.3" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2.3.cmml">0</mn></msub><mo id="A1.Ex6.m1.86.86.86.5.5.5.3.1" xref="A1.Ex6.m1.86.86.86.5.5.5.3.1.cmml">−</mo><mi id="A1.Ex6.m1.86.86.86.5.5.5.3.3" xref="A1.Ex6.m1.86.86.86.5.5.5.3.3.cmml">d</mi><mo id="A1.Ex6.m1.86.86.86.5.5.5.3.1a" xref="A1.Ex6.m1.86.86.86.5.5.5.3.1.cmml">−</mo><mn id="A1.Ex6.m1.86.86.86.5.5.5.3.4" xref="A1.Ex6.m1.86.86.86.5.5.5.3.4.cmml">1</mn></mrow></mfrac></mstyle></mrow><mo id="A1.Ex6.m1.87.87.87.6.6.6">,</mo><mrow id="A1.Ex6.m1.88.88.88.7.7.7" xref="A1.Ex6.m1.88.88.88.7.7.7e.cmml"><mtext id="A1.Ex6.m1.88.88.88.7.7.7a" xref="A1.Ex6.m1.88.88.88.7.7.7e.cmml"> by Lemma </mtext><mtext id="A1.Ex6.m1.88.88.88.7.7.7b" xref="A1.Ex6.m1.88.88.88.7.7.7e.cmml"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx34" title="Lemma A.1. ‣ A.2 Proof of Theorem 4.2 (Ridge Regression) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">A.1</span></a></mtext></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex6.m1.102.102.8m"><mtd id="A1.Ex6.m1.102.102.8n"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex6.m1.102.102.8o"><mrow id="A1.Ex6.m1.102.102.8.101.7.7.7"><mrow id="A1.Ex6.m1.102.102.8.101.7.7.7.1"><mi id="A1.Ex6.m1.102.102.8.101.7.7.7.1.1"></mi><mo id="A1.Ex6.m1.89.89.89.1.1.1" xref="A1.Ex6.m1.89.89.89.1.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.102.102.8.101.7.7.7.1.2"><msubsup id="A1.Ex6.m1.102.102.8.101.7.7.7.1.2.2"><mi id="A1.Ex6.m1.90.90.90.2.2.2" xref="A1.Ex6.m1.90.90.90.2.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.91.91.91.3.3.3.1" xref="A1.Ex6.m1.91.91.91.3.3.3.1.cmml">0</mn><mn id="A1.Ex6.m1.92.92.92.4.4.4.1" xref="A1.Ex6.m1.92.92.92.4.4.4.1.cmml">2</mn></msubsup><mo id="A1.Ex6.m1.102.102.8.101.7.7.7.1.2.1">⁢</mo><mi id="A1.Ex6.m1.93.93.93.5.5.5" xref="A1.Ex6.m1.93.93.93.5.5.5.cmml">ρ</mi></mrow></mrow><mo id="A1.Ex6.m1.94.94.94.6.6.6" lspace="0em">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.Ex6.m1.102b"><apply id="A1.Ex6.m1.95.95.1.1.1.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.3a.cmml">formulae-sequence</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.cmml"><and id="A1.Ex6.m1.95.95.1.1.1.1.1a.cmml"></and><apply id="A1.Ex6.m1.95.95.1.1.1.1.1b.cmml"><eq id="A1.Ex6.m1.8.8.8.8.1.1.cmml" xref="A1.Ex6.m1.8.8.8.8.1.1"></eq><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.1.2.cmml"></times><ci id="A1.Ex6.m1.1.1.1.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1">𝔼</ci><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.2.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.2.cmml">subscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.1.2.cmml"><csymbol cd="latexml" id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.1.2.1.cmml">delimited-∥∥</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.1.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.1.1.1.1.1.1.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.3.3.3.3.3.3.cmml" xref="A1.Ex6.m1.3.3.3.3.3.3">Δ</ci><ci id="A1.Ex6.m1.4.4.4.4.4.4.1.cmml" xref="A1.Ex6.m1.4.4.4.4.4.4.1">𝑛</ci></apply></apply><ci id="A1.Ex6.m1.6.6.6.6.6.6.1.cmml" xref="A1.Ex6.m1.6.6.6.6.6.6.1">Σ</ci></apply><cn id="A1.Ex6.m1.7.7.7.7.7.7.1.cmml" type="integer" xref="A1.Ex6.m1.7.7.7.7.7.7.1">2</cn></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.2.2.cmml"></times><ci id="A1.Ex6.m1.9.9.9.9.2.2.cmml" xref="A1.Ex6.m1.9.9.9.9.2.2">𝔼</ci><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.2.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.2.cmml">subscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.2.cmml"><csymbol cd="latexml" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.2.1.cmml">delimited-∥∥</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.1.cmml"></times><ci id="A1.Ex6.m1.11.11.11.11.4.4.cmml" xref="A1.Ex6.m1.11.11.11.11.4.4">𝑅</ci><ci id="A1.Ex6.m1.12.12.12.12.5.5.cmml" xref="A1.Ex6.m1.12.12.12.12.5.5">𝑆</ci><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.4.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.4.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.4.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.4.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.13.13.13.13.6.6.cmml" xref="A1.Ex6.m1.13.13.13.13.6.6">𝑋</ci><cn id="A1.Ex6.m1.14.14.14.14.7.7.1.cmml" type="integer" xref="A1.Ex6.m1.14.14.14.14.7.7.1">0</cn></apply><ci id="A1.Ex6.m1.15.15.15.15.8.8.1.cmml" xref="A1.Ex6.m1.15.15.15.15.8.8.1">†</ci></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.5.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.2.1.1.1.1.1.5.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.16.16.16.16.9.9.cmml" xref="A1.Ex6.m1.16.16.16.16.9.9">𝐸</ci><apply id="A1.Ex6.m1.17.17.17.17.10.10.1.cmml" xref="A1.Ex6.m1.17.17.17.17.10.10.1"><minus id="A1.Ex6.m1.17.17.17.17.10.10.1.1.cmml" xref="A1.Ex6.m1.17.17.17.17.10.10.1.1"></minus><ci id="A1.Ex6.m1.17.17.17.17.10.10.1.2.cmml" xref="A1.Ex6.m1.17.17.17.17.10.10.1.2">𝑛</ci><cn id="A1.Ex6.m1.17.17.17.17.10.10.1.3.cmml" type="integer" xref="A1.Ex6.m1.17.17.17.17.10.10.1.3">1</cn></apply></apply></apply></apply><ci id="A1.Ex6.m1.19.19.19.19.12.12.1.cmml" xref="A1.Ex6.m1.19.19.19.19.12.12.1">Σ</ci></apply><cn id="A1.Ex6.m1.20.20.20.20.13.13.1.cmml" type="integer" xref="A1.Ex6.m1.20.20.20.20.13.13.1">2</cn></apply></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1c.cmml"><eq id="A1.Ex6.m1.21.21.21.1.1.1.cmml" xref="A1.Ex6.m1.21.21.21.1.1.1"></eq><share href="#A1.Ex6.m1.95.95.1.1.1.1.1.2.cmml" id="A1.Ex6.m1.95.95.1.1.1.1.1d.cmml"></share><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.3.2.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.3.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.3.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.3.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.22.22.22.2.2.2.cmml" xref="A1.Ex6.m1.22.22.22.2.2.2">𝜎</ci><cn id="A1.Ex6.m1.23.23.23.3.3.3.1.cmml" type="integer" xref="A1.Ex6.m1.23.23.23.3.3.3.1">0</cn></apply><cn id="A1.Ex6.m1.24.24.24.4.4.4.1.cmml" type="integer" xref="A1.Ex6.m1.24.24.24.4.4.4.1">2</cn></apply><ci id="A1.Ex6.m1.25.25.25.5.5.5.cmml" xref="A1.Ex6.m1.25.25.25.5.5.5">𝔼</ci><ci id="A1.Ex6.m1.26.26.26.6.6.6.cmml" xref="A1.Ex6.m1.26.26.26.6.6.6">tr</ci><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.3.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.4.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.4.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.28.28.28.8.8.8.cmml" xref="A1.Ex6.m1.28.28.28.8.8.8">𝑋</ci><cn id="A1.Ex6.m1.29.29.29.9.9.9.1.cmml" type="integer" xref="A1.Ex6.m1.29.29.29.9.9.9.1">0</cn></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.2.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.1.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.2.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.2.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.2.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.31.31.31.11.11.11.cmml" xref="A1.Ex6.m1.31.31.31.11.11.11">𝑋</ci><cn id="A1.Ex6.m1.32.32.32.12.12.12.1.cmml" type="integer" xref="A1.Ex6.m1.32.32.32.12.12.12.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex6.m1.33.33.33.13.13.13.1.cmml" xref="A1.Ex6.m1.33.33.33.13.13.13.1">top</csymbol></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.1.1.1.1.3.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.34.34.34.14.14.14.cmml" xref="A1.Ex6.m1.34.34.34.14.14.14">𝑋</ci><cn id="A1.Ex6.m1.35.35.35.15.15.15.1.cmml" type="integer" xref="A1.Ex6.m1.35.35.35.15.15.15.1">0</cn></apply></apply><apply id="A1.Ex6.m1.37.37.37.17.17.17.1.cmml" xref="A1.Ex6.m1.37.37.37.17.17.17.1"><minus id="A1.Ex6.m1.37.37.37.17.17.17.1.1.cmml" xref="A1.Ex6.m1.37.37.37.17.17.17.1"></minus><cn id="A1.Ex6.m1.37.37.37.17.17.17.1.2.cmml" type="integer" xref="A1.Ex6.m1.37.37.37.17.17.17.1.2">1</cn></apply></apply><ci id="A1.Ex6.m1.38.38.38.18.18.18.cmml" xref="A1.Ex6.m1.38.38.38.18.18.18">𝑆</ci><ci id="A1.Ex6.m1.39.39.39.19.19.19.cmml" xref="A1.Ex6.m1.39.39.39.19.19.19">𝑅</ci><ci id="A1.Ex6.m1.40.40.40.20.20.20.cmml" xref="A1.Ex6.m1.40.40.40.20.20.20">Σ</ci><ci id="A1.Ex6.m1.41.41.41.21.21.21.cmml" xref="A1.Ex6.m1.41.41.41.21.21.21">𝑅</ci><ci id="A1.Ex6.m1.42.42.42.22.22.22.cmml" xref="A1.Ex6.m1.42.42.42.22.22.22">𝑆</ci><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.2.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.1.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.2.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.2.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.2.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.44.44.44.24.24.24.cmml" xref="A1.Ex6.m1.44.44.44.24.24.24">𝑋</ci><cn id="A1.Ex6.m1.45.45.45.25.25.25.1.cmml" type="integer" xref="A1.Ex6.m1.45.45.45.25.25.25.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex6.m1.46.46.46.26.26.26.1.cmml" xref="A1.Ex6.m1.46.46.46.26.26.26.1">top</csymbol></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.2.1.1.1.3.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.47.47.47.27.27.27.cmml" xref="A1.Ex6.m1.47.47.47.27.27.27">𝑋</ci><cn id="A1.Ex6.m1.48.48.48.28.28.28.1.cmml" type="integer" xref="A1.Ex6.m1.48.48.48.28.28.28.1">0</cn></apply></apply><apply id="A1.Ex6.m1.50.50.50.30.30.30.1.cmml" xref="A1.Ex6.m1.50.50.50.30.30.30.1"><minus id="A1.Ex6.m1.50.50.50.30.30.30.1.1.cmml" xref="A1.Ex6.m1.50.50.50.30.30.30.1"></minus><cn id="A1.Ex6.m1.50.50.50.30.30.30.1.2.cmml" type="integer" xref="A1.Ex6.m1.50.50.50.30.30.30.1.2">1</cn></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.10.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.10.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.10.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.1.1.3.1.1.1.10.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.51.51.51.31.31.31.cmml" xref="A1.Ex6.m1.51.51.51.31.31.31">𝑋</ci><cn id="A1.Ex6.m1.52.52.52.32.32.32.1.cmml" type="integer" xref="A1.Ex6.m1.52.52.52.32.32.32.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex6.m1.53.53.53.33.33.33.1.cmml" xref="A1.Ex6.m1.53.53.53.33.33.33.1">top</csymbol></apply></apply></apply></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.3a.cmml">formulae-sequence</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.cmml"><eq id="A1.Ex6.m1.59.59.59.1.1.1.cmml" xref="A1.Ex6.m1.59.59.59.1.1.1"></eq><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.3.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.3.1.cmml"></times><ci id="A1.Ex6.m1.56.56.56.36.36.36a.cmml" xref="A1.Ex6.m1.56.56.56.36.36.36"><mtext id="A1.Ex6.m1.56.56.56.36.36.36.cmml" xref="A1.Ex6.m1.56.56.56.36.36.36"> taking expectations w.r.t </mtext></ci><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.3.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.3.3.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.57.57.57.37.37.37.cmml" xref="A1.Ex6.m1.57.57.57.37.37.37">𝐸</ci><apply id="A1.Ex6.m1.58.58.58.38.38.38.1.cmml" xref="A1.Ex6.m1.58.58.58.38.38.38.1"><minus id="A1.Ex6.m1.58.58.58.38.38.38.1.1.cmml" xref="A1.Ex6.m1.58.58.58.38.38.38.1.1"></minus><ci id="A1.Ex6.m1.58.58.58.38.38.38.1.2.cmml" xref="A1.Ex6.m1.58.58.58.38.38.38.1.2">𝑛</ci><cn id="A1.Ex6.m1.58.58.58.38.38.38.1.3.cmml" type="integer" xref="A1.Ex6.m1.58.58.58.38.38.38.1.3">1</cn></apply></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.2.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.3.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.3.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.3.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.60.60.60.2.2.2.cmml" xref="A1.Ex6.m1.60.60.60.2.2.2">𝜎</ci><cn id="A1.Ex6.m1.61.61.61.3.3.3.1.cmml" type="integer" xref="A1.Ex6.m1.61.61.61.3.3.3.1">0</cn></apply><cn id="A1.Ex6.m1.62.62.62.4.4.4.1.cmml" type="integer" xref="A1.Ex6.m1.62.62.62.4.4.4.1">2</cn></apply><ci id="A1.Ex6.m1.63.63.63.5.5.5.cmml" xref="A1.Ex6.m1.63.63.63.5.5.5">𝔼</ci><ci id="A1.Ex6.m1.64.64.64.6.6.6.cmml" xref="A1.Ex6.m1.64.64.64.6.6.6">tr</ci><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.2.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.2.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.2.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.2.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.67.67.67.9.9.9.cmml" xref="A1.Ex6.m1.67.67.67.9.9.9">𝑋</ci><cn id="A1.Ex6.m1.68.68.68.10.10.10.1.cmml" type="integer" xref="A1.Ex6.m1.68.68.68.10.10.10.1">0</cn></apply><csymbol cd="latexml" id="A1.Ex6.m1.69.69.69.11.11.11.1.cmml" xref="A1.Ex6.m1.69.69.69.11.11.11.1">top</csymbol></apply><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.1.1.1.1.1.1.1.1.1.1.3.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.70.70.70.12.12.12.cmml" xref="A1.Ex6.m1.70.70.70.12.12.12">𝑋</ci><cn id="A1.Ex6.m1.71.71.71.13.13.13.1.cmml" type="integer" xref="A1.Ex6.m1.71.71.71.13.13.13.1">0</cn></apply></apply><apply id="A1.Ex6.m1.73.73.73.15.15.15.1.cmml" xref="A1.Ex6.m1.73.73.73.15.15.15.1"><minus id="A1.Ex6.m1.73.73.73.15.15.15.1.1.cmml" xref="A1.Ex6.m1.73.73.73.15.15.15.1"></minus><cn id="A1.Ex6.m1.73.73.73.15.15.15.1.2.cmml" type="integer" xref="A1.Ex6.m1.73.73.73.15.15.15.1.2">1</cn></apply></apply><ci id="A1.Ex6.m1.74.74.74.16.16.16.cmml" xref="A1.Ex6.m1.74.74.74.16.16.16">𝑆</ci><ci id="A1.Ex6.m1.75.75.75.17.17.17.cmml" xref="A1.Ex6.m1.75.75.75.17.17.17">𝑅</ci><ci id="A1.Ex6.m1.76.76.76.18.18.18.cmml" xref="A1.Ex6.m1.76.76.76.18.18.18">Σ</ci><ci id="A1.Ex6.m1.77.77.77.19.19.19.cmml" xref="A1.Ex6.m1.77.77.77.19.19.19">𝑅</ci><ci id="A1.Ex6.m1.78.78.78.20.20.20.cmml" xref="A1.Ex6.m1.78.78.78.20.20.20">𝑆</ci></apply></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.3.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.3a.cmml">formulae-sequence</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.cmml"><eq id="A1.Ex6.m1.82.82.82.1.1.1.cmml" xref="A1.Ex6.m1.82.82.82.1.1.1"></eq><ci id="A1.Ex6.m1.81.81.81.23.23.23a.cmml" xref="A1.Ex6.m1.81.81.81.23.23.23"><mtext id="A1.Ex6.m1.81.81.81.23.23.23.cmml" xref="A1.Ex6.m1.81.81.81.23.23.23"> by cyclic property of trace</mtext></ci><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.1.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.2.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.2.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.1.1.3.2.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.83.83.83.2.2.2.cmml" xref="A1.Ex6.m1.83.83.83.2.2.2">𝜎</ci><cn id="A1.Ex6.m1.84.84.84.3.3.3.1.cmml" type="integer" xref="A1.Ex6.m1.84.84.84.3.3.3.1">0</cn></apply><cn id="A1.Ex6.m1.85.85.85.4.4.4.1.cmml" type="integer" xref="A1.Ex6.m1.85.85.85.4.4.4.1">2</cn></apply><apply id="A1.Ex6.m1.86.86.86.5.5.5.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5"><divide id="A1.Ex6.m1.86.86.86.5.5.5.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5"></divide><apply id="A1.Ex6.m1.86.86.86.5.5.5.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1"><times id="A1.Ex6.m1.86.86.86.5.5.5.1.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.2"></times><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.3.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.3">𝔼</ci><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.4.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.4">tr</ci><apply id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1"><times id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.1"></times><apply id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2">superscript</csymbol><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.2">Σ</ci><apply id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3"><minus id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3"></minus><cn id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.2.cmml" type="integer" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.3.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.3">𝑆</ci><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.4.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.4">𝑅</ci><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.5.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.5">Σ</ci><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.6.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.6">𝑅</ci><ci id="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.7.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.1.1.1.1.7">𝑆</ci></apply></apply><apply id="A1.Ex6.m1.86.86.86.5.5.5.3.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3"><minus id="A1.Ex6.m1.86.86.86.5.5.5.3.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3.1"></minus><apply id="A1.Ex6.m1.86.86.86.5.5.5.3.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.86.86.86.5.5.5.3.2.1.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2">subscript</csymbol><ci id="A1.Ex6.m1.86.86.86.5.5.5.3.2.2.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2.2">𝑇</ci><cn id="A1.Ex6.m1.86.86.86.5.5.5.3.2.3.cmml" type="integer" xref="A1.Ex6.m1.86.86.86.5.5.5.3.2.3">0</cn></apply><ci id="A1.Ex6.m1.86.86.86.5.5.5.3.3.cmml" xref="A1.Ex6.m1.86.86.86.5.5.5.3.3">𝑑</ci><cn id="A1.Ex6.m1.86.86.86.5.5.5.3.4.cmml" type="integer" xref="A1.Ex6.m1.86.86.86.5.5.5.3.4">1</cn></apply></apply></apply></apply><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.cmml"><eq id="A1.Ex6.m1.89.89.89.1.1.1.cmml" xref="A1.Ex6.m1.89.89.89.1.1.1"></eq><ci id="A1.Ex6.m1.88.88.88.7.7.7e.cmml" xref="A1.Ex6.m1.88.88.88.7.7.7"><mrow id="A1.Ex6.m1.88.88.88.7.7.7.cmml" xref="A1.Ex6.m1.88.88.88.7.7.7"><mtext id="A1.Ex6.m1.88.88.88.7.7.7a.cmml" xref="A1.Ex6.m1.88.88.88.7.7.7"> by Lemma </mtext><mtext id="A1.Ex6.m1.88.88.88.7.7.7b.cmml" xref="A1.Ex6.m1.88.88.88.7.7.7"><a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx34" title="Lemma A.1. ‣ A.2 Proof of Theorem 4.2 (Ridge Regression) ‣ Appendix A Exact Characterization of Test Error Under Model Collapse ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">A.1</span></a></mtext></mrow></ci><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.cmml"><times id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.1.cmml"></times><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.2.1.cmml">superscript</csymbol><apply id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.2.2.cmml"><csymbol cd="ambiguous" id="A1.Ex6.m1.95.95.1.1.1.2.2.2.2.2.2.3.2.2.1.cmml">subscript</csymbol><ci id="A1.Ex6.m1.90.90.90.2.2.2.cmml" xref="A1.Ex6.m1.90.90.90.2.2.2">𝜎</ci><cn id="A1.Ex6.m1.91.91.91.3.3.3.1.cmml" type="integer" xref="A1.Ex6.m1.91.91.91.3.3.3.1">0</cn></apply><cn id="A1.Ex6.m1.92.92.92.4.4.4.1.cmml" type="integer" xref="A1.Ex6.m1.92.92.92.4.4.4.1">2</cn></apply><ci id="A1.Ex6.m1.93.93.93.5.5.5.cmml" xref="A1.Ex6.m1.93.93.93.5.5.5">𝜌</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex6.m1.102c">\displaystyle\begin{split}\mathbb{E}\,\|\Delta_{n}\|_{\Sigma}^{2}&=\mathbb{E}% \,\|RSX_{0}^{\dagger}E_{n-1}\|_{\Sigma}^{2}\\ &=\sigma_{0}^{2}\mathbb{E}\,\mathrm{tr}(X_{0}(X_{0}^{\top}X_{0})^{-1}SR\Sigma RS% (X_{0}^{\top}X_{0})^{-1}X_{0}^{\top}),\text{ taking expectations w.r.t }E_{n-1% }\\ &=\sigma_{0}^{2}\mathbb{E}\,\mathrm{tr}((X_{0}^{\top}X_{0})^{-1}SR\Sigma RS),% \text{ by cyclic property of trace}\\ &=\sigma_{0}^{2}\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}SR\Sigma RS)}{T_{0}-d% -1},\text{ by Lemma \ref{lm:expinv}}\\ &=\sigma_{0}^{2}\rho.\end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.Ex6.m1.102d">start_ROW start_CELL blackboard_E ∥ roman_Δ start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_CELL start_CELL = blackboard_E ∥ italic_R italic_S italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT † end_POSTSUPERSCRIPT italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT roman_Σ end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT blackboard_E roman_tr ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_S italic_R roman_Σ italic_R italic_S ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT ) , taking expectations w.r.t italic_E start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT blackboard_E roman_tr ( ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_S italic_R roman_Σ italic_R italic_S ) , by cyclic property of trace end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT divide start_ARG blackboard_E roman_tr ( roman_Σ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_S italic_R roman_Σ italic_R italic_S ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d - 1 end_ARG , by Lemma end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ . end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p2.13">We have thus established that: for any <math alttext="n\geq 1" class="ltx_Math" display="inline" id="A1.SS2.p2.13.m1.1"><semantics id="A1.SS2.p2.13.m1.1a"><mrow id="A1.SS2.p2.13.m1.1.1" xref="A1.SS2.p2.13.m1.1.1.cmml"><mi id="A1.SS2.p2.13.m1.1.1.2" xref="A1.SS2.p2.13.m1.1.1.2.cmml">n</mi><mo id="A1.SS2.p2.13.m1.1.1.1" xref="A1.SS2.p2.13.m1.1.1.1.cmml">≥</mo><mn id="A1.SS2.p2.13.m1.1.1.3" xref="A1.SS2.p2.13.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS2.p2.13.m1.1b"><apply id="A1.SS2.p2.13.m1.1.1.cmml" xref="A1.SS2.p2.13.m1.1.1"><geq id="A1.SS2.p2.13.m1.1.1.1.cmml" xref="A1.SS2.p2.13.m1.1.1.1"></geq><ci id="A1.SS2.p2.13.m1.1.1.2.cmml" xref="A1.SS2.p2.13.m1.1.1.2">𝑛</ci><cn id="A1.SS2.p2.13.m1.1.1.3.cmml" type="integer" xref="A1.SS2.p2.13.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.p2.13.m1.1c">n\geq 1</annotation><annotation encoding="application/x-llamapun" id="A1.SS2.p2.13.m1.1d">italic_n ≥ 1</annotation></semantics></math>,</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx33"> <tbody id="A1.Ex7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{n-1}^{% pred})+\sigma_{0}^{2}\rho=\ldots=E_{test}(\widehat{w}_{0}^{pred})+n\sigma_{0}^% {2}\rho." class="ltx_Math" display="inline" id="A1.Ex7.m1.1"><semantics id="A1.Ex7.m1.1a"><mrow id="A1.Ex7.m1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.cmml"><mrow id="A1.Ex7.m1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.cmml"><mrow id="A1.Ex7.m1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.cmml"><msub id="A1.Ex7.m1.1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.1.3.2.cmml">E</mi><mrow id="A1.Ex7.m1.1.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.3.3.2" xref="A1.Ex7.m1.1.1.1.1.1.3.3.2.cmml">t</mi><mo id="A1.Ex7.m1.1.1.1.1.1.3.3.1" xref="A1.Ex7.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.3.3.3" xref="A1.Ex7.m1.1.1.1.1.1.3.3.3.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.1.3.3.1a" xref="A1.Ex7.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.3.3.4" xref="A1.Ex7.m1.1.1.1.1.1.3.3.4.cmml">s</mi><mo id="A1.Ex7.m1.1.1.1.1.1.3.3.1b" xref="A1.Ex7.m1.1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.3.3.5" xref="A1.Ex7.m1.1.1.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.Ex7.m1.1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="A1.Ex7.m1.1.1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="A1.Ex7.m1.1.1.1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.2" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.3" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi><mrow id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1a" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.4" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1b" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.5" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex7.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex7.m1.1.1.1.1.5" xref="A1.Ex7.m1.1.1.1.1.5.cmml">=</mo><mrow id="A1.Ex7.m1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.2.cmml"><mrow id="A1.Ex7.m1.1.1.1.1.2.1" xref="A1.Ex7.m1.1.1.1.1.2.1.cmml"><msub id="A1.Ex7.m1.1.1.1.1.2.1.3" xref="A1.Ex7.m1.1.1.1.1.2.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.1.3.2" xref="A1.Ex7.m1.1.1.1.1.2.1.3.2.cmml">E</mi><mrow id="A1.Ex7.m1.1.1.1.1.2.1.3.3" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.1.3.3.2" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.2.cmml">t</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.3.3.1" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.3.3.3" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.3.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.3.3.1a" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.3.3.4" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.4.cmml">s</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.3.3.1b" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.3.3.5" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.Ex7.m1.1.1.1.1.2.1.2" xref="A1.Ex7.m1.1.1.1.1.2.1.2.cmml">⁢</mo><mrow id="A1.Ex7.m1.1.1.1.1.2.1.1.1" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.cmml"><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.2" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.cmml">(</mo><msubsup id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.cmml"><mover accent="true" id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.2" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.1" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.1.cmml">^</mo></mover><mrow id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.2" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.2.cmml">n</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.1" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.1.cmml">−</mo><mn id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.3" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.3.cmml">1</mn></mrow><mrow id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.2.cmml">p</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.3.cmml">r</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1a" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.4" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.4.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1b" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.5" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex7.m1.1.1.1.1.2.1.1.1.3" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex7.m1.1.1.1.1.2.2" xref="A1.Ex7.m1.1.1.1.1.2.2.cmml">+</mo><mrow id="A1.Ex7.m1.1.1.1.1.2.3" xref="A1.Ex7.m1.1.1.1.1.2.3.cmml"><msubsup id="A1.Ex7.m1.1.1.1.1.2.3.2" xref="A1.Ex7.m1.1.1.1.1.2.3.2.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.3.2.2.2" xref="A1.Ex7.m1.1.1.1.1.2.3.2.2.2.cmml">σ</mi><mn id="A1.Ex7.m1.1.1.1.1.2.3.2.2.3" xref="A1.Ex7.m1.1.1.1.1.2.3.2.2.3.cmml">0</mn><mn id="A1.Ex7.m1.1.1.1.1.2.3.2.3" xref="A1.Ex7.m1.1.1.1.1.2.3.2.3.cmml">2</mn></msubsup><mo id="A1.Ex7.m1.1.1.1.1.2.3.1" xref="A1.Ex7.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.2.3.3" xref="A1.Ex7.m1.1.1.1.1.2.3.3.cmml">ρ</mi></mrow></mrow><mo id="A1.Ex7.m1.1.1.1.1.6" xref="A1.Ex7.m1.1.1.1.1.6.cmml">=</mo><mi id="A1.Ex7.m1.1.1.1.1.7" mathvariant="normal" xref="A1.Ex7.m1.1.1.1.1.7.cmml">…</mi><mo id="A1.Ex7.m1.1.1.1.1.8" xref="A1.Ex7.m1.1.1.1.1.8.cmml">=</mo><mrow id="A1.Ex7.m1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.3.cmml"><mrow id="A1.Ex7.m1.1.1.1.1.3.1" xref="A1.Ex7.m1.1.1.1.1.3.1.cmml"><msub id="A1.Ex7.m1.1.1.1.1.3.1.3" xref="A1.Ex7.m1.1.1.1.1.3.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.1.3.2" xref="A1.Ex7.m1.1.1.1.1.3.1.3.2.cmml">E</mi><mrow id="A1.Ex7.m1.1.1.1.1.3.1.3.3" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.1.3.3.2" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.2.cmml">t</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.3.3.1" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.3.3.3" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.3.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.3.3.1a" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.3.3.4" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.4.cmml">s</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.3.3.1b" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.3.3.5" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.Ex7.m1.1.1.1.1.3.1.2" xref="A1.Ex7.m1.1.1.1.1.3.1.2.cmml">⁢</mo><mrow id="A1.Ex7.m1.1.1.1.1.3.1.1.1" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.cmml"><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.2" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.cmml">(</mo><msubsup id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.cmml"><mover accent="true" id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.2" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.1" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.3" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.3.cmml">0</mn><mrow id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.2.cmml">p</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.3.cmml">r</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1a" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.4" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.4.cmml">e</mi><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1b" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.5" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.Ex7.m1.1.1.1.1.3.1.1.1.3" stretchy="false" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex7.m1.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.3.2.cmml">+</mo><mrow id="A1.Ex7.m1.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.3.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.3.2" xref="A1.Ex7.m1.1.1.1.1.3.3.2.cmml">n</mi><mo id="A1.Ex7.m1.1.1.1.1.3.3.1" xref="A1.Ex7.m1.1.1.1.1.3.3.1.cmml">⁢</mo><msubsup id="A1.Ex7.m1.1.1.1.1.3.3.3" xref="A1.Ex7.m1.1.1.1.1.3.3.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.3.3.2.2" xref="A1.Ex7.m1.1.1.1.1.3.3.3.2.2.cmml">σ</mi><mn id="A1.Ex7.m1.1.1.1.1.3.3.3.2.3" xref="A1.Ex7.m1.1.1.1.1.3.3.3.2.3.cmml">0</mn><mn id="A1.Ex7.m1.1.1.1.1.3.3.3.3" xref="A1.Ex7.m1.1.1.1.1.3.3.3.3.cmml">2</mn></msubsup><mo id="A1.Ex7.m1.1.1.1.1.3.3.1a" xref="A1.Ex7.m1.1.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.Ex7.m1.1.1.1.1.3.3.4" xref="A1.Ex7.m1.1.1.1.1.3.3.4.cmml">ρ</mi></mrow></mrow></mrow><mo id="A1.Ex7.m1.1.1.1.2" lspace="0em" xref="A1.Ex7.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex7.m1.1b"><apply id="A1.Ex7.m1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1"><and id="A1.Ex7.m1.1.1.1.1a.cmml" xref="A1.Ex7.m1.1.1.1"></and><apply id="A1.Ex7.m1.1.1.1.1b.cmml" xref="A1.Ex7.m1.1.1.1"><eq id="A1.Ex7.m1.1.1.1.1.5.cmml" xref="A1.Ex7.m1.1.1.1.1.5"></eq><apply id="A1.Ex7.m1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1"><times id="A1.Ex7.m1.1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.2"></times><apply id="A1.Ex7.m1.1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.2">𝐸</ci><apply id="A1.Ex7.m1.1.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3"><times id="A1.Ex7.m1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3.2">𝑡</ci><ci id="A1.Ex7.m1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3.3">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.1.3.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3.4">𝑠</ci><ci id="A1.Ex7.m1.1.1.1.1.1.3.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1">subscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2"><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.1">^</ci><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3"><times id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.2">𝑝</ci><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.3">𝑟</ci><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.4">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2"><plus id="A1.Ex7.m1.1.1.1.1.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.2"></plus><apply id="A1.Ex7.m1.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1"><times id="A1.Ex7.m1.1.1.1.1.2.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.2"></times><apply id="A1.Ex7.m1.1.1.1.1.2.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.2.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.2">𝐸</ci><apply id="A1.Ex7.m1.1.1.1.1.2.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3"><times id="A1.Ex7.m1.1.1.1.1.2.1.3.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.2.1.3.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.2">𝑡</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.3.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.3">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.3.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.4">𝑠</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.3.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1">subscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2"><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.1">^</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.2.2">𝑤</ci></apply><apply id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3"><minus id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.1"></minus><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.2">𝑛</ci><cn id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.2.3.3">1</cn></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3"><times id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.2">𝑝</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.3">𝑟</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.4">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.2.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.2.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3"><times id="A1.Ex7.m1.1.1.1.1.2.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.1"></times><apply id="A1.Ex7.m1.1.1.1.1.2.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.2"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.3.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.2">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.2.3.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.2"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.3.2.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.2">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.2.3.2.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.2.2.2">𝜎</ci><cn id="A1.Ex7.m1.1.1.1.1.2.3.2.2.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.2.3.2.2.3">0</cn></apply><cn id="A1.Ex7.m1.1.1.1.1.2.3.2.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.2.3.2.3">2</cn></apply><ci id="A1.Ex7.m1.1.1.1.1.2.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3.3">𝜌</ci></apply></apply></apply><apply id="A1.Ex7.m1.1.1.1.1c.cmml" xref="A1.Ex7.m1.1.1.1"><eq id="A1.Ex7.m1.1.1.1.1.6.cmml" xref="A1.Ex7.m1.1.1.1.1.6"></eq><share href="#A1.Ex7.m1.1.1.1.1.2.cmml" id="A1.Ex7.m1.1.1.1.1d.cmml" xref="A1.Ex7.m1.1.1.1"></share><ci id="A1.Ex7.m1.1.1.1.1.7.cmml" xref="A1.Ex7.m1.1.1.1.1.7">…</ci></apply><apply id="A1.Ex7.m1.1.1.1.1e.cmml" xref="A1.Ex7.m1.1.1.1"><eq id="A1.Ex7.m1.1.1.1.1.8.cmml" xref="A1.Ex7.m1.1.1.1.1.8"></eq><share href="#A1.Ex7.m1.1.1.1.1.7.cmml" id="A1.Ex7.m1.1.1.1.1f.cmml" xref="A1.Ex7.m1.1.1.1"></share><apply id="A1.Ex7.m1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3"><plus id="A1.Ex7.m1.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2"></plus><apply id="A1.Ex7.m1.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1"><times id="A1.Ex7.m1.1.1.1.1.3.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.2"></times><apply id="A1.Ex7.m1.1.1.1.1.3.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.3.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.2">𝐸</ci><apply id="A1.Ex7.m1.1.1.1.1.3.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3"><times id="A1.Ex7.m1.1.1.1.1.3.1.3.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.3.1.3.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.2">𝑡</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.3.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.3">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.3.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.4">𝑠</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.3.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1">subscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2"><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.1">^</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.2.3">0</cn></apply><apply id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3"><times id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.2">𝑝</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.3">𝑟</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.4">𝑒</ci><ci id="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.5.cmml" xref="A1.Ex7.m1.1.1.1.1.3.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="A1.Ex7.m1.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3"><times id="A1.Ex7.m1.1.1.1.1.3.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.1"></times><ci id="A1.Ex7.m1.1.1.1.1.3.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.2">𝑛</ci><apply id="A1.Ex7.m1.1.1.1.1.3.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.3.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.3">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.1.3.3.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.3.3.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.3">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.3.3.3.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.3.2.2">𝜎</ci><cn id="A1.Ex7.m1.1.1.1.1.3.3.3.2.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.3.3.3.2.3">0</cn></apply><cn id="A1.Ex7.m1.1.1.1.1.3.3.3.3.cmml" type="integer" xref="A1.Ex7.m1.1.1.1.1.3.3.3.3">2</cn></apply><ci id="A1.Ex7.m1.1.1.1.1.3.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.3.3.4">𝜌</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex7.m1.1c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{n-1}^{% pred})+\sigma_{0}^{2}\rho=\ldots=E_{test}(\widehat{w}_{0}^{pred})+n\sigma_{0}^% {2}\rho.</annotation><annotation encoding="application/x-llamapun" id="A1.Ex7.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n - 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) + italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ = … = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) + italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS2.p2.14">This completes the proof. ∎</p> </div> <div class="ltx_para" id="A1.SS2.p3"> <p class="ltx_p" id="A1.SS2.p3.1">In the last step of the above proof, we have used the following well-known result.</p> </div> <div class="ltx_theorem ltx_theorem_lemma" id="A1.Thmtheorem1"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="A1.Thmtheorem1.1.1.1">Lemma A.1</span></span><span class="ltx_text ltx_font_bold" id="A1.Thmtheorem1.2.2">.</span> </h6> <div class="ltx_para" id="A1.Thmtheorem1.p1"> <p class="ltx_p" id="A1.Thmtheorem1.p1.6"><span class="ltx_text ltx_font_italic" id="A1.Thmtheorem1.p1.6.6">Let <math alttext="T_{0}" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.1.1.m1.1"><semantics id="A1.Thmtheorem1.p1.1.1.m1.1a"><msub id="A1.Thmtheorem1.p1.1.1.m1.1.1" xref="A1.Thmtheorem1.p1.1.1.m1.1.1.cmml"><mi id="A1.Thmtheorem1.p1.1.1.m1.1.1.2" xref="A1.Thmtheorem1.p1.1.1.m1.1.1.2.cmml">T</mi><mn id="A1.Thmtheorem1.p1.1.1.m1.1.1.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.1.1.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.1.1.m1.1b"><apply id="A1.Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="A1.Thmtheorem1.p1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.1.1.m1.1.1.1.cmml" xref="A1.Thmtheorem1.p1.1.1.m1.1.1">subscript</csymbol><ci id="A1.Thmtheorem1.p1.1.1.m1.1.1.2.cmml" xref="A1.Thmtheorem1.p1.1.1.m1.1.1.2">𝑇</ci><cn id="A1.Thmtheorem1.p1.1.1.m1.1.1.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.1.1.m1.1c">T_{0}</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.1.1.m1.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> and <math alttext="d" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.2.2.m2.1"><semantics id="A1.Thmtheorem1.p1.2.2.m2.1a"><mi id="A1.Thmtheorem1.p1.2.2.m2.1.1" xref="A1.Thmtheorem1.p1.2.2.m2.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.2.2.m2.1b"><ci id="A1.Thmtheorem1.p1.2.2.m2.1.1.cmml" xref="A1.Thmtheorem1.p1.2.2.m2.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.2.2.m2.1c">d</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.2.2.m2.1d">italic_d</annotation></semantics></math> be positive integers with <math alttext="T_{0}\geq d+2" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.3.3.m3.1"><semantics id="A1.Thmtheorem1.p1.3.3.m3.1a"><mrow id="A1.Thmtheorem1.p1.3.3.m3.1.1" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.cmml"><msub id="A1.Thmtheorem1.p1.3.3.m3.1.1.2" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2.cmml"><mi id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.2" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2.2.cmml">T</mi><mn id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2.3.cmml">0</mn></msub><mo id="A1.Thmtheorem1.p1.3.3.m3.1.1.1" mathvariant="normal" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.1.cmml">≥</mo><mrow id="A1.Thmtheorem1.p1.3.3.m3.1.1.3" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.cmml"><mi id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.2" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.2.cmml">d</mi><mo id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.1" mathvariant="normal" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml">+</mo><mn id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.3.cmml">2</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.3.3.m3.1b"><apply id="A1.Thmtheorem1.p1.3.3.m3.1.1.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1"><geq id="A1.Thmtheorem1.p1.3.3.m3.1.1.1.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.1"></geq><apply id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.1.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2">subscript</csymbol><ci id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.2.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2.2">𝑇</ci><cn id="A1.Thmtheorem1.p1.3.3.m3.1.1.2.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.2.3">0</cn></apply><apply id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3"><plus id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.1.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.1"></plus><ci id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.2.cmml" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.2">𝑑</ci><cn id="A1.Thmtheorem1.p1.3.3.m3.1.1.3.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.3.3.m3.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.3.3.m3.1c">T_{0}\geq d+2</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.3.3.m3.1d">italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ≥ italic_d + 2</annotation></semantics></math>, and let <math alttext="X_{0}\in\mathbb{R}^{T_{0}\times d}" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.4.4.m4.1"><semantics id="A1.Thmtheorem1.p1.4.4.m4.1a"><mrow id="A1.Thmtheorem1.p1.4.4.m4.1.1" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.cmml"><msub id="A1.Thmtheorem1.p1.4.4.m4.1.1.2" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2.cmml"><mi id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.2" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2.2.cmml">X</mi><mn id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2.3.cmml">0</mn></msub><mo id="A1.Thmtheorem1.p1.4.4.m4.1.1.1" mathvariant="normal" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.1.cmml">∈</mo><msup id="A1.Thmtheorem1.p1.4.4.m4.1.1.3" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.cmml"><mi id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.2" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.2.cmml">ℝ</mi><mrow id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.cmml"><msub id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.cmml"><mi id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.2" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.2.cmml">T</mi><mn id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.3.cmml">0</mn></msub><mo id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.1" lspace="0.222em" mathvariant="normal" rspace="0.222em" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.1.cmml">×</mo><mi id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.3" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.3.cmml">d</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.4.4.m4.1b"><apply id="A1.Thmtheorem1.p1.4.4.m4.1.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1"><in id="A1.Thmtheorem1.p1.4.4.m4.1.1.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.1"></in><apply id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2">subscript</csymbol><ci id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.2.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2.2">𝑋</ci><cn id="A1.Thmtheorem1.p1.4.4.m4.1.1.2.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.2.3">0</cn></apply><apply id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3">superscript</csymbol><ci id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.2.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.2">ℝ</ci><apply id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3"><times id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.1"></times><apply id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.1.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2">subscript</csymbol><ci id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.2.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.2">𝑇</ci><cn id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.2.3">0</cn></apply><ci id="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.3.cmml" xref="A1.Thmtheorem1.p1.4.4.m4.1.1.3.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.4.4.m4.1c">X_{0}\in\mathbb{R}^{T_{0}\times d}</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.4.4.m4.1d">italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∈ blackboard_R start_POSTSUPERSCRIPT italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT × italic_d end_POSTSUPERSCRIPT</annotation></semantics></math> be a random matrix with iid rows from <math alttext="N(0,\Sigma)" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.5.5.m5.2"><semantics id="A1.Thmtheorem1.p1.5.5.m5.2a"><mrow id="A1.Thmtheorem1.p1.5.5.m5.2.3" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.cmml"><mi id="A1.Thmtheorem1.p1.5.5.m5.2.3.2" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.2.cmml">N</mi><mo id="A1.Thmtheorem1.p1.5.5.m5.2.3.1" mathvariant="italic" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.1.cmml">⁢</mo><mrow id="A1.Thmtheorem1.p1.5.5.m5.2.3.3.2" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.3.1.cmml"><mo id="A1.Thmtheorem1.p1.5.5.m5.2.3.3.2.1" mathvariant="normal" stretchy="false" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.3.1.cmml">(</mo><mn id="A1.Thmtheorem1.p1.5.5.m5.1.1" mathvariant="normal" xref="A1.Thmtheorem1.p1.5.5.m5.1.1.cmml">0</mn><mo id="A1.Thmtheorem1.p1.5.5.m5.2.3.3.2.2" mathvariant="normal" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.3.1.cmml">,</mo><mi id="A1.Thmtheorem1.p1.5.5.m5.2.2" mathvariant="normal" xref="A1.Thmtheorem1.p1.5.5.m5.2.2.cmml">Σ</mi><mo id="A1.Thmtheorem1.p1.5.5.m5.2.3.3.2.3" mathvariant="normal" stretchy="false" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.5.5.m5.2b"><apply id="A1.Thmtheorem1.p1.5.5.m5.2.3.cmml" xref="A1.Thmtheorem1.p1.5.5.m5.2.3"><times id="A1.Thmtheorem1.p1.5.5.m5.2.3.1.cmml" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.1"></times><ci id="A1.Thmtheorem1.p1.5.5.m5.2.3.2.cmml" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.2">𝑁</ci><interval closure="open" id="A1.Thmtheorem1.p1.5.5.m5.2.3.3.1.cmml" xref="A1.Thmtheorem1.p1.5.5.m5.2.3.3.2"><cn id="A1.Thmtheorem1.p1.5.5.m5.1.1.cmml" type="integer" xref="A1.Thmtheorem1.p1.5.5.m5.1.1">0</cn><ci id="A1.Thmtheorem1.p1.5.5.m5.2.2.cmml" xref="A1.Thmtheorem1.p1.5.5.m5.2.2">normal-Σ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.5.5.m5.2c">N(0,\Sigma)</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.5.5.m5.2d">italic_N ( 0 , roman_Σ )</annotation></semantics></math>. Then, <math alttext="X_{0}" class="ltx_Math" display="inline" id="A1.Thmtheorem1.p1.6.6.m6.1"><semantics id="A1.Thmtheorem1.p1.6.6.m6.1a"><msub id="A1.Thmtheorem1.p1.6.6.m6.1.1" xref="A1.Thmtheorem1.p1.6.6.m6.1.1.cmml"><mi id="A1.Thmtheorem1.p1.6.6.m6.1.1.2" xref="A1.Thmtheorem1.p1.6.6.m6.1.1.2.cmml">X</mi><mn id="A1.Thmtheorem1.p1.6.6.m6.1.1.3" mathvariant="normal" xref="A1.Thmtheorem1.p1.6.6.m6.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.Thmtheorem1.p1.6.6.m6.1b"><apply id="A1.Thmtheorem1.p1.6.6.m6.1.1.cmml" xref="A1.Thmtheorem1.p1.6.6.m6.1.1"><csymbol cd="ambiguous" id="A1.Thmtheorem1.p1.6.6.m6.1.1.1.cmml" xref="A1.Thmtheorem1.p1.6.6.m6.1.1">subscript</csymbol><ci id="A1.Thmtheorem1.p1.6.6.m6.1.1.2.cmml" xref="A1.Thmtheorem1.p1.6.6.m6.1.1.2">𝑋</ci><cn id="A1.Thmtheorem1.p1.6.6.m6.1.1.3.cmml" type="integer" xref="A1.Thmtheorem1.p1.6.6.m6.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmtheorem1.p1.6.6.m6.1c">X_{0}</annotation><annotation encoding="application/x-llamapun" id="A1.Thmtheorem1.p1.6.6.m6.1d">italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math> has full rank a.s. Moreover, it holds that</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx34"> <tbody id="A1.E33"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\mathbb{E}\,[(X_{0}^{\top}X_{0})^{-1}]=\frac{1}{T_{0}-d-1}\Sigma^% {-1}." class="ltx_Math" display="inline" id="A1.E33.m1.1"><semantics id="A1.E33.m1.1a"><mrow id="A1.E33.m1.1.1.1" xref="A1.E33.m1.1.1.1.1.cmml"><mrow id="A1.E33.m1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.cmml"><mrow id="A1.E33.m1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.cmml"><mi id="A1.E33.m1.1.1.1.1.1.3" xref="A1.E33.m1.1.1.1.1.1.3.cmml">𝔼</mi><mo id="A1.E33.m1.1.1.1.1.1.2" lspace="0.170em" xref="A1.E33.m1.1.1.1.1.1.2.cmml">⁢</mo><mrow id="A1.E33.m1.1.1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.1.2.cmml"><mo id="A1.E33.m1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.E33.m1.1.1.1.1.1.1.2.1.cmml">[</mo><msup id="A1.E33.m1.1.1.1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">X</mi><mn id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml">0</mn><mo id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">⊤</mo></msubsup><mo id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">⁢</mo><msub id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">X</mi><mn id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">0</mn></msub></mrow><mo id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.E33.m1.1.1.1.1.1.1.1.1.3" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3.cmml"><mo id="A1.E33.m1.1.1.1.1.1.1.1.1.3a" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="A1.E33.m1.1.1.1.1.1.1.1.1.3.2" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.E33.m1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.E33.m1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A1.E33.m1.1.1.1.1.2" xref="A1.E33.m1.1.1.1.1.2.cmml">=</mo><mrow id="A1.E33.m1.1.1.1.1.3" xref="A1.E33.m1.1.1.1.1.3.cmml"><mstyle displaystyle="true" id="A1.E33.m1.1.1.1.1.3.2" xref="A1.E33.m1.1.1.1.1.3.2.cmml"><mfrac id="A1.E33.m1.1.1.1.1.3.2a" xref="A1.E33.m1.1.1.1.1.3.2.cmml"><mn id="A1.E33.m1.1.1.1.1.3.2.2" xref="A1.E33.m1.1.1.1.1.3.2.2.cmml">1</mn><mrow id="A1.E33.m1.1.1.1.1.3.2.3" xref="A1.E33.m1.1.1.1.1.3.2.3.cmml"><msub id="A1.E33.m1.1.1.1.1.3.2.3.2" xref="A1.E33.m1.1.1.1.1.3.2.3.2.cmml"><mi id="A1.E33.m1.1.1.1.1.3.2.3.2.2" xref="A1.E33.m1.1.1.1.1.3.2.3.2.2.cmml">T</mi><mn id="A1.E33.m1.1.1.1.1.3.2.3.2.3" xref="A1.E33.m1.1.1.1.1.3.2.3.2.3.cmml">0</mn></msub><mo id="A1.E33.m1.1.1.1.1.3.2.3.1" xref="A1.E33.m1.1.1.1.1.3.2.3.1.cmml">−</mo><mi id="A1.E33.m1.1.1.1.1.3.2.3.3" xref="A1.E33.m1.1.1.1.1.3.2.3.3.cmml">d</mi><mo id="A1.E33.m1.1.1.1.1.3.2.3.1a" xref="A1.E33.m1.1.1.1.1.3.2.3.1.cmml">−</mo><mn id="A1.E33.m1.1.1.1.1.3.2.3.4" xref="A1.E33.m1.1.1.1.1.3.2.3.4.cmml">1</mn></mrow></mfrac></mstyle><mo id="A1.E33.m1.1.1.1.1.3.1" xref="A1.E33.m1.1.1.1.1.3.1.cmml">⁢</mo><msup id="A1.E33.m1.1.1.1.1.3.3" xref="A1.E33.m1.1.1.1.1.3.3.cmml"><mi id="A1.E33.m1.1.1.1.1.3.3.2" mathvariant="normal" xref="A1.E33.m1.1.1.1.1.3.3.2.cmml">Σ</mi><mrow id="A1.E33.m1.1.1.1.1.3.3.3" xref="A1.E33.m1.1.1.1.1.3.3.3.cmml"><mo id="A1.E33.m1.1.1.1.1.3.3.3a" xref="A1.E33.m1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A1.E33.m1.1.1.1.1.3.3.3.2" xref="A1.E33.m1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo id="A1.E33.m1.1.1.1.2" lspace="0em" xref="A1.E33.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E33.m1.1b"><apply id="A1.E33.m1.1.1.1.1.cmml" xref="A1.E33.m1.1.1.1"><eq id="A1.E33.m1.1.1.1.1.2.cmml" xref="A1.E33.m1.1.1.1.1.2"></eq><apply id="A1.E33.m1.1.1.1.1.1.cmml" xref="A1.E33.m1.1.1.1.1.1"><times id="A1.E33.m1.1.1.1.1.1.2.cmml" xref="A1.E33.m1.1.1.1.1.1.2"></times><ci id="A1.E33.m1.1.1.1.1.1.3.cmml" xref="A1.E33.m1.1.1.1.1.1.3">𝔼</ci><apply id="A1.E33.m1.1.1.1.1.1.1.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.E33.m1.1.1.1.1.1.1.2.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1"><times id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.2">𝑋</ci><cn id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.2.3">0</cn></apply><csymbol cd="latexml" id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.2.3">top</csymbol></apply><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.2">𝑋</ci><cn id="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.1.1.1.1.1.1.1.3.3">0</cn></apply></apply><apply id="A1.E33.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3"><minus id="A1.E33.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3"></minus><cn id="A1.E33.m1.1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.1.1.1.1.3.2">1</cn></apply></apply></apply></apply><apply id="A1.E33.m1.1.1.1.1.3.cmml" xref="A1.E33.m1.1.1.1.1.3"><times id="A1.E33.m1.1.1.1.1.3.1.cmml" xref="A1.E33.m1.1.1.1.1.3.1"></times><apply id="A1.E33.m1.1.1.1.1.3.2.cmml" xref="A1.E33.m1.1.1.1.1.3.2"><divide id="A1.E33.m1.1.1.1.1.3.2.1.cmml" xref="A1.E33.m1.1.1.1.1.3.2"></divide><cn id="A1.E33.m1.1.1.1.1.3.2.2.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.3.2.2">1</cn><apply id="A1.E33.m1.1.1.1.1.3.2.3.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3"><minus id="A1.E33.m1.1.1.1.1.3.2.3.1.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3.1"></minus><apply id="A1.E33.m1.1.1.1.1.3.2.3.2.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3.2"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.3.2.3.2.1.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3.2">subscript</csymbol><ci id="A1.E33.m1.1.1.1.1.3.2.3.2.2.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3.2.2">𝑇</ci><cn id="A1.E33.m1.1.1.1.1.3.2.3.2.3.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.3.2.3.2.3">0</cn></apply><ci id="A1.E33.m1.1.1.1.1.3.2.3.3.cmml" xref="A1.E33.m1.1.1.1.1.3.2.3.3">𝑑</ci><cn id="A1.E33.m1.1.1.1.1.3.2.3.4.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.3.2.3.4">1</cn></apply></apply><apply id="A1.E33.m1.1.1.1.1.3.3.cmml" xref="A1.E33.m1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.E33.m1.1.1.1.1.3.3.1.cmml" xref="A1.E33.m1.1.1.1.1.3.3">superscript</csymbol><ci id="A1.E33.m1.1.1.1.1.3.3.2.cmml" xref="A1.E33.m1.1.1.1.1.3.3.2">Σ</ci><apply id="A1.E33.m1.1.1.1.1.3.3.3.cmml" xref="A1.E33.m1.1.1.1.1.3.3.3"><minus id="A1.E33.m1.1.1.1.1.3.3.3.1.cmml" xref="A1.E33.m1.1.1.1.1.3.3.3"></minus><cn id="A1.E33.m1.1.1.1.1.3.3.3.2.cmml" type="integer" xref="A1.E33.m1.1.1.1.1.3.3.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E33.m1.1c">\displaystyle\mathbb{E}\,[(X_{0}^{\top}X_{0})^{-1}]=\frac{1}{T_{0}-d-1}\Sigma^% {-1}.</annotation><annotation encoding="application/x-llamapun" id="A1.E33.m1.1d">blackboard_E [ ( italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_X start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT ] = divide start_ARG 1 end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d - 1 end_ARG roman_Σ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(33)</span></td> </tr></tbody> </table> </div> </div> </section> <section class="ltx_subsection" id="A1.SS3"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">A.3 </span>Proof of Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem5" title="Theorem 4.5. ‣ 4.4 Main Result II: Analytic Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.5</span></a> (Analytic Formula via RMT)</h3> <div class="ltx_para" id="A1.SS3.p1"> <p class="ltx_p" id="A1.SS3.p1.5">For the first part, we know from Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem2" title="Theorem 4.2. ‣ 4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.2</span></a> that</p> <table class="ltx_equationgroup ltx_eqn_align ltx_eqn_table" id="A3.EGx35"> <tbody id="A1.E34"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{0}^{pred}% )+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\sigma_{0}^{2% }\rho},\text{ with}" class="ltx_Math" display="inline" id="A1.E34.m1.3"><semantics id="A1.E34.m1.3a"><mrow id="A1.E34.m1.3.3" xref="A1.E34.m1.3.3.cmml"><mrow id="A1.E34.m1.2.2.1" xref="A1.E34.m1.2.2.1.cmml"><msub id="A1.E34.m1.2.2.1.3" xref="A1.E34.m1.2.2.1.3.cmml"><mi id="A1.E34.m1.2.2.1.3.2" xref="A1.E34.m1.2.2.1.3.2.cmml">E</mi><mrow id="A1.E34.m1.2.2.1.3.3" xref="A1.E34.m1.2.2.1.3.3.cmml"><mi id="A1.E34.m1.2.2.1.3.3.2" xref="A1.E34.m1.2.2.1.3.3.2.cmml">t</mi><mo id="A1.E34.m1.2.2.1.3.3.1" xref="A1.E34.m1.2.2.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.3.3.3" xref="A1.E34.m1.2.2.1.3.3.3.cmml">e</mi><mo id="A1.E34.m1.2.2.1.3.3.1a" xref="A1.E34.m1.2.2.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.3.3.4" xref="A1.E34.m1.2.2.1.3.3.4.cmml">s</mi><mo id="A1.E34.m1.2.2.1.3.3.1b" xref="A1.E34.m1.2.2.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.3.3.5" xref="A1.E34.m1.2.2.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.E34.m1.2.2.1.2" xref="A1.E34.m1.2.2.1.2.cmml">⁢</mo><mrow id="A1.E34.m1.2.2.1.1.1" xref="A1.E34.m1.2.2.1.1.1.1.cmml"><mo id="A1.E34.m1.2.2.1.1.1.2" stretchy="false" xref="A1.E34.m1.2.2.1.1.1.1.cmml">(</mo><msubsup id="A1.E34.m1.2.2.1.1.1.1" xref="A1.E34.m1.2.2.1.1.1.1.cmml"><mover accent="true" id="A1.E34.m1.2.2.1.1.1.1.2.2" xref="A1.E34.m1.2.2.1.1.1.1.2.2.cmml"><mi id="A1.E34.m1.2.2.1.1.1.1.2.2.2" xref="A1.E34.m1.2.2.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.E34.m1.2.2.1.1.1.1.2.2.1" xref="A1.E34.m1.2.2.1.1.1.1.2.2.1.cmml">^</mo></mover><mi id="A1.E34.m1.2.2.1.1.1.1.2.3" xref="A1.E34.m1.2.2.1.1.1.1.2.3.cmml">n</mi><mrow id="A1.E34.m1.2.2.1.1.1.1.3" xref="A1.E34.m1.2.2.1.1.1.1.3.cmml"><mi id="A1.E34.m1.2.2.1.1.1.1.3.2" xref="A1.E34.m1.2.2.1.1.1.1.3.2.cmml">p</mi><mo id="A1.E34.m1.2.2.1.1.1.1.3.1" xref="A1.E34.m1.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.1.1.1.3.3" xref="A1.E34.m1.2.2.1.1.1.1.3.3.cmml">r</mi><mo id="A1.E34.m1.2.2.1.1.1.1.3.1a" xref="A1.E34.m1.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.1.1.1.3.4" xref="A1.E34.m1.2.2.1.1.1.1.3.4.cmml">e</mi><mo id="A1.E34.m1.2.2.1.1.1.1.3.1b" xref="A1.E34.m1.2.2.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.2.2.1.1.1.1.3.5" xref="A1.E34.m1.2.2.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.E34.m1.2.2.1.1.1.3" stretchy="false" xref="A1.E34.m1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E34.m1.3.3.3" xref="A1.E34.m1.3.3.3.cmml">=</mo><mrow id="A1.E34.m1.3.3.2.1" xref="A1.E34.m1.3.3.2.2.cmml"><mrow id="A1.E34.m1.3.3.2.1.1" xref="A1.E34.m1.3.3.2.1.1.cmml"><mrow id="A1.E34.m1.3.3.2.1.1.1" xref="A1.E34.m1.3.3.2.1.1.1.cmml"><msub id="A1.E34.m1.3.3.2.1.1.1.3" xref="A1.E34.m1.3.3.2.1.1.1.3.cmml"><mi id="A1.E34.m1.3.3.2.1.1.1.3.2" xref="A1.E34.m1.3.3.2.1.1.1.3.2.cmml">E</mi><mrow id="A1.E34.m1.3.3.2.1.1.1.3.3" xref="A1.E34.m1.3.3.2.1.1.1.3.3.cmml"><mi id="A1.E34.m1.3.3.2.1.1.1.3.3.2" xref="A1.E34.m1.3.3.2.1.1.1.3.3.2.cmml">t</mi><mo id="A1.E34.m1.3.3.2.1.1.1.3.3.1" xref="A1.E34.m1.3.3.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.3.3.3" xref="A1.E34.m1.3.3.2.1.1.1.3.3.3.cmml">e</mi><mo id="A1.E34.m1.3.3.2.1.1.1.3.3.1a" xref="A1.E34.m1.3.3.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.3.3.4" xref="A1.E34.m1.3.3.2.1.1.1.3.3.4.cmml">s</mi><mo id="A1.E34.m1.3.3.2.1.1.1.3.3.1b" xref="A1.E34.m1.3.3.2.1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.3.3.5" xref="A1.E34.m1.3.3.2.1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.E34.m1.3.3.2.1.1.1.2" xref="A1.E34.m1.3.3.2.1.1.1.2.cmml">⁢</mo><mrow id="A1.E34.m1.3.3.2.1.1.1.1.1" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.cmml"><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.2" stretchy="false" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.cmml">(</mo><msubsup id="A1.E34.m1.3.3.2.1.1.1.1.1.1" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.cmml"><mover accent="true" id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.cmml"><mi id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.2" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.1" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.3" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.cmml"><mi id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.2" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.2.cmml">p</mi><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.3" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.3.cmml">r</mi><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1a" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.4" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.4.cmml">e</mi><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1b" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.5" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.E34.m1.3.3.2.1.1.1.1.1.3" stretchy="false" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E34.m1.3.3.2.1.1.2" xref="A1.E34.m1.3.3.2.1.1.2.cmml">+</mo><mrow id="A1.E34.m1.3.3.2.1.1.3" xref="A1.E34.m1.3.3.2.1.1.3.cmml"><mi id="A1.E34.m1.3.3.2.1.1.3.2" mathcolor="#FF0000" xref="A1.E34.m1.3.3.2.1.1.3.2.cmml">n</mi><mo id="A1.E34.m1.3.3.2.1.1.3.1" xref="A1.E34.m1.3.3.2.1.1.3.1.cmml">⁢</mo><msubsup id="A1.E34.m1.3.3.2.1.1.3.3" xref="A1.E34.m1.3.3.2.1.1.3.3.cmml"><mi id="A1.E34.m1.3.3.2.1.1.3.3.2.2" mathcolor="#FF0000" xref="A1.E34.m1.3.3.2.1.1.3.3.2.2.cmml">σ</mi><mn id="A1.E34.m1.3.3.2.1.1.3.3.2.3" mathcolor="#FF0000" xref="A1.E34.m1.3.3.2.1.1.3.3.2.3.cmml">0</mn><mn id="A1.E34.m1.3.3.2.1.1.3.3.3" mathcolor="#FF0000" xref="A1.E34.m1.3.3.2.1.1.3.3.3.cmml">2</mn></msubsup><mo id="A1.E34.m1.3.3.2.1.1.3.1a" xref="A1.E34.m1.3.3.2.1.1.3.1.cmml">⁢</mo><mi id="A1.E34.m1.3.3.2.1.1.3.4" mathcolor="#FF0000" xref="A1.E34.m1.3.3.2.1.1.3.4.cmml">ρ</mi></mrow></mrow><mo id="A1.E34.m1.3.3.2.1.2" xref="A1.E34.m1.3.3.2.2.cmml">,</mo><mtext id="A1.E34.m1.1.1" xref="A1.E34.m1.1.1a.cmml"> with</mtext></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E34.m1.3b"><apply id="A1.E34.m1.3.3.cmml" xref="A1.E34.m1.3.3"><eq id="A1.E34.m1.3.3.3.cmml" xref="A1.E34.m1.3.3.3"></eq><apply id="A1.E34.m1.2.2.1.cmml" xref="A1.E34.m1.2.2.1"><times id="A1.E34.m1.2.2.1.2.cmml" xref="A1.E34.m1.2.2.1.2"></times><apply id="A1.E34.m1.2.2.1.3.cmml" xref="A1.E34.m1.2.2.1.3"><csymbol cd="ambiguous" id="A1.E34.m1.2.2.1.3.1.cmml" xref="A1.E34.m1.2.2.1.3">subscript</csymbol><ci id="A1.E34.m1.2.2.1.3.2.cmml" xref="A1.E34.m1.2.2.1.3.2">𝐸</ci><apply id="A1.E34.m1.2.2.1.3.3.cmml" xref="A1.E34.m1.2.2.1.3.3"><times id="A1.E34.m1.2.2.1.3.3.1.cmml" xref="A1.E34.m1.2.2.1.3.3.1"></times><ci id="A1.E34.m1.2.2.1.3.3.2.cmml" xref="A1.E34.m1.2.2.1.3.3.2">𝑡</ci><ci id="A1.E34.m1.2.2.1.3.3.3.cmml" xref="A1.E34.m1.2.2.1.3.3.3">𝑒</ci><ci id="A1.E34.m1.2.2.1.3.3.4.cmml" xref="A1.E34.m1.2.2.1.3.3.4">𝑠</ci><ci id="A1.E34.m1.2.2.1.3.3.5.cmml" xref="A1.E34.m1.2.2.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.E34.m1.2.2.1.1.1.1.cmml" xref="A1.E34.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.E34.m1.2.2.1.1.1.1.1.cmml" xref="A1.E34.m1.2.2.1.1.1">superscript</csymbol><apply id="A1.E34.m1.2.2.1.1.1.1.2.cmml" xref="A1.E34.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.E34.m1.2.2.1.1.1.1.2.1.cmml" xref="A1.E34.m1.2.2.1.1.1">subscript</csymbol><apply id="A1.E34.m1.2.2.1.1.1.1.2.2.cmml" xref="A1.E34.m1.2.2.1.1.1.1.2.2"><ci id="A1.E34.m1.2.2.1.1.1.1.2.2.1.cmml" xref="A1.E34.m1.2.2.1.1.1.1.2.2.1">^</ci><ci id="A1.E34.m1.2.2.1.1.1.1.2.2.2.cmml" xref="A1.E34.m1.2.2.1.1.1.1.2.2.2">𝑤</ci></apply><ci id="A1.E34.m1.2.2.1.1.1.1.2.3.cmml" xref="A1.E34.m1.2.2.1.1.1.1.2.3">𝑛</ci></apply><apply id="A1.E34.m1.2.2.1.1.1.1.3.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3"><times id="A1.E34.m1.2.2.1.1.1.1.3.1.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3.1"></times><ci id="A1.E34.m1.2.2.1.1.1.1.3.2.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3.2">𝑝</ci><ci id="A1.E34.m1.2.2.1.1.1.1.3.3.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3.3">𝑟</ci><ci id="A1.E34.m1.2.2.1.1.1.1.3.4.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3.4">𝑒</ci><ci id="A1.E34.m1.2.2.1.1.1.1.3.5.cmml" xref="A1.E34.m1.2.2.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><list id="A1.E34.m1.3.3.2.2.cmml" xref="A1.E34.m1.3.3.2.1"><apply id="A1.E34.m1.3.3.2.1.1.cmml" xref="A1.E34.m1.3.3.2.1.1"><plus id="A1.E34.m1.3.3.2.1.1.2.cmml" xref="A1.E34.m1.3.3.2.1.1.2"></plus><apply id="A1.E34.m1.3.3.2.1.1.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1"><times id="A1.E34.m1.3.3.2.1.1.1.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.2"></times><apply id="A1.E34.m1.3.3.2.1.1.1.3.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.E34.m1.3.3.2.1.1.1.3.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3">subscript</csymbol><ci id="A1.E34.m1.3.3.2.1.1.1.3.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.2">𝐸</ci><apply id="A1.E34.m1.3.3.2.1.1.1.3.3.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3"><times id="A1.E34.m1.3.3.2.1.1.1.3.3.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3.1"></times><ci id="A1.E34.m1.3.3.2.1.1.1.3.3.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3.2">𝑡</ci><ci id="A1.E34.m1.3.3.2.1.1.1.3.3.3.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3.3">𝑒</ci><ci id="A1.E34.m1.3.3.2.1.1.1.3.3.4.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3.4">𝑠</ci><ci id="A1.E34.m1.3.3.2.1.1.1.3.3.5.cmml" xref="A1.E34.m1.3.3.2.1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.E34.m1.3.3.2.1.1.1.1.1.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E34.m1.3.3.2.1.1.1.1.1.1.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1">superscript</csymbol><apply id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1">subscript</csymbol><apply id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2"><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.1">^</ci><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.3.cmml" type="integer" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.2.3">0</cn></apply><apply id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3"><times id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.1"></times><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.2.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.2">𝑝</ci><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.3.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.3">𝑟</ci><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.4.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.4">𝑒</ci><ci id="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.5.cmml" xref="A1.E34.m1.3.3.2.1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply><apply id="A1.E34.m1.3.3.2.1.1.3.cmml" xref="A1.E34.m1.3.3.2.1.1.3"><times id="A1.E34.m1.3.3.2.1.1.3.1.cmml" xref="A1.E34.m1.3.3.2.1.1.3.1"></times><ci id="A1.E34.m1.3.3.2.1.1.3.2.cmml" xref="A1.E34.m1.3.3.2.1.1.3.2">𝑛</ci><apply id="A1.E34.m1.3.3.2.1.1.3.3.cmml" xref="A1.E34.m1.3.3.2.1.1.3.3"><csymbol cd="ambiguous" id="A1.E34.m1.3.3.2.1.1.3.3.1.cmml" xref="A1.E34.m1.3.3.2.1.1.3.3">superscript</csymbol><apply id="A1.E34.m1.3.3.2.1.1.3.3.2.cmml" xref="A1.E34.m1.3.3.2.1.1.3.3"><csymbol cd="ambiguous" id="A1.E34.m1.3.3.2.1.1.3.3.2.1.cmml" xref="A1.E34.m1.3.3.2.1.1.3.3">subscript</csymbol><ci id="A1.E34.m1.3.3.2.1.1.3.3.2.2.cmml" xref="A1.E34.m1.3.3.2.1.1.3.3.2.2">𝜎</ci><cn id="A1.E34.m1.3.3.2.1.1.3.3.2.3.cmml" type="integer" xref="A1.E34.m1.3.3.2.1.1.3.3.2.3">0</cn></apply><cn id="A1.E34.m1.3.3.2.1.1.3.3.3.cmml" type="integer" xref="A1.E34.m1.3.3.2.1.1.3.3.3">2</cn></apply><ci id="A1.E34.m1.3.3.2.1.1.3.4.cmml" xref="A1.E34.m1.3.3.2.1.1.3.4">𝜌</ci></apply></apply><ci id="A1.E34.m1.1.1a.cmml" xref="A1.E34.m1.1.1"><mtext id="A1.E34.m1.1.1.cmml" xref="A1.E34.m1.1.1"> with</mtext></ci></list></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E34.m1.3c">\displaystyle E_{test}(\widehat{w}_{n}^{pred})=E_{test}(\widehat{w}_{0}^{pred}% )+{\color[rgb]{1,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{1,0,0}% \pgfsys@color@rgb@stroke{1}{0}{0}\pgfsys@color@rgb@fill{1}{0}{0}n\sigma_{0}^{2% }\rho},\text{ with}</annotation><annotation encoding="application/x-llamapun" id="A1.E34.m1.3d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT italic_n end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) = italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT ) + italic_n italic_σ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ρ , with</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(34)</span></td> </tr></tbody> <tbody id="A1.E35"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\quad\rho:=\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}\widehat{% \Sigma}(\widehat{\Sigma}+\lambda I_{d})^{-1}\Sigma(\widehat{\Sigma}+\lambda I_% {d})^{-1}\widehat{\Sigma})}{T_{0}-d}." class="ltx_Math" display="inline" id="A1.E35.m1.2"><semantics id="A1.E35.m1.2a"><mrow id="A1.E35.m1.2.2.1" xref="A1.E35.m1.2.2.1.1.cmml"><mrow id="A1.E35.m1.2.2.1.1" xref="A1.E35.m1.2.2.1.1.cmml"><mi id="A1.E35.m1.2.2.1.1.2" xref="A1.E35.m1.2.2.1.1.2.cmml">ρ</mi><mo id="A1.E35.m1.2.2.1.1.1" lspace="0.278em" rspace="0.278em" xref="A1.E35.m1.2.2.1.1.1.cmml">:=</mo><mstyle displaystyle="true" id="A1.E35.m1.1.1" xref="A1.E35.m1.1.1.cmml"><mfrac id="A1.E35.m1.1.1a" xref="A1.E35.m1.1.1.cmml"><mrow id="A1.E35.m1.1.1.1" xref="A1.E35.m1.1.1.1.cmml"><mi id="A1.E35.m1.1.1.1.3" xref="A1.E35.m1.1.1.1.3.cmml">𝔼</mi><mo id="A1.E35.m1.1.1.1.2" lspace="0.170em" xref="A1.E35.m1.1.1.1.2.cmml">⁢</mo><mi id="A1.E35.m1.1.1.1.4" xref="A1.E35.m1.1.1.1.4.cmml">tr</mi><mo id="A1.E35.m1.1.1.1.2a" xref="A1.E35.m1.1.1.1.2.cmml">⁢</mo><mrow id="A1.E35.m1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.cmml"><mo id="A1.E35.m1.1.1.1.1.1.2" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.E35.m1.1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.cmml"><msup id="A1.E35.m1.1.1.1.1.1.1.4" xref="A1.E35.m1.1.1.1.1.1.1.4.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.4.2" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.4.2.cmml">Σ</mi><mrow id="A1.E35.m1.1.1.1.1.1.1.4.3" xref="A1.E35.m1.1.1.1.1.1.1.4.3.cmml"><mo id="A1.E35.m1.1.1.1.1.1.1.4.3a" xref="A1.E35.m1.1.1.1.1.1.1.4.3.cmml">−</mo><mn id="A1.E35.m1.1.1.1.1.1.1.4.3.2" xref="A1.E35.m1.1.1.1.1.1.1.4.3.2.cmml">1</mn></mrow></msup><mo id="A1.E35.m1.1.1.1.1.1.1.3" xref="A1.E35.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mover accent="true" id="A1.E35.m1.1.1.1.1.1.1.5" xref="A1.E35.m1.1.1.1.1.1.1.5.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.5.2" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.5.2.cmml">Σ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.5.1" xref="A1.E35.m1.1.1.1.1.1.1.5.1.cmml">^</mo></mover><mo id="A1.E35.m1.1.1.1.1.1.1.3a" xref="A1.E35.m1.1.1.1.1.1.1.3.cmml">⁢</mo><msup id="A1.E35.m1.1.1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.1.cmml"><mrow id="A1.E35.m1.1.1.1.1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="A1.E35.m1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mover accent="true" id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.2" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">Σ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.1" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">^</mo></mover><mo id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">λ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.1" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.3" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.E35.m1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.E35.m1.1.1.1.1.1.1.1.3" xref="A1.E35.m1.1.1.1.1.1.1.1.3.cmml"><mo id="A1.E35.m1.1.1.1.1.1.1.1.3a" xref="A1.E35.m1.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="A1.E35.m1.1.1.1.1.1.1.1.3.2" xref="A1.E35.m1.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.E35.m1.1.1.1.1.1.1.3b" xref="A1.E35.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mi id="A1.E35.m1.1.1.1.1.1.1.6" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.6.cmml">Σ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.3c" xref="A1.E35.m1.1.1.1.1.1.1.3.cmml">⁢</mo><msup id="A1.E35.m1.1.1.1.1.1.1.2" xref="A1.E35.m1.1.1.1.1.1.1.2.cmml"><mrow id="A1.E35.m1.1.1.1.1.1.1.2.1.1" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.cmml"><mo id="A1.E35.m1.1.1.1.1.1.1.2.1.1.2" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.cmml"><mover accent="true" id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.2" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.2.cmml">Σ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.1" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.1.cmml">^</mo></mover><mo id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.1" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">+</mo><mrow id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.2" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.2.cmml">λ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.1" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.1.cmml">⁢</mo><msub id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.2" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.2.cmml">I</mi><mi id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.3" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.E35.m1.1.1.1.1.1.1.2.1.1.3" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow><mrow id="A1.E35.m1.1.1.1.1.1.1.2.3" xref="A1.E35.m1.1.1.1.1.1.1.2.3.cmml"><mo id="A1.E35.m1.1.1.1.1.1.1.2.3a" xref="A1.E35.m1.1.1.1.1.1.1.2.3.cmml">−</mo><mn id="A1.E35.m1.1.1.1.1.1.1.2.3.2" xref="A1.E35.m1.1.1.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo id="A1.E35.m1.1.1.1.1.1.1.3d" xref="A1.E35.m1.1.1.1.1.1.1.3.cmml">⁢</mo><mover accent="true" id="A1.E35.m1.1.1.1.1.1.1.7" xref="A1.E35.m1.1.1.1.1.1.1.7.cmml"><mi id="A1.E35.m1.1.1.1.1.1.1.7.2" mathvariant="normal" xref="A1.E35.m1.1.1.1.1.1.1.7.2.cmml">Σ</mi><mo id="A1.E35.m1.1.1.1.1.1.1.7.1" xref="A1.E35.m1.1.1.1.1.1.1.7.1.cmml">^</mo></mover></mrow><mo id="A1.E35.m1.1.1.1.1.1.3" stretchy="false" xref="A1.E35.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.E35.m1.1.1.3" xref="A1.E35.m1.1.1.3.cmml"><msub id="A1.E35.m1.1.1.3.2" xref="A1.E35.m1.1.1.3.2.cmml"><mi id="A1.E35.m1.1.1.3.2.2" xref="A1.E35.m1.1.1.3.2.2.cmml">T</mi><mn id="A1.E35.m1.1.1.3.2.3" xref="A1.E35.m1.1.1.3.2.3.cmml">0</mn></msub><mo id="A1.E35.m1.1.1.3.1" xref="A1.E35.m1.1.1.3.1.cmml">−</mo><mi id="A1.E35.m1.1.1.3.3" xref="A1.E35.m1.1.1.3.3.cmml">d</mi></mrow></mfrac></mstyle></mrow><mo id="A1.E35.m1.2.2.1.2" lspace="0em" xref="A1.E35.m1.2.2.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E35.m1.2b"><apply id="A1.E35.m1.2.2.1.1.cmml" xref="A1.E35.m1.2.2.1"><csymbol cd="latexml" id="A1.E35.m1.2.2.1.1.1.cmml" xref="A1.E35.m1.2.2.1.1.1">assign</csymbol><ci id="A1.E35.m1.2.2.1.1.2.cmml" xref="A1.E35.m1.2.2.1.1.2">𝜌</ci><apply id="A1.E35.m1.1.1.cmml" xref="A1.E35.m1.1.1"><divide id="A1.E35.m1.1.1.2.cmml" xref="A1.E35.m1.1.1"></divide><apply id="A1.E35.m1.1.1.1.cmml" xref="A1.E35.m1.1.1.1"><times id="A1.E35.m1.1.1.1.2.cmml" xref="A1.E35.m1.1.1.1.2"></times><ci id="A1.E35.m1.1.1.1.3.cmml" xref="A1.E35.m1.1.1.1.3">𝔼</ci><ci id="A1.E35.m1.1.1.1.4.cmml" xref="A1.E35.m1.1.1.1.4">tr</ci><apply id="A1.E35.m1.1.1.1.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1"><times id="A1.E35.m1.1.1.1.1.1.1.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.3"></times><apply id="A1.E35.m1.1.1.1.1.1.1.4.cmml" xref="A1.E35.m1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.1.1.1.1.4.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.4">superscript</csymbol><ci id="A1.E35.m1.1.1.1.1.1.1.4.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.4.2">Σ</ci><apply id="A1.E35.m1.1.1.1.1.1.1.4.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.4.3"><minus id="A1.E35.m1.1.1.1.1.1.1.4.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.4.3"></minus><cn id="A1.E35.m1.1.1.1.1.1.1.4.3.2.cmml" type="integer" xref="A1.E35.m1.1.1.1.1.1.1.4.3.2">1</cn></apply></apply><apply id="A1.E35.m1.1.1.1.1.1.1.5.cmml" xref="A1.E35.m1.1.1.1.1.1.1.5"><ci id="A1.E35.m1.1.1.1.1.1.1.5.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.5.1">^</ci><ci id="A1.E35.m1.1.1.1.1.1.1.5.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.5.2">Σ</ci></apply><apply id="A1.E35.m1.1.1.1.1.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1"><plus id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.1"></plus><apply id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2"><ci id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.1">^</ci><ci id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.2.2">Σ</ci></apply><apply id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3"><times id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝜆</ci><apply id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.E35.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.3"><minus id="A1.E35.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.1.3"></minus><cn id="A1.E35.m1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="A1.E35.m1.1.1.1.1.1.1.1.3.2">1</cn></apply></apply><ci id="A1.E35.m1.1.1.1.1.1.1.6.cmml" xref="A1.E35.m1.1.1.1.1.1.1.6">Σ</ci><apply id="A1.E35.m1.1.1.1.1.1.1.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.1.1.1.1.2.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1"><plus id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.1"></plus><apply id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2"><ci id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.1">^</ci><ci id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.2.2">Σ</ci></apply><apply id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3"><times id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.1"></times><ci id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.2">𝜆</ci><apply id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3">subscript</csymbol><ci id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.2">𝐼</ci><ci id="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.E35.m1.1.1.1.1.1.1.2.3.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.3"><minus id="A1.E35.m1.1.1.1.1.1.1.2.3.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.2.3"></minus><cn id="A1.E35.m1.1.1.1.1.1.1.2.3.2.cmml" type="integer" xref="A1.E35.m1.1.1.1.1.1.1.2.3.2">1</cn></apply></apply><apply id="A1.E35.m1.1.1.1.1.1.1.7.cmml" xref="A1.E35.m1.1.1.1.1.1.1.7"><ci id="A1.E35.m1.1.1.1.1.1.1.7.1.cmml" xref="A1.E35.m1.1.1.1.1.1.1.7.1">^</ci><ci id="A1.E35.m1.1.1.1.1.1.1.7.2.cmml" xref="A1.E35.m1.1.1.1.1.1.1.7.2">Σ</ci></apply></apply></apply><apply id="A1.E35.m1.1.1.3.cmml" xref="A1.E35.m1.1.1.3"><minus id="A1.E35.m1.1.1.3.1.cmml" xref="A1.E35.m1.1.1.3.1"></minus><apply id="A1.E35.m1.1.1.3.2.cmml" xref="A1.E35.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.E35.m1.1.1.3.2.1.cmml" xref="A1.E35.m1.1.1.3.2">subscript</csymbol><ci id="A1.E35.m1.1.1.3.2.2.cmml" xref="A1.E35.m1.1.1.3.2.2">𝑇</ci><cn id="A1.E35.m1.1.1.3.2.3.cmml" type="integer" xref="A1.E35.m1.1.1.3.2.3">0</cn></apply><ci id="A1.E35.m1.1.1.3.3.cmml" xref="A1.E35.m1.1.1.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E35.m1.2c">\displaystyle\quad\rho:=\frac{\mathbb{E}\,\mathrm{tr}(\Sigma^{-1}\widehat{% \Sigma}(\widehat{\Sigma}+\lambda I_{d})^{-1}\Sigma(\widehat{\Sigma}+\lambda I_% {d})^{-1}\widehat{\Sigma})}{T_{0}-d}.</annotation><annotation encoding="application/x-llamapun" id="A1.E35.m1.2d">italic_ρ := divide start_ARG blackboard_E roman_tr ( roman_Σ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT over^ start_ARG roman_Σ end_ARG ( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT roman_Σ ( over^ start_ARG roman_Σ end_ARG + italic_λ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT over^ start_ARG roman_Σ end_ARG ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(35)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS3.p1.4">The <math alttext="E_{test}(\widehat{w}_{0}^{pred})" class="ltx_Math" display="inline" id="A1.SS3.p1.1.m1.1"><semantics id="A1.SS3.p1.1.m1.1a"><mrow id="A1.SS3.p1.1.m1.1.1" xref="A1.SS3.p1.1.m1.1.1.cmml"><msub id="A1.SS3.p1.1.m1.1.1.3" xref="A1.SS3.p1.1.m1.1.1.3.cmml"><mi id="A1.SS3.p1.1.m1.1.1.3.2" xref="A1.SS3.p1.1.m1.1.1.3.2.cmml">E</mi><mrow id="A1.SS3.p1.1.m1.1.1.3.3" xref="A1.SS3.p1.1.m1.1.1.3.3.cmml"><mi id="A1.SS3.p1.1.m1.1.1.3.3.2" xref="A1.SS3.p1.1.m1.1.1.3.3.2.cmml">t</mi><mo id="A1.SS3.p1.1.m1.1.1.3.3.1" xref="A1.SS3.p1.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.3.3.3" xref="A1.SS3.p1.1.m1.1.1.3.3.3.cmml">e</mi><mo id="A1.SS3.p1.1.m1.1.1.3.3.1a" xref="A1.SS3.p1.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.3.3.4" xref="A1.SS3.p1.1.m1.1.1.3.3.4.cmml">s</mi><mo id="A1.SS3.p1.1.m1.1.1.3.3.1b" xref="A1.SS3.p1.1.m1.1.1.3.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.3.3.5" xref="A1.SS3.p1.1.m1.1.1.3.3.5.cmml">t</mi></mrow></msub><mo id="A1.SS3.p1.1.m1.1.1.2" xref="A1.SS3.p1.1.m1.1.1.2.cmml">⁢</mo><mrow id="A1.SS3.p1.1.m1.1.1.1.1" xref="A1.SS3.p1.1.m1.1.1.1.1.1.cmml"><mo id="A1.SS3.p1.1.m1.1.1.1.1.2" stretchy="false" xref="A1.SS3.p1.1.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A1.SS3.p1.1.m1.1.1.1.1.1" xref="A1.SS3.p1.1.m1.1.1.1.1.1.cmml"><mover accent="true" id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.cmml"><mi id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.2" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.2.cmml">w</mi><mo id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.1" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.1.cmml">^</mo></mover><mn id="A1.SS3.p1.1.m1.1.1.1.1.1.2.3" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.3.cmml">0</mn><mrow id="A1.SS3.p1.1.m1.1.1.1.1.1.3" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.cmml"><mi id="A1.SS3.p1.1.m1.1.1.1.1.1.3.2" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.2.cmml">p</mi><mo id="A1.SS3.p1.1.m1.1.1.1.1.1.3.1" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.1.1.1.3.3" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.3.cmml">r</mi><mo id="A1.SS3.p1.1.m1.1.1.1.1.1.3.1a" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.1.1.1.3.4" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.4.cmml">e</mi><mo id="A1.SS3.p1.1.m1.1.1.1.1.1.3.1b" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.1.cmml">⁢</mo><mi id="A1.SS3.p1.1.m1.1.1.1.1.1.3.5" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.5.cmml">d</mi></mrow></msubsup><mo id="A1.SS3.p1.1.m1.1.1.1.1.3" stretchy="false" xref="A1.SS3.p1.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.p1.1.m1.1b"><apply id="A1.SS3.p1.1.m1.1.1.cmml" xref="A1.SS3.p1.1.m1.1.1"><times id="A1.SS3.p1.1.m1.1.1.2.cmml" xref="A1.SS3.p1.1.m1.1.1.2"></times><apply id="A1.SS3.p1.1.m1.1.1.3.cmml" xref="A1.SS3.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="A1.SS3.p1.1.m1.1.1.3.1.cmml" xref="A1.SS3.p1.1.m1.1.1.3">subscript</csymbol><ci id="A1.SS3.p1.1.m1.1.1.3.2.cmml" xref="A1.SS3.p1.1.m1.1.1.3.2">𝐸</ci><apply id="A1.SS3.p1.1.m1.1.1.3.3.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3"><times id="A1.SS3.p1.1.m1.1.1.3.3.1.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3.1"></times><ci id="A1.SS3.p1.1.m1.1.1.3.3.2.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3.2">𝑡</ci><ci id="A1.SS3.p1.1.m1.1.1.3.3.3.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3.3">𝑒</ci><ci id="A1.SS3.p1.1.m1.1.1.3.3.4.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3.4">𝑠</ci><ci id="A1.SS3.p1.1.m1.1.1.3.3.5.cmml" xref="A1.SS3.p1.1.m1.1.1.3.3.5">𝑡</ci></apply></apply><apply id="A1.SS3.p1.1.m1.1.1.1.1.1.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.p1.1.m1.1.1.1.1.1.1.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1">superscript</csymbol><apply id="A1.SS3.p1.1.m1.1.1.1.1.1.2.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.p1.1.m1.1.1.1.1.1.2.1.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1">subscript</csymbol><apply id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2"><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.1.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.1">^</ci><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.2.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.2.2">𝑤</ci></apply><cn id="A1.SS3.p1.1.m1.1.1.1.1.1.2.3.cmml" type="integer" xref="A1.SS3.p1.1.m1.1.1.1.1.1.2.3">0</cn></apply><apply id="A1.SS3.p1.1.m1.1.1.1.1.1.3.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3"><times id="A1.SS3.p1.1.m1.1.1.1.1.1.3.1.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.1"></times><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.3.2.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.2">𝑝</ci><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.3.3.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.3">𝑟</ci><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.3.4.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.4">𝑒</ci><ci id="A1.SS3.p1.1.m1.1.1.1.1.1.3.5.cmml" xref="A1.SS3.p1.1.m1.1.1.1.1.1.3.5">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p1.1.m1.1c">E_{test}(\widehat{w}_{0}^{pred})</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p1.1.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ( over^ start_ARG italic_w end_ARG start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_p italic_r italic_e italic_d end_POSTSUPERSCRIPT )</annotation></semantics></math> term is taken care of by Proposition <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx15" title="Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.4</span></a>, since this corresponds to generalization error on clean training data. For the <math alttext="\rho" class="ltx_Math" display="inline" id="A1.SS3.p1.2.m2.1"><semantics id="A1.SS3.p1.2.m2.1a"><mi id="A1.SS3.p1.2.m2.1.1" xref="A1.SS3.p1.2.m2.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A1.SS3.p1.2.m2.1b"><ci id="A1.SS3.p1.2.m2.1.1.cmml" xref="A1.SS3.p1.2.m2.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p1.2.m2.1c">\rho</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p1.2.m2.1d">italic_ρ</annotation></semantics></math> term, we use Proposition 1 of <cite class="ltx_cite ltx_citemacro_citep">(Bach, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib4" title="">2023</a>)</cite> with <math alttext="A=\Sigma^{-1}" class="ltx_Math" display="inline" id="A1.SS3.p1.3.m3.1"><semantics id="A1.SS3.p1.3.m3.1a"><mrow id="A1.SS3.p1.3.m3.1.1" xref="A1.SS3.p1.3.m3.1.1.cmml"><mi id="A1.SS3.p1.3.m3.1.1.2" xref="A1.SS3.p1.3.m3.1.1.2.cmml">A</mi><mo id="A1.SS3.p1.3.m3.1.1.1" xref="A1.SS3.p1.3.m3.1.1.1.cmml">=</mo><msup id="A1.SS3.p1.3.m3.1.1.3" xref="A1.SS3.p1.3.m3.1.1.3.cmml"><mi id="A1.SS3.p1.3.m3.1.1.3.2" mathvariant="normal" xref="A1.SS3.p1.3.m3.1.1.3.2.cmml">Σ</mi><mrow id="A1.SS3.p1.3.m3.1.1.3.3" xref="A1.SS3.p1.3.m3.1.1.3.3.cmml"><mo id="A1.SS3.p1.3.m3.1.1.3.3a" xref="A1.SS3.p1.3.m3.1.1.3.3.cmml">−</mo><mn id="A1.SS3.p1.3.m3.1.1.3.3.2" xref="A1.SS3.p1.3.m3.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.p1.3.m3.1b"><apply id="A1.SS3.p1.3.m3.1.1.cmml" xref="A1.SS3.p1.3.m3.1.1"><eq id="A1.SS3.p1.3.m3.1.1.1.cmml" xref="A1.SS3.p1.3.m3.1.1.1"></eq><ci id="A1.SS3.p1.3.m3.1.1.2.cmml" xref="A1.SS3.p1.3.m3.1.1.2">𝐴</ci><apply id="A1.SS3.p1.3.m3.1.1.3.cmml" xref="A1.SS3.p1.3.m3.1.1.3"><csymbol cd="ambiguous" id="A1.SS3.p1.3.m3.1.1.3.1.cmml" xref="A1.SS3.p1.3.m3.1.1.3">superscript</csymbol><ci id="A1.SS3.p1.3.m3.1.1.3.2.cmml" xref="A1.SS3.p1.3.m3.1.1.3.2">Σ</ci><apply id="A1.SS3.p1.3.m3.1.1.3.3.cmml" xref="A1.SS3.p1.3.m3.1.1.3.3"><minus id="A1.SS3.p1.3.m3.1.1.3.3.1.cmml" xref="A1.SS3.p1.3.m3.1.1.3.3"></minus><cn id="A1.SS3.p1.3.m3.1.1.3.3.2.cmml" type="integer" xref="A1.SS3.p1.3.m3.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p1.3.m3.1c">A=\Sigma^{-1}</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p1.3.m3.1d">italic_A = roman_Σ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math> and <math alttext="B=\Sigma" class="ltx_Math" display="inline" id="A1.SS3.p1.4.m4.1"><semantics id="A1.SS3.p1.4.m4.1a"><mrow id="A1.SS3.p1.4.m4.1.1" xref="A1.SS3.p1.4.m4.1.1.cmml"><mi id="A1.SS3.p1.4.m4.1.1.2" xref="A1.SS3.p1.4.m4.1.1.2.cmml">B</mi><mo id="A1.SS3.p1.4.m4.1.1.1" xref="A1.SS3.p1.4.m4.1.1.1.cmml">=</mo><mi id="A1.SS3.p1.4.m4.1.1.3" mathvariant="normal" xref="A1.SS3.p1.4.m4.1.1.3.cmml">Σ</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.p1.4.m4.1b"><apply id="A1.SS3.p1.4.m4.1.1.cmml" xref="A1.SS3.p1.4.m4.1.1"><eq id="A1.SS3.p1.4.m4.1.1.1.cmml" xref="A1.SS3.p1.4.m4.1.1.1"></eq><ci id="A1.SS3.p1.4.m4.1.1.2.cmml" xref="A1.SS3.p1.4.m4.1.1.2">𝐵</ci><ci id="A1.SS3.p1.4.m4.1.1.3.cmml" xref="A1.SS3.p1.4.m4.1.1.3">Σ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p1.4.m4.1c">B=\Sigma</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p1.4.m4.1d">italic_B = roman_Σ</annotation></semantics></math> to get</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx36"> <tbody id="A1.Ex8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{tr}((\Sigma+\kappa I_{d})^{% -2}\Sigma^{2})}{T_{0}-d}+\frac{\kappa^{2}\mathrm{tr}((\Sigma+\kappa I_{d})^{-2% })}{T_{0}-d}\frac{\mathrm{tr}((\Sigma+\kappa I_{d})^{-2}\Sigma^{2})}{T-\mathrm% {df}_{2}(\kappa)}\\ &=\frac{\mathrm{df}_{2}(\kappa)}{T_{0}-d}+\frac{\kappa^{2}\mathrm{tr}((\Sigma+% \kappa I_{d})^{-2})}{T_{0}-d}\frac{\mathrm{df}_{2}(\kappa)}{T-\mathrm{df}_{2}(% \kappa)},\end{split}" class="ltx_Math" display="inline" id="A1.Ex8.m1.14"><semantics id="A1.Ex8.m1.14a"><mtable columnspacing="0pt" id="A1.Ex8.m1.14.14.2" rowspacing="0pt"><mtr id="A1.Ex8.m1.14.14.2a"><mtd class="ltx_align_right" columnalign="right" id="A1.Ex8.m1.14.14.2b"><mi id="A1.Ex8.m1.1.1.1.1.1.1" xref="A1.Ex8.m1.1.1.1.1.1.1.cmml">ρ</mi></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex8.m1.14.14.2c"><mrow id="A1.Ex8.m1.6.6.6.6.5a"><mi id="A1.Ex8.m1.6.6.6.6.5a.6" xref="A1.Ex8.m1.13.13.1.1.1.cmml"></mi><mo id="A1.Ex8.m1.2.2.2.2.1.1" xref="A1.Ex8.m1.2.2.2.2.1.1.cmml">≃</mo><mrow id="A1.Ex8.m1.6.6.6.6.5a.7"><mstyle displaystyle="true" id="A1.Ex8.m1.3.3.3.3.2.2" xref="A1.Ex8.m1.3.3.3.3.2.2.cmml"><mfrac id="A1.Ex8.m1.3.3.3.3.2.2a" xref="A1.Ex8.m1.3.3.3.3.2.2.cmml"><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.3.cmml">tr</mi><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.2" xref="A1.Ex8.m1.3.3.3.3.2.2.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.cmml"><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.cmml"><msup id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.cmml"><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.1" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.2" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.cmml"><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3a" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.2" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.2" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.2.cmml">⁢</mo><msup id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.2" mathvariant="normal" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.2.cmml">Σ</mi><mn id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.3" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.3.3.3.3.2.2.3" xref="A1.Ex8.m1.3.3.3.3.2.2.3.cmml"><msub id="A1.Ex8.m1.3.3.3.3.2.2.3.2" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2.cmml"><mi id="A1.Ex8.m1.3.3.3.3.2.2.3.2.2" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2.2.cmml">T</mi><mn id="A1.Ex8.m1.3.3.3.3.2.2.3.2.3" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2.3.cmml">0</mn></msub><mo id="A1.Ex8.m1.3.3.3.3.2.2.3.1" xref="A1.Ex8.m1.3.3.3.3.2.2.3.1.cmml">−</mo><mi id="A1.Ex8.m1.3.3.3.3.2.2.3.3" xref="A1.Ex8.m1.3.3.3.3.2.2.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A1.Ex8.m1.4.4.4.4.3.3" xref="A1.Ex8.m1.4.4.4.4.3.3.cmml">+</mo><mrow id="A1.Ex8.m1.6.6.6.6.5a.7.1"><mstyle displaystyle="true" id="A1.Ex8.m1.5.5.5.5.4.4" xref="A1.Ex8.m1.5.5.5.5.4.4.cmml"><mfrac id="A1.Ex8.m1.5.5.5.5.4.4a" xref="A1.Ex8.m1.5.5.5.5.4.4.cmml"><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.cmml"><msup id="A1.Ex8.m1.5.5.5.5.4.4.1.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3.cmml"><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.3.2" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3.2.cmml">κ</mi><mn id="A1.Ex8.m1.5.5.5.5.4.4.1.3.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3.3.cmml">2</mn></msup><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.2" xref="A1.Ex8.m1.5.5.5.5.4.4.1.2.cmml">⁢</mo><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.4" xref="A1.Ex8.m1.5.5.5.5.4.4.1.4.cmml">tr</mi><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.2a" xref="A1.Ex8.m1.5.5.5.5.4.4.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.cmml"><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.cmml">(</mo><msup id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.cmml"><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.2" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.1" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.2" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.cmml"><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3a" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.2" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.5.5.5.5.4.4.3" xref="A1.Ex8.m1.5.5.5.5.4.4.3.cmml"><msub id="A1.Ex8.m1.5.5.5.5.4.4.3.2" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2.cmml"><mi id="A1.Ex8.m1.5.5.5.5.4.4.3.2.2" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2.2.cmml">T</mi><mn id="A1.Ex8.m1.5.5.5.5.4.4.3.2.3" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2.3.cmml">0</mn></msub><mo id="A1.Ex8.m1.5.5.5.5.4.4.3.1" xref="A1.Ex8.m1.5.5.5.5.4.4.3.1.cmml">−</mo><mi id="A1.Ex8.m1.5.5.5.5.4.4.3.3" xref="A1.Ex8.m1.5.5.5.5.4.4.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A1.Ex8.m1.6.6.6.6.5a.7.1.1" xref="A1.Ex8.m1.13.13.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex8.m1.6.6.6.6.5.5" xref="A1.Ex8.m1.6.6.6.6.5.5.cmml"><mfrac id="A1.Ex8.m1.6.6.6.6.5.5a" xref="A1.Ex8.m1.6.6.6.6.5.5.cmml"><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.3.cmml">tr</mi><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.2" xref="A1.Ex8.m1.6.6.6.6.5.5.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.cmml"><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.cmml"><msup id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.cmml"><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.1" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.2" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.cmml"><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3a" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.2" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.2" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.2.cmml">⁢</mo><msup id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.2" mathvariant="normal" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.2.cmml">Σ</mi><mn id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.3" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.3.cmml">2</mn></msup></mrow><mo id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.6.6.6.6.5.5.2" xref="A1.Ex8.m1.6.6.6.6.5.5.2.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.2.3" xref="A1.Ex8.m1.6.6.6.6.5.5.2.3.cmml">T</mi><mo id="A1.Ex8.m1.6.6.6.6.5.5.2.2" xref="A1.Ex8.m1.6.6.6.6.5.5.2.2.cmml">−</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.2.4" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.cmml"><msub id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.cmml"><mi id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.2" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.2.cmml">df</mi><mn id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.3" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.3.cmml">2</mn></msub><mo id="A1.Ex8.m1.6.6.6.6.5.5.2.4.1" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.1.cmml">⁢</mo><mrow id="A1.Ex8.m1.6.6.6.6.5.5.2.4.3.2" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.cmml"><mo id="A1.Ex8.m1.6.6.6.6.5.5.2.4.3.2.1" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.cmml">(</mo><mi id="A1.Ex8.m1.6.6.6.6.5.5.2.1" xref="A1.Ex8.m1.6.6.6.6.5.5.2.1.cmml">κ</mi><mo id="A1.Ex8.m1.6.6.6.6.5.5.2.4.3.2.2" stretchy="false" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.cmml">)</mo></mrow></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex8.m1.14.14.2d"><mtd id="A1.Ex8.m1.14.14.2e" xref="A1.Ex8.m1.13.13.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex8.m1.14.14.2f"><mrow id="A1.Ex8.m1.14.14.2.13.7.7.7"><mrow id="A1.Ex8.m1.14.14.2.13.7.7.7.1"><mi id="A1.Ex8.m1.14.14.2.13.7.7.7.1.1" xref="A1.Ex8.m1.13.13.1.1.1.cmml"></mi><mo id="A1.Ex8.m1.7.7.7.1.1.1" xref="A1.Ex8.m1.7.7.7.1.1.1.cmml">=</mo><mrow id="A1.Ex8.m1.14.14.2.13.7.7.7.1.2"><mstyle displaystyle="true" id="A1.Ex8.m1.8.8.8.2.2.2" xref="A1.Ex8.m1.8.8.8.2.2.2.cmml"><mfrac id="A1.Ex8.m1.8.8.8.2.2.2a" xref="A1.Ex8.m1.8.8.8.2.2.2.cmml"><mrow id="A1.Ex8.m1.8.8.8.2.2.2.1" xref="A1.Ex8.m1.8.8.8.2.2.2.1.cmml"><msub id="A1.Ex8.m1.8.8.8.2.2.2.1.3" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3.cmml"><mi id="A1.Ex8.m1.8.8.8.2.2.2.1.3.2" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3.2.cmml">df</mi><mn id="A1.Ex8.m1.8.8.8.2.2.2.1.3.3" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3.3.cmml">2</mn></msub><mo id="A1.Ex8.m1.8.8.8.2.2.2.1.2" xref="A1.Ex8.m1.8.8.8.2.2.2.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.8.8.8.2.2.2.1.4.2" xref="A1.Ex8.m1.8.8.8.2.2.2.1.cmml"><mo id="A1.Ex8.m1.8.8.8.2.2.2.1.4.2.1" stretchy="false" xref="A1.Ex8.m1.8.8.8.2.2.2.1.cmml">(</mo><mi id="A1.Ex8.m1.8.8.8.2.2.2.1.1" xref="A1.Ex8.m1.8.8.8.2.2.2.1.1.cmml">κ</mi><mo id="A1.Ex8.m1.8.8.8.2.2.2.1.4.2.2" stretchy="false" xref="A1.Ex8.m1.8.8.8.2.2.2.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.8.8.8.2.2.2.3" xref="A1.Ex8.m1.8.8.8.2.2.2.3.cmml"><msub id="A1.Ex8.m1.8.8.8.2.2.2.3.2" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2.cmml"><mi id="A1.Ex8.m1.8.8.8.2.2.2.3.2.2" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2.2.cmml">T</mi><mn id="A1.Ex8.m1.8.8.8.2.2.2.3.2.3" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2.3.cmml">0</mn></msub><mo id="A1.Ex8.m1.8.8.8.2.2.2.3.1" xref="A1.Ex8.m1.8.8.8.2.2.2.3.1.cmml">−</mo><mi id="A1.Ex8.m1.8.8.8.2.2.2.3.3" xref="A1.Ex8.m1.8.8.8.2.2.2.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A1.Ex8.m1.9.9.9.3.3.3" xref="A1.Ex8.m1.9.9.9.3.3.3.cmml">+</mo><mrow id="A1.Ex8.m1.14.14.2.13.7.7.7.1.2.1"><mstyle displaystyle="true" id="A1.Ex8.m1.10.10.10.4.4.4" xref="A1.Ex8.m1.10.10.10.4.4.4.cmml"><mfrac id="A1.Ex8.m1.10.10.10.4.4.4a" xref="A1.Ex8.m1.10.10.10.4.4.4.cmml"><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.cmml"><msup id="A1.Ex8.m1.10.10.10.4.4.4.1.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3.cmml"><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.3.2" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3.2.cmml">κ</mi><mn id="A1.Ex8.m1.10.10.10.4.4.4.1.3.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3.3.cmml">2</mn></msup><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.2" xref="A1.Ex8.m1.10.10.10.4.4.4.1.2.cmml">⁢</mo><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.4" xref="A1.Ex8.m1.10.10.10.4.4.4.1.4.cmml">tr</mi><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.2a" xref="A1.Ex8.m1.10.10.10.4.4.4.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.cmml"><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.cmml">(</mo><msup id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.cmml"><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.cmml"><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.2" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.1" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.2" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.cmml"><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3a" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.2" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.3" stretchy="false" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.10.10.10.4.4.4.3" xref="A1.Ex8.m1.10.10.10.4.4.4.3.cmml"><msub id="A1.Ex8.m1.10.10.10.4.4.4.3.2" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2.cmml"><mi id="A1.Ex8.m1.10.10.10.4.4.4.3.2.2" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2.2.cmml">T</mi><mn id="A1.Ex8.m1.10.10.10.4.4.4.3.2.3" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2.3.cmml">0</mn></msub><mo id="A1.Ex8.m1.10.10.10.4.4.4.3.1" xref="A1.Ex8.m1.10.10.10.4.4.4.3.1.cmml">−</mo><mi id="A1.Ex8.m1.10.10.10.4.4.4.3.3" xref="A1.Ex8.m1.10.10.10.4.4.4.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A1.Ex8.m1.14.14.2.13.7.7.7.1.2.1.1" xref="A1.Ex8.m1.13.13.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex8.m1.11.11.11.5.5.5" xref="A1.Ex8.m1.11.11.11.5.5.5.cmml"><mfrac id="A1.Ex8.m1.11.11.11.5.5.5a" xref="A1.Ex8.m1.11.11.11.5.5.5.cmml"><mrow id="A1.Ex8.m1.11.11.11.5.5.5.1" xref="A1.Ex8.m1.11.11.11.5.5.5.1.cmml"><msub id="A1.Ex8.m1.11.11.11.5.5.5.1.3" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3.cmml"><mi id="A1.Ex8.m1.11.11.11.5.5.5.1.3.2" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3.2.cmml">df</mi><mn id="A1.Ex8.m1.11.11.11.5.5.5.1.3.3" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3.3.cmml">2</mn></msub><mo id="A1.Ex8.m1.11.11.11.5.5.5.1.2" xref="A1.Ex8.m1.11.11.11.5.5.5.1.2.cmml">⁢</mo><mrow id="A1.Ex8.m1.11.11.11.5.5.5.1.4.2" xref="A1.Ex8.m1.11.11.11.5.5.5.1.cmml"><mo id="A1.Ex8.m1.11.11.11.5.5.5.1.4.2.1" stretchy="false" xref="A1.Ex8.m1.11.11.11.5.5.5.1.cmml">(</mo><mi id="A1.Ex8.m1.11.11.11.5.5.5.1.1" xref="A1.Ex8.m1.11.11.11.5.5.5.1.1.cmml">κ</mi><mo id="A1.Ex8.m1.11.11.11.5.5.5.1.4.2.2" stretchy="false" xref="A1.Ex8.m1.11.11.11.5.5.5.1.cmml">)</mo></mrow></mrow><mrow id="A1.Ex8.m1.11.11.11.5.5.5.2" xref="A1.Ex8.m1.11.11.11.5.5.5.2.cmml"><mi id="A1.Ex8.m1.11.11.11.5.5.5.2.3" xref="A1.Ex8.m1.11.11.11.5.5.5.2.3.cmml">T</mi><mo id="A1.Ex8.m1.11.11.11.5.5.5.2.2" xref="A1.Ex8.m1.11.11.11.5.5.5.2.2.cmml">−</mo><mrow id="A1.Ex8.m1.11.11.11.5.5.5.2.4" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.cmml"><msub id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.cmml"><mi id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.2" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.2.cmml">df</mi><mn id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.3" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.3.cmml">2</mn></msub><mo id="A1.Ex8.m1.11.11.11.5.5.5.2.4.1" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.1.cmml">⁢</mo><mrow id="A1.Ex8.m1.11.11.11.5.5.5.2.4.3.2" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.cmml"><mo id="A1.Ex8.m1.11.11.11.5.5.5.2.4.3.2.1" stretchy="false" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.cmml">(</mo><mi id="A1.Ex8.m1.11.11.11.5.5.5.2.1" xref="A1.Ex8.m1.11.11.11.5.5.5.2.1.cmml">κ</mi><mo id="A1.Ex8.m1.11.11.11.5.5.5.2.4.3.2.2" stretchy="false" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.cmml">)</mo></mrow></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow><mo id="A1.Ex8.m1.12.12.12.6.6.6" xref="A1.Ex8.m1.13.13.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.Ex8.m1.14b"><apply id="A1.Ex8.m1.13.13.1.1.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><and id="A1.Ex8.m1.13.13.1.1.1a.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"></and><apply id="A1.Ex8.m1.13.13.1.1.1b.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><csymbol cd="latexml" id="A1.Ex8.m1.2.2.2.2.1.1.cmml" xref="A1.Ex8.m1.2.2.2.2.1.1">similar-to-or-equals</csymbol><ci id="A1.Ex8.m1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.1.1.1.1.1.1">𝜌</ci><apply id="A1.Ex8.m1.13.13.1.1.1.4.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><plus id="A1.Ex8.m1.4.4.4.4.3.3.cmml" xref="A1.Ex8.m1.4.4.4.4.3.3"></plus><apply id="A1.Ex8.m1.3.3.3.3.2.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2"><divide id="A1.Ex8.m1.3.3.3.3.2.2.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2"></divide><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1"><times id="A1.Ex8.m1.3.3.3.3.2.2.1.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.2"></times><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.3">tr</ci><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1"><times id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.2"></times><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1">superscript</csymbol><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1"><plus id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.1"></plus><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.2">Σ</ci><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3"><times id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.2">𝜅</ci><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3"><minus id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3"></minus><cn id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.2.cmml" type="integer" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.1.3.2">2</cn></apply></apply><apply id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.2">Σ</ci><cn id="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.3.3.3.3.2.2.1.1.1.1.3.3">2</cn></apply></apply></apply><apply id="A1.Ex8.m1.3.3.3.3.2.2.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3"><minus id="A1.Ex8.m1.3.3.3.3.2.2.3.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3.1"></minus><apply id="A1.Ex8.m1.3.3.3.3.2.2.3.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.3.3.3.3.2.2.3.2.1.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2">subscript</csymbol><ci id="A1.Ex8.m1.3.3.3.3.2.2.3.2.2.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2.2">𝑇</ci><cn id="A1.Ex8.m1.3.3.3.3.2.2.3.2.3.cmml" type="integer" xref="A1.Ex8.m1.3.3.3.3.2.2.3.2.3">0</cn></apply><ci id="A1.Ex8.m1.3.3.3.3.2.2.3.3.cmml" xref="A1.Ex8.m1.3.3.3.3.2.2.3.3">𝑑</ci></apply></apply><apply id="A1.Ex8.m1.13.13.1.1.1.4.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><times id="A1.Ex8.m1.13.13.1.1.1.4.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"></times><apply id="A1.Ex8.m1.5.5.5.5.4.4.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4"><divide id="A1.Ex8.m1.5.5.5.5.4.4.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4"></divide><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1"><times id="A1.Ex8.m1.5.5.5.5.4.4.1.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.2"></times><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.5.5.5.5.4.4.1.3.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3">superscript</csymbol><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.3.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3.2">𝜅</ci><cn id="A1.Ex8.m1.5.5.5.5.4.4.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.5.5.5.5.4.4.1.3.3">2</cn></apply><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.4.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.4">tr</ci><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1"><csymbol cd="ambiguous" id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1">superscript</csymbol><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1"><plus id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.1"></plus><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.2">Σ</ci><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3"><times id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.2">𝜅</ci><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3"><minus id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3"></minus><cn id="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.2.cmml" type="integer" xref="A1.Ex8.m1.5.5.5.5.4.4.1.1.1.1.3.2">2</cn></apply></apply></apply><apply id="A1.Ex8.m1.5.5.5.5.4.4.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3"><minus id="A1.Ex8.m1.5.5.5.5.4.4.3.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3.1"></minus><apply id="A1.Ex8.m1.5.5.5.5.4.4.3.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.5.5.5.5.4.4.3.2.1.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2">subscript</csymbol><ci id="A1.Ex8.m1.5.5.5.5.4.4.3.2.2.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2.2">𝑇</ci><cn id="A1.Ex8.m1.5.5.5.5.4.4.3.2.3.cmml" type="integer" xref="A1.Ex8.m1.5.5.5.5.4.4.3.2.3">0</cn></apply><ci id="A1.Ex8.m1.5.5.5.5.4.4.3.3.cmml" xref="A1.Ex8.m1.5.5.5.5.4.4.3.3">𝑑</ci></apply></apply><apply id="A1.Ex8.m1.6.6.6.6.5.5.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5"><divide id="A1.Ex8.m1.6.6.6.6.5.5.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5"></divide><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1"><times id="A1.Ex8.m1.6.6.6.6.5.5.1.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.2"></times><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.3">tr</ci><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1"><times id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.2"></times><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1">superscript</csymbol><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1"><plus id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.1"></plus><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.2">Σ</ci><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3"><times id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.2">𝜅</ci><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3"><minus id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3"></minus><cn id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.2.cmml" type="integer" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.1.3.2">2</cn></apply></apply><apply id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.2">Σ</ci><cn id="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.6.6.6.6.5.5.1.1.1.1.3.3">2</cn></apply></apply></apply><apply id="A1.Ex8.m1.6.6.6.6.5.5.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2"><minus id="A1.Ex8.m1.6.6.6.6.5.5.2.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.2"></minus><ci id="A1.Ex8.m1.6.6.6.6.5.5.2.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.3">𝑇</ci><apply id="A1.Ex8.m1.6.6.6.6.5.5.2.4.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4"><times id="A1.Ex8.m1.6.6.6.6.5.5.2.4.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.1"></times><apply id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2">subscript</csymbol><ci id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.2.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.2">df</ci><cn id="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.3.cmml" type="integer" xref="A1.Ex8.m1.6.6.6.6.5.5.2.4.2.3">2</cn></apply><ci id="A1.Ex8.m1.6.6.6.6.5.5.2.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5.5.2.1">𝜅</ci></apply></apply></apply></apply></apply></apply><apply id="A1.Ex8.m1.13.13.1.1.1c.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><eq id="A1.Ex8.m1.7.7.7.1.1.1.cmml" xref="A1.Ex8.m1.7.7.7.1.1.1"></eq><share href="#A1.Ex8.m1.13.13.1.1.1.4.cmml" id="A1.Ex8.m1.13.13.1.1.1d.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"></share><apply id="A1.Ex8.m1.13.13.1.1.1.6.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><plus id="A1.Ex8.m1.9.9.9.3.3.3.cmml" xref="A1.Ex8.m1.9.9.9.3.3.3"></plus><apply id="A1.Ex8.m1.8.8.8.2.2.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2"><divide id="A1.Ex8.m1.8.8.8.2.2.2.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2"></divide><apply id="A1.Ex8.m1.8.8.8.2.2.2.1.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1"><times id="A1.Ex8.m1.8.8.8.2.2.2.1.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1.2"></times><apply id="A1.Ex8.m1.8.8.8.2.2.2.1.3.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.8.8.8.2.2.2.1.3.1.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3">subscript</csymbol><ci id="A1.Ex8.m1.8.8.8.2.2.2.1.3.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3.2">df</ci><cn id="A1.Ex8.m1.8.8.8.2.2.2.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.8.8.8.2.2.2.1.3.3">2</cn></apply><ci id="A1.Ex8.m1.8.8.8.2.2.2.1.1.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.1.1">𝜅</ci></apply><apply id="A1.Ex8.m1.8.8.8.2.2.2.3.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3"><minus id="A1.Ex8.m1.8.8.8.2.2.2.3.1.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3.1"></minus><apply id="A1.Ex8.m1.8.8.8.2.2.2.3.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.8.8.8.2.2.2.3.2.1.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2">subscript</csymbol><ci id="A1.Ex8.m1.8.8.8.2.2.2.3.2.2.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2.2">𝑇</ci><cn id="A1.Ex8.m1.8.8.8.2.2.2.3.2.3.cmml" type="integer" xref="A1.Ex8.m1.8.8.8.2.2.2.3.2.3">0</cn></apply><ci id="A1.Ex8.m1.8.8.8.2.2.2.3.3.cmml" xref="A1.Ex8.m1.8.8.8.2.2.2.3.3">𝑑</ci></apply></apply><apply id="A1.Ex8.m1.13.13.1.1.1.6.3.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"><times id="A1.Ex8.m1.13.13.1.1.1.6.3.1.cmml" xref="A1.Ex8.m1.6.6.6.6.5a.6"></times><apply id="A1.Ex8.m1.10.10.10.4.4.4.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4"><divide id="A1.Ex8.m1.10.10.10.4.4.4.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4"></divide><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1"><times id="A1.Ex8.m1.10.10.10.4.4.4.1.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.2"></times><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.10.10.10.4.4.4.1.3.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3">superscript</csymbol><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.3.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3.2">𝜅</ci><cn id="A1.Ex8.m1.10.10.10.4.4.4.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.10.10.10.4.4.4.1.3.3">2</cn></apply><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.4.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.4">tr</ci><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1"><csymbol cd="ambiguous" id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1">superscript</csymbol><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1"><plus id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.1"></plus><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.2">Σ</ci><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3"><times id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.2">𝜅</ci><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3"><minus id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3"></minus><cn id="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.2.cmml" type="integer" xref="A1.Ex8.m1.10.10.10.4.4.4.1.1.1.1.3.2">2</cn></apply></apply></apply><apply id="A1.Ex8.m1.10.10.10.4.4.4.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3"><minus id="A1.Ex8.m1.10.10.10.4.4.4.3.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3.1"></minus><apply id="A1.Ex8.m1.10.10.10.4.4.4.3.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.10.10.10.4.4.4.3.2.1.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2">subscript</csymbol><ci id="A1.Ex8.m1.10.10.10.4.4.4.3.2.2.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2.2">𝑇</ci><cn id="A1.Ex8.m1.10.10.10.4.4.4.3.2.3.cmml" type="integer" xref="A1.Ex8.m1.10.10.10.4.4.4.3.2.3">0</cn></apply><ci id="A1.Ex8.m1.10.10.10.4.4.4.3.3.cmml" xref="A1.Ex8.m1.10.10.10.4.4.4.3.3">𝑑</ci></apply></apply><apply id="A1.Ex8.m1.11.11.11.5.5.5.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5"><divide id="A1.Ex8.m1.11.11.11.5.5.5.3.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5"></divide><apply id="A1.Ex8.m1.11.11.11.5.5.5.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1"><times id="A1.Ex8.m1.11.11.11.5.5.5.1.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1.2"></times><apply id="A1.Ex8.m1.11.11.11.5.5.5.1.3.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3"><csymbol cd="ambiguous" id="A1.Ex8.m1.11.11.11.5.5.5.1.3.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3">subscript</csymbol><ci id="A1.Ex8.m1.11.11.11.5.5.5.1.3.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3.2">df</ci><cn id="A1.Ex8.m1.11.11.11.5.5.5.1.3.3.cmml" type="integer" xref="A1.Ex8.m1.11.11.11.5.5.5.1.3.3">2</cn></apply><ci id="A1.Ex8.m1.11.11.11.5.5.5.1.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.1.1">𝜅</ci></apply><apply id="A1.Ex8.m1.11.11.11.5.5.5.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2"><minus id="A1.Ex8.m1.11.11.11.5.5.5.2.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.2"></minus><ci id="A1.Ex8.m1.11.11.11.5.5.5.2.3.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.3">𝑇</ci><apply id="A1.Ex8.m1.11.11.11.5.5.5.2.4.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4"><times id="A1.Ex8.m1.11.11.11.5.5.5.2.4.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.1"></times><apply id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2">subscript</csymbol><ci id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.2.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.2">df</ci><cn id="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.3.cmml" type="integer" xref="A1.Ex8.m1.11.11.11.5.5.5.2.4.2.3">2</cn></apply><ci id="A1.Ex8.m1.11.11.11.5.5.5.2.1.cmml" xref="A1.Ex8.m1.11.11.11.5.5.5.2.1">𝜅</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex8.m1.14c">\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{tr}((\Sigma+\kappa I_{d})^{% -2}\Sigma^{2})}{T_{0}-d}+\frac{\kappa^{2}\mathrm{tr}((\Sigma+\kappa I_{d})^{-2% })}{T_{0}-d}\frac{\mathrm{tr}((\Sigma+\kappa I_{d})^{-2}\Sigma^{2})}{T-\mathrm% {df}_{2}(\kappa)}\\ &=\frac{\mathrm{df}_{2}(\kappa)}{T_{0}-d}+\frac{\kappa^{2}\mathrm{tr}((\Sigma+% \kappa I_{d})^{-2})}{T_{0}-d}\frac{\mathrm{df}_{2}(\kappa)}{T-\mathrm{df}_{2}(% \kappa)},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.Ex8.m1.14d">start_ROW start_CELL italic_ρ end_CELL start_CELL ≃ divide start_ARG roman_tr ( ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT roman_Σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG + divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT roman_tr ( ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG divide start_ARG roman_tr ( ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT roman_Σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_T - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG + divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT roman_tr ( ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS3.p1.6">which proves the first part of the result.</p> </div> <div class="ltx_para" id="A1.SS3.p2"> <p class="ltx_p" id="A1.SS3.p2.2">For the second part, note that <math alttext="\mathrm{df}_{2}(\kappa)=d/(1+\kappa)^{2}" class="ltx_Math" display="inline" id="A1.SS3.p2.1.m1.2"><semantics id="A1.SS3.p2.1.m1.2a"><mrow id="A1.SS3.p2.1.m1.2.2" xref="A1.SS3.p2.1.m1.2.2.cmml"><mrow id="A1.SS3.p2.1.m1.2.2.3" xref="A1.SS3.p2.1.m1.2.2.3.cmml"><msub id="A1.SS3.p2.1.m1.2.2.3.2" xref="A1.SS3.p2.1.m1.2.2.3.2.cmml"><mi id="A1.SS3.p2.1.m1.2.2.3.2.2" xref="A1.SS3.p2.1.m1.2.2.3.2.2.cmml">df</mi><mn id="A1.SS3.p2.1.m1.2.2.3.2.3" xref="A1.SS3.p2.1.m1.2.2.3.2.3.cmml">2</mn></msub><mo id="A1.SS3.p2.1.m1.2.2.3.1" xref="A1.SS3.p2.1.m1.2.2.3.1.cmml">⁢</mo><mrow id="A1.SS3.p2.1.m1.2.2.3.3.2" xref="A1.SS3.p2.1.m1.2.2.3.cmml"><mo id="A1.SS3.p2.1.m1.2.2.3.3.2.1" stretchy="false" xref="A1.SS3.p2.1.m1.2.2.3.cmml">(</mo><mi id="A1.SS3.p2.1.m1.1.1" xref="A1.SS3.p2.1.m1.1.1.cmml">κ</mi><mo id="A1.SS3.p2.1.m1.2.2.3.3.2.2" stretchy="false" xref="A1.SS3.p2.1.m1.2.2.3.cmml">)</mo></mrow></mrow><mo id="A1.SS3.p2.1.m1.2.2.2" xref="A1.SS3.p2.1.m1.2.2.2.cmml">=</mo><mrow id="A1.SS3.p2.1.m1.2.2.1" xref="A1.SS3.p2.1.m1.2.2.1.cmml"><mi id="A1.SS3.p2.1.m1.2.2.1.3" xref="A1.SS3.p2.1.m1.2.2.1.3.cmml">d</mi><mo id="A1.SS3.p2.1.m1.2.2.1.2" xref="A1.SS3.p2.1.m1.2.2.1.2.cmml">/</mo><msup id="A1.SS3.p2.1.m1.2.2.1.1" xref="A1.SS3.p2.1.m1.2.2.1.1.cmml"><mrow id="A1.SS3.p2.1.m1.2.2.1.1.1.1" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.cmml"><mo id="A1.SS3.p2.1.m1.2.2.1.1.1.1.2" stretchy="false" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.cmml"><mn id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.2" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.2.cmml">1</mn><mo id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.1" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.1.cmml">+</mo><mi id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.3" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.SS3.p2.1.m1.2.2.1.1.1.1.3" stretchy="false" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.SS3.p2.1.m1.2.2.1.1.3" xref="A1.SS3.p2.1.m1.2.2.1.1.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.p2.1.m1.2b"><apply id="A1.SS3.p2.1.m1.2.2.cmml" xref="A1.SS3.p2.1.m1.2.2"><eq id="A1.SS3.p2.1.m1.2.2.2.cmml" xref="A1.SS3.p2.1.m1.2.2.2"></eq><apply id="A1.SS3.p2.1.m1.2.2.3.cmml" xref="A1.SS3.p2.1.m1.2.2.3"><times id="A1.SS3.p2.1.m1.2.2.3.1.cmml" xref="A1.SS3.p2.1.m1.2.2.3.1"></times><apply id="A1.SS3.p2.1.m1.2.2.3.2.cmml" xref="A1.SS3.p2.1.m1.2.2.3.2"><csymbol cd="ambiguous" id="A1.SS3.p2.1.m1.2.2.3.2.1.cmml" xref="A1.SS3.p2.1.m1.2.2.3.2">subscript</csymbol><ci id="A1.SS3.p2.1.m1.2.2.3.2.2.cmml" xref="A1.SS3.p2.1.m1.2.2.3.2.2">df</ci><cn id="A1.SS3.p2.1.m1.2.2.3.2.3.cmml" type="integer" xref="A1.SS3.p2.1.m1.2.2.3.2.3">2</cn></apply><ci id="A1.SS3.p2.1.m1.1.1.cmml" xref="A1.SS3.p2.1.m1.1.1">𝜅</ci></apply><apply id="A1.SS3.p2.1.m1.2.2.1.cmml" xref="A1.SS3.p2.1.m1.2.2.1"><divide id="A1.SS3.p2.1.m1.2.2.1.2.cmml" xref="A1.SS3.p2.1.m1.2.2.1.2"></divide><ci id="A1.SS3.p2.1.m1.2.2.1.3.cmml" xref="A1.SS3.p2.1.m1.2.2.1.3">𝑑</ci><apply id="A1.SS3.p2.1.m1.2.2.1.1.cmml" xref="A1.SS3.p2.1.m1.2.2.1.1"><csymbol cd="ambiguous" id="A1.SS3.p2.1.m1.2.2.1.1.2.cmml" xref="A1.SS3.p2.1.m1.2.2.1.1">superscript</csymbol><apply id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.cmml" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1"><plus id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.1.cmml" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.1"></plus><cn id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.2.cmml" type="integer" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.2">1</cn><ci id="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.3.cmml" xref="A1.SS3.p2.1.m1.2.2.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.SS3.p2.1.m1.2.2.1.1.3.cmml" type="integer" xref="A1.SS3.p2.1.m1.2.2.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p2.1.m1.2c">\mathrm{df}_{2}(\kappa)=d/(1+\kappa)^{2}</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p2.1.m1.2d">roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) = italic_d / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math> when <math alttext="\Sigma=I_{d}" class="ltx_Math" display="inline" id="A1.SS3.p2.2.m2.1"><semantics id="A1.SS3.p2.2.m2.1a"><mrow id="A1.SS3.p2.2.m2.1.1" xref="A1.SS3.p2.2.m2.1.1.cmml"><mi id="A1.SS3.p2.2.m2.1.1.2" mathvariant="normal" xref="A1.SS3.p2.2.m2.1.1.2.cmml">Σ</mi><mo id="A1.SS3.p2.2.m2.1.1.1" xref="A1.SS3.p2.2.m2.1.1.1.cmml">=</mo><msub id="A1.SS3.p2.2.m2.1.1.3" xref="A1.SS3.p2.2.m2.1.1.3.cmml"><mi id="A1.SS3.p2.2.m2.1.1.3.2" xref="A1.SS3.p2.2.m2.1.1.3.2.cmml">I</mi><mi id="A1.SS3.p2.2.m2.1.1.3.3" xref="A1.SS3.p2.2.m2.1.1.3.3.cmml">d</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.p2.2.m2.1b"><apply id="A1.SS3.p2.2.m2.1.1.cmml" xref="A1.SS3.p2.2.m2.1.1"><eq id="A1.SS3.p2.2.m2.1.1.1.cmml" xref="A1.SS3.p2.2.m2.1.1.1"></eq><ci id="A1.SS3.p2.2.m2.1.1.2.cmml" xref="A1.SS3.p2.2.m2.1.1.2">Σ</ci><apply id="A1.SS3.p2.2.m2.1.1.3.cmml" xref="A1.SS3.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="A1.SS3.p2.2.m2.1.1.3.1.cmml" xref="A1.SS3.p2.2.m2.1.1.3">subscript</csymbol><ci id="A1.SS3.p2.2.m2.1.1.3.2.cmml" xref="A1.SS3.p2.2.m2.1.1.3.2">𝐼</ci><ci id="A1.SS3.p2.2.m2.1.1.3.3.cmml" xref="A1.SS3.p2.2.m2.1.1.3.3">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p2.2.m2.1c">\Sigma=I_{d}</annotation><annotation encoding="application/x-llamapun" id="A1.SS3.p2.2.m2.1d">roman_Σ = italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT</annotation></semantics></math>, (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E12" title="12 ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">12</span></a>) holds, and so</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx37"> <tbody id="A1.Ex9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}(1-1/\phi_{0})\rho&\simeq\frac{1}{(1+\kappa)^{2}}+% \frac{\kappa^{2}}{(1+\kappa)^{4}}\frac{d}{T-d/(1+\kappa)^{2}}\\ &\simeq\frac{1}{(1+\kappa)^{2}}+\frac{\kappa^{2}}{(1+\kappa)^{4}}\frac{\phi}{1% -\phi/(1+\kappa)^{2}}\\ &=\frac{1}{(1+\kappa)^{2}}+\frac{1}{(1+\kappa)^{2}}\frac{\phi\kappa^{2}}{(1+% \kappa)^{2}-\phi},\end{split}" class="ltx_Math" display="inline" id="A1.Ex9.m1.28"><semantics id="A1.Ex9.m1.28a"><mtable columnspacing="0pt" id="A1.Ex9.m1.28.28.3" rowspacing="0pt"><mtr id="A1.Ex9.m1.28.28.3a"><mtd class="ltx_align_right" columnalign="right" id="A1.Ex9.m1.28.28.3b"><mrow id="A1.Ex9.m1.27.27.2.26.15.10"><mrow id="A1.Ex9.m1.27.27.2.26.15.10.10.1"><mo id="A1.Ex9.m1.1.1.1.1.1.1" stretchy="false" xref="A1.Ex9.m1.26.26.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.27.27.2.26.15.10.10.1.1"><mn id="A1.Ex9.m1.2.2.2.2.2.2" xref="A1.Ex9.m1.2.2.2.2.2.2.cmml">1</mn><mo id="A1.Ex9.m1.3.3.3.3.3.3" xref="A1.Ex9.m1.3.3.3.3.3.3.cmml">−</mo><mrow id="A1.Ex9.m1.27.27.2.26.15.10.10.1.1.1"><mn id="A1.Ex9.m1.4.4.4.4.4.4" xref="A1.Ex9.m1.4.4.4.4.4.4.cmml">1</mn><mo id="A1.Ex9.m1.5.5.5.5.5.5" xref="A1.Ex9.m1.5.5.5.5.5.5.cmml">/</mo><msub id="A1.Ex9.m1.27.27.2.26.15.10.10.1.1.1.1"><mi id="A1.Ex9.m1.6.6.6.6.6.6" xref="A1.Ex9.m1.6.6.6.6.6.6.cmml">ϕ</mi><mn id="A1.Ex9.m1.7.7.7.7.7.7.1" xref="A1.Ex9.m1.7.7.7.7.7.7.1.cmml">0</mn></msub></mrow></mrow><mo id="A1.Ex9.m1.8.8.8.8.8.8" stretchy="false" xref="A1.Ex9.m1.26.26.1.1.1.cmml">)</mo></mrow><mo id="A1.Ex9.m1.27.27.2.26.15.10.11" xref="A1.Ex9.m1.26.26.1.1.1.cmml">⁢</mo><mi id="A1.Ex9.m1.9.9.9.9.9.9" xref="A1.Ex9.m1.9.9.9.9.9.9.cmml">ρ</mi></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex9.m1.28.28.3c"><mrow id="A1.Ex9.m1.14.14.14.14.5a"><mi id="A1.Ex9.m1.14.14.14.14.5a.6" xref="A1.Ex9.m1.26.26.1.1.1.cmml"></mi><mo id="A1.Ex9.m1.10.10.10.10.1.1" xref="A1.Ex9.m1.10.10.10.10.1.1.cmml">≃</mo><mrow id="A1.Ex9.m1.14.14.14.14.5a.7"><mstyle displaystyle="true" id="A1.Ex9.m1.11.11.11.11.2.2" xref="A1.Ex9.m1.11.11.11.11.2.2.cmml"><mfrac id="A1.Ex9.m1.11.11.11.11.2.2a" xref="A1.Ex9.m1.11.11.11.11.2.2.cmml"><mn id="A1.Ex9.m1.11.11.11.11.2.2.3" xref="A1.Ex9.m1.11.11.11.11.2.2.3.cmml">1</mn><msup id="A1.Ex9.m1.11.11.11.11.2.2.1" xref="A1.Ex9.m1.11.11.11.11.2.2.1.cmml"><mrow id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.cmml"><mo id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.cmml"><mn id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.2" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.1" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.3" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.11.11.11.11.2.2.1.3" xref="A1.Ex9.m1.11.11.11.11.2.2.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.12.12.12.12.3.3" xref="A1.Ex9.m1.12.12.12.12.3.3.cmml">+</mo><mrow id="A1.Ex9.m1.14.14.14.14.5a.7.1"><mstyle displaystyle="true" id="A1.Ex9.m1.13.13.13.13.4.4" xref="A1.Ex9.m1.13.13.13.13.4.4.cmml"><mfrac id="A1.Ex9.m1.13.13.13.13.4.4a" xref="A1.Ex9.m1.13.13.13.13.4.4.cmml"><msup id="A1.Ex9.m1.13.13.13.13.4.4.3" xref="A1.Ex9.m1.13.13.13.13.4.4.3.cmml"><mi id="A1.Ex9.m1.13.13.13.13.4.4.3.2" xref="A1.Ex9.m1.13.13.13.13.4.4.3.2.cmml">κ</mi><mn id="A1.Ex9.m1.13.13.13.13.4.4.3.3" xref="A1.Ex9.m1.13.13.13.13.4.4.3.3.cmml">2</mn></msup><msup id="A1.Ex9.m1.13.13.13.13.4.4.1" xref="A1.Ex9.m1.13.13.13.13.4.4.1.cmml"><mrow id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.cmml"><mo id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.cmml"><mn id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.2" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.1" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.3" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.13.13.13.13.4.4.1.3" xref="A1.Ex9.m1.13.13.13.13.4.4.1.3.cmml">4</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.14.14.14.14.5a.7.1.1" xref="A1.Ex9.m1.26.26.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex9.m1.14.14.14.14.5.5" xref="A1.Ex9.m1.14.14.14.14.5.5.cmml"><mfrac id="A1.Ex9.m1.14.14.14.14.5.5a" xref="A1.Ex9.m1.14.14.14.14.5.5.cmml"><mi id="A1.Ex9.m1.14.14.14.14.5.5.3" xref="A1.Ex9.m1.14.14.14.14.5.5.3.cmml">d</mi><mrow id="A1.Ex9.m1.14.14.14.14.5.5.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.cmml"><mi id="A1.Ex9.m1.14.14.14.14.5.5.1.3" xref="A1.Ex9.m1.14.14.14.14.5.5.1.3.cmml">T</mi><mo id="A1.Ex9.m1.14.14.14.14.5.5.1.2" xref="A1.Ex9.m1.14.14.14.14.5.5.1.2.cmml">−</mo><mrow id="A1.Ex9.m1.14.14.14.14.5.5.1.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.cmml"><mi id="A1.Ex9.m1.14.14.14.14.5.5.1.1.3" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.3.cmml">d</mi><mo id="A1.Ex9.m1.14.14.14.14.5.5.1.1.2" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.2.cmml">/</mo><msup id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.cmml"><mrow id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.cmml"><mo id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.cmml"><mn id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.2" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.1" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.3" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.3" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.3.cmml">2</mn></msup></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex9.m1.28.28.3d"><mtd id="A1.Ex9.m1.28.28.3e" xref="A1.Ex9.m1.26.26.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex9.m1.28.28.3f"><mrow id="A1.Ex9.m1.19.19.19.5.5a"><mi id="A1.Ex9.m1.19.19.19.5.5a.6" xref="A1.Ex9.m1.26.26.1.1.1.cmml"></mi><mo id="A1.Ex9.m1.15.15.15.1.1.1" xref="A1.Ex9.m1.15.15.15.1.1.1.cmml">≃</mo><mrow id="A1.Ex9.m1.19.19.19.5.5a.7"><mstyle displaystyle="true" id="A1.Ex9.m1.16.16.16.2.2.2" xref="A1.Ex9.m1.16.16.16.2.2.2.cmml"><mfrac id="A1.Ex9.m1.16.16.16.2.2.2a" xref="A1.Ex9.m1.16.16.16.2.2.2.cmml"><mn id="A1.Ex9.m1.16.16.16.2.2.2.3" xref="A1.Ex9.m1.16.16.16.2.2.2.3.cmml">1</mn><msup id="A1.Ex9.m1.16.16.16.2.2.2.1" xref="A1.Ex9.m1.16.16.16.2.2.2.1.cmml"><mrow id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.cmml"><mo id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.cmml"><mn id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.2" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.1" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.3" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.16.16.16.2.2.2.1.3" xref="A1.Ex9.m1.16.16.16.2.2.2.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.17.17.17.3.3.3" xref="A1.Ex9.m1.17.17.17.3.3.3.cmml">+</mo><mrow id="A1.Ex9.m1.19.19.19.5.5a.7.1"><mstyle displaystyle="true" id="A1.Ex9.m1.18.18.18.4.4.4" xref="A1.Ex9.m1.18.18.18.4.4.4.cmml"><mfrac id="A1.Ex9.m1.18.18.18.4.4.4a" xref="A1.Ex9.m1.18.18.18.4.4.4.cmml"><msup id="A1.Ex9.m1.18.18.18.4.4.4.3" xref="A1.Ex9.m1.18.18.18.4.4.4.3.cmml"><mi id="A1.Ex9.m1.18.18.18.4.4.4.3.2" xref="A1.Ex9.m1.18.18.18.4.4.4.3.2.cmml">κ</mi><mn id="A1.Ex9.m1.18.18.18.4.4.4.3.3" xref="A1.Ex9.m1.18.18.18.4.4.4.3.3.cmml">2</mn></msup><msup id="A1.Ex9.m1.18.18.18.4.4.4.1" xref="A1.Ex9.m1.18.18.18.4.4.4.1.cmml"><mrow id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.cmml"><mo id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.cmml"><mn id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.2" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.1" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.3" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.18.18.18.4.4.4.1.3" xref="A1.Ex9.m1.18.18.18.4.4.4.1.3.cmml">4</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.19.19.19.5.5a.7.1.1" xref="A1.Ex9.m1.26.26.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex9.m1.19.19.19.5.5.5" xref="A1.Ex9.m1.19.19.19.5.5.5.cmml"><mfrac id="A1.Ex9.m1.19.19.19.5.5.5a" xref="A1.Ex9.m1.19.19.19.5.5.5.cmml"><mi id="A1.Ex9.m1.19.19.19.5.5.5.3" xref="A1.Ex9.m1.19.19.19.5.5.5.3.cmml">ϕ</mi><mrow id="A1.Ex9.m1.19.19.19.5.5.5.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.cmml"><mn id="A1.Ex9.m1.19.19.19.5.5.5.1.3" xref="A1.Ex9.m1.19.19.19.5.5.5.1.3.cmml">1</mn><mo id="A1.Ex9.m1.19.19.19.5.5.5.1.2" xref="A1.Ex9.m1.19.19.19.5.5.5.1.2.cmml">−</mo><mrow id="A1.Ex9.m1.19.19.19.5.5.5.1.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.cmml"><mi id="A1.Ex9.m1.19.19.19.5.5.5.1.1.3" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.3.cmml">ϕ</mi><mo id="A1.Ex9.m1.19.19.19.5.5.5.1.1.2" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.2.cmml">/</mo><msup id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.cmml"><mrow id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.cmml"><mo id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.cmml"><mn id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.2" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.1" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.3" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.3" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.3.cmml">2</mn></msup></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow></mtd></mtr><mtr id="A1.Ex9.m1.28.28.3g"><mtd id="A1.Ex9.m1.28.28.3h" xref="A1.Ex9.m1.26.26.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A1.Ex9.m1.28.28.3i"><mrow id="A1.Ex9.m1.28.28.3.27.7.7.7"><mrow id="A1.Ex9.m1.28.28.3.27.7.7.7.1"><mi id="A1.Ex9.m1.28.28.3.27.7.7.7.1.1" xref="A1.Ex9.m1.26.26.1.1.1.cmml"></mi><mo id="A1.Ex9.m1.20.20.20.1.1.1" xref="A1.Ex9.m1.20.20.20.1.1.1.cmml">=</mo><mrow id="A1.Ex9.m1.28.28.3.27.7.7.7.1.2"><mstyle displaystyle="true" id="A1.Ex9.m1.21.21.21.2.2.2" xref="A1.Ex9.m1.21.21.21.2.2.2.cmml"><mfrac id="A1.Ex9.m1.21.21.21.2.2.2a" xref="A1.Ex9.m1.21.21.21.2.2.2.cmml"><mn id="A1.Ex9.m1.21.21.21.2.2.2.3" xref="A1.Ex9.m1.21.21.21.2.2.2.3.cmml">1</mn><msup id="A1.Ex9.m1.21.21.21.2.2.2.1" xref="A1.Ex9.m1.21.21.21.2.2.2.1.cmml"><mrow id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.cmml"><mo id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.cmml"><mn id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.2" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.1" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.3" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.21.21.21.2.2.2.1.3" xref="A1.Ex9.m1.21.21.21.2.2.2.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.22.22.22.3.3.3" xref="A1.Ex9.m1.22.22.22.3.3.3.cmml">+</mo><mrow id="A1.Ex9.m1.28.28.3.27.7.7.7.1.2.1"><mstyle displaystyle="true" id="A1.Ex9.m1.23.23.23.4.4.4" xref="A1.Ex9.m1.23.23.23.4.4.4.cmml"><mfrac id="A1.Ex9.m1.23.23.23.4.4.4a" xref="A1.Ex9.m1.23.23.23.4.4.4.cmml"><mn id="A1.Ex9.m1.23.23.23.4.4.4.3" xref="A1.Ex9.m1.23.23.23.4.4.4.3.cmml">1</mn><msup id="A1.Ex9.m1.23.23.23.4.4.4.1" xref="A1.Ex9.m1.23.23.23.4.4.4.1.cmml"><mrow id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.cmml"><mo id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.cmml"><mn id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.2" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.1" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.3" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.23.23.23.4.4.4.1.3" xref="A1.Ex9.m1.23.23.23.4.4.4.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex9.m1.28.28.3.27.7.7.7.1.2.1.1" xref="A1.Ex9.m1.26.26.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex9.m1.24.24.24.5.5.5" xref="A1.Ex9.m1.24.24.24.5.5.5.cmml"><mfrac id="A1.Ex9.m1.24.24.24.5.5.5a" xref="A1.Ex9.m1.24.24.24.5.5.5.cmml"><mrow id="A1.Ex9.m1.24.24.24.5.5.5.3" xref="A1.Ex9.m1.24.24.24.5.5.5.3.cmml"><mi id="A1.Ex9.m1.24.24.24.5.5.5.3.2" xref="A1.Ex9.m1.24.24.24.5.5.5.3.2.cmml">ϕ</mi><mo id="A1.Ex9.m1.24.24.24.5.5.5.3.1" xref="A1.Ex9.m1.24.24.24.5.5.5.3.1.cmml">⁢</mo><msup id="A1.Ex9.m1.24.24.24.5.5.5.3.3" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3.cmml"><mi id="A1.Ex9.m1.24.24.24.5.5.5.3.3.2" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3.2.cmml">κ</mi><mn id="A1.Ex9.m1.24.24.24.5.5.5.3.3.3" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3.3.cmml">2</mn></msup></mrow><mrow id="A1.Ex9.m1.24.24.24.5.5.5.1" xref="A1.Ex9.m1.24.24.24.5.5.5.1.cmml"><msup id="A1.Ex9.m1.24.24.24.5.5.5.1.1" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.cmml"><mrow id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.cmml"><mo id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.2" stretchy="false" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.cmml"><mn id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.2" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.1" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.3" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.3" stretchy="false" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex9.m1.24.24.24.5.5.5.1.1.3" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.3.cmml">2</mn></msup><mo id="A1.Ex9.m1.24.24.24.5.5.5.1.2" xref="A1.Ex9.m1.24.24.24.5.5.5.1.2.cmml">−</mo><mi id="A1.Ex9.m1.24.24.24.5.5.5.1.3" xref="A1.Ex9.m1.24.24.24.5.5.5.1.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow></mrow></mrow><mo id="A1.Ex9.m1.25.25.25.6.6.6" xref="A1.Ex9.m1.26.26.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A1.Ex9.m1.28b"><apply id="A1.Ex9.m1.26.26.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><and id="A1.Ex9.m1.26.26.1.1.1a.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></and><apply id="A1.Ex9.m1.26.26.1.1.1b.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex9.m1.10.10.10.10.1.1.cmml" xref="A1.Ex9.m1.10.10.10.10.1.1">similar-to-or-equals</csymbol><apply id="A1.Ex9.m1.26.26.1.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><times id="A1.Ex9.m1.26.26.1.1.1.1.2.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></times><apply id="A1.Ex9.m1.26.26.1.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><minus id="A1.Ex9.m1.3.3.3.3.3.3.cmml" xref="A1.Ex9.m1.3.3.3.3.3.3"></minus><cn id="A1.Ex9.m1.2.2.2.2.2.2.cmml" type="integer" xref="A1.Ex9.m1.2.2.2.2.2.2">1</cn><apply id="A1.Ex9.m1.26.26.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><divide id="A1.Ex9.m1.5.5.5.5.5.5.cmml" xref="A1.Ex9.m1.5.5.5.5.5.5"></divide><cn id="A1.Ex9.m1.4.4.4.4.4.4.cmml" type="integer" xref="A1.Ex9.m1.4.4.4.4.4.4">1</cn><apply id="A1.Ex9.m1.26.26.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.26.26.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex9.m1.6.6.6.6.6.6.cmml" xref="A1.Ex9.m1.6.6.6.6.6.6">italic-ϕ</ci><cn id="A1.Ex9.m1.7.7.7.7.7.7.1.cmml" type="integer" xref="A1.Ex9.m1.7.7.7.7.7.7.1">0</cn></apply></apply></apply><ci id="A1.Ex9.m1.9.9.9.9.9.9.cmml" xref="A1.Ex9.m1.9.9.9.9.9.9">𝜌</ci></apply><apply id="A1.Ex9.m1.26.26.1.1.1.4.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><plus id="A1.Ex9.m1.12.12.12.12.3.3.cmml" xref="A1.Ex9.m1.12.12.12.12.3.3"></plus><apply id="A1.Ex9.m1.11.11.11.11.2.2.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2"><divide id="A1.Ex9.m1.11.11.11.11.2.2.2.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2"></divide><cn id="A1.Ex9.m1.11.11.11.11.2.2.3.cmml" type="integer" xref="A1.Ex9.m1.11.11.11.11.2.2.3">1</cn><apply id="A1.Ex9.m1.11.11.11.11.2.2.1.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.11.11.11.11.2.2.1.2.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2.1">superscript</csymbol><apply id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1"><plus id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.1.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.3.cmml" xref="A1.Ex9.m1.11.11.11.11.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.11.11.11.11.2.2.1.3.cmml" type="integer" xref="A1.Ex9.m1.11.11.11.11.2.2.1.3">2</cn></apply></apply><apply id="A1.Ex9.m1.26.26.1.1.1.4.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><times id="A1.Ex9.m1.26.26.1.1.1.4.3.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></times><apply id="A1.Ex9.m1.13.13.13.13.4.4.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4"><divide id="A1.Ex9.m1.13.13.13.13.4.4.2.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4"></divide><apply id="A1.Ex9.m1.13.13.13.13.4.4.3.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.3"><csymbol cd="ambiguous" id="A1.Ex9.m1.13.13.13.13.4.4.3.1.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.3">superscript</csymbol><ci id="A1.Ex9.m1.13.13.13.13.4.4.3.2.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.3.2">𝜅</ci><cn id="A1.Ex9.m1.13.13.13.13.4.4.3.3.cmml" type="integer" xref="A1.Ex9.m1.13.13.13.13.4.4.3.3">2</cn></apply><apply id="A1.Ex9.m1.13.13.13.13.4.4.1.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.13.13.13.13.4.4.1.2.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.1">superscript</csymbol><apply id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1"><plus id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.1.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.3.cmml" xref="A1.Ex9.m1.13.13.13.13.4.4.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.13.13.13.13.4.4.1.3.cmml" type="integer" xref="A1.Ex9.m1.13.13.13.13.4.4.1.3">4</cn></apply></apply><apply id="A1.Ex9.m1.14.14.14.14.5.5.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5"><divide id="A1.Ex9.m1.14.14.14.14.5.5.2.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5"></divide><ci id="A1.Ex9.m1.14.14.14.14.5.5.3.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.3">𝑑</ci><apply id="A1.Ex9.m1.14.14.14.14.5.5.1.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1"><minus id="A1.Ex9.m1.14.14.14.14.5.5.1.2.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.2"></minus><ci id="A1.Ex9.m1.14.14.14.14.5.5.1.3.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.3">𝑇</ci><apply id="A1.Ex9.m1.14.14.14.14.5.5.1.1.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1"><divide id="A1.Ex9.m1.14.14.14.14.5.5.1.1.2.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.2"></divide><ci id="A1.Ex9.m1.14.14.14.14.5.5.1.1.3.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.3">𝑑</ci><apply id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.2.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1">superscript</csymbol><apply id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1"><plus id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.3.cmml" type="integer" xref="A1.Ex9.m1.14.14.14.14.5.5.1.1.1.3">2</cn></apply></apply></apply></apply></apply></apply></apply><apply id="A1.Ex9.m1.26.26.1.1.1c.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex9.m1.15.15.15.1.1.1.cmml" xref="A1.Ex9.m1.15.15.15.1.1.1">similar-to-or-equals</csymbol><share href="#A1.Ex9.m1.26.26.1.1.1.4.cmml" id="A1.Ex9.m1.26.26.1.1.1d.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></share><apply id="A1.Ex9.m1.26.26.1.1.1.6.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><plus id="A1.Ex9.m1.17.17.17.3.3.3.cmml" xref="A1.Ex9.m1.17.17.17.3.3.3"></plus><apply id="A1.Ex9.m1.16.16.16.2.2.2.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2"><divide id="A1.Ex9.m1.16.16.16.2.2.2.2.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2"></divide><cn id="A1.Ex9.m1.16.16.16.2.2.2.3.cmml" type="integer" xref="A1.Ex9.m1.16.16.16.2.2.2.3">1</cn><apply id="A1.Ex9.m1.16.16.16.2.2.2.1.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.16.16.16.2.2.2.1.2.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2.1">superscript</csymbol><apply id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1"><plus id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.1.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.3.cmml" xref="A1.Ex9.m1.16.16.16.2.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.16.16.16.2.2.2.1.3.cmml" type="integer" xref="A1.Ex9.m1.16.16.16.2.2.2.1.3">2</cn></apply></apply><apply id="A1.Ex9.m1.26.26.1.1.1.6.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><times id="A1.Ex9.m1.26.26.1.1.1.6.3.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></times><apply id="A1.Ex9.m1.18.18.18.4.4.4.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4"><divide id="A1.Ex9.m1.18.18.18.4.4.4.2.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4"></divide><apply id="A1.Ex9.m1.18.18.18.4.4.4.3.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.3"><csymbol cd="ambiguous" id="A1.Ex9.m1.18.18.18.4.4.4.3.1.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.3">superscript</csymbol><ci id="A1.Ex9.m1.18.18.18.4.4.4.3.2.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.3.2">𝜅</ci><cn id="A1.Ex9.m1.18.18.18.4.4.4.3.3.cmml" type="integer" xref="A1.Ex9.m1.18.18.18.4.4.4.3.3">2</cn></apply><apply id="A1.Ex9.m1.18.18.18.4.4.4.1.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.18.18.18.4.4.4.1.2.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.1">superscript</csymbol><apply id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1"><plus id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.1.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.3.cmml" xref="A1.Ex9.m1.18.18.18.4.4.4.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.18.18.18.4.4.4.1.3.cmml" type="integer" xref="A1.Ex9.m1.18.18.18.4.4.4.1.3">4</cn></apply></apply><apply id="A1.Ex9.m1.19.19.19.5.5.5.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5"><divide id="A1.Ex9.m1.19.19.19.5.5.5.2.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5"></divide><ci id="A1.Ex9.m1.19.19.19.5.5.5.3.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.3">italic-ϕ</ci><apply id="A1.Ex9.m1.19.19.19.5.5.5.1.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1"><minus id="A1.Ex9.m1.19.19.19.5.5.5.1.2.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.2"></minus><cn id="A1.Ex9.m1.19.19.19.5.5.5.1.3.cmml" type="integer" xref="A1.Ex9.m1.19.19.19.5.5.5.1.3">1</cn><apply id="A1.Ex9.m1.19.19.19.5.5.5.1.1.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1"><divide id="A1.Ex9.m1.19.19.19.5.5.5.1.1.2.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.2"></divide><ci id="A1.Ex9.m1.19.19.19.5.5.5.1.1.3.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.3">italic-ϕ</ci><apply id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.2.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1">superscript</csymbol><apply id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1"><plus id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.3.cmml" type="integer" xref="A1.Ex9.m1.19.19.19.5.5.5.1.1.1.3">2</cn></apply></apply></apply></apply></apply></apply></apply><apply id="A1.Ex9.m1.26.26.1.1.1e.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><eq id="A1.Ex9.m1.20.20.20.1.1.1.cmml" xref="A1.Ex9.m1.20.20.20.1.1.1"></eq><share href="#A1.Ex9.m1.26.26.1.1.1.6.cmml" id="A1.Ex9.m1.26.26.1.1.1f.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></share><apply id="A1.Ex9.m1.26.26.1.1.1.8.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><plus id="A1.Ex9.m1.22.22.22.3.3.3.cmml" xref="A1.Ex9.m1.22.22.22.3.3.3"></plus><apply id="A1.Ex9.m1.21.21.21.2.2.2.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2"><divide id="A1.Ex9.m1.21.21.21.2.2.2.2.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2"></divide><cn id="A1.Ex9.m1.21.21.21.2.2.2.3.cmml" type="integer" xref="A1.Ex9.m1.21.21.21.2.2.2.3">1</cn><apply id="A1.Ex9.m1.21.21.21.2.2.2.1.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.21.21.21.2.2.2.1.2.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2.1">superscript</csymbol><apply id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1"><plus id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.1.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.3.cmml" xref="A1.Ex9.m1.21.21.21.2.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.21.21.21.2.2.2.1.3.cmml" type="integer" xref="A1.Ex9.m1.21.21.21.2.2.2.1.3">2</cn></apply></apply><apply id="A1.Ex9.m1.26.26.1.1.1.8.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><times id="A1.Ex9.m1.26.26.1.1.1.8.3.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"></times><apply id="A1.Ex9.m1.23.23.23.4.4.4.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4"><divide id="A1.Ex9.m1.23.23.23.4.4.4.2.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4"></divide><cn id="A1.Ex9.m1.23.23.23.4.4.4.3.cmml" type="integer" xref="A1.Ex9.m1.23.23.23.4.4.4.3">1</cn><apply id="A1.Ex9.m1.23.23.23.4.4.4.1.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.23.23.23.4.4.4.1.2.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4.1">superscript</csymbol><apply id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1"><plus id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.1.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.3.cmml" xref="A1.Ex9.m1.23.23.23.4.4.4.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.23.23.23.4.4.4.1.3.cmml" type="integer" xref="A1.Ex9.m1.23.23.23.4.4.4.1.3">2</cn></apply></apply><apply id="A1.Ex9.m1.24.24.24.5.5.5.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5"><divide id="A1.Ex9.m1.24.24.24.5.5.5.2.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5"></divide><apply id="A1.Ex9.m1.24.24.24.5.5.5.3.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3"><times id="A1.Ex9.m1.24.24.24.5.5.5.3.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3.1"></times><ci id="A1.Ex9.m1.24.24.24.5.5.5.3.2.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3.2">italic-ϕ</ci><apply id="A1.Ex9.m1.24.24.24.5.5.5.3.3.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3"><csymbol cd="ambiguous" id="A1.Ex9.m1.24.24.24.5.5.5.3.3.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3">superscript</csymbol><ci id="A1.Ex9.m1.24.24.24.5.5.5.3.3.2.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3.2">𝜅</ci><cn id="A1.Ex9.m1.24.24.24.5.5.5.3.3.3.cmml" type="integer" xref="A1.Ex9.m1.24.24.24.5.5.5.3.3.3">2</cn></apply></apply><apply id="A1.Ex9.m1.24.24.24.5.5.5.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1"><minus id="A1.Ex9.m1.24.24.24.5.5.5.1.2.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.2"></minus><apply id="A1.Ex9.m1.24.24.24.5.5.5.1.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.24.24.24.5.5.5.1.1.2.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1">superscript</csymbol><apply id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1"><plus id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.1"></plus><cn id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.2">1</cn><ci id="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex9.m1.24.24.24.5.5.5.1.1.3.cmml" type="integer" xref="A1.Ex9.m1.24.24.24.5.5.5.1.1.3">2</cn></apply><ci id="A1.Ex9.m1.24.24.24.5.5.5.1.3.cmml" xref="A1.Ex9.m1.24.24.24.5.5.5.1.3">italic-ϕ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex9.m1.28c">\displaystyle\begin{split}(1-1/\phi_{0})\rho&\simeq\frac{1}{(1+\kappa)^{2}}+% \frac{\kappa^{2}}{(1+\kappa)^{4}}\frac{d}{T-d/(1+\kappa)^{2}}\\ &\simeq\frac{1}{(1+\kappa)^{2}}+\frac{\kappa^{2}}{(1+\kappa)^{4}}\frac{\phi}{1% -\phi/(1+\kappa)^{2}}\\ &=\frac{1}{(1+\kappa)^{2}}+\frac{1}{(1+\kappa)^{2}}\frac{\phi\kappa^{2}}{(1+% \kappa)^{2}-\phi},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A1.Ex9.m1.28d">start_ROW start_CELL ( 1 - 1 / italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) italic_ρ end_CELL start_CELL ≃ divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG + divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 4 end_POSTSUPERSCRIPT end_ARG divide start_ARG italic_d end_ARG start_ARG italic_T - italic_d / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL ≃ divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG + divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 4 end_POSTSUPERSCRIPT end_ARG divide start_ARG italic_ϕ end_ARG start_ARG 1 - italic_ϕ / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG + divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG divide start_ARG italic_ϕ italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT - italic_ϕ end_ARG , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS3.p2.3">and the result follows. ∎</p> </div> </section> <section class="ltx_subsection" id="A1.SS4"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">A.4 </span>A Note on Proposition <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx15" title="Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.4</span></a> </h3> <div class="ltx_para" id="A1.SS4.p1"> <p class="ltx_p" id="A1.SS4.p1.2">The second part of the result follows from the first as we now see. Indeed, <math alttext="w_{0}^{\top}\Sigma(\Sigma+\kappa I_{d})^{-2}w_{0}=r^{2}/(1+\kappa)^{2}" class="ltx_Math" display="inline" id="A1.SS4.p1.1.m1.2"><semantics id="A1.SS4.p1.1.m1.2a"><mrow id="A1.SS4.p1.1.m1.2.2" xref="A1.SS4.p1.1.m1.2.2.cmml"><mrow id="A1.SS4.p1.1.m1.1.1.1" xref="A1.SS4.p1.1.m1.1.1.1.cmml"><msubsup id="A1.SS4.p1.1.m1.1.1.1.3" xref="A1.SS4.p1.1.m1.1.1.1.3.cmml"><mi id="A1.SS4.p1.1.m1.1.1.1.3.2.2" xref="A1.SS4.p1.1.m1.1.1.1.3.2.2.cmml">w</mi><mn id="A1.SS4.p1.1.m1.1.1.1.3.2.3" xref="A1.SS4.p1.1.m1.1.1.1.3.2.3.cmml">0</mn><mo id="A1.SS4.p1.1.m1.1.1.1.3.3" xref="A1.SS4.p1.1.m1.1.1.1.3.3.cmml">⊤</mo></msubsup><mo id="A1.SS4.p1.1.m1.1.1.1.2" xref="A1.SS4.p1.1.m1.1.1.1.2.cmml">⁢</mo><mi id="A1.SS4.p1.1.m1.1.1.1.4" mathvariant="normal" xref="A1.SS4.p1.1.m1.1.1.1.4.cmml">Σ</mi><mo id="A1.SS4.p1.1.m1.1.1.1.2a" xref="A1.SS4.p1.1.m1.1.1.1.2.cmml">⁢</mo><msup id="A1.SS4.p1.1.m1.1.1.1.1" xref="A1.SS4.p1.1.m1.1.1.1.1.cmml"><mrow id="A1.SS4.p1.1.m1.1.1.1.1.1.1" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml"><mo id="A1.SS4.p1.1.m1.1.1.1.1.1.1.2" stretchy="false" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml"><mi id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.1" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.2" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.1" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.2" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.2.cmml">I</mi><mi id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.3" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.3.cmml">d</mi></msub></mrow></mrow><mo id="A1.SS4.p1.1.m1.1.1.1.1.1.1.3" stretchy="false" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.SS4.p1.1.m1.1.1.1.1.3" xref="A1.SS4.p1.1.m1.1.1.1.1.3.cmml"><mo id="A1.SS4.p1.1.m1.1.1.1.1.3a" xref="A1.SS4.p1.1.m1.1.1.1.1.3.cmml">−</mo><mn id="A1.SS4.p1.1.m1.1.1.1.1.3.2" xref="A1.SS4.p1.1.m1.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A1.SS4.p1.1.m1.1.1.1.2b" xref="A1.SS4.p1.1.m1.1.1.1.2.cmml">⁢</mo><msub id="A1.SS4.p1.1.m1.1.1.1.5" xref="A1.SS4.p1.1.m1.1.1.1.5.cmml"><mi id="A1.SS4.p1.1.m1.1.1.1.5.2" xref="A1.SS4.p1.1.m1.1.1.1.5.2.cmml">w</mi><mn id="A1.SS4.p1.1.m1.1.1.1.5.3" xref="A1.SS4.p1.1.m1.1.1.1.5.3.cmml">0</mn></msub></mrow><mo id="A1.SS4.p1.1.m1.2.2.3" xref="A1.SS4.p1.1.m1.2.2.3.cmml">=</mo><mrow id="A1.SS4.p1.1.m1.2.2.2" xref="A1.SS4.p1.1.m1.2.2.2.cmml"><msup id="A1.SS4.p1.1.m1.2.2.2.3" xref="A1.SS4.p1.1.m1.2.2.2.3.cmml"><mi id="A1.SS4.p1.1.m1.2.2.2.3.2" xref="A1.SS4.p1.1.m1.2.2.2.3.2.cmml">r</mi><mn id="A1.SS4.p1.1.m1.2.2.2.3.3" xref="A1.SS4.p1.1.m1.2.2.2.3.3.cmml">2</mn></msup><mo id="A1.SS4.p1.1.m1.2.2.2.2" xref="A1.SS4.p1.1.m1.2.2.2.2.cmml">/</mo><msup id="A1.SS4.p1.1.m1.2.2.2.1" xref="A1.SS4.p1.1.m1.2.2.2.1.cmml"><mrow id="A1.SS4.p1.1.m1.2.2.2.1.1.1" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.cmml"><mo id="A1.SS4.p1.1.m1.2.2.2.1.1.1.2" stretchy="false" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.cmml"><mn id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.2" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.2.cmml">1</mn><mo id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.1" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.1.cmml">+</mo><mi id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.3" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.SS4.p1.1.m1.2.2.2.1.1.1.3" stretchy="false" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.SS4.p1.1.m1.2.2.2.1.3" xref="A1.SS4.p1.1.m1.2.2.2.1.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS4.p1.1.m1.2b"><apply id="A1.SS4.p1.1.m1.2.2.cmml" xref="A1.SS4.p1.1.m1.2.2"><eq id="A1.SS4.p1.1.m1.2.2.3.cmml" xref="A1.SS4.p1.1.m1.2.2.3"></eq><apply id="A1.SS4.p1.1.m1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1"><times id="A1.SS4.p1.1.m1.1.1.1.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.2"></times><apply id="A1.SS4.p1.1.m1.1.1.1.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.1.1.1.3.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3">superscript</csymbol><apply id="A1.SS4.p1.1.m1.1.1.1.3.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.1.1.1.3.2.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3">subscript</csymbol><ci id="A1.SS4.p1.1.m1.1.1.1.3.2.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3.2.2">𝑤</ci><cn id="A1.SS4.p1.1.m1.1.1.1.3.2.3.cmml" type="integer" xref="A1.SS4.p1.1.m1.1.1.1.3.2.3">0</cn></apply><csymbol cd="latexml" id="A1.SS4.p1.1.m1.1.1.1.3.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.3.3">top</csymbol></apply><ci id="A1.SS4.p1.1.m1.1.1.1.4.cmml" xref="A1.SS4.p1.1.m1.1.1.1.4">Σ</ci><apply id="A1.SS4.p1.1.m1.1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.1.1.1.1.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1">superscript</csymbol><apply id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1"><plus id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.1"></plus><ci id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.2">Σ</ci><apply id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3"><times id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.1"></times><ci id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.2">𝜅</ci><apply id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.2">𝐼</ci><ci id="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.1.1.1.3.3.3">𝑑</ci></apply></apply></apply><apply id="A1.SS4.p1.1.m1.1.1.1.1.3.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.3"><minus id="A1.SS4.p1.1.m1.1.1.1.1.3.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.1.3"></minus><cn id="A1.SS4.p1.1.m1.1.1.1.1.3.2.cmml" type="integer" xref="A1.SS4.p1.1.m1.1.1.1.1.3.2">2</cn></apply></apply><apply id="A1.SS4.p1.1.m1.1.1.1.5.cmml" xref="A1.SS4.p1.1.m1.1.1.1.5"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.1.1.1.5.1.cmml" xref="A1.SS4.p1.1.m1.1.1.1.5">subscript</csymbol><ci id="A1.SS4.p1.1.m1.1.1.1.5.2.cmml" xref="A1.SS4.p1.1.m1.1.1.1.5.2">𝑤</ci><cn id="A1.SS4.p1.1.m1.1.1.1.5.3.cmml" type="integer" xref="A1.SS4.p1.1.m1.1.1.1.5.3">0</cn></apply></apply><apply id="A1.SS4.p1.1.m1.2.2.2.cmml" xref="A1.SS4.p1.1.m1.2.2.2"><divide id="A1.SS4.p1.1.m1.2.2.2.2.cmml" xref="A1.SS4.p1.1.m1.2.2.2.2"></divide><apply id="A1.SS4.p1.1.m1.2.2.2.3.cmml" xref="A1.SS4.p1.1.m1.2.2.2.3"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.2.2.2.3.1.cmml" xref="A1.SS4.p1.1.m1.2.2.2.3">superscript</csymbol><ci id="A1.SS4.p1.1.m1.2.2.2.3.2.cmml" xref="A1.SS4.p1.1.m1.2.2.2.3.2">𝑟</ci><cn id="A1.SS4.p1.1.m1.2.2.2.3.3.cmml" type="integer" xref="A1.SS4.p1.1.m1.2.2.2.3.3">2</cn></apply><apply id="A1.SS4.p1.1.m1.2.2.2.1.cmml" xref="A1.SS4.p1.1.m1.2.2.2.1"><csymbol cd="ambiguous" id="A1.SS4.p1.1.m1.2.2.2.1.2.cmml" xref="A1.SS4.p1.1.m1.2.2.2.1">superscript</csymbol><apply id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1"><plus id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.1.cmml" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.1"></plus><cn id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.2.cmml" type="integer" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.2">1</cn><ci id="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.3.cmml" xref="A1.SS4.p1.1.m1.2.2.2.1.1.1.1.3">𝜅</ci></apply><cn id="A1.SS4.p1.1.m1.2.2.2.1.3.cmml" type="integer" xref="A1.SS4.p1.1.m1.2.2.2.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS4.p1.1.m1.2c">w_{0}^{\top}\Sigma(\Sigma+\kappa I_{d})^{-2}w_{0}=r^{2}/(1+\kappa)^{2}</annotation><annotation encoding="application/x-llamapun" id="A1.SS4.p1.1.m1.2d">italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT roman_Σ ( roman_Σ + italic_κ italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = italic_r start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math>, <math alttext="\mathrm{df}_{2}(\kappa)=d/(1+\kappa)^{2}" class="ltx_Math" display="inline" id="A1.SS4.p1.2.m2.2"><semantics id="A1.SS4.p1.2.m2.2a"><mrow id="A1.SS4.p1.2.m2.2.2" xref="A1.SS4.p1.2.m2.2.2.cmml"><mrow id="A1.SS4.p1.2.m2.2.2.3" xref="A1.SS4.p1.2.m2.2.2.3.cmml"><msub id="A1.SS4.p1.2.m2.2.2.3.2" xref="A1.SS4.p1.2.m2.2.2.3.2.cmml"><mi id="A1.SS4.p1.2.m2.2.2.3.2.2" xref="A1.SS4.p1.2.m2.2.2.3.2.2.cmml">df</mi><mn id="A1.SS4.p1.2.m2.2.2.3.2.3" xref="A1.SS4.p1.2.m2.2.2.3.2.3.cmml">2</mn></msub><mo id="A1.SS4.p1.2.m2.2.2.3.1" xref="A1.SS4.p1.2.m2.2.2.3.1.cmml">⁢</mo><mrow id="A1.SS4.p1.2.m2.2.2.3.3.2" xref="A1.SS4.p1.2.m2.2.2.3.cmml"><mo id="A1.SS4.p1.2.m2.2.2.3.3.2.1" stretchy="false" xref="A1.SS4.p1.2.m2.2.2.3.cmml">(</mo><mi id="A1.SS4.p1.2.m2.1.1" xref="A1.SS4.p1.2.m2.1.1.cmml">κ</mi><mo id="A1.SS4.p1.2.m2.2.2.3.3.2.2" stretchy="false" xref="A1.SS4.p1.2.m2.2.2.3.cmml">)</mo></mrow></mrow><mo id="A1.SS4.p1.2.m2.2.2.2" xref="A1.SS4.p1.2.m2.2.2.2.cmml">=</mo><mrow id="A1.SS4.p1.2.m2.2.2.1" xref="A1.SS4.p1.2.m2.2.2.1.cmml"><mi id="A1.SS4.p1.2.m2.2.2.1.3" xref="A1.SS4.p1.2.m2.2.2.1.3.cmml">d</mi><mo id="A1.SS4.p1.2.m2.2.2.1.2" xref="A1.SS4.p1.2.m2.2.2.1.2.cmml">/</mo><msup id="A1.SS4.p1.2.m2.2.2.1.1" xref="A1.SS4.p1.2.m2.2.2.1.1.cmml"><mrow id="A1.SS4.p1.2.m2.2.2.1.1.1.1" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.cmml"><mo id="A1.SS4.p1.2.m2.2.2.1.1.1.1.2" stretchy="false" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.cmml"><mn id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.2" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.2.cmml">1</mn><mo id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.1" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml">+</mo><mi id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.3" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.SS4.p1.2.m2.2.2.1.1.1.1.3" stretchy="false" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.SS4.p1.2.m2.2.2.1.1.3" xref="A1.SS4.p1.2.m2.2.2.1.1.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS4.p1.2.m2.2b"><apply id="A1.SS4.p1.2.m2.2.2.cmml" xref="A1.SS4.p1.2.m2.2.2"><eq id="A1.SS4.p1.2.m2.2.2.2.cmml" xref="A1.SS4.p1.2.m2.2.2.2"></eq><apply id="A1.SS4.p1.2.m2.2.2.3.cmml" xref="A1.SS4.p1.2.m2.2.2.3"><times id="A1.SS4.p1.2.m2.2.2.3.1.cmml" xref="A1.SS4.p1.2.m2.2.2.3.1"></times><apply id="A1.SS4.p1.2.m2.2.2.3.2.cmml" xref="A1.SS4.p1.2.m2.2.2.3.2"><csymbol cd="ambiguous" id="A1.SS4.p1.2.m2.2.2.3.2.1.cmml" xref="A1.SS4.p1.2.m2.2.2.3.2">subscript</csymbol><ci id="A1.SS4.p1.2.m2.2.2.3.2.2.cmml" xref="A1.SS4.p1.2.m2.2.2.3.2.2">df</ci><cn id="A1.SS4.p1.2.m2.2.2.3.2.3.cmml" type="integer" xref="A1.SS4.p1.2.m2.2.2.3.2.3">2</cn></apply><ci id="A1.SS4.p1.2.m2.1.1.cmml" xref="A1.SS4.p1.2.m2.1.1">𝜅</ci></apply><apply id="A1.SS4.p1.2.m2.2.2.1.cmml" xref="A1.SS4.p1.2.m2.2.2.1"><divide id="A1.SS4.p1.2.m2.2.2.1.2.cmml" xref="A1.SS4.p1.2.m2.2.2.1.2"></divide><ci id="A1.SS4.p1.2.m2.2.2.1.3.cmml" xref="A1.SS4.p1.2.m2.2.2.1.3">𝑑</ci><apply id="A1.SS4.p1.2.m2.2.2.1.1.cmml" xref="A1.SS4.p1.2.m2.2.2.1.1"><csymbol cd="ambiguous" id="A1.SS4.p1.2.m2.2.2.1.1.2.cmml" xref="A1.SS4.p1.2.m2.2.2.1.1">superscript</csymbol><apply id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.cmml" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1"><plus id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.1.cmml" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.1"></plus><cn id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.2.cmml" type="integer" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.2">1</cn><ci id="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.3.cmml" xref="A1.SS4.p1.2.m2.2.2.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.SS4.p1.2.m2.2.2.1.1.3.cmml" type="integer" xref="A1.SS4.p1.2.m2.2.2.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS4.p1.2.m2.2c">\mathrm{df}_{2}(\kappa)=d/(1+\kappa)^{2}</annotation><annotation encoding="application/x-llamapun" id="A1.SS4.p1.2.m2.2d">roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) = italic_d / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT</annotation></semantics></math> and so we deduce from the first part that</p> <table class="ltx_equationgroup ltx_eqn_align ltx_eqn_table" id="A3.EGx38"> <tbody id="A1.Ex10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Var" class="ltx_Math" display="inline" id="A1.Ex10.m1.1"><semantics id="A1.Ex10.m1.1a"><mrow id="A1.Ex10.m1.1.1" xref="A1.Ex10.m1.1.1.cmml"><mi id="A1.Ex10.m1.1.1.2" xref="A1.Ex10.m1.1.1.2.cmml">V</mi><mo id="A1.Ex10.m1.1.1.1" xref="A1.Ex10.m1.1.1.1.cmml">⁢</mo><mi id="A1.Ex10.m1.1.1.3" xref="A1.Ex10.m1.1.1.3.cmml">a</mi><mo id="A1.Ex10.m1.1.1.1a" xref="A1.Ex10.m1.1.1.1.cmml">⁢</mo><mi id="A1.Ex10.m1.1.1.4" xref="A1.Ex10.m1.1.1.4.cmml">r</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex10.m1.1b"><apply id="A1.Ex10.m1.1.1.cmml" xref="A1.Ex10.m1.1.1"><times id="A1.Ex10.m1.1.1.1.cmml" xref="A1.Ex10.m1.1.1.1"></times><ci id="A1.Ex10.m1.1.1.2.cmml" xref="A1.Ex10.m1.1.1.2">𝑉</ci><ci id="A1.Ex10.m1.1.1.3.cmml" xref="A1.Ex10.m1.1.1.3">𝑎</ci><ci id="A1.Ex10.m1.1.1.4.cmml" xref="A1.Ex10.m1.1.1.4">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex10.m1.1c">\displaystyle Var</annotation><annotation encoding="application/x-llamapun" id="A1.Ex10.m1.1d">italic_V italic_a italic_r</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\sigma^{2}\phi\frac{1}{(1+\kappa)^{2}}\frac{1}{1-\phi/(1+% \kappa)^{2}}=\frac{\sigma^{2}\phi}{(1+\kappa)^{2}-\phi}," class="ltx_Math" display="inline" id="A1.Ex10.m2.4"><semantics id="A1.Ex10.m2.4a"><mrow id="A1.Ex10.m2.4.4.1" xref="A1.Ex10.m2.4.4.1.1.cmml"><mrow id="A1.Ex10.m2.4.4.1.1" xref="A1.Ex10.m2.4.4.1.1.cmml"><mi id="A1.Ex10.m2.4.4.1.1.2" xref="A1.Ex10.m2.4.4.1.1.2.cmml"></mi><mo id="A1.Ex10.m2.4.4.1.1.3" xref="A1.Ex10.m2.4.4.1.1.3.cmml">≃</mo><mrow id="A1.Ex10.m2.4.4.1.1.4" xref="A1.Ex10.m2.4.4.1.1.4.cmml"><msup id="A1.Ex10.m2.4.4.1.1.4.2" xref="A1.Ex10.m2.4.4.1.1.4.2.cmml"><mi id="A1.Ex10.m2.4.4.1.1.4.2.2" xref="A1.Ex10.m2.4.4.1.1.4.2.2.cmml">σ</mi><mn id="A1.Ex10.m2.4.4.1.1.4.2.3" xref="A1.Ex10.m2.4.4.1.1.4.2.3.cmml">2</mn></msup><mo id="A1.Ex10.m2.4.4.1.1.4.1" xref="A1.Ex10.m2.4.4.1.1.4.1.cmml">⁢</mo><mi id="A1.Ex10.m2.4.4.1.1.4.3" xref="A1.Ex10.m2.4.4.1.1.4.3.cmml">ϕ</mi><mo id="A1.Ex10.m2.4.4.1.1.4.1a" xref="A1.Ex10.m2.4.4.1.1.4.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex10.m2.1.1" xref="A1.Ex10.m2.1.1.cmml"><mfrac id="A1.Ex10.m2.1.1a" xref="A1.Ex10.m2.1.1.cmml"><mn id="A1.Ex10.m2.1.1.3" xref="A1.Ex10.m2.1.1.3.cmml">1</mn><msup id="A1.Ex10.m2.1.1.1" xref="A1.Ex10.m2.1.1.1.cmml"><mrow id="A1.Ex10.m2.1.1.1.1.1" xref="A1.Ex10.m2.1.1.1.1.1.1.cmml"><mo id="A1.Ex10.m2.1.1.1.1.1.2" stretchy="false" xref="A1.Ex10.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex10.m2.1.1.1.1.1.1" xref="A1.Ex10.m2.1.1.1.1.1.1.cmml"><mn id="A1.Ex10.m2.1.1.1.1.1.1.2" xref="A1.Ex10.m2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex10.m2.1.1.1.1.1.1.1" xref="A1.Ex10.m2.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex10.m2.1.1.1.1.1.1.3" xref="A1.Ex10.m2.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex10.m2.1.1.1.1.1.3" stretchy="false" xref="A1.Ex10.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex10.m2.1.1.1.3" xref="A1.Ex10.m2.1.1.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex10.m2.4.4.1.1.4.1b" xref="A1.Ex10.m2.4.4.1.1.4.1.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex10.m2.2.2" xref="A1.Ex10.m2.2.2.cmml"><mfrac id="A1.Ex10.m2.2.2a" xref="A1.Ex10.m2.2.2.cmml"><mn id="A1.Ex10.m2.2.2.3" xref="A1.Ex10.m2.2.2.3.cmml">1</mn><mrow id="A1.Ex10.m2.2.2.1" xref="A1.Ex10.m2.2.2.1.cmml"><mn id="A1.Ex10.m2.2.2.1.3" xref="A1.Ex10.m2.2.2.1.3.cmml">1</mn><mo id="A1.Ex10.m2.2.2.1.2" xref="A1.Ex10.m2.2.2.1.2.cmml">−</mo><mrow id="A1.Ex10.m2.2.2.1.1" xref="A1.Ex10.m2.2.2.1.1.cmml"><mi id="A1.Ex10.m2.2.2.1.1.3" xref="A1.Ex10.m2.2.2.1.1.3.cmml">ϕ</mi><mo id="A1.Ex10.m2.2.2.1.1.2" xref="A1.Ex10.m2.2.2.1.1.2.cmml">/</mo><msup id="A1.Ex10.m2.2.2.1.1.1" xref="A1.Ex10.m2.2.2.1.1.1.cmml"><mrow id="A1.Ex10.m2.2.2.1.1.1.1.1" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.cmml"><mo id="A1.Ex10.m2.2.2.1.1.1.1.1.2" stretchy="false" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex10.m2.2.2.1.1.1.1.1.1" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.cmml"><mn id="A1.Ex10.m2.2.2.1.1.1.1.1.1.2" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex10.m2.2.2.1.1.1.1.1.1.1" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex10.m2.2.2.1.1.1.1.1.1.3" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex10.m2.2.2.1.1.1.1.1.3" stretchy="false" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex10.m2.2.2.1.1.1.3" xref="A1.Ex10.m2.2.2.1.1.1.3.cmml">2</mn></msup></mrow></mrow></mfrac></mstyle></mrow><mo id="A1.Ex10.m2.4.4.1.1.5" xref="A1.Ex10.m2.4.4.1.1.5.cmml">=</mo><mstyle displaystyle="true" id="A1.Ex10.m2.3.3" xref="A1.Ex10.m2.3.3.cmml"><mfrac id="A1.Ex10.m2.3.3a" xref="A1.Ex10.m2.3.3.cmml"><mrow id="A1.Ex10.m2.3.3.3" xref="A1.Ex10.m2.3.3.3.cmml"><msup id="A1.Ex10.m2.3.3.3.2" xref="A1.Ex10.m2.3.3.3.2.cmml"><mi id="A1.Ex10.m2.3.3.3.2.2" xref="A1.Ex10.m2.3.3.3.2.2.cmml">σ</mi><mn id="A1.Ex10.m2.3.3.3.2.3" xref="A1.Ex10.m2.3.3.3.2.3.cmml">2</mn></msup><mo id="A1.Ex10.m2.3.3.3.1" xref="A1.Ex10.m2.3.3.3.1.cmml">⁢</mo><mi id="A1.Ex10.m2.3.3.3.3" xref="A1.Ex10.m2.3.3.3.3.cmml">ϕ</mi></mrow><mrow id="A1.Ex10.m2.3.3.1" xref="A1.Ex10.m2.3.3.1.cmml"><msup id="A1.Ex10.m2.3.3.1.1" xref="A1.Ex10.m2.3.3.1.1.cmml"><mrow id="A1.Ex10.m2.3.3.1.1.1.1" xref="A1.Ex10.m2.3.3.1.1.1.1.1.cmml"><mo id="A1.Ex10.m2.3.3.1.1.1.1.2" stretchy="false" xref="A1.Ex10.m2.3.3.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex10.m2.3.3.1.1.1.1.1" xref="A1.Ex10.m2.3.3.1.1.1.1.1.cmml"><mn id="A1.Ex10.m2.3.3.1.1.1.1.1.2" xref="A1.Ex10.m2.3.3.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex10.m2.3.3.1.1.1.1.1.1" xref="A1.Ex10.m2.3.3.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex10.m2.3.3.1.1.1.1.1.3" xref="A1.Ex10.m2.3.3.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex10.m2.3.3.1.1.1.1.3" stretchy="false" xref="A1.Ex10.m2.3.3.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex10.m2.3.3.1.1.3" xref="A1.Ex10.m2.3.3.1.1.3.cmml">2</mn></msup><mo id="A1.Ex10.m2.3.3.1.2" xref="A1.Ex10.m2.3.3.1.2.cmml">−</mo><mi id="A1.Ex10.m2.3.3.1.3" xref="A1.Ex10.m2.3.3.1.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow><mo id="A1.Ex10.m2.4.4.1.2" xref="A1.Ex10.m2.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex10.m2.4b"><apply id="A1.Ex10.m2.4.4.1.1.cmml" xref="A1.Ex10.m2.4.4.1"><and id="A1.Ex10.m2.4.4.1.1a.cmml" xref="A1.Ex10.m2.4.4.1"></and><apply id="A1.Ex10.m2.4.4.1.1b.cmml" xref="A1.Ex10.m2.4.4.1"><csymbol cd="latexml" id="A1.Ex10.m2.4.4.1.1.3.cmml" xref="A1.Ex10.m2.4.4.1.1.3">similar-to-or-equals</csymbol><csymbol cd="latexml" id="A1.Ex10.m2.4.4.1.1.2.cmml" xref="A1.Ex10.m2.4.4.1.1.2">absent</csymbol><apply id="A1.Ex10.m2.4.4.1.1.4.cmml" xref="A1.Ex10.m2.4.4.1.1.4"><times id="A1.Ex10.m2.4.4.1.1.4.1.cmml" xref="A1.Ex10.m2.4.4.1.1.4.1"></times><apply id="A1.Ex10.m2.4.4.1.1.4.2.cmml" xref="A1.Ex10.m2.4.4.1.1.4.2"><csymbol cd="ambiguous" id="A1.Ex10.m2.4.4.1.1.4.2.1.cmml" xref="A1.Ex10.m2.4.4.1.1.4.2">superscript</csymbol><ci id="A1.Ex10.m2.4.4.1.1.4.2.2.cmml" xref="A1.Ex10.m2.4.4.1.1.4.2.2">𝜎</ci><cn id="A1.Ex10.m2.4.4.1.1.4.2.3.cmml" type="integer" xref="A1.Ex10.m2.4.4.1.1.4.2.3">2</cn></apply><ci id="A1.Ex10.m2.4.4.1.1.4.3.cmml" xref="A1.Ex10.m2.4.4.1.1.4.3">italic-ϕ</ci><apply id="A1.Ex10.m2.1.1.cmml" xref="A1.Ex10.m2.1.1"><divide id="A1.Ex10.m2.1.1.2.cmml" xref="A1.Ex10.m2.1.1"></divide><cn id="A1.Ex10.m2.1.1.3.cmml" type="integer" xref="A1.Ex10.m2.1.1.3">1</cn><apply id="A1.Ex10.m2.1.1.1.cmml" xref="A1.Ex10.m2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex10.m2.1.1.1.2.cmml" xref="A1.Ex10.m2.1.1.1">superscript</csymbol><apply id="A1.Ex10.m2.1.1.1.1.1.1.cmml" xref="A1.Ex10.m2.1.1.1.1.1"><plus id="A1.Ex10.m2.1.1.1.1.1.1.1.cmml" xref="A1.Ex10.m2.1.1.1.1.1.1.1"></plus><cn id="A1.Ex10.m2.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex10.m2.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex10.m2.1.1.1.1.1.1.3.cmml" xref="A1.Ex10.m2.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex10.m2.1.1.1.3.cmml" type="integer" xref="A1.Ex10.m2.1.1.1.3">2</cn></apply></apply><apply id="A1.Ex10.m2.2.2.cmml" xref="A1.Ex10.m2.2.2"><divide id="A1.Ex10.m2.2.2.2.cmml" xref="A1.Ex10.m2.2.2"></divide><cn id="A1.Ex10.m2.2.2.3.cmml" type="integer" xref="A1.Ex10.m2.2.2.3">1</cn><apply id="A1.Ex10.m2.2.2.1.cmml" xref="A1.Ex10.m2.2.2.1"><minus id="A1.Ex10.m2.2.2.1.2.cmml" xref="A1.Ex10.m2.2.2.1.2"></minus><cn id="A1.Ex10.m2.2.2.1.3.cmml" type="integer" xref="A1.Ex10.m2.2.2.1.3">1</cn><apply id="A1.Ex10.m2.2.2.1.1.cmml" xref="A1.Ex10.m2.2.2.1.1"><divide id="A1.Ex10.m2.2.2.1.1.2.cmml" xref="A1.Ex10.m2.2.2.1.1.2"></divide><ci id="A1.Ex10.m2.2.2.1.1.3.cmml" xref="A1.Ex10.m2.2.2.1.1.3">italic-ϕ</ci><apply id="A1.Ex10.m2.2.2.1.1.1.cmml" xref="A1.Ex10.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex10.m2.2.2.1.1.1.2.cmml" xref="A1.Ex10.m2.2.2.1.1.1">superscript</csymbol><apply id="A1.Ex10.m2.2.2.1.1.1.1.1.1.cmml" xref="A1.Ex10.m2.2.2.1.1.1.1.1"><plus id="A1.Ex10.m2.2.2.1.1.1.1.1.1.1.cmml" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.1"></plus><cn id="A1.Ex10.m2.2.2.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex10.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A1.Ex10.m2.2.2.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex10.m2.2.2.1.1.1.3.cmml" type="integer" xref="A1.Ex10.m2.2.2.1.1.1.3">2</cn></apply></apply></apply></apply></apply></apply><apply id="A1.Ex10.m2.4.4.1.1c.cmml" xref="A1.Ex10.m2.4.4.1"><eq id="A1.Ex10.m2.4.4.1.1.5.cmml" xref="A1.Ex10.m2.4.4.1.1.5"></eq><share href="#A1.Ex10.m2.4.4.1.1.4.cmml" id="A1.Ex10.m2.4.4.1.1d.cmml" xref="A1.Ex10.m2.4.4.1"></share><apply id="A1.Ex10.m2.3.3.cmml" xref="A1.Ex10.m2.3.3"><divide id="A1.Ex10.m2.3.3.2.cmml" xref="A1.Ex10.m2.3.3"></divide><apply id="A1.Ex10.m2.3.3.3.cmml" xref="A1.Ex10.m2.3.3.3"><times id="A1.Ex10.m2.3.3.3.1.cmml" xref="A1.Ex10.m2.3.3.3.1"></times><apply id="A1.Ex10.m2.3.3.3.2.cmml" xref="A1.Ex10.m2.3.3.3.2"><csymbol cd="ambiguous" id="A1.Ex10.m2.3.3.3.2.1.cmml" xref="A1.Ex10.m2.3.3.3.2">superscript</csymbol><ci id="A1.Ex10.m2.3.3.3.2.2.cmml" xref="A1.Ex10.m2.3.3.3.2.2">𝜎</ci><cn id="A1.Ex10.m2.3.3.3.2.3.cmml" type="integer" xref="A1.Ex10.m2.3.3.3.2.3">2</cn></apply><ci id="A1.Ex10.m2.3.3.3.3.cmml" xref="A1.Ex10.m2.3.3.3.3">italic-ϕ</ci></apply><apply id="A1.Ex10.m2.3.3.1.cmml" xref="A1.Ex10.m2.3.3.1"><minus id="A1.Ex10.m2.3.3.1.2.cmml" xref="A1.Ex10.m2.3.3.1.2"></minus><apply id="A1.Ex10.m2.3.3.1.1.cmml" xref="A1.Ex10.m2.3.3.1.1"><csymbol cd="ambiguous" id="A1.Ex10.m2.3.3.1.1.2.cmml" xref="A1.Ex10.m2.3.3.1.1">superscript</csymbol><apply id="A1.Ex10.m2.3.3.1.1.1.1.1.cmml" xref="A1.Ex10.m2.3.3.1.1.1.1"><plus id="A1.Ex10.m2.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex10.m2.3.3.1.1.1.1.1.1"></plus><cn id="A1.Ex10.m2.3.3.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex10.m2.3.3.1.1.1.1.1.2">1</cn><ci id="A1.Ex10.m2.3.3.1.1.1.1.1.3.cmml" xref="A1.Ex10.m2.3.3.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex10.m2.3.3.1.1.3.cmml" type="integer" xref="A1.Ex10.m2.3.3.1.1.3">2</cn></apply><ci id="A1.Ex10.m2.3.3.1.3.cmml" xref="A1.Ex10.m2.3.3.1.3">italic-ϕ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex10.m2.4c">\displaystyle\simeq\sigma^{2}\phi\frac{1}{(1+\kappa)^{2}}\frac{1}{1-\phi/(1+% \kappa)^{2}}=\frac{\sigma^{2}\phi}{(1+\kappa)^{2}-\phi},</annotation><annotation encoding="application/x-llamapun" id="A1.Ex10.m2.4d">≃ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG divide start_ARG 1 end_ARG start_ARG 1 - italic_ϕ / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG = divide start_ARG italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_ϕ end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT - italic_ϕ end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> <tbody id="A1.Ex11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Bias" class="ltx_Math" display="inline" id="A1.Ex11.m1.1"><semantics id="A1.Ex11.m1.1a"><mrow id="A1.Ex11.m1.1.1" xref="A1.Ex11.m1.1.1.cmml"><mi id="A1.Ex11.m1.1.1.2" xref="A1.Ex11.m1.1.1.2.cmml">B</mi><mo id="A1.Ex11.m1.1.1.1" xref="A1.Ex11.m1.1.1.1.cmml">⁢</mo><mi id="A1.Ex11.m1.1.1.3" xref="A1.Ex11.m1.1.1.3.cmml">i</mi><mo id="A1.Ex11.m1.1.1.1a" xref="A1.Ex11.m1.1.1.1.cmml">⁢</mo><mi id="A1.Ex11.m1.1.1.4" xref="A1.Ex11.m1.1.1.4.cmml">a</mi><mo id="A1.Ex11.m1.1.1.1b" xref="A1.Ex11.m1.1.1.1.cmml">⁢</mo><mi id="A1.Ex11.m1.1.1.5" xref="A1.Ex11.m1.1.1.5.cmml">s</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex11.m1.1b"><apply id="A1.Ex11.m1.1.1.cmml" xref="A1.Ex11.m1.1.1"><times id="A1.Ex11.m1.1.1.1.cmml" xref="A1.Ex11.m1.1.1.1"></times><ci id="A1.Ex11.m1.1.1.2.cmml" xref="A1.Ex11.m1.1.1.2">𝐵</ci><ci id="A1.Ex11.m1.1.1.3.cmml" xref="A1.Ex11.m1.1.1.3">𝑖</ci><ci id="A1.Ex11.m1.1.1.4.cmml" xref="A1.Ex11.m1.1.1.4">𝑎</ci><ci id="A1.Ex11.m1.1.1.5.cmml" xref="A1.Ex11.m1.1.1.5">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex11.m1.1c">\displaystyle Bias</annotation><annotation encoding="application/x-llamapun" id="A1.Ex11.m1.1d">italic_B italic_i italic_a italic_s</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\kappa^{2}\|w_{0}\|_{2}^{2}\frac{1}{(1+\kappa)^{2}}\frac{1}% {1-\phi/(1+\kappa)^{2}}=\frac{\kappa^{2}\|w_{0}\|_{2}^{2}}{(1+\kappa)^{2}-\phi}," class="ltx_Math" display="inline" id="A1.Ex11.m2.5"><semantics id="A1.Ex11.m2.5a"><mrow id="A1.Ex11.m2.5.5.1" xref="A1.Ex11.m2.5.5.1.1.cmml"><mrow id="A1.Ex11.m2.5.5.1.1" xref="A1.Ex11.m2.5.5.1.1.cmml"><mi id="A1.Ex11.m2.5.5.1.1.3" xref="A1.Ex11.m2.5.5.1.1.3.cmml"></mi><mo id="A1.Ex11.m2.5.5.1.1.4" xref="A1.Ex11.m2.5.5.1.1.4.cmml">≃</mo><mrow id="A1.Ex11.m2.5.5.1.1.1" xref="A1.Ex11.m2.5.5.1.1.1.cmml"><msup id="A1.Ex11.m2.5.5.1.1.1.3" xref="A1.Ex11.m2.5.5.1.1.1.3.cmml"><mi id="A1.Ex11.m2.5.5.1.1.1.3.2" xref="A1.Ex11.m2.5.5.1.1.1.3.2.cmml">κ</mi><mn id="A1.Ex11.m2.5.5.1.1.1.3.3" xref="A1.Ex11.m2.5.5.1.1.1.3.3.cmml">2</mn></msup><mo id="A1.Ex11.m2.5.5.1.1.1.2" xref="A1.Ex11.m2.5.5.1.1.1.2.cmml">⁢</mo><msubsup id="A1.Ex11.m2.5.5.1.1.1.1" xref="A1.Ex11.m2.5.5.1.1.1.1.cmml"><mrow id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.2.cmml"><mo id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.2" stretchy="false" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.2" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.2.cmml">w</mi><mn id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.3" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.3.cmml">0</mn></msub><mo id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.3" stretchy="false" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.Ex11.m2.5.5.1.1.1.1.1.3" xref="A1.Ex11.m2.5.5.1.1.1.1.1.3.cmml">2</mn><mn id="A1.Ex11.m2.5.5.1.1.1.1.3" xref="A1.Ex11.m2.5.5.1.1.1.1.3.cmml">2</mn></msubsup><mo id="A1.Ex11.m2.5.5.1.1.1.2a" xref="A1.Ex11.m2.5.5.1.1.1.2.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex11.m2.1.1" xref="A1.Ex11.m2.1.1.cmml"><mfrac id="A1.Ex11.m2.1.1a" xref="A1.Ex11.m2.1.1.cmml"><mn id="A1.Ex11.m2.1.1.3" xref="A1.Ex11.m2.1.1.3.cmml">1</mn><msup id="A1.Ex11.m2.1.1.1" xref="A1.Ex11.m2.1.1.1.cmml"><mrow id="A1.Ex11.m2.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.cmml"><mo id="A1.Ex11.m2.1.1.1.1.1.2" stretchy="false" xref="A1.Ex11.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex11.m2.1.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.cmml"><mn id="A1.Ex11.m2.1.1.1.1.1.1.2" xref="A1.Ex11.m2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex11.m2.1.1.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex11.m2.1.1.1.1.1.1.3" xref="A1.Ex11.m2.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex11.m2.1.1.1.1.1.3" stretchy="false" xref="A1.Ex11.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex11.m2.1.1.1.3" xref="A1.Ex11.m2.1.1.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A1.Ex11.m2.5.5.1.1.1.2b" xref="A1.Ex11.m2.5.5.1.1.1.2.cmml">⁢</mo><mstyle displaystyle="true" id="A1.Ex11.m2.2.2" xref="A1.Ex11.m2.2.2.cmml"><mfrac id="A1.Ex11.m2.2.2a" xref="A1.Ex11.m2.2.2.cmml"><mn id="A1.Ex11.m2.2.2.3" xref="A1.Ex11.m2.2.2.3.cmml">1</mn><mrow id="A1.Ex11.m2.2.2.1" xref="A1.Ex11.m2.2.2.1.cmml"><mn id="A1.Ex11.m2.2.2.1.3" xref="A1.Ex11.m2.2.2.1.3.cmml">1</mn><mo id="A1.Ex11.m2.2.2.1.2" xref="A1.Ex11.m2.2.2.1.2.cmml">−</mo><mrow id="A1.Ex11.m2.2.2.1.1" xref="A1.Ex11.m2.2.2.1.1.cmml"><mi id="A1.Ex11.m2.2.2.1.1.3" xref="A1.Ex11.m2.2.2.1.1.3.cmml">ϕ</mi><mo id="A1.Ex11.m2.2.2.1.1.2" xref="A1.Ex11.m2.2.2.1.1.2.cmml">/</mo><msup id="A1.Ex11.m2.2.2.1.1.1" xref="A1.Ex11.m2.2.2.1.1.1.cmml"><mrow id="A1.Ex11.m2.2.2.1.1.1.1.1" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.cmml"><mo id="A1.Ex11.m2.2.2.1.1.1.1.1.2" stretchy="false" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex11.m2.2.2.1.1.1.1.1.1" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.cmml"><mn id="A1.Ex11.m2.2.2.1.1.1.1.1.1.2" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex11.m2.2.2.1.1.1.1.1.1.1" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex11.m2.2.2.1.1.1.1.1.1.3" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex11.m2.2.2.1.1.1.1.1.3" stretchy="false" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex11.m2.2.2.1.1.1.3" xref="A1.Ex11.m2.2.2.1.1.1.3.cmml">2</mn></msup></mrow></mrow></mfrac></mstyle></mrow><mo id="A1.Ex11.m2.5.5.1.1.5" xref="A1.Ex11.m2.5.5.1.1.5.cmml">=</mo><mstyle displaystyle="true" id="A1.Ex11.m2.4.4" xref="A1.Ex11.m2.4.4.cmml"><mfrac id="A1.Ex11.m2.4.4a" xref="A1.Ex11.m2.4.4.cmml"><mrow id="A1.Ex11.m2.3.3.1" xref="A1.Ex11.m2.3.3.1.cmml"><msup id="A1.Ex11.m2.3.3.1.3" xref="A1.Ex11.m2.3.3.1.3.cmml"><mi id="A1.Ex11.m2.3.3.1.3.2" xref="A1.Ex11.m2.3.3.1.3.2.cmml">κ</mi><mn id="A1.Ex11.m2.3.3.1.3.3" xref="A1.Ex11.m2.3.3.1.3.3.cmml">2</mn></msup><mo id="A1.Ex11.m2.3.3.1.2" xref="A1.Ex11.m2.3.3.1.2.cmml">⁢</mo><msubsup id="A1.Ex11.m2.3.3.1.1" xref="A1.Ex11.m2.3.3.1.1.cmml"><mrow id="A1.Ex11.m2.3.3.1.1.1.1.1" xref="A1.Ex11.m2.3.3.1.1.1.1.2.cmml"><mo id="A1.Ex11.m2.3.3.1.1.1.1.1.2" stretchy="false" xref="A1.Ex11.m2.3.3.1.1.1.1.2.1.cmml">‖</mo><msub id="A1.Ex11.m2.3.3.1.1.1.1.1.1" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1.cmml"><mi id="A1.Ex11.m2.3.3.1.1.1.1.1.1.2" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1.2.cmml">w</mi><mn id="A1.Ex11.m2.3.3.1.1.1.1.1.1.3" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1.3.cmml">0</mn></msub><mo id="A1.Ex11.m2.3.3.1.1.1.1.1.3" stretchy="false" xref="A1.Ex11.m2.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.Ex11.m2.3.3.1.1.1.3" xref="A1.Ex11.m2.3.3.1.1.1.3.cmml">2</mn><mn id="A1.Ex11.m2.3.3.1.1.3" xref="A1.Ex11.m2.3.3.1.1.3.cmml">2</mn></msubsup></mrow><mrow id="A1.Ex11.m2.4.4.2" xref="A1.Ex11.m2.4.4.2.cmml"><msup id="A1.Ex11.m2.4.4.2.1" xref="A1.Ex11.m2.4.4.2.1.cmml"><mrow id="A1.Ex11.m2.4.4.2.1.1.1" xref="A1.Ex11.m2.4.4.2.1.1.1.1.cmml"><mo id="A1.Ex11.m2.4.4.2.1.1.1.2" stretchy="false" xref="A1.Ex11.m2.4.4.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex11.m2.4.4.2.1.1.1.1" xref="A1.Ex11.m2.4.4.2.1.1.1.1.cmml"><mn id="A1.Ex11.m2.4.4.2.1.1.1.1.2" xref="A1.Ex11.m2.4.4.2.1.1.1.1.2.cmml">1</mn><mo id="A1.Ex11.m2.4.4.2.1.1.1.1.1" xref="A1.Ex11.m2.4.4.2.1.1.1.1.1.cmml">+</mo><mi id="A1.Ex11.m2.4.4.2.1.1.1.1.3" xref="A1.Ex11.m2.4.4.2.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A1.Ex11.m2.4.4.2.1.1.1.3" stretchy="false" xref="A1.Ex11.m2.4.4.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex11.m2.4.4.2.1.3" xref="A1.Ex11.m2.4.4.2.1.3.cmml">2</mn></msup><mo id="A1.Ex11.m2.4.4.2.2" xref="A1.Ex11.m2.4.4.2.2.cmml">−</mo><mi id="A1.Ex11.m2.4.4.2.3" xref="A1.Ex11.m2.4.4.2.3.cmml">ϕ</mi></mrow></mfrac></mstyle></mrow><mo id="A1.Ex11.m2.5.5.1.2" xref="A1.Ex11.m2.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex11.m2.5b"><apply id="A1.Ex11.m2.5.5.1.1.cmml" xref="A1.Ex11.m2.5.5.1"><and id="A1.Ex11.m2.5.5.1.1a.cmml" xref="A1.Ex11.m2.5.5.1"></and><apply id="A1.Ex11.m2.5.5.1.1b.cmml" xref="A1.Ex11.m2.5.5.1"><csymbol cd="latexml" id="A1.Ex11.m2.5.5.1.1.4.cmml" xref="A1.Ex11.m2.5.5.1.1.4">similar-to-or-equals</csymbol><csymbol cd="latexml" id="A1.Ex11.m2.5.5.1.1.3.cmml" xref="A1.Ex11.m2.5.5.1.1.3">absent</csymbol><apply id="A1.Ex11.m2.5.5.1.1.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1"><times id="A1.Ex11.m2.5.5.1.1.1.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.2"></times><apply id="A1.Ex11.m2.5.5.1.1.1.3.cmml" xref="A1.Ex11.m2.5.5.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex11.m2.5.5.1.1.1.3.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.3">superscript</csymbol><ci id="A1.Ex11.m2.5.5.1.1.1.3.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.3.2">𝜅</ci><cn id="A1.Ex11.m2.5.5.1.1.1.3.3.cmml" type="integer" xref="A1.Ex11.m2.5.5.1.1.1.3.3">2</cn></apply><apply id="A1.Ex11.m2.5.5.1.1.1.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.5.5.1.1.1.1.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1">superscript</csymbol><apply id="A1.Ex11.m2.5.5.1.1.1.1.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.5.5.1.1.1.1.1.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1">subscript</csymbol><apply id="A1.Ex11.m2.5.5.1.1.1.1.1.1.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex11.m2.5.5.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.2">𝑤</ci><cn id="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.5.5.1.1.1.1.1.1.1.1.3">0</cn></apply></apply><cn id="A1.Ex11.m2.5.5.1.1.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.5.5.1.1.1.1.1.3">2</cn></apply><cn id="A1.Ex11.m2.5.5.1.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.5.5.1.1.1.1.3">2</cn></apply><apply id="A1.Ex11.m2.1.1.cmml" xref="A1.Ex11.m2.1.1"><divide id="A1.Ex11.m2.1.1.2.cmml" xref="A1.Ex11.m2.1.1"></divide><cn id="A1.Ex11.m2.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.1.1.3">1</cn><apply id="A1.Ex11.m2.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.1.1.1.2.cmml" xref="A1.Ex11.m2.1.1.1">superscript</csymbol><apply id="A1.Ex11.m2.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1.1.1"><plus id="A1.Ex11.m2.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1"></plus><cn id="A1.Ex11.m2.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex11.m2.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex11.m2.1.1.1.1.1.1.3.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex11.m2.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.1.1.1.3">2</cn></apply></apply><apply id="A1.Ex11.m2.2.2.cmml" xref="A1.Ex11.m2.2.2"><divide id="A1.Ex11.m2.2.2.2.cmml" xref="A1.Ex11.m2.2.2"></divide><cn id="A1.Ex11.m2.2.2.3.cmml" type="integer" xref="A1.Ex11.m2.2.2.3">1</cn><apply id="A1.Ex11.m2.2.2.1.cmml" xref="A1.Ex11.m2.2.2.1"><minus id="A1.Ex11.m2.2.2.1.2.cmml" xref="A1.Ex11.m2.2.2.1.2"></minus><cn id="A1.Ex11.m2.2.2.1.3.cmml" type="integer" xref="A1.Ex11.m2.2.2.1.3">1</cn><apply id="A1.Ex11.m2.2.2.1.1.cmml" xref="A1.Ex11.m2.2.2.1.1"><divide id="A1.Ex11.m2.2.2.1.1.2.cmml" xref="A1.Ex11.m2.2.2.1.1.2"></divide><ci id="A1.Ex11.m2.2.2.1.1.3.cmml" xref="A1.Ex11.m2.2.2.1.1.3">italic-ϕ</ci><apply id="A1.Ex11.m2.2.2.1.1.1.cmml" xref="A1.Ex11.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.2.2.1.1.1.2.cmml" xref="A1.Ex11.m2.2.2.1.1.1">superscript</csymbol><apply id="A1.Ex11.m2.2.2.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.2.2.1.1.1.1.1"><plus id="A1.Ex11.m2.2.2.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.1"></plus><cn id="A1.Ex11.m2.2.2.1.1.1.1.1.1.2.cmml" type="integer" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.2">1</cn><ci id="A1.Ex11.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A1.Ex11.m2.2.2.1.1.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex11.m2.2.2.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.2.2.1.1.1.3">2</cn></apply></apply></apply></apply></apply></apply><apply id="A1.Ex11.m2.5.5.1.1c.cmml" xref="A1.Ex11.m2.5.5.1"><eq id="A1.Ex11.m2.5.5.1.1.5.cmml" xref="A1.Ex11.m2.5.5.1.1.5"></eq><share href="#A1.Ex11.m2.5.5.1.1.1.cmml" id="A1.Ex11.m2.5.5.1.1d.cmml" xref="A1.Ex11.m2.5.5.1"></share><apply id="A1.Ex11.m2.4.4.cmml" xref="A1.Ex11.m2.4.4"><divide id="A1.Ex11.m2.4.4.3.cmml" xref="A1.Ex11.m2.4.4"></divide><apply id="A1.Ex11.m2.3.3.1.cmml" xref="A1.Ex11.m2.3.3.1"><times id="A1.Ex11.m2.3.3.1.2.cmml" xref="A1.Ex11.m2.3.3.1.2"></times><apply id="A1.Ex11.m2.3.3.1.3.cmml" xref="A1.Ex11.m2.3.3.1.3"><csymbol cd="ambiguous" id="A1.Ex11.m2.3.3.1.3.1.cmml" xref="A1.Ex11.m2.3.3.1.3">superscript</csymbol><ci id="A1.Ex11.m2.3.3.1.3.2.cmml" xref="A1.Ex11.m2.3.3.1.3.2">𝜅</ci><cn id="A1.Ex11.m2.3.3.1.3.3.cmml" type="integer" xref="A1.Ex11.m2.3.3.1.3.3">2</cn></apply><apply id="A1.Ex11.m2.3.3.1.1.cmml" xref="A1.Ex11.m2.3.3.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.3.3.1.1.2.cmml" xref="A1.Ex11.m2.3.3.1.1">superscript</csymbol><apply id="A1.Ex11.m2.3.3.1.1.1.cmml" xref="A1.Ex11.m2.3.3.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.3.3.1.1.1.2.cmml" xref="A1.Ex11.m2.3.3.1.1">subscript</csymbol><apply id="A1.Ex11.m2.3.3.1.1.1.1.2.cmml" xref="A1.Ex11.m2.3.3.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex11.m2.3.3.1.1.1.1.2.1.cmml" xref="A1.Ex11.m2.3.3.1.1.1.1.1.2">norm</csymbol><apply id="A1.Ex11.m2.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.3.3.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Ex11.m2.3.3.1.1.1.1.1.1.2.cmml" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1.2">𝑤</ci><cn id="A1.Ex11.m2.3.3.1.1.1.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.3.3.1.1.1.1.1.1.3">0</cn></apply></apply><cn id="A1.Ex11.m2.3.3.1.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.3.3.1.1.1.3">2</cn></apply><cn id="A1.Ex11.m2.3.3.1.1.3.cmml" type="integer" xref="A1.Ex11.m2.3.3.1.1.3">2</cn></apply></apply><apply id="A1.Ex11.m2.4.4.2.cmml" xref="A1.Ex11.m2.4.4.2"><minus id="A1.Ex11.m2.4.4.2.2.cmml" xref="A1.Ex11.m2.4.4.2.2"></minus><apply id="A1.Ex11.m2.4.4.2.1.cmml" xref="A1.Ex11.m2.4.4.2.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.4.4.2.1.2.cmml" xref="A1.Ex11.m2.4.4.2.1">superscript</csymbol><apply id="A1.Ex11.m2.4.4.2.1.1.1.1.cmml" xref="A1.Ex11.m2.4.4.2.1.1.1"><plus id="A1.Ex11.m2.4.4.2.1.1.1.1.1.cmml" xref="A1.Ex11.m2.4.4.2.1.1.1.1.1"></plus><cn id="A1.Ex11.m2.4.4.2.1.1.1.1.2.cmml" type="integer" xref="A1.Ex11.m2.4.4.2.1.1.1.1.2">1</cn><ci id="A1.Ex11.m2.4.4.2.1.1.1.1.3.cmml" xref="A1.Ex11.m2.4.4.2.1.1.1.1.3">𝜅</ci></apply><cn id="A1.Ex11.m2.4.4.2.1.3.cmml" type="integer" xref="A1.Ex11.m2.4.4.2.1.3">2</cn></apply><ci id="A1.Ex11.m2.4.4.2.3.cmml" xref="A1.Ex11.m2.4.4.2.3">italic-ϕ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex11.m2.5c">\displaystyle\simeq\kappa^{2}\|w_{0}\|_{2}^{2}\frac{1}{(1+\kappa)^{2}}\frac{1}% {1-\phi/(1+\kappa)^{2}}=\frac{\kappa^{2}\|w_{0}\|_{2}^{2}}{(1+\kappa)^{2}-\phi},</annotation><annotation encoding="application/x-llamapun" id="A1.Ex11.m2.5d">≃ italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT divide start_ARG 1 end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG divide start_ARG 1 end_ARG start_ARG 1 - italic_ϕ / ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG = divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ∥ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ∥ start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT - italic_ϕ end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A1.SS4.p1.3">from which the result follows. ∎</p> </div> </section> </section> <section class="ltx_appendix" id="A2"> <h2 class="ltx_title ltx_title_appendix"> <span class="ltx_tag ltx_tag_appendix">Appendix B </span>Power-Law Regime</h2> <section class="ltx_subsection" id="A2.SS1"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">B.1 </span>Proof of Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.Thmtheorem2" title="Theorem 5.2. ‣ 5.1 Main Result III: A ”Collapsed” Scaling Law ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">5.2</span></a> </h3> <div class="ltx_para" id="A2.SS1.p1"> <p class="ltx_p" id="A2.SS1.p1.7">Let us pretend that (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E20" title="20 ‣ Theorem 4.5. ‣ 4.4 Main Result II: Analytic Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">20</span></a>) continues to hold even though Assumption <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem3" title="Assumption 4.3. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.3</span></a> is clearly violated. Then, we need to analyze the quantity</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx39"> <tbody id="A2.E36"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{df}_{2}(\kappa(\lambda))}{T% _{0}-d}+\frac{\kappa(\lambda)^{2}\mathrm{tr}\left(\left(\Sigma+\kappa(\lambda)% I_{d}\right)^{-2}\right)}{T_{0}-d}\cdot\frac{\mathrm{df}_{2}(\kappa(\lambda))}% {T-\mathrm{df}_{2}(\kappa(\lambda))}.\end{split}" class="ltx_Math" display="inline" id="A2.E36.m1.10"><semantics id="A2.E36.m1.10a"><mtable columnspacing="0pt" id="A2.E36.m1.10.10.2"><mtr id="A2.E36.m1.10.10.2a"><mtd class="ltx_align_right" columnalign="right" id="A2.E36.m1.10.10.2b"><mi id="A2.E36.m1.1.1.1.1.1.1" xref="A2.E36.m1.1.1.1.1.1.1.cmml">ρ</mi></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E36.m1.10.10.2c"><mrow id="A2.E36.m1.10.10.2.9.9.8.8"><mrow id="A2.E36.m1.10.10.2.9.9.8.8.1"><mi id="A2.E36.m1.10.10.2.9.9.8.8.1.1" xref="A2.E36.m1.9.9.1.1.1.cmml"></mi><mo id="A2.E36.m1.2.2.2.2.1.1" xref="A2.E36.m1.2.2.2.2.1.1.cmml">≃</mo><mrow id="A2.E36.m1.10.10.2.9.9.8.8.1.2"><mstyle displaystyle="true" id="A2.E36.m1.3.3.3.3.2.2" xref="A2.E36.m1.3.3.3.3.2.2.cmml"><mfrac id="A2.E36.m1.3.3.3.3.2.2a" xref="A2.E36.m1.3.3.3.3.2.2.cmml"><mrow id="A2.E36.m1.3.3.3.3.2.2.2" xref="A2.E36.m1.3.3.3.3.2.2.2.cmml"><msub id="A2.E36.m1.3.3.3.3.2.2.2.4" xref="A2.E36.m1.3.3.3.3.2.2.2.4.cmml"><mi id="A2.E36.m1.3.3.3.3.2.2.2.4.2" xref="A2.E36.m1.3.3.3.3.2.2.2.4.2.cmml">df</mi><mn id="A2.E36.m1.3.3.3.3.2.2.2.4.3" xref="A2.E36.m1.3.3.3.3.2.2.2.4.3.cmml">2</mn></msub><mo id="A2.E36.m1.3.3.3.3.2.2.2.3" xref="A2.E36.m1.3.3.3.3.2.2.2.3.cmml">⁢</mo><mrow id="A2.E36.m1.3.3.3.3.2.2.2.2.1" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml"><mo id="A2.E36.m1.3.3.3.3.2.2.2.2.1.2" stretchy="false" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml">(</mo><mrow id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml"><mi id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.2" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.2.cmml">κ</mi><mo id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.1" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.1.cmml">⁢</mo><mrow id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.3.2" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml"><mo id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.3.2.1" stretchy="false" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml">(</mo><mi id="A2.E36.m1.3.3.3.3.2.2.1.1" xref="A2.E36.m1.3.3.3.3.2.2.1.1.cmml">λ</mi><mo id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.3.2.2" stretchy="false" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A2.E36.m1.3.3.3.3.2.2.2.2.1.3" stretchy="false" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mrow id="A2.E36.m1.3.3.3.3.2.2.4" xref="A2.E36.m1.3.3.3.3.2.2.4.cmml"><msub id="A2.E36.m1.3.3.3.3.2.2.4.2" xref="A2.E36.m1.3.3.3.3.2.2.4.2.cmml"><mi id="A2.E36.m1.3.3.3.3.2.2.4.2.2" xref="A2.E36.m1.3.3.3.3.2.2.4.2.2.cmml">T</mi><mn id="A2.E36.m1.3.3.3.3.2.2.4.2.3" xref="A2.E36.m1.3.3.3.3.2.2.4.2.3.cmml">0</mn></msub><mo id="A2.E36.m1.3.3.3.3.2.2.4.1" xref="A2.E36.m1.3.3.3.3.2.2.4.1.cmml">−</mo><mi id="A2.E36.m1.3.3.3.3.2.2.4.3" xref="A2.E36.m1.3.3.3.3.2.2.4.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A2.E36.m1.4.4.4.4.3.3" xref="A2.E36.m1.4.4.4.4.3.3.cmml">+</mo><mrow id="A2.E36.m1.10.10.2.9.9.8.8.1.2.1"><mstyle displaystyle="true" id="A2.E36.m1.5.5.5.5.4.4" xref="A2.E36.m1.5.5.5.5.4.4.cmml"><mfrac id="A2.E36.m1.5.5.5.5.4.4a" xref="A2.E36.m1.5.5.5.5.4.4.cmml"><mrow id="A2.E36.m1.5.5.5.5.4.4.3" xref="A2.E36.m1.5.5.5.5.4.4.3.cmml"><mi id="A2.E36.m1.5.5.5.5.4.4.3.5" xref="A2.E36.m1.5.5.5.5.4.4.3.5.cmml">κ</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.4" xref="A2.E36.m1.5.5.5.5.4.4.3.4.cmml">⁢</mo><msup id="A2.E36.m1.5.5.5.5.4.4.3.6" xref="A2.E36.m1.5.5.5.5.4.4.3.6.cmml"><mrow id="A2.E36.m1.5.5.5.5.4.4.3.6.2.2" xref="A2.E36.m1.5.5.5.5.4.4.3.6.cmml"><mo id="A2.E36.m1.5.5.5.5.4.4.3.6.2.2.1" stretchy="false" xref="A2.E36.m1.5.5.5.5.4.4.3.6.cmml">(</mo><mi id="A2.E36.m1.5.5.5.5.4.4.1.1" xref="A2.E36.m1.5.5.5.5.4.4.1.1.cmml">λ</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.6.2.2.2" stretchy="false" xref="A2.E36.m1.5.5.5.5.4.4.3.6.cmml">)</mo></mrow><mn id="A2.E36.m1.5.5.5.5.4.4.3.6.3" xref="A2.E36.m1.5.5.5.5.4.4.3.6.3.cmml">2</mn></msup><mo id="A2.E36.m1.5.5.5.5.4.4.3.4a" xref="A2.E36.m1.5.5.5.5.4.4.3.4.cmml">⁢</mo><mi id="A2.E36.m1.5.5.5.5.4.4.3.7" xref="A2.E36.m1.5.5.5.5.4.4.3.7.cmml">tr</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.4b" xref="A2.E36.m1.5.5.5.5.4.4.3.4.cmml">⁢</mo><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.cmml"><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.cmml">(</mo><msup id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.cmml"><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.cmml"><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.cmml">(</mo><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.cmml"><mi id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.2" mathvariant="normal" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.2.cmml">Σ</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.1.cmml">+</mo><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.cmml"><mi id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.2.cmml">κ</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1.cmml">⁢</mo><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.3.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.cmml"><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.3.2.1" stretchy="false" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.cmml">(</mo><mi id="A2.E36.m1.5.5.5.5.4.4.2.2" xref="A2.E36.m1.5.5.5.5.4.4.2.2.cmml">λ</mi><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.3.2.2" stretchy="false" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.cmml">)</mo></mrow><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1a" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.cmml"><mi id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.2.cmml">I</mi><mi id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.3" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.3.cmml">d</mi></msub></mrow></mrow><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.3" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.cmml"><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3a" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.cmml">−</mo><mn id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.2" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A2.E36.m1.5.5.5.5.4.4.3.3.1.3" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.cmml">)</mo></mrow></mrow><mrow id="A2.E36.m1.5.5.5.5.4.4.5" xref="A2.E36.m1.5.5.5.5.4.4.5.cmml"><msub id="A2.E36.m1.5.5.5.5.4.4.5.2" xref="A2.E36.m1.5.5.5.5.4.4.5.2.cmml"><mi id="A2.E36.m1.5.5.5.5.4.4.5.2.2" xref="A2.E36.m1.5.5.5.5.4.4.5.2.2.cmml">T</mi><mn id="A2.E36.m1.5.5.5.5.4.4.5.2.3" xref="A2.E36.m1.5.5.5.5.4.4.5.2.3.cmml">0</mn></msub><mo id="A2.E36.m1.5.5.5.5.4.4.5.1" xref="A2.E36.m1.5.5.5.5.4.4.5.1.cmml">−</mo><mi id="A2.E36.m1.5.5.5.5.4.4.5.3" xref="A2.E36.m1.5.5.5.5.4.4.5.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A2.E36.m1.6.6.6.6.5.5" lspace="0.222em" rspace="0.222em" xref="A2.E36.m1.6.6.6.6.5.5.cmml">⋅</mo><mstyle displaystyle="true" id="A2.E36.m1.7.7.7.7.6.6" xref="A2.E36.m1.7.7.7.7.6.6.cmml"><mfrac id="A2.E36.m1.7.7.7.7.6.6a" xref="A2.E36.m1.7.7.7.7.6.6.cmml"><mrow id="A2.E36.m1.7.7.7.7.6.6.2" xref="A2.E36.m1.7.7.7.7.6.6.2.cmml"><msub id="A2.E36.m1.7.7.7.7.6.6.2.4" xref="A2.E36.m1.7.7.7.7.6.6.2.4.cmml"><mi id="A2.E36.m1.7.7.7.7.6.6.2.4.2" xref="A2.E36.m1.7.7.7.7.6.6.2.4.2.cmml">df</mi><mn id="A2.E36.m1.7.7.7.7.6.6.2.4.3" xref="A2.E36.m1.7.7.7.7.6.6.2.4.3.cmml">2</mn></msub><mo id="A2.E36.m1.7.7.7.7.6.6.2.3" xref="A2.E36.m1.7.7.7.7.6.6.2.3.cmml">⁢</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.2.2.1" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml"><mo id="A2.E36.m1.7.7.7.7.6.6.2.2.1.2" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml">(</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml"><mi id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.2" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.2.cmml">κ</mi><mo id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.1" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.1.cmml">⁢</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.3.2" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml"><mo id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.3.2.1" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml">(</mo><mi id="A2.E36.m1.7.7.7.7.6.6.1.1" xref="A2.E36.m1.7.7.7.7.6.6.1.1.cmml">λ</mi><mo id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.3.2.2" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A2.E36.m1.7.7.7.7.6.6.2.2.1.3" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml">)</mo></mrow></mrow><mrow id="A2.E36.m1.7.7.7.7.6.6.4" xref="A2.E36.m1.7.7.7.7.6.6.4.cmml"><mi id="A2.E36.m1.7.7.7.7.6.6.4.4" xref="A2.E36.m1.7.7.7.7.6.6.4.4.cmml">T</mi><mo id="A2.E36.m1.7.7.7.7.6.6.4.3" xref="A2.E36.m1.7.7.7.7.6.6.4.3.cmml">−</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.4.2" xref="A2.E36.m1.7.7.7.7.6.6.4.2.cmml"><msub id="A2.E36.m1.7.7.7.7.6.6.4.2.3" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3.cmml"><mi id="A2.E36.m1.7.7.7.7.6.6.4.2.3.2" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3.2.cmml">df</mi><mn id="A2.E36.m1.7.7.7.7.6.6.4.2.3.3" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3.3.cmml">2</mn></msub><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.2" xref="A2.E36.m1.7.7.7.7.6.6.4.2.2.cmml">⁢</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml"><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.2" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml">(</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml"><mi id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.2" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.2.cmml">κ</mi><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.1" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.1.cmml">⁢</mo><mrow id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.3.2" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml"><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.3.2.1" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml">(</mo><mi id="A2.E36.m1.7.7.7.7.6.6.3.1" xref="A2.E36.m1.7.7.7.7.6.6.3.1.cmml">λ</mi><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.3.2.2" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.3" stretchy="false" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mfrac></mstyle></mrow></mrow></mrow><mo id="A2.E36.m1.8.8.8.8.7.7" lspace="0em" xref="A2.E36.m1.9.9.1.1.1.cmml">.</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A2.E36.m1.10b"><apply id="A2.E36.m1.9.9.1.1.1.cmml" xref="A2.E36.m1.10.10.2.9.9.8.8.1.1"><csymbol cd="latexml" id="A2.E36.m1.2.2.2.2.1.1.cmml" xref="A2.E36.m1.2.2.2.2.1.1">similar-to-or-equals</csymbol><ci id="A2.E36.m1.1.1.1.1.1.1.cmml" xref="A2.E36.m1.1.1.1.1.1.1">𝜌</ci><apply id="A2.E36.m1.9.9.1.1.1.3.cmml" xref="A2.E36.m1.10.10.2.9.9.8.8.1.1"><plus id="A2.E36.m1.4.4.4.4.3.3.cmml" xref="A2.E36.m1.4.4.4.4.3.3"></plus><apply id="A2.E36.m1.3.3.3.3.2.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2"><divide id="A2.E36.m1.3.3.3.3.2.2.3.cmml" xref="A2.E36.m1.3.3.3.3.2.2"></divide><apply id="A2.E36.m1.3.3.3.3.2.2.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2"><times id="A2.E36.m1.3.3.3.3.2.2.2.3.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.3"></times><apply id="A2.E36.m1.3.3.3.3.2.2.2.4.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.4"><csymbol cd="ambiguous" id="A2.E36.m1.3.3.3.3.2.2.2.4.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.4">subscript</csymbol><ci id="A2.E36.m1.3.3.3.3.2.2.2.4.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.4.2">df</ci><cn id="A2.E36.m1.3.3.3.3.2.2.2.4.3.cmml" type="integer" xref="A2.E36.m1.3.3.3.3.2.2.2.4.3">2</cn></apply><apply id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1"><times id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.1"></times><ci id="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2.2.2.1.1.2">𝜅</ci><ci id="A2.E36.m1.3.3.3.3.2.2.1.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.1.1">𝜆</ci></apply></apply><apply id="A2.E36.m1.3.3.3.3.2.2.4.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4"><minus id="A2.E36.m1.3.3.3.3.2.2.4.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4.1"></minus><apply id="A2.E36.m1.3.3.3.3.2.2.4.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4.2"><csymbol cd="ambiguous" id="A2.E36.m1.3.3.3.3.2.2.4.2.1.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4.2">subscript</csymbol><ci id="A2.E36.m1.3.3.3.3.2.2.4.2.2.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4.2.2">𝑇</ci><cn id="A2.E36.m1.3.3.3.3.2.2.4.2.3.cmml" type="integer" xref="A2.E36.m1.3.3.3.3.2.2.4.2.3">0</cn></apply><ci id="A2.E36.m1.3.3.3.3.2.2.4.3.cmml" xref="A2.E36.m1.3.3.3.3.2.2.4.3">𝑑</ci></apply></apply><apply id="A2.E36.m1.9.9.1.1.1.3.3.cmml" xref="A2.E36.m1.10.10.2.9.9.8.8.1.1"><ci id="A2.E36.m1.6.6.6.6.5.5.cmml" xref="A2.E36.m1.6.6.6.6.5.5">⋅</ci><apply id="A2.E36.m1.5.5.5.5.4.4.cmml" xref="A2.E36.m1.5.5.5.5.4.4"><divide id="A2.E36.m1.5.5.5.5.4.4.4.cmml" xref="A2.E36.m1.5.5.5.5.4.4"></divide><apply id="A2.E36.m1.5.5.5.5.4.4.3.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3"><times id="A2.E36.m1.5.5.5.5.4.4.3.4.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.4"></times><ci id="A2.E36.m1.5.5.5.5.4.4.3.5.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.5">𝜅</ci><apply id="A2.E36.m1.5.5.5.5.4.4.3.6.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.6"><csymbol cd="ambiguous" id="A2.E36.m1.5.5.5.5.4.4.3.6.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.6">superscript</csymbol><ci id="A2.E36.m1.5.5.5.5.4.4.1.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.1.1">𝜆</ci><cn id="A2.E36.m1.5.5.5.5.4.4.3.6.3.cmml" type="integer" xref="A2.E36.m1.5.5.5.5.4.4.3.6.3">2</cn></apply><ci id="A2.E36.m1.5.5.5.5.4.4.3.7.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.7">tr</ci><apply id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1"><csymbol cd="ambiguous" id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1">superscript</csymbol><apply id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1"><plus id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.1"></plus><ci id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.2">Σ</ci><apply id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3"><times id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.1"></times><ci id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.2">𝜅</ci><ci id="A2.E36.m1.5.5.5.5.4.4.2.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.2.2">𝜆</ci><apply id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4"><csymbol cd="ambiguous" id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4">subscript</csymbol><ci id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.2">𝐼</ci><ci id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.3.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.1.1.1.3.4.3">𝑑</ci></apply></apply></apply><apply id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3"><minus id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3"></minus><cn id="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.2.cmml" type="integer" xref="A2.E36.m1.5.5.5.5.4.4.3.3.1.1.3.2">2</cn></apply></apply></apply><apply id="A2.E36.m1.5.5.5.5.4.4.5.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5"><minus id="A2.E36.m1.5.5.5.5.4.4.5.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5.1"></minus><apply id="A2.E36.m1.5.5.5.5.4.4.5.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5.2"><csymbol cd="ambiguous" id="A2.E36.m1.5.5.5.5.4.4.5.2.1.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5.2">subscript</csymbol><ci id="A2.E36.m1.5.5.5.5.4.4.5.2.2.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5.2.2">𝑇</ci><cn id="A2.E36.m1.5.5.5.5.4.4.5.2.3.cmml" type="integer" xref="A2.E36.m1.5.5.5.5.4.4.5.2.3">0</cn></apply><ci id="A2.E36.m1.5.5.5.5.4.4.5.3.cmml" xref="A2.E36.m1.5.5.5.5.4.4.5.3">𝑑</ci></apply></apply><apply id="A2.E36.m1.7.7.7.7.6.6.cmml" xref="A2.E36.m1.7.7.7.7.6.6"><divide id="A2.E36.m1.7.7.7.7.6.6.5.cmml" xref="A2.E36.m1.7.7.7.7.6.6"></divide><apply id="A2.E36.m1.7.7.7.7.6.6.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2"><times id="A2.E36.m1.7.7.7.7.6.6.2.3.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.3"></times><apply id="A2.E36.m1.7.7.7.7.6.6.2.4.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.4"><csymbol cd="ambiguous" id="A2.E36.m1.7.7.7.7.6.6.2.4.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.4">subscript</csymbol><ci id="A2.E36.m1.7.7.7.7.6.6.2.4.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.4.2">df</ci><cn id="A2.E36.m1.7.7.7.7.6.6.2.4.3.cmml" type="integer" xref="A2.E36.m1.7.7.7.7.6.6.2.4.3">2</cn></apply><apply id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1"><times id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.1"></times><ci id="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.2.2.1.1.2">𝜅</ci><ci id="A2.E36.m1.7.7.7.7.6.6.1.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.1.1">𝜆</ci></apply></apply><apply id="A2.E36.m1.7.7.7.7.6.6.4.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4"><minus id="A2.E36.m1.7.7.7.7.6.6.4.3.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.3"></minus><ci id="A2.E36.m1.7.7.7.7.6.6.4.4.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.4">𝑇</ci><apply id="A2.E36.m1.7.7.7.7.6.6.4.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2"><times id="A2.E36.m1.7.7.7.7.6.6.4.2.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.2"></times><apply id="A2.E36.m1.7.7.7.7.6.6.4.2.3.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3"><csymbol cd="ambiguous" id="A2.E36.m1.7.7.7.7.6.6.4.2.3.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3">subscript</csymbol><ci id="A2.E36.m1.7.7.7.7.6.6.4.2.3.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3.2">df</ci><cn id="A2.E36.m1.7.7.7.7.6.6.4.2.3.3.cmml" type="integer" xref="A2.E36.m1.7.7.7.7.6.6.4.2.3.3">2</cn></apply><apply id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1"><times id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.1"></times><ci id="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.2.cmml" xref="A2.E36.m1.7.7.7.7.6.6.4.2.1.1.1.2">𝜅</ci><ci id="A2.E36.m1.7.7.7.7.6.6.3.1.cmml" xref="A2.E36.m1.7.7.7.7.6.6.3.1">𝜆</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E36.m1.10c">\displaystyle\begin{split}\rho&\simeq\frac{\mathrm{df}_{2}(\kappa(\lambda))}{T% _{0}-d}+\frac{\kappa(\lambda)^{2}\mathrm{tr}\left(\left(\Sigma+\kappa(\lambda)% I_{d}\right)^{-2}\right)}{T_{0}-d}\cdot\frac{\mathrm{df}_{2}(\kappa(\lambda))}% {T-\mathrm{df}_{2}(\kappa(\lambda))}.\end{split}</annotation><annotation encoding="application/x-llamapun" id="A2.E36.m1.10d">start_ROW start_CELL italic_ρ end_CELL start_CELL ≃ divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ( italic_λ ) ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG + divide start_ARG italic_κ ( italic_λ ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT roman_tr ( ( roman_Σ + italic_κ ( italic_λ ) italic_I start_POSTSUBSCRIPT italic_d end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT ) end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG ⋅ divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ( italic_λ ) ) end_ARG start_ARG italic_T - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ( italic_λ ) ) end_ARG . end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(36)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS1.p1.2">Now, for small <math alttext="\lambda" class="ltx_Math" display="inline" id="A2.SS1.p1.1.m1.1"><semantics id="A2.SS1.p1.1.m1.1a"><mi id="A2.SS1.p1.1.m1.1.1" xref="A2.SS1.p1.1.m1.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.1.m1.1b"><ci id="A2.SS1.p1.1.m1.1.1.cmml" xref="A2.SS1.p1.1.m1.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.1.m1.1c">\lambda</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.1.m1.1d">italic_λ</annotation></semantics></math>, <math alttext="\kappa:=\kappa(\lambda)" class="ltx_Math" display="inline" id="A2.SS1.p1.2.m2.1"><semantics id="A2.SS1.p1.2.m2.1a"><mrow id="A2.SS1.p1.2.m2.1.2" xref="A2.SS1.p1.2.m2.1.2.cmml"><mi id="A2.SS1.p1.2.m2.1.2.2" xref="A2.SS1.p1.2.m2.1.2.2.cmml">κ</mi><mo id="A2.SS1.p1.2.m2.1.2.1" lspace="0.278em" rspace="0.278em" xref="A2.SS1.p1.2.m2.1.2.1.cmml">:=</mo><mrow id="A2.SS1.p1.2.m2.1.2.3" xref="A2.SS1.p1.2.m2.1.2.3.cmml"><mi id="A2.SS1.p1.2.m2.1.2.3.2" xref="A2.SS1.p1.2.m2.1.2.3.2.cmml">κ</mi><mo id="A2.SS1.p1.2.m2.1.2.3.1" xref="A2.SS1.p1.2.m2.1.2.3.1.cmml">⁢</mo><mrow id="A2.SS1.p1.2.m2.1.2.3.3.2" xref="A2.SS1.p1.2.m2.1.2.3.cmml"><mo id="A2.SS1.p1.2.m2.1.2.3.3.2.1" stretchy="false" xref="A2.SS1.p1.2.m2.1.2.3.cmml">(</mo><mi id="A2.SS1.p1.2.m2.1.1" xref="A2.SS1.p1.2.m2.1.1.cmml">λ</mi><mo id="A2.SS1.p1.2.m2.1.2.3.3.2.2" stretchy="false" xref="A2.SS1.p1.2.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.2.m2.1b"><apply id="A2.SS1.p1.2.m2.1.2.cmml" xref="A2.SS1.p1.2.m2.1.2"><csymbol cd="latexml" id="A2.SS1.p1.2.m2.1.2.1.cmml" xref="A2.SS1.p1.2.m2.1.2.1">assign</csymbol><ci id="A2.SS1.p1.2.m2.1.2.2.cmml" xref="A2.SS1.p1.2.m2.1.2.2">𝜅</ci><apply id="A2.SS1.p1.2.m2.1.2.3.cmml" xref="A2.SS1.p1.2.m2.1.2.3"><times id="A2.SS1.p1.2.m2.1.2.3.1.cmml" xref="A2.SS1.p1.2.m2.1.2.3.1"></times><ci id="A2.SS1.p1.2.m2.1.2.3.2.cmml" xref="A2.SS1.p1.2.m2.1.2.3.2">𝜅</ci><ci id="A2.SS1.p1.2.m2.1.1.cmml" xref="A2.SS1.p1.2.m2.1.1">𝜆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.2.m2.1c">\kappa:=\kappa(\lambda)</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.2.m2.1d">italic_κ := italic_κ ( italic_λ )</annotation></semantics></math> is small and one can computes</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx40"> <tbody id="A2.E37"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\mathrm{df}_{m}(\kappa)&\asymp\sum_{i}\frac{\lambda_% {i}^{m}}{(\lambda_{i}+\kappa)^{m}}=\kappa^{-m}\sum_{i}\frac{\lambda_{i}^{m}}{(% 1+\kappa^{-1}\lambda_{i})^{m}}\asymp\kappa^{-m}\kappa^{(m-1/\beta)}=\kappa^{-1% /\beta},\end{split}" class="ltx_Math" display="inline" id="A2.E37.m1.26"><semantics id="A2.E37.m1.26a"><mtable columnspacing="0pt" id="A2.E37.m1.26.26.2"><mtr id="A2.E37.m1.26.26.2a"><mtd class="ltx_align_right" columnalign="right" id="A2.E37.m1.26.26.2b"><mrow id="A2.E37.m1.5.5.5.5.5a"><msub id="A2.E37.m1.5.5.5.5.5a.7"><mi id="A2.E37.m1.1.1.1.1.1.1" xref="A2.E37.m1.1.1.1.1.1.1.cmml">df</mi><mi id="A2.E37.m1.2.2.2.2.2.2.1" xref="A2.E37.m1.2.2.2.2.2.2.1.cmml">m</mi></msub><mo id="A2.E37.m1.5.5.5.5.5a.6" xref="A2.E37.m1.25.25.1.1.1.cmml">⁢</mo><mrow id="A2.E37.m1.5.5.5.5.5a.8"><mo id="A2.E37.m1.3.3.3.3.3.3" stretchy="false" xref="A2.E37.m1.25.25.1.1.1.cmml">(</mo><mi id="A2.E37.m1.4.4.4.4.4.4" xref="A2.E37.m1.4.4.4.4.4.4.cmml">κ</mi><mo id="A2.E37.m1.5.5.5.5.5.5" stretchy="false" xref="A2.E37.m1.25.25.1.1.1.cmml">)</mo></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E37.m1.26.26.2c"><mrow id="A2.E37.m1.26.26.2.25.25.20.20"><mrow id="A2.E37.m1.26.26.2.25.25.20.20.1"><mi id="A2.E37.m1.26.26.2.25.25.20.20.1.2" xref="A2.E37.m1.25.25.1.1.1.cmml"></mi><mo id="A2.E37.m1.6.6.6.6.1.1" xref="A2.E37.m1.6.6.6.6.1.1.cmml">≍</mo><mrow id="A2.E37.m1.26.26.2.25.25.20.20.1.3"><mstyle displaystyle="true" id="A2.E37.m1.26.26.2.25.25.20.20.1.3.1"><munder id="A2.E37.m1.26.26.2.25.25.20.20.1.3.1a"><mo id="A2.E37.m1.7.7.7.7.2.2" movablelimits="false" xref="A2.E37.m1.7.7.7.7.2.2.cmml">∑</mo><mi id="A2.E37.m1.8.8.8.8.3.3.1" xref="A2.E37.m1.8.8.8.8.3.3.1.cmml">i</mi></munder></mstyle><mstyle displaystyle="true" id="A2.E37.m1.9.9.9.9.4.4" xref="A2.E37.m1.9.9.9.9.4.4.cmml"><mfrac id="A2.E37.m1.9.9.9.9.4.4a" xref="A2.E37.m1.9.9.9.9.4.4.cmml"><msubsup id="A2.E37.m1.9.9.9.9.4.4.3" xref="A2.E37.m1.9.9.9.9.4.4.3.cmml"><mi id="A2.E37.m1.9.9.9.9.4.4.3.2.2" xref="A2.E37.m1.9.9.9.9.4.4.3.2.2.cmml">λ</mi><mi id="A2.E37.m1.9.9.9.9.4.4.3.2.3" xref="A2.E37.m1.9.9.9.9.4.4.3.2.3.cmml">i</mi><mi id="A2.E37.m1.9.9.9.9.4.4.3.3" xref="A2.E37.m1.9.9.9.9.4.4.3.3.cmml">m</mi></msubsup><msup id="A2.E37.m1.9.9.9.9.4.4.1" xref="A2.E37.m1.9.9.9.9.4.4.1.cmml"><mrow id="A2.E37.m1.9.9.9.9.4.4.1.1.1" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.cmml"><mo id="A2.E37.m1.9.9.9.9.4.4.1.1.1.2" stretchy="false" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.cmml">(</mo><mrow id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.cmml"><msub id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.cmml"><mi id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.2" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.2.cmml">λ</mi><mi id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.3" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.3.cmml">i</mi></msub><mo id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.1" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.1.cmml">+</mo><mi id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.3" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A2.E37.m1.9.9.9.9.4.4.1.1.1.3" stretchy="false" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.cmml">)</mo></mrow><mi id="A2.E37.m1.9.9.9.9.4.4.1.3" xref="A2.E37.m1.9.9.9.9.4.4.1.3.cmml">m</mi></msup></mfrac></mstyle></mrow><mo id="A2.E37.m1.10.10.10.10.5.5" xref="A2.E37.m1.10.10.10.10.5.5.cmml">=</mo><mrow id="A2.E37.m1.26.26.2.25.25.20.20.1.4"><msup id="A2.E37.m1.26.26.2.25.25.20.20.1.4.2"><mi id="A2.E37.m1.11.11.11.11.6.6" xref="A2.E37.m1.11.11.11.11.6.6.cmml">κ</mi><mrow id="A2.E37.m1.12.12.12.12.7.7.1" xref="A2.E37.m1.12.12.12.12.7.7.1.cmml"><mo id="A2.E37.m1.12.12.12.12.7.7.1a" xref="A2.E37.m1.12.12.12.12.7.7.1.cmml">−</mo><mi id="A2.E37.m1.12.12.12.12.7.7.1.2" xref="A2.E37.m1.12.12.12.12.7.7.1.2.cmml">m</mi></mrow></msup><mo id="A2.E37.m1.26.26.2.25.25.20.20.1.4.1" xref="A2.E37.m1.25.25.1.1.1.cmml">⁢</mo><mrow id="A2.E37.m1.26.26.2.25.25.20.20.1.4.3"><mstyle displaystyle="true" id="A2.E37.m1.26.26.2.25.25.20.20.1.4.3.1"><munder id="A2.E37.m1.26.26.2.25.25.20.20.1.4.3.1a"><mo id="A2.E37.m1.13.13.13.13.8.8" movablelimits="false" xref="A2.E37.m1.13.13.13.13.8.8.cmml">∑</mo><mi id="A2.E37.m1.14.14.14.14.9.9.1" xref="A2.E37.m1.14.14.14.14.9.9.1.cmml">i</mi></munder></mstyle><mstyle displaystyle="true" id="A2.E37.m1.15.15.15.15.10.10" xref="A2.E37.m1.15.15.15.15.10.10.cmml"><mfrac id="A2.E37.m1.15.15.15.15.10.10a" xref="A2.E37.m1.15.15.15.15.10.10.cmml"><msubsup id="A2.E37.m1.15.15.15.15.10.10.3" xref="A2.E37.m1.15.15.15.15.10.10.3.cmml"><mi id="A2.E37.m1.15.15.15.15.10.10.3.2.2" xref="A2.E37.m1.15.15.15.15.10.10.3.2.2.cmml">λ</mi><mi id="A2.E37.m1.15.15.15.15.10.10.3.2.3" xref="A2.E37.m1.15.15.15.15.10.10.3.2.3.cmml">i</mi><mi id="A2.E37.m1.15.15.15.15.10.10.3.3" xref="A2.E37.m1.15.15.15.15.10.10.3.3.cmml">m</mi></msubsup><msup id="A2.E37.m1.15.15.15.15.10.10.1" xref="A2.E37.m1.15.15.15.15.10.10.1.cmml"><mrow id="A2.E37.m1.15.15.15.15.10.10.1.1.1" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.cmml"><mo id="A2.E37.m1.15.15.15.15.10.10.1.1.1.2" stretchy="false" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.cmml">(</mo><mrow id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.cmml"><mn id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.2" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.2.cmml">1</mn><mo id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.1" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.1.cmml">+</mo><mrow id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.cmml"><msup id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.cmml"><mi id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.2" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.2.cmml">κ</mi><mrow id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.cmml"><mo id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3a" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.cmml">−</mo><mn id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.2" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.1" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.cmml"><mi id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.2" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.3" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo id="A2.E37.m1.15.15.15.15.10.10.1.1.1.3" stretchy="false" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.cmml">)</mo></mrow><mi id="A2.E37.m1.15.15.15.15.10.10.1.3" xref="A2.E37.m1.15.15.15.15.10.10.1.3.cmml">m</mi></msup></mfrac></mstyle></mrow></mrow><mo id="A2.E37.m1.16.16.16.16.11.11" xref="A2.E37.m1.16.16.16.16.11.11.cmml">≍</mo><mrow id="A2.E37.m1.26.26.2.25.25.20.20.1.5"><msup id="A2.E37.m1.26.26.2.25.25.20.20.1.5.2"><mi id="A2.E37.m1.17.17.17.17.12.12" xref="A2.E37.m1.17.17.17.17.12.12.cmml">κ</mi><mrow id="A2.E37.m1.18.18.18.18.13.13.1" xref="A2.E37.m1.18.18.18.18.13.13.1.cmml"><mo id="A2.E37.m1.18.18.18.18.13.13.1a" xref="A2.E37.m1.18.18.18.18.13.13.1.cmml">−</mo><mi id="A2.E37.m1.18.18.18.18.13.13.1.2" xref="A2.E37.m1.18.18.18.18.13.13.1.2.cmml">m</mi></mrow></msup><mo id="A2.E37.m1.26.26.2.25.25.20.20.1.5.1" xref="A2.E37.m1.25.25.1.1.1.cmml">⁢</mo><msup id="A2.E37.m1.26.26.2.25.25.20.20.1.5.3"><mi id="A2.E37.m1.19.19.19.19.14.14" xref="A2.E37.m1.19.19.19.19.14.14.cmml">κ</mi><mrow id="A2.E37.m1.20.20.20.20.15.15.1.1" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.cmml"><mo id="A2.E37.m1.20.20.20.20.15.15.1.1.2" stretchy="false" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.cmml">(</mo><mrow id="A2.E37.m1.20.20.20.20.15.15.1.1.1" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.cmml"><mi id="A2.E37.m1.20.20.20.20.15.15.1.1.1.2" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.2.cmml">m</mi><mo id="A2.E37.m1.20.20.20.20.15.15.1.1.1.1" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.1.cmml">−</mo><mrow id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.cmml"><mn id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.2" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.2.cmml">1</mn><mo id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.1" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.1.cmml">/</mo><mi id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.3" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.E37.m1.20.20.20.20.15.15.1.1.3" stretchy="false" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.cmml">)</mo></mrow></msup></mrow><mo id="A2.E37.m1.21.21.21.21.16.16" xref="A2.E37.m1.21.21.21.21.16.16.cmml">=</mo><msup id="A2.E37.m1.26.26.2.25.25.20.20.1.6"><mi id="A2.E37.m1.22.22.22.22.17.17" xref="A2.E37.m1.22.22.22.22.17.17.cmml">κ</mi><mrow id="A2.E37.m1.23.23.23.23.18.18.1" xref="A2.E37.m1.23.23.23.23.18.18.1.cmml"><mo id="A2.E37.m1.23.23.23.23.18.18.1a" xref="A2.E37.m1.23.23.23.23.18.18.1.cmml">−</mo><mrow id="A2.E37.m1.23.23.23.23.18.18.1.2" xref="A2.E37.m1.23.23.23.23.18.18.1.2.cmml"><mn id="A2.E37.m1.23.23.23.23.18.18.1.2.2" xref="A2.E37.m1.23.23.23.23.18.18.1.2.2.cmml">1</mn><mo id="A2.E37.m1.23.23.23.23.18.18.1.2.1" xref="A2.E37.m1.23.23.23.23.18.18.1.2.1.cmml">/</mo><mi id="A2.E37.m1.23.23.23.23.18.18.1.2.3" xref="A2.E37.m1.23.23.23.23.18.18.1.2.3.cmml">β</mi></mrow></mrow></msup></mrow><mo id="A2.E37.m1.24.24.24.24.19.19" xref="A2.E37.m1.25.25.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A2.E37.m1.26b"><apply id="A2.E37.m1.25.25.1.1.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><and id="A2.E37.m1.25.25.1.1.1a.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></and><apply id="A2.E37.m1.25.25.1.1.1b.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="latexml" id="A2.E37.m1.6.6.6.6.1.1.cmml" xref="A2.E37.m1.6.6.6.6.1.1">asymptotically-equals</csymbol><apply id="A2.E37.m1.25.25.1.1.1.2.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><times id="A2.E37.m1.25.25.1.1.1.2.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></times><apply id="A2.E37.m1.25.25.1.1.1.2.2.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.2.2.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">subscript</csymbol><ci id="A2.E37.m1.1.1.1.1.1.1.cmml" xref="A2.E37.m1.1.1.1.1.1.1">df</ci><ci id="A2.E37.m1.2.2.2.2.2.2.1.cmml" xref="A2.E37.m1.2.2.2.2.2.2.1">𝑚</ci></apply><ci id="A2.E37.m1.4.4.4.4.4.4.cmml" xref="A2.E37.m1.4.4.4.4.4.4">𝜅</ci></apply><apply id="A2.E37.m1.25.25.1.1.1.4.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><apply id="A2.E37.m1.25.25.1.1.1.4.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.4.1.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">subscript</csymbol><sum id="A2.E37.m1.7.7.7.7.2.2.cmml" xref="A2.E37.m1.7.7.7.7.2.2"></sum><ci id="A2.E37.m1.8.8.8.8.3.3.1.cmml" xref="A2.E37.m1.8.8.8.8.3.3.1">𝑖</ci></apply><apply id="A2.E37.m1.9.9.9.9.4.4.cmml" xref="A2.E37.m1.9.9.9.9.4.4"><divide id="A2.E37.m1.9.9.9.9.4.4.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4"></divide><apply id="A2.E37.m1.9.9.9.9.4.4.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3"><csymbol cd="ambiguous" id="A2.E37.m1.9.9.9.9.4.4.3.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3">superscript</csymbol><apply id="A2.E37.m1.9.9.9.9.4.4.3.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3"><csymbol cd="ambiguous" id="A2.E37.m1.9.9.9.9.4.4.3.2.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3">subscript</csymbol><ci id="A2.E37.m1.9.9.9.9.4.4.3.2.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3.2.2">𝜆</ci><ci id="A2.E37.m1.9.9.9.9.4.4.3.2.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3.2.3">𝑖</ci></apply><ci id="A2.E37.m1.9.9.9.9.4.4.3.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.3.3">𝑚</ci></apply><apply id="A2.E37.m1.9.9.9.9.4.4.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1"><csymbol cd="ambiguous" id="A2.E37.m1.9.9.9.9.4.4.1.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1">superscript</csymbol><apply id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1"><plus id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.1"></plus><apply id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.1.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2">subscript</csymbol><ci id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.2.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.2">𝜆</ci><ci id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.2.3">𝑖</ci></apply><ci id="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.1.1.1.3">𝜅</ci></apply><ci id="A2.E37.m1.9.9.9.9.4.4.1.3.cmml" xref="A2.E37.m1.9.9.9.9.4.4.1.3">𝑚</ci></apply></apply></apply></apply><apply id="A2.E37.m1.25.25.1.1.1c.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><eq id="A2.E37.m1.10.10.10.10.5.5.cmml" xref="A2.E37.m1.10.10.10.10.5.5"></eq><share href="#A2.E37.m1.25.25.1.1.1.4.cmml" id="A2.E37.m1.25.25.1.1.1d.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></share><apply id="A2.E37.m1.25.25.1.1.1.6.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><times id="A2.E37.m1.25.25.1.1.1.6.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></times><apply id="A2.E37.m1.25.25.1.1.1.6.2.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.6.2.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">superscript</csymbol><ci id="A2.E37.m1.11.11.11.11.6.6.cmml" xref="A2.E37.m1.11.11.11.11.6.6">𝜅</ci><apply id="A2.E37.m1.12.12.12.12.7.7.1.cmml" xref="A2.E37.m1.12.12.12.12.7.7.1"><minus id="A2.E37.m1.12.12.12.12.7.7.1.1.cmml" xref="A2.E37.m1.12.12.12.12.7.7.1"></minus><ci id="A2.E37.m1.12.12.12.12.7.7.1.2.cmml" xref="A2.E37.m1.12.12.12.12.7.7.1.2">𝑚</ci></apply></apply><apply id="A2.E37.m1.25.25.1.1.1.6.3.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><apply id="A2.E37.m1.25.25.1.1.1.6.3.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.6.3.1.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">subscript</csymbol><sum id="A2.E37.m1.13.13.13.13.8.8.cmml" xref="A2.E37.m1.13.13.13.13.8.8"></sum><ci id="A2.E37.m1.14.14.14.14.9.9.1.cmml" xref="A2.E37.m1.14.14.14.14.9.9.1">𝑖</ci></apply><apply id="A2.E37.m1.15.15.15.15.10.10.cmml" xref="A2.E37.m1.15.15.15.15.10.10"><divide id="A2.E37.m1.15.15.15.15.10.10.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10"></divide><apply id="A2.E37.m1.15.15.15.15.10.10.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3"><csymbol cd="ambiguous" id="A2.E37.m1.15.15.15.15.10.10.3.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3">superscript</csymbol><apply id="A2.E37.m1.15.15.15.15.10.10.3.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3"><csymbol cd="ambiguous" id="A2.E37.m1.15.15.15.15.10.10.3.2.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3">subscript</csymbol><ci id="A2.E37.m1.15.15.15.15.10.10.3.2.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3.2.2">𝜆</ci><ci id="A2.E37.m1.15.15.15.15.10.10.3.2.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3.2.3">𝑖</ci></apply><ci id="A2.E37.m1.15.15.15.15.10.10.3.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.3.3">𝑚</ci></apply><apply id="A2.E37.m1.15.15.15.15.10.10.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1"><csymbol cd="ambiguous" id="A2.E37.m1.15.15.15.15.10.10.1.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1">superscript</csymbol><apply id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1"><plus id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.1"></plus><cn id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.2.cmml" type="integer" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.2">1</cn><apply id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3"><times id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.1"></times><apply id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2">superscript</csymbol><ci id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.2">𝜅</ci><apply id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3"><minus id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3"></minus><cn id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.2.cmml" type="integer" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.1.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3">subscript</csymbol><ci id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.2.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.2">𝜆</ci><ci id="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply><ci id="A2.E37.m1.15.15.15.15.10.10.1.3.cmml" xref="A2.E37.m1.15.15.15.15.10.10.1.3">𝑚</ci></apply></apply></apply></apply></apply><apply id="A2.E37.m1.25.25.1.1.1e.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="latexml" id="A2.E37.m1.16.16.16.16.11.11.cmml" xref="A2.E37.m1.16.16.16.16.11.11">asymptotically-equals</csymbol><share href="#A2.E37.m1.25.25.1.1.1.6.cmml" id="A2.E37.m1.25.25.1.1.1f.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></share><apply id="A2.E37.m1.25.25.1.1.1.8.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><times id="A2.E37.m1.25.25.1.1.1.8.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></times><apply id="A2.E37.m1.25.25.1.1.1.8.2.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.8.2.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">superscript</csymbol><ci id="A2.E37.m1.17.17.17.17.12.12.cmml" xref="A2.E37.m1.17.17.17.17.12.12">𝜅</ci><apply id="A2.E37.m1.18.18.18.18.13.13.1.cmml" xref="A2.E37.m1.18.18.18.18.13.13.1"><minus id="A2.E37.m1.18.18.18.18.13.13.1.1.cmml" xref="A2.E37.m1.18.18.18.18.13.13.1"></minus><ci id="A2.E37.m1.18.18.18.18.13.13.1.2.cmml" xref="A2.E37.m1.18.18.18.18.13.13.1.2">𝑚</ci></apply></apply><apply id="A2.E37.m1.25.25.1.1.1.8.3.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.8.3.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">superscript</csymbol><ci id="A2.E37.m1.19.19.19.19.14.14.cmml" xref="A2.E37.m1.19.19.19.19.14.14">𝜅</ci><apply id="A2.E37.m1.20.20.20.20.15.15.1.1.1.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1"><minus id="A2.E37.m1.20.20.20.20.15.15.1.1.1.1.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.1"></minus><ci id="A2.E37.m1.20.20.20.20.15.15.1.1.1.2.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.2">𝑚</ci><apply id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3"><divide id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.1.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.1"></divide><cn id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.2.cmml" type="integer" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.2">1</cn><ci id="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.3.cmml" xref="A2.E37.m1.20.20.20.20.15.15.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply><apply id="A2.E37.m1.25.25.1.1.1g.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><eq id="A2.E37.m1.21.21.21.21.16.16.cmml" xref="A2.E37.m1.21.21.21.21.16.16"></eq><share href="#A2.E37.m1.25.25.1.1.1.8.cmml" id="A2.E37.m1.25.25.1.1.1h.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"></share><apply id="A2.E37.m1.25.25.1.1.1.10.cmml" xref="A2.E37.m1.5.5.5.5.5a.6"><csymbol cd="ambiguous" id="A2.E37.m1.25.25.1.1.1.10.1.cmml" xref="A2.E37.m1.5.5.5.5.5a.6">superscript</csymbol><ci id="A2.E37.m1.22.22.22.22.17.17.cmml" xref="A2.E37.m1.22.22.22.22.17.17">𝜅</ci><apply id="A2.E37.m1.23.23.23.23.18.18.1.cmml" xref="A2.E37.m1.23.23.23.23.18.18.1"><minus id="A2.E37.m1.23.23.23.23.18.18.1.1.cmml" xref="A2.E37.m1.23.23.23.23.18.18.1"></minus><apply id="A2.E37.m1.23.23.23.23.18.18.1.2.cmml" xref="A2.E37.m1.23.23.23.23.18.18.1.2"><divide id="A2.E37.m1.23.23.23.23.18.18.1.2.1.cmml" xref="A2.E37.m1.23.23.23.23.18.18.1.2.1"></divide><cn id="A2.E37.m1.23.23.23.23.18.18.1.2.2.cmml" type="integer" xref="A2.E37.m1.23.23.23.23.18.18.1.2.2">1</cn><ci id="A2.E37.m1.23.23.23.23.18.18.1.2.3.cmml" xref="A2.E37.m1.23.23.23.23.18.18.1.2.3">𝛽</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E37.m1.26c">\displaystyle\begin{split}\mathrm{df}_{m}(\kappa)&\asymp\sum_{i}\frac{\lambda_% {i}^{m}}{(\lambda_{i}+\kappa)^{m}}=\kappa^{-m}\sum_{i}\frac{\lambda_{i}^{m}}{(% 1+\kappa^{-1}\lambda_{i})^{m}}\asymp\kappa^{-m}\kappa^{(m-1/\beta)}=\kappa^{-1% /\beta},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A2.E37.m1.26d">start_ROW start_CELL roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_κ ) end_CELL start_CELL ≍ ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG start_ARG ( italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT + italic_κ ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG = italic_κ start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG ≍ italic_κ start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT italic_κ start_POSTSUPERSCRIPT ( italic_m - 1 / italic_β ) end_POSTSUPERSCRIPT = italic_κ start_POSTSUPERSCRIPT - 1 / italic_β end_POSTSUPERSCRIPT , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(37)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS1.p1.4">where we have used Lemma <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.Thmtheorem1" title="Lemma C.1. ‣ Appendix C Technical Lemmas ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">C.1</span></a> with <math alttext="D=\kappa^{-1}" class="ltx_Math" display="inline" id="A2.SS1.p1.3.m1.1"><semantics id="A2.SS1.p1.3.m1.1a"><mrow id="A2.SS1.p1.3.m1.1.1" xref="A2.SS1.p1.3.m1.1.1.cmml"><mi id="A2.SS1.p1.3.m1.1.1.2" xref="A2.SS1.p1.3.m1.1.1.2.cmml">D</mi><mo id="A2.SS1.p1.3.m1.1.1.1" xref="A2.SS1.p1.3.m1.1.1.1.cmml">=</mo><msup id="A2.SS1.p1.3.m1.1.1.3" xref="A2.SS1.p1.3.m1.1.1.3.cmml"><mi id="A2.SS1.p1.3.m1.1.1.3.2" xref="A2.SS1.p1.3.m1.1.1.3.2.cmml">κ</mi><mrow id="A2.SS1.p1.3.m1.1.1.3.3" xref="A2.SS1.p1.3.m1.1.1.3.3.cmml"><mo id="A2.SS1.p1.3.m1.1.1.3.3a" xref="A2.SS1.p1.3.m1.1.1.3.3.cmml">−</mo><mn id="A2.SS1.p1.3.m1.1.1.3.3.2" xref="A2.SS1.p1.3.m1.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.3.m1.1b"><apply id="A2.SS1.p1.3.m1.1.1.cmml" xref="A2.SS1.p1.3.m1.1.1"><eq id="A2.SS1.p1.3.m1.1.1.1.cmml" xref="A2.SS1.p1.3.m1.1.1.1"></eq><ci id="A2.SS1.p1.3.m1.1.1.2.cmml" xref="A2.SS1.p1.3.m1.1.1.2">𝐷</ci><apply id="A2.SS1.p1.3.m1.1.1.3.cmml" xref="A2.SS1.p1.3.m1.1.1.3"><csymbol cd="ambiguous" id="A2.SS1.p1.3.m1.1.1.3.1.cmml" xref="A2.SS1.p1.3.m1.1.1.3">superscript</csymbol><ci id="A2.SS1.p1.3.m1.1.1.3.2.cmml" xref="A2.SS1.p1.3.m1.1.1.3.2">𝜅</ci><apply id="A2.SS1.p1.3.m1.1.1.3.3.cmml" xref="A2.SS1.p1.3.m1.1.1.3.3"><minus id="A2.SS1.p1.3.m1.1.1.3.3.1.cmml" xref="A2.SS1.p1.3.m1.1.1.3.3"></minus><cn id="A2.SS1.p1.3.m1.1.1.3.3.2.cmml" type="integer" xref="A2.SS1.p1.3.m1.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.3.m1.1c">D=\kappa^{-1}</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.3.m1.1d">italic_D = italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math> and <math alttext="n=m" class="ltx_Math" display="inline" id="A2.SS1.p1.4.m2.1"><semantics id="A2.SS1.p1.4.m2.1a"><mrow id="A2.SS1.p1.4.m2.1.1" xref="A2.SS1.p1.4.m2.1.1.cmml"><mi id="A2.SS1.p1.4.m2.1.1.2" xref="A2.SS1.p1.4.m2.1.1.2.cmml">n</mi><mo id="A2.SS1.p1.4.m2.1.1.1" xref="A2.SS1.p1.4.m2.1.1.1.cmml">=</mo><mi id="A2.SS1.p1.4.m2.1.1.3" xref="A2.SS1.p1.4.m2.1.1.3.cmml">m</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.4.m2.1b"><apply id="A2.SS1.p1.4.m2.1.1.cmml" xref="A2.SS1.p1.4.m2.1.1"><eq id="A2.SS1.p1.4.m2.1.1.1.cmml" xref="A2.SS1.p1.4.m2.1.1.1"></eq><ci id="A2.SS1.p1.4.m2.1.1.2.cmml" xref="A2.SS1.p1.4.m2.1.1.2">𝑛</ci><ci id="A2.SS1.p1.4.m2.1.1.3.cmml" xref="A2.SS1.p1.4.m2.1.1.3">𝑚</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.4.m2.1c">n=m</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.4.m2.1d">italic_n = italic_m</annotation></semantics></math> in the last step. On the other hand, we can use some the results of Appendix A (Section 3) of <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> to do the following. It can be shown (see aforementioned paper) that</p> <ul class="ltx_itemize" id="A2.I1"> <li class="ltx_item" id="A2.I1.i1" style="list-style-type:none;"> <span class="ltx_tag ltx_tag_item">•</span> <div class="ltx_para" id="A2.I1.i1.p1"> <p class="ltx_p" id="A2.I1.i1.p1.4">If <math alttext="\ell>\beta" class="ltx_Math" display="inline" id="A2.I1.i1.p1.1.m1.1"><semantics id="A2.I1.i1.p1.1.m1.1a"><mrow id="A2.I1.i1.p1.1.m1.1.1" xref="A2.I1.i1.p1.1.m1.1.1.cmml"><mi id="A2.I1.i1.p1.1.m1.1.1.2" mathvariant="normal" xref="A2.I1.i1.p1.1.m1.1.1.2.cmml">ℓ</mi><mo id="A2.I1.i1.p1.1.m1.1.1.1" xref="A2.I1.i1.p1.1.m1.1.1.1.cmml">></mo><mi id="A2.I1.i1.p1.1.m1.1.1.3" xref="A2.I1.i1.p1.1.m1.1.1.3.cmml">β</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i1.p1.1.m1.1b"><apply id="A2.I1.i1.p1.1.m1.1.1.cmml" xref="A2.I1.i1.p1.1.m1.1.1"><gt id="A2.I1.i1.p1.1.m1.1.1.1.cmml" xref="A2.I1.i1.p1.1.m1.1.1.1"></gt><ci id="A2.I1.i1.p1.1.m1.1.1.2.cmml" xref="A2.I1.i1.p1.1.m1.1.1.2">ℓ</ci><ci id="A2.I1.i1.p1.1.m1.1.1.3.cmml" xref="A2.I1.i1.p1.1.m1.1.1.3">𝛽</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i1.p1.1.m1.1c">\ell>\beta</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i1.p1.1.m1.1d">roman_ℓ > italic_β</annotation></semantics></math>, then <math alttext="\kappa\asymp T^{-\beta}" class="ltx_Math" display="inline" id="A2.I1.i1.p1.2.m2.1"><semantics id="A2.I1.i1.p1.2.m2.1a"><mrow id="A2.I1.i1.p1.2.m2.1.1" xref="A2.I1.i1.p1.2.m2.1.1.cmml"><mi id="A2.I1.i1.p1.2.m2.1.1.2" xref="A2.I1.i1.p1.2.m2.1.1.2.cmml">κ</mi><mo id="A2.I1.i1.p1.2.m2.1.1.1" xref="A2.I1.i1.p1.2.m2.1.1.1.cmml">≍</mo><msup id="A2.I1.i1.p1.2.m2.1.1.3" xref="A2.I1.i1.p1.2.m2.1.1.3.cmml"><mi id="A2.I1.i1.p1.2.m2.1.1.3.2" xref="A2.I1.i1.p1.2.m2.1.1.3.2.cmml">T</mi><mrow id="A2.I1.i1.p1.2.m2.1.1.3.3" xref="A2.I1.i1.p1.2.m2.1.1.3.3.cmml"><mo id="A2.I1.i1.p1.2.m2.1.1.3.3a" xref="A2.I1.i1.p1.2.m2.1.1.3.3.cmml">−</mo><mi id="A2.I1.i1.p1.2.m2.1.1.3.3.2" xref="A2.I1.i1.p1.2.m2.1.1.3.3.2.cmml">β</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i1.p1.2.m2.1b"><apply id="A2.I1.i1.p1.2.m2.1.1.cmml" xref="A2.I1.i1.p1.2.m2.1.1"><csymbol cd="latexml" id="A2.I1.i1.p1.2.m2.1.1.1.cmml" xref="A2.I1.i1.p1.2.m2.1.1.1">asymptotically-equals</csymbol><ci id="A2.I1.i1.p1.2.m2.1.1.2.cmml" xref="A2.I1.i1.p1.2.m2.1.1.2">𝜅</ci><apply id="A2.I1.i1.p1.2.m2.1.1.3.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3"><csymbol cd="ambiguous" id="A2.I1.i1.p1.2.m2.1.1.3.1.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3">superscript</csymbol><ci id="A2.I1.i1.p1.2.m2.1.1.3.2.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3.2">𝑇</ci><apply id="A2.I1.i1.p1.2.m2.1.1.3.3.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3.3"><minus id="A2.I1.i1.p1.2.m2.1.1.3.3.1.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3.3"></minus><ci id="A2.I1.i1.p1.2.m2.1.1.3.3.2.cmml" xref="A2.I1.i1.p1.2.m2.1.1.3.3.2">𝛽</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i1.p1.2.m2.1c">\kappa\asymp T^{-\beta}</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i1.p1.2.m2.1d">italic_κ ≍ italic_T start_POSTSUPERSCRIPT - italic_β end_POSTSUPERSCRIPT</annotation></semantics></math>, and so <math alttext="\mathrm{df}_{m}(\kappa)\asymp T" class="ltx_Math" display="inline" id="A2.I1.i1.p1.3.m3.1"><semantics id="A2.I1.i1.p1.3.m3.1a"><mrow id="A2.I1.i1.p1.3.m3.1.2" xref="A2.I1.i1.p1.3.m3.1.2.cmml"><mrow id="A2.I1.i1.p1.3.m3.1.2.2" xref="A2.I1.i1.p1.3.m3.1.2.2.cmml"><msub id="A2.I1.i1.p1.3.m3.1.2.2.2" xref="A2.I1.i1.p1.3.m3.1.2.2.2.cmml"><mi id="A2.I1.i1.p1.3.m3.1.2.2.2.2" xref="A2.I1.i1.p1.3.m3.1.2.2.2.2.cmml">df</mi><mi id="A2.I1.i1.p1.3.m3.1.2.2.2.3" xref="A2.I1.i1.p1.3.m3.1.2.2.2.3.cmml">m</mi></msub><mo id="A2.I1.i1.p1.3.m3.1.2.2.1" xref="A2.I1.i1.p1.3.m3.1.2.2.1.cmml">⁢</mo><mrow id="A2.I1.i1.p1.3.m3.1.2.2.3.2" xref="A2.I1.i1.p1.3.m3.1.2.2.cmml"><mo id="A2.I1.i1.p1.3.m3.1.2.2.3.2.1" stretchy="false" xref="A2.I1.i1.p1.3.m3.1.2.2.cmml">(</mo><mi id="A2.I1.i1.p1.3.m3.1.1" xref="A2.I1.i1.p1.3.m3.1.1.cmml">κ</mi><mo id="A2.I1.i1.p1.3.m3.1.2.2.3.2.2" stretchy="false" xref="A2.I1.i1.p1.3.m3.1.2.2.cmml">)</mo></mrow></mrow><mo id="A2.I1.i1.p1.3.m3.1.2.1" xref="A2.I1.i1.p1.3.m3.1.2.1.cmml">≍</mo><mi id="A2.I1.i1.p1.3.m3.1.2.3" xref="A2.I1.i1.p1.3.m3.1.2.3.cmml">T</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i1.p1.3.m3.1b"><apply id="A2.I1.i1.p1.3.m3.1.2.cmml" xref="A2.I1.i1.p1.3.m3.1.2"><csymbol cd="latexml" id="A2.I1.i1.p1.3.m3.1.2.1.cmml" xref="A2.I1.i1.p1.3.m3.1.2.1">asymptotically-equals</csymbol><apply id="A2.I1.i1.p1.3.m3.1.2.2.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2"><times id="A2.I1.i1.p1.3.m3.1.2.2.1.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2.1"></times><apply id="A2.I1.i1.p1.3.m3.1.2.2.2.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2.2"><csymbol cd="ambiguous" id="A2.I1.i1.p1.3.m3.1.2.2.2.1.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2.2">subscript</csymbol><ci id="A2.I1.i1.p1.3.m3.1.2.2.2.2.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2.2.2">df</ci><ci id="A2.I1.i1.p1.3.m3.1.2.2.2.3.cmml" xref="A2.I1.i1.p1.3.m3.1.2.2.2.3">𝑚</ci></apply><ci id="A2.I1.i1.p1.3.m3.1.1.cmml" xref="A2.I1.i1.p1.3.m3.1.1">𝜅</ci></apply><ci id="A2.I1.i1.p1.3.m3.1.2.3.cmml" xref="A2.I1.i1.p1.3.m3.1.2.3">𝑇</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i1.p1.3.m3.1c">\mathrm{df}_{m}(\kappa)\asymp T</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i1.p1.3.m3.1d">roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_κ ) ≍ italic_T</annotation></semantics></math> for all <math alttext="m\geq 1" class="ltx_Math" display="inline" id="A2.I1.i1.p1.4.m4.1"><semantics id="A2.I1.i1.p1.4.m4.1a"><mrow id="A2.I1.i1.p1.4.m4.1.1" xref="A2.I1.i1.p1.4.m4.1.1.cmml"><mi id="A2.I1.i1.p1.4.m4.1.1.2" xref="A2.I1.i1.p1.4.m4.1.1.2.cmml">m</mi><mo id="A2.I1.i1.p1.4.m4.1.1.1" xref="A2.I1.i1.p1.4.m4.1.1.1.cmml">≥</mo><mn id="A2.I1.i1.p1.4.m4.1.1.3" xref="A2.I1.i1.p1.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i1.p1.4.m4.1b"><apply id="A2.I1.i1.p1.4.m4.1.1.cmml" xref="A2.I1.i1.p1.4.m4.1.1"><geq id="A2.I1.i1.p1.4.m4.1.1.1.cmml" xref="A2.I1.i1.p1.4.m4.1.1.1"></geq><ci id="A2.I1.i1.p1.4.m4.1.1.2.cmml" xref="A2.I1.i1.p1.4.m4.1.1.2">𝑚</ci><cn id="A2.I1.i1.p1.4.m4.1.1.3.cmml" type="integer" xref="A2.I1.i1.p1.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i1.p1.4.m4.1c">m\geq 1</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i1.p1.4.m4.1d">italic_m ≥ 1</annotation></semantics></math>.</p> </div> </li> <li class="ltx_item" id="A2.I1.i2" style="list-style-type:none;"> <span class="ltx_tag ltx_tag_item">•</span> <div class="ltx_para" id="A2.I1.i2.p1"> <p class="ltx_p" id="A2.I1.i2.p1.4">If <math alttext="\ell<\beta" class="ltx_Math" display="inline" id="A2.I1.i2.p1.1.m1.1"><semantics id="A2.I1.i2.p1.1.m1.1a"><mrow id="A2.I1.i2.p1.1.m1.1.1" xref="A2.I1.i2.p1.1.m1.1.1.cmml"><mi id="A2.I1.i2.p1.1.m1.1.1.2" mathvariant="normal" xref="A2.I1.i2.p1.1.m1.1.1.2.cmml">ℓ</mi><mo id="A2.I1.i2.p1.1.m1.1.1.1" xref="A2.I1.i2.p1.1.m1.1.1.1.cmml"><</mo><mi id="A2.I1.i2.p1.1.m1.1.1.3" xref="A2.I1.i2.p1.1.m1.1.1.3.cmml">β</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i2.p1.1.m1.1b"><apply id="A2.I1.i2.p1.1.m1.1.1.cmml" xref="A2.I1.i2.p1.1.m1.1.1"><lt id="A2.I1.i2.p1.1.m1.1.1.1.cmml" xref="A2.I1.i2.p1.1.m1.1.1.1"></lt><ci id="A2.I1.i2.p1.1.m1.1.1.2.cmml" xref="A2.I1.i2.p1.1.m1.1.1.2">ℓ</ci><ci id="A2.I1.i2.p1.1.m1.1.1.3.cmml" xref="A2.I1.i2.p1.1.m1.1.1.3">𝛽</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i2.p1.1.m1.1c">\ell<\beta</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i2.p1.1.m1.1d">roman_ℓ < italic_β</annotation></semantics></math>, then <math alttext="\kappa\asymp\lambda\asymp T^{-\ell}" class="ltx_Math" display="inline" id="A2.I1.i2.p1.2.m2.1"><semantics id="A2.I1.i2.p1.2.m2.1a"><mrow id="A2.I1.i2.p1.2.m2.1.1" xref="A2.I1.i2.p1.2.m2.1.1.cmml"><mi id="A2.I1.i2.p1.2.m2.1.1.2" xref="A2.I1.i2.p1.2.m2.1.1.2.cmml">κ</mi><mo id="A2.I1.i2.p1.2.m2.1.1.3" xref="A2.I1.i2.p1.2.m2.1.1.3.cmml">≍</mo><mi id="A2.I1.i2.p1.2.m2.1.1.4" xref="A2.I1.i2.p1.2.m2.1.1.4.cmml">λ</mi><mo id="A2.I1.i2.p1.2.m2.1.1.5" xref="A2.I1.i2.p1.2.m2.1.1.5.cmml">≍</mo><msup id="A2.I1.i2.p1.2.m2.1.1.6" xref="A2.I1.i2.p1.2.m2.1.1.6.cmml"><mi id="A2.I1.i2.p1.2.m2.1.1.6.2" xref="A2.I1.i2.p1.2.m2.1.1.6.2.cmml">T</mi><mrow id="A2.I1.i2.p1.2.m2.1.1.6.3" xref="A2.I1.i2.p1.2.m2.1.1.6.3.cmml"><mo id="A2.I1.i2.p1.2.m2.1.1.6.3a" xref="A2.I1.i2.p1.2.m2.1.1.6.3.cmml">−</mo><mi id="A2.I1.i2.p1.2.m2.1.1.6.3.2" mathvariant="normal" xref="A2.I1.i2.p1.2.m2.1.1.6.3.2.cmml">ℓ</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i2.p1.2.m2.1b"><apply id="A2.I1.i2.p1.2.m2.1.1.cmml" xref="A2.I1.i2.p1.2.m2.1.1"><and id="A2.I1.i2.p1.2.m2.1.1a.cmml" xref="A2.I1.i2.p1.2.m2.1.1"></and><apply id="A2.I1.i2.p1.2.m2.1.1b.cmml" xref="A2.I1.i2.p1.2.m2.1.1"><csymbol cd="latexml" id="A2.I1.i2.p1.2.m2.1.1.3.cmml" xref="A2.I1.i2.p1.2.m2.1.1.3">asymptotically-equals</csymbol><ci id="A2.I1.i2.p1.2.m2.1.1.2.cmml" xref="A2.I1.i2.p1.2.m2.1.1.2">𝜅</ci><ci id="A2.I1.i2.p1.2.m2.1.1.4.cmml" xref="A2.I1.i2.p1.2.m2.1.1.4">𝜆</ci></apply><apply id="A2.I1.i2.p1.2.m2.1.1c.cmml" xref="A2.I1.i2.p1.2.m2.1.1"><csymbol cd="latexml" id="A2.I1.i2.p1.2.m2.1.1.5.cmml" xref="A2.I1.i2.p1.2.m2.1.1.5">asymptotically-equals</csymbol><share href="#A2.I1.i2.p1.2.m2.1.1.4.cmml" id="A2.I1.i2.p1.2.m2.1.1d.cmml" xref="A2.I1.i2.p1.2.m2.1.1"></share><apply id="A2.I1.i2.p1.2.m2.1.1.6.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6"><csymbol cd="ambiguous" id="A2.I1.i2.p1.2.m2.1.1.6.1.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6">superscript</csymbol><ci id="A2.I1.i2.p1.2.m2.1.1.6.2.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6.2">𝑇</ci><apply id="A2.I1.i2.p1.2.m2.1.1.6.3.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6.3"><minus id="A2.I1.i2.p1.2.m2.1.1.6.3.1.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6.3"></minus><ci id="A2.I1.i2.p1.2.m2.1.1.6.3.2.cmml" xref="A2.I1.i2.p1.2.m2.1.1.6.3.2">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i2.p1.2.m2.1c">\kappa\asymp\lambda\asymp T^{-\ell}</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i2.p1.2.m2.1d">italic_κ ≍ italic_λ ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ end_POSTSUPERSCRIPT</annotation></semantics></math>, and so <math alttext="\mathrm{df}_{m}(\kappa)\asymp T^{\ell/\beta}=o(T)" class="ltx_Math" display="inline" id="A2.I1.i2.p1.3.m3.2"><semantics id="A2.I1.i2.p1.3.m3.2a"><mrow id="A2.I1.i2.p1.3.m3.2.3" xref="A2.I1.i2.p1.3.m3.2.3.cmml"><mrow id="A2.I1.i2.p1.3.m3.2.3.2" xref="A2.I1.i2.p1.3.m3.2.3.2.cmml"><msub id="A2.I1.i2.p1.3.m3.2.3.2.2" xref="A2.I1.i2.p1.3.m3.2.3.2.2.cmml"><mi id="A2.I1.i2.p1.3.m3.2.3.2.2.2" xref="A2.I1.i2.p1.3.m3.2.3.2.2.2.cmml">df</mi><mi id="A2.I1.i2.p1.3.m3.2.3.2.2.3" xref="A2.I1.i2.p1.3.m3.2.3.2.2.3.cmml">m</mi></msub><mo id="A2.I1.i2.p1.3.m3.2.3.2.1" xref="A2.I1.i2.p1.3.m3.2.3.2.1.cmml">⁢</mo><mrow id="A2.I1.i2.p1.3.m3.2.3.2.3.2" xref="A2.I1.i2.p1.3.m3.2.3.2.cmml"><mo id="A2.I1.i2.p1.3.m3.2.3.2.3.2.1" stretchy="false" xref="A2.I1.i2.p1.3.m3.2.3.2.cmml">(</mo><mi id="A2.I1.i2.p1.3.m3.1.1" xref="A2.I1.i2.p1.3.m3.1.1.cmml">κ</mi><mo id="A2.I1.i2.p1.3.m3.2.3.2.3.2.2" stretchy="false" xref="A2.I1.i2.p1.3.m3.2.3.2.cmml">)</mo></mrow></mrow><mo id="A2.I1.i2.p1.3.m3.2.3.3" xref="A2.I1.i2.p1.3.m3.2.3.3.cmml">≍</mo><msup id="A2.I1.i2.p1.3.m3.2.3.4" xref="A2.I1.i2.p1.3.m3.2.3.4.cmml"><mi id="A2.I1.i2.p1.3.m3.2.3.4.2" xref="A2.I1.i2.p1.3.m3.2.3.4.2.cmml">T</mi><mrow id="A2.I1.i2.p1.3.m3.2.3.4.3" xref="A2.I1.i2.p1.3.m3.2.3.4.3.cmml"><mi id="A2.I1.i2.p1.3.m3.2.3.4.3.2" mathvariant="normal" xref="A2.I1.i2.p1.3.m3.2.3.4.3.2.cmml">ℓ</mi><mo id="A2.I1.i2.p1.3.m3.2.3.4.3.1" xref="A2.I1.i2.p1.3.m3.2.3.4.3.1.cmml">/</mo><mi id="A2.I1.i2.p1.3.m3.2.3.4.3.3" xref="A2.I1.i2.p1.3.m3.2.3.4.3.3.cmml">β</mi></mrow></msup><mo id="A2.I1.i2.p1.3.m3.2.3.5" xref="A2.I1.i2.p1.3.m3.2.3.5.cmml">=</mo><mrow id="A2.I1.i2.p1.3.m3.2.3.6" xref="A2.I1.i2.p1.3.m3.2.3.6.cmml"><mi id="A2.I1.i2.p1.3.m3.2.3.6.2" xref="A2.I1.i2.p1.3.m3.2.3.6.2.cmml">o</mi><mo id="A2.I1.i2.p1.3.m3.2.3.6.1" xref="A2.I1.i2.p1.3.m3.2.3.6.1.cmml">⁢</mo><mrow id="A2.I1.i2.p1.3.m3.2.3.6.3.2" xref="A2.I1.i2.p1.3.m3.2.3.6.cmml"><mo id="A2.I1.i2.p1.3.m3.2.3.6.3.2.1" stretchy="false" xref="A2.I1.i2.p1.3.m3.2.3.6.cmml">(</mo><mi id="A2.I1.i2.p1.3.m3.2.2" xref="A2.I1.i2.p1.3.m3.2.2.cmml">T</mi><mo id="A2.I1.i2.p1.3.m3.2.3.6.3.2.2" stretchy="false" xref="A2.I1.i2.p1.3.m3.2.3.6.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i2.p1.3.m3.2b"><apply id="A2.I1.i2.p1.3.m3.2.3.cmml" xref="A2.I1.i2.p1.3.m3.2.3"><and id="A2.I1.i2.p1.3.m3.2.3a.cmml" xref="A2.I1.i2.p1.3.m3.2.3"></and><apply id="A2.I1.i2.p1.3.m3.2.3b.cmml" xref="A2.I1.i2.p1.3.m3.2.3"><csymbol cd="latexml" id="A2.I1.i2.p1.3.m3.2.3.3.cmml" xref="A2.I1.i2.p1.3.m3.2.3.3">asymptotically-equals</csymbol><apply id="A2.I1.i2.p1.3.m3.2.3.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2"><times id="A2.I1.i2.p1.3.m3.2.3.2.1.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2.1"></times><apply id="A2.I1.i2.p1.3.m3.2.3.2.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2.2"><csymbol cd="ambiguous" id="A2.I1.i2.p1.3.m3.2.3.2.2.1.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2.2">subscript</csymbol><ci id="A2.I1.i2.p1.3.m3.2.3.2.2.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2.2.2">df</ci><ci id="A2.I1.i2.p1.3.m3.2.3.2.2.3.cmml" xref="A2.I1.i2.p1.3.m3.2.3.2.2.3">𝑚</ci></apply><ci id="A2.I1.i2.p1.3.m3.1.1.cmml" xref="A2.I1.i2.p1.3.m3.1.1">𝜅</ci></apply><apply id="A2.I1.i2.p1.3.m3.2.3.4.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4"><csymbol cd="ambiguous" id="A2.I1.i2.p1.3.m3.2.3.4.1.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4">superscript</csymbol><ci id="A2.I1.i2.p1.3.m3.2.3.4.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4.2">𝑇</ci><apply id="A2.I1.i2.p1.3.m3.2.3.4.3.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4.3"><divide id="A2.I1.i2.p1.3.m3.2.3.4.3.1.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4.3.1"></divide><ci id="A2.I1.i2.p1.3.m3.2.3.4.3.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4.3.2">ℓ</ci><ci id="A2.I1.i2.p1.3.m3.2.3.4.3.3.cmml" xref="A2.I1.i2.p1.3.m3.2.3.4.3.3">𝛽</ci></apply></apply></apply><apply id="A2.I1.i2.p1.3.m3.2.3c.cmml" xref="A2.I1.i2.p1.3.m3.2.3"><eq id="A2.I1.i2.p1.3.m3.2.3.5.cmml" xref="A2.I1.i2.p1.3.m3.2.3.5"></eq><share href="#A2.I1.i2.p1.3.m3.2.3.4.cmml" id="A2.I1.i2.p1.3.m3.2.3d.cmml" xref="A2.I1.i2.p1.3.m3.2.3"></share><apply id="A2.I1.i2.p1.3.m3.2.3.6.cmml" xref="A2.I1.i2.p1.3.m3.2.3.6"><times id="A2.I1.i2.p1.3.m3.2.3.6.1.cmml" xref="A2.I1.i2.p1.3.m3.2.3.6.1"></times><ci id="A2.I1.i2.p1.3.m3.2.3.6.2.cmml" xref="A2.I1.i2.p1.3.m3.2.3.6.2">𝑜</ci><ci id="A2.I1.i2.p1.3.m3.2.2.cmml" xref="A2.I1.i2.p1.3.m3.2.2">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i2.p1.3.m3.2c">\mathrm{df}_{m}(\kappa)\asymp T^{\ell/\beta}=o(T)</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i2.p1.3.m3.2d">roman_df start_POSTSUBSCRIPT italic_m end_POSTSUBSCRIPT ( italic_κ ) ≍ italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT = italic_o ( italic_T )</annotation></semantics></math> for all <math alttext="m\geq 1" class="ltx_Math" display="inline" id="A2.I1.i2.p1.4.m4.1"><semantics id="A2.I1.i2.p1.4.m4.1a"><mrow id="A2.I1.i2.p1.4.m4.1.1" xref="A2.I1.i2.p1.4.m4.1.1.cmml"><mi id="A2.I1.i2.p1.4.m4.1.1.2" xref="A2.I1.i2.p1.4.m4.1.1.2.cmml">m</mi><mo id="A2.I1.i2.p1.4.m4.1.1.1" xref="A2.I1.i2.p1.4.m4.1.1.1.cmml">≥</mo><mn id="A2.I1.i2.p1.4.m4.1.1.3" xref="A2.I1.i2.p1.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.I1.i2.p1.4.m4.1b"><apply id="A2.I1.i2.p1.4.m4.1.1.cmml" xref="A2.I1.i2.p1.4.m4.1.1"><geq id="A2.I1.i2.p1.4.m4.1.1.1.cmml" xref="A2.I1.i2.p1.4.m4.1.1.1"></geq><ci id="A2.I1.i2.p1.4.m4.1.1.2.cmml" xref="A2.I1.i2.p1.4.m4.1.1.2">𝑚</ci><cn id="A2.I1.i2.p1.4.m4.1.1.3.cmml" type="integer" xref="A2.I1.i2.p1.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.I1.i2.p1.4.m4.1c">m\geq 1</annotation><annotation encoding="application/x-llamapun" id="A2.I1.i2.p1.4.m4.1d">italic_m ≥ 1</annotation></semantics></math>.</p> </div> </li> </ul> <p class="ltx_p" id="A2.SS1.p1.5">For <math alttext="\ell<\beta" class="ltx_Math" display="inline" id="A2.SS1.p1.5.m1.1"><semantics id="A2.SS1.p1.5.m1.1a"><mrow id="A2.SS1.p1.5.m1.1.1" xref="A2.SS1.p1.5.m1.1.1.cmml"><mi id="A2.SS1.p1.5.m1.1.1.2" mathvariant="normal" xref="A2.SS1.p1.5.m1.1.1.2.cmml">ℓ</mi><mo id="A2.SS1.p1.5.m1.1.1.1" xref="A2.SS1.p1.5.m1.1.1.1.cmml"><</mo><mi id="A2.SS1.p1.5.m1.1.1.3" xref="A2.SS1.p1.5.m1.1.1.3.cmml">β</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.5.m1.1b"><apply id="A2.SS1.p1.5.m1.1.1.cmml" xref="A2.SS1.p1.5.m1.1.1"><lt id="A2.SS1.p1.5.m1.1.1.1.cmml" xref="A2.SS1.p1.5.m1.1.1.1"></lt><ci id="A2.SS1.p1.5.m1.1.1.2.cmml" xref="A2.SS1.p1.5.m1.1.1.2">ℓ</ci><ci id="A2.SS1.p1.5.m1.1.1.3.cmml" xref="A2.SS1.p1.5.m1.1.1.3">𝛽</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.5.m1.1c">\ell<\beta</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.5.m1.1d">roman_ℓ < italic_β</annotation></semantics></math>, plugging this into (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.E20" title="20 ‣ Theorem 4.5. ‣ 4.4 Main Result II: Analytic Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">20</span></a>) gives</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx41"> <tbody id="A2.E38"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\rho&\asymp\frac{T^{\ell/\beta}}{T_{0}-d}+\frac{d}{T% _{0}-d}\frac{T^{\ell/\beta}}{T-T^{\ell/\beta}}\asymp T_{0}^{-1}T^{\ell/\beta}+% \frac{\phi_{0}}{1-\phi_{0}}T^{-(1-\ell/\beta)}\\ &\asymp\frac{1}{1-\phi_{0}}\max\left(T/T_{0},\phi_{0}\right)T^{-(1-\ell/\beta)% },\end{split}" class="ltx_Math" display="inline" id="A2.E38.m1.33"><semantics id="A2.E38.m1.33a"><mtable columnspacing="0pt" id="A2.E38.m1.33.33.2" rowspacing="0pt"><mtr id="A2.E38.m1.33.33.2a"><mtd class="ltx_align_right" columnalign="right" id="A2.E38.m1.33.33.2b"><mi id="A2.E38.m1.1.1.1.1.1.1" xref="A2.E38.m1.1.1.1.1.1.1.cmml">ρ</mi></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E38.m1.33.33.2c"><mrow id="A2.E38.m1.16.16.16.16.15a"><mi id="A2.E38.m1.16.16.16.16.15a.17" xref="A2.E38.m1.32.32.1.1.1.cmml"></mi><mo id="A2.E38.m1.2.2.2.2.1.1" xref="A2.E38.m1.2.2.2.2.1.1.cmml">≍</mo><mrow id="A2.E38.m1.16.16.16.16.15a.18"><mstyle displaystyle="true" id="A2.E38.m1.3.3.3.3.2.2" xref="A2.E38.m1.3.3.3.3.2.2.cmml"><mfrac id="A2.E38.m1.3.3.3.3.2.2a" xref="A2.E38.m1.3.3.3.3.2.2.cmml"><msup id="A2.E38.m1.3.3.3.3.2.2.2" xref="A2.E38.m1.3.3.3.3.2.2.2.cmml"><mi id="A2.E38.m1.3.3.3.3.2.2.2.2" xref="A2.E38.m1.3.3.3.3.2.2.2.2.cmml">T</mi><mrow id="A2.E38.m1.3.3.3.3.2.2.2.3" xref="A2.E38.m1.3.3.3.3.2.2.2.3.cmml"><mi id="A2.E38.m1.3.3.3.3.2.2.2.3.2" mathvariant="normal" xref="A2.E38.m1.3.3.3.3.2.2.2.3.2.cmml">ℓ</mi><mo id="A2.E38.m1.3.3.3.3.2.2.2.3.1" xref="A2.E38.m1.3.3.3.3.2.2.2.3.1.cmml">/</mo><mi id="A2.E38.m1.3.3.3.3.2.2.2.3.3" xref="A2.E38.m1.3.3.3.3.2.2.2.3.3.cmml">β</mi></mrow></msup><mrow id="A2.E38.m1.3.3.3.3.2.2.3" xref="A2.E38.m1.3.3.3.3.2.2.3.cmml"><msub id="A2.E38.m1.3.3.3.3.2.2.3.2" xref="A2.E38.m1.3.3.3.3.2.2.3.2.cmml"><mi id="A2.E38.m1.3.3.3.3.2.2.3.2.2" xref="A2.E38.m1.3.3.3.3.2.2.3.2.2.cmml">T</mi><mn id="A2.E38.m1.3.3.3.3.2.2.3.2.3" xref="A2.E38.m1.3.3.3.3.2.2.3.2.3.cmml">0</mn></msub><mo id="A2.E38.m1.3.3.3.3.2.2.3.1" xref="A2.E38.m1.3.3.3.3.2.2.3.1.cmml">−</mo><mi id="A2.E38.m1.3.3.3.3.2.2.3.3" xref="A2.E38.m1.3.3.3.3.2.2.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A2.E38.m1.4.4.4.4.3.3" xref="A2.E38.m1.4.4.4.4.3.3.cmml">+</mo><mrow id="A2.E38.m1.16.16.16.16.15a.18.1"><mstyle displaystyle="true" id="A2.E38.m1.5.5.5.5.4.4" xref="A2.E38.m1.5.5.5.5.4.4.cmml"><mfrac id="A2.E38.m1.5.5.5.5.4.4a" xref="A2.E38.m1.5.5.5.5.4.4.cmml"><mi id="A2.E38.m1.5.5.5.5.4.4.2" xref="A2.E38.m1.5.5.5.5.4.4.2.cmml">d</mi><mrow id="A2.E38.m1.5.5.5.5.4.4.3" xref="A2.E38.m1.5.5.5.5.4.4.3.cmml"><msub id="A2.E38.m1.5.5.5.5.4.4.3.2" xref="A2.E38.m1.5.5.5.5.4.4.3.2.cmml"><mi id="A2.E38.m1.5.5.5.5.4.4.3.2.2" xref="A2.E38.m1.5.5.5.5.4.4.3.2.2.cmml">T</mi><mn id="A2.E38.m1.5.5.5.5.4.4.3.2.3" xref="A2.E38.m1.5.5.5.5.4.4.3.2.3.cmml">0</mn></msub><mo id="A2.E38.m1.5.5.5.5.4.4.3.1" xref="A2.E38.m1.5.5.5.5.4.4.3.1.cmml">−</mo><mi id="A2.E38.m1.5.5.5.5.4.4.3.3" xref="A2.E38.m1.5.5.5.5.4.4.3.3.cmml">d</mi></mrow></mfrac></mstyle><mo id="A2.E38.m1.16.16.16.16.15a.18.1.1" xref="A2.E38.m1.32.32.1.1.1.cmml">⁢</mo><mstyle displaystyle="true" id="A2.E38.m1.6.6.6.6.5.5" xref="A2.E38.m1.6.6.6.6.5.5.cmml"><mfrac id="A2.E38.m1.6.6.6.6.5.5a" xref="A2.E38.m1.6.6.6.6.5.5.cmml"><msup id="A2.E38.m1.6.6.6.6.5.5.2" xref="A2.E38.m1.6.6.6.6.5.5.2.cmml"><mi id="A2.E38.m1.6.6.6.6.5.5.2.2" xref="A2.E38.m1.6.6.6.6.5.5.2.2.cmml">T</mi><mrow id="A2.E38.m1.6.6.6.6.5.5.2.3" xref="A2.E38.m1.6.6.6.6.5.5.2.3.cmml"><mi id="A2.E38.m1.6.6.6.6.5.5.2.3.2" mathvariant="normal" xref="A2.E38.m1.6.6.6.6.5.5.2.3.2.cmml">ℓ</mi><mo id="A2.E38.m1.6.6.6.6.5.5.2.3.1" xref="A2.E38.m1.6.6.6.6.5.5.2.3.1.cmml">/</mo><mi id="A2.E38.m1.6.6.6.6.5.5.2.3.3" xref="A2.E38.m1.6.6.6.6.5.5.2.3.3.cmml">β</mi></mrow></msup><mrow id="A2.E38.m1.6.6.6.6.5.5.3" xref="A2.E38.m1.6.6.6.6.5.5.3.cmml"><mi id="A2.E38.m1.6.6.6.6.5.5.3.2" xref="A2.E38.m1.6.6.6.6.5.5.3.2.cmml">T</mi><mo id="A2.E38.m1.6.6.6.6.5.5.3.1" xref="A2.E38.m1.6.6.6.6.5.5.3.1.cmml">−</mo><msup id="A2.E38.m1.6.6.6.6.5.5.3.3" xref="A2.E38.m1.6.6.6.6.5.5.3.3.cmml"><mi id="A2.E38.m1.6.6.6.6.5.5.3.3.2" xref="A2.E38.m1.6.6.6.6.5.5.3.3.2.cmml">T</mi><mrow id="A2.E38.m1.6.6.6.6.5.5.3.3.3" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.cmml"><mi id="A2.E38.m1.6.6.6.6.5.5.3.3.3.2" mathvariant="normal" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.2.cmml">ℓ</mi><mo id="A2.E38.m1.6.6.6.6.5.5.3.3.3.1" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.1.cmml">/</mo><mi id="A2.E38.m1.6.6.6.6.5.5.3.3.3.3" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.3.cmml">β</mi></mrow></msup></mrow></mfrac></mstyle></mrow></mrow><mo id="A2.E38.m1.7.7.7.7.6.6" xref="A2.E38.m1.7.7.7.7.6.6.cmml">≍</mo><mrow id="A2.E38.m1.16.16.16.16.15a.19"><mrow id="A2.E38.m1.16.16.16.16.15a.19.1"><msubsup id="A2.E38.m1.16.16.16.16.15a.19.1.2"><mi id="A2.E38.m1.8.8.8.8.7.7" xref="A2.E38.m1.8.8.8.8.7.7.cmml">T</mi><mn id="A2.E38.m1.9.9.9.9.8.8.1" xref="A2.E38.m1.9.9.9.9.8.8.1.cmml">0</mn><mrow id="A2.E38.m1.10.10.10.10.9.9.1" xref="A2.E38.m1.10.10.10.10.9.9.1.cmml"><mo id="A2.E38.m1.10.10.10.10.9.9.1a" xref="A2.E38.m1.10.10.10.10.9.9.1.cmml">−</mo><mn id="A2.E38.m1.10.10.10.10.9.9.1.2" xref="A2.E38.m1.10.10.10.10.9.9.1.2.cmml">1</mn></mrow></msubsup><mo id="A2.E38.m1.16.16.16.16.15a.19.1.1" xref="A2.E38.m1.32.32.1.1.1.cmml">⁢</mo><msup id="A2.E38.m1.16.16.16.16.15a.19.1.3"><mi id="A2.E38.m1.11.11.11.11.10.10" xref="A2.E38.m1.11.11.11.11.10.10.cmml">T</mi><mrow id="A2.E38.m1.12.12.12.12.11.11.1" xref="A2.E38.m1.12.12.12.12.11.11.1.cmml"><mi id="A2.E38.m1.12.12.12.12.11.11.1.2" mathvariant="normal" xref="A2.E38.m1.12.12.12.12.11.11.1.2.cmml">ℓ</mi><mo id="A2.E38.m1.12.12.12.12.11.11.1.1" xref="A2.E38.m1.12.12.12.12.11.11.1.1.cmml">/</mo><mi id="A2.E38.m1.12.12.12.12.11.11.1.3" xref="A2.E38.m1.12.12.12.12.11.11.1.3.cmml">β</mi></mrow></msup></mrow><mo id="A2.E38.m1.13.13.13.13.12.12" xref="A2.E38.m1.13.13.13.13.12.12.cmml">+</mo><mrow id="A2.E38.m1.16.16.16.16.15a.19.2"><mstyle displaystyle="true" id="A2.E38.m1.14.14.14.14.13.13" xref="A2.E38.m1.14.14.14.14.13.13.cmml"><mfrac id="A2.E38.m1.14.14.14.14.13.13a" xref="A2.E38.m1.14.14.14.14.13.13.cmml"><msub id="A2.E38.m1.14.14.14.14.13.13.2" xref="A2.E38.m1.14.14.14.14.13.13.2.cmml"><mi id="A2.E38.m1.14.14.14.14.13.13.2.2" xref="A2.E38.m1.14.14.14.14.13.13.2.2.cmml">ϕ</mi><mn id="A2.E38.m1.14.14.14.14.13.13.2.3" xref="A2.E38.m1.14.14.14.14.13.13.2.3.cmml">0</mn></msub><mrow id="A2.E38.m1.14.14.14.14.13.13.3" xref="A2.E38.m1.14.14.14.14.13.13.3.cmml"><mn id="A2.E38.m1.14.14.14.14.13.13.3.2" xref="A2.E38.m1.14.14.14.14.13.13.3.2.cmml">1</mn><mo id="A2.E38.m1.14.14.14.14.13.13.3.1" xref="A2.E38.m1.14.14.14.14.13.13.3.1.cmml">−</mo><msub id="A2.E38.m1.14.14.14.14.13.13.3.3" xref="A2.E38.m1.14.14.14.14.13.13.3.3.cmml"><mi id="A2.E38.m1.14.14.14.14.13.13.3.3.2" xref="A2.E38.m1.14.14.14.14.13.13.3.3.2.cmml">ϕ</mi><mn id="A2.E38.m1.14.14.14.14.13.13.3.3.3" xref="A2.E38.m1.14.14.14.14.13.13.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle><mo id="A2.E38.m1.16.16.16.16.15a.19.2.1" xref="A2.E38.m1.32.32.1.1.1.cmml">⁢</mo><msup id="A2.E38.m1.16.16.16.16.15a.19.2.2"><mi id="A2.E38.m1.15.15.15.15.14.14" xref="A2.E38.m1.15.15.15.15.14.14.cmml">T</mi><mrow id="A2.E38.m1.16.16.16.16.15.15.1" xref="A2.E38.m1.16.16.16.16.15.15.1.cmml"><mo id="A2.E38.m1.16.16.16.16.15.15.1a" xref="A2.E38.m1.16.16.16.16.15.15.1.cmml">−</mo><mrow id="A2.E38.m1.16.16.16.16.15.15.1.1.1" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.cmml"><mo id="A2.E38.m1.16.16.16.16.15.15.1.1.1.2" stretchy="false" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.cmml">(</mo><mrow id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.cmml"><mn id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.2" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.2.cmml">1</mn><mo id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.1" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.1.cmml">−</mo><mrow id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.cmml"><mi id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.2" mathvariant="normal" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.2.cmml">ℓ</mi><mo id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.1" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.1.cmml">/</mo><mi id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.3" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.E38.m1.16.16.16.16.15.15.1.1.1.3" stretchy="false" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mrow></mrow></mtd></mtr><mtr id="A2.E38.m1.33.33.2d"><mtd id="A2.E38.m1.33.33.2e" xref="A2.E38.m1.32.32.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E38.m1.33.33.2f"><mrow id="A2.E38.m1.33.33.2.32.16.16.16"><mrow id="A2.E38.m1.33.33.2.32.16.16.16.1"><mi id="A2.E38.m1.33.33.2.32.16.16.16.1.3" xref="A2.E38.m1.32.32.1.1.1.cmml"></mi><mo id="A2.E38.m1.17.17.17.1.1.1" xref="A2.E38.m1.17.17.17.1.1.1.cmml">≍</mo><mrow id="A2.E38.m1.33.33.2.32.16.16.16.1.2"><mstyle displaystyle="true" id="A2.E38.m1.18.18.18.2.2.2" xref="A2.E38.m1.18.18.18.2.2.2.cmml"><mfrac id="A2.E38.m1.18.18.18.2.2.2a" xref="A2.E38.m1.18.18.18.2.2.2.cmml"><mn id="A2.E38.m1.18.18.18.2.2.2.2" xref="A2.E38.m1.18.18.18.2.2.2.2.cmml">1</mn><mrow id="A2.E38.m1.18.18.18.2.2.2.3" xref="A2.E38.m1.18.18.18.2.2.2.3.cmml"><mn id="A2.E38.m1.18.18.18.2.2.2.3.2" xref="A2.E38.m1.18.18.18.2.2.2.3.2.cmml">1</mn><mo id="A2.E38.m1.18.18.18.2.2.2.3.1" xref="A2.E38.m1.18.18.18.2.2.2.3.1.cmml">−</mo><msub id="A2.E38.m1.18.18.18.2.2.2.3.3" xref="A2.E38.m1.18.18.18.2.2.2.3.3.cmml"><mi id="A2.E38.m1.18.18.18.2.2.2.3.3.2" xref="A2.E38.m1.18.18.18.2.2.2.3.3.2.cmml">ϕ</mi><mn id="A2.E38.m1.18.18.18.2.2.2.3.3.3" xref="A2.E38.m1.18.18.18.2.2.2.3.3.3.cmml">0</mn></msub></mrow></mfrac></mstyle><mo id="A2.E38.m1.33.33.2.32.16.16.16.1.2.3" lspace="0.167em" xref="A2.E38.m1.32.32.1.1.1.cmml">⁢</mo><mrow id="A2.E38.m1.33.33.2.32.16.16.16.1.2.2.2"><mi id="A2.E38.m1.19.19.19.3.3.3" xref="A2.E38.m1.19.19.19.3.3.3.cmml">max</mi><mo id="A2.E38.m1.33.33.2.32.16.16.16.1.2.2.2a" xref="A2.E38.m1.32.32.1.1.1.cmml">⁡</mo><mrow id="A2.E38.m1.33.33.2.32.16.16.16.1.2.2.2.2"><mo id="A2.E38.m1.20.20.20.4.4.4" xref="A2.E38.m1.32.32.1.1.1.cmml">(</mo><mrow id="A2.E38.m1.33.33.2.32.16.16.16.1.1.1.1.1.1"><mi id="A2.E38.m1.21.21.21.5.5.5" xref="A2.E38.m1.21.21.21.5.5.5.cmml">T</mi><mo id="A2.E38.m1.22.22.22.6.6.6" xref="A2.E38.m1.22.22.22.6.6.6.cmml">/</mo><msub id="A2.E38.m1.33.33.2.32.16.16.16.1.1.1.1.1.1.1"><mi id="A2.E38.m1.23.23.23.7.7.7" xref="A2.E38.m1.23.23.23.7.7.7.cmml">T</mi><mn id="A2.E38.m1.24.24.24.8.8.8.1" xref="A2.E38.m1.24.24.24.8.8.8.1.cmml">0</mn></msub></mrow><mo id="A2.E38.m1.25.25.25.9.9.9" xref="A2.E38.m1.32.32.1.1.1.cmml">,</mo><msub id="A2.E38.m1.33.33.2.32.16.16.16.1.2.2.2.2.2"><mi id="A2.E38.m1.26.26.26.10.10.10" xref="A2.E38.m1.26.26.26.10.10.10.cmml">ϕ</mi><mn id="A2.E38.m1.27.27.27.11.11.11.1" xref="A2.E38.m1.27.27.27.11.11.11.1.cmml">0</mn></msub><mo id="A2.E38.m1.28.28.28.12.12.12" xref="A2.E38.m1.32.32.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.E38.m1.33.33.2.32.16.16.16.1.2.3a" xref="A2.E38.m1.32.32.1.1.1.cmml">⁢</mo><msup id="A2.E38.m1.33.33.2.32.16.16.16.1.2.4"><mi id="A2.E38.m1.29.29.29.13.13.13" xref="A2.E38.m1.29.29.29.13.13.13.cmml">T</mi><mrow id="A2.E38.m1.30.30.30.14.14.14.1" xref="A2.E38.m1.30.30.30.14.14.14.1.cmml"><mo id="A2.E38.m1.30.30.30.14.14.14.1a" xref="A2.E38.m1.30.30.30.14.14.14.1.cmml">−</mo><mrow id="A2.E38.m1.30.30.30.14.14.14.1.1.1" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.cmml"><mo id="A2.E38.m1.30.30.30.14.14.14.1.1.1.2" stretchy="false" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.cmml">(</mo><mrow id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.cmml"><mn id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.2" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.2.cmml">1</mn><mo id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.1" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.1.cmml">−</mo><mrow id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.cmml"><mi id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.2" mathvariant="normal" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.2.cmml">ℓ</mi><mo id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.1" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.1.cmml">/</mo><mi id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.3" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.E38.m1.30.30.30.14.14.14.1.1.1.3" stretchy="false" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mrow><mo id="A2.E38.m1.31.31.31.15.15.15" xref="A2.E38.m1.32.32.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A2.E38.m1.33b"><apply id="A2.E38.m1.32.32.1.1.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><and id="A2.E38.m1.32.32.1.1.1a.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></and><apply id="A2.E38.m1.32.32.1.1.1b.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="latexml" id="A2.E38.m1.2.2.2.2.1.1.cmml" xref="A2.E38.m1.2.2.2.2.1.1">asymptotically-equals</csymbol><ci id="A2.E38.m1.1.1.1.1.1.1.cmml" xref="A2.E38.m1.1.1.1.1.1.1">𝜌</ci><apply id="A2.E38.m1.32.32.1.1.1.6.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><plus id="A2.E38.m1.4.4.4.4.3.3.cmml" xref="A2.E38.m1.4.4.4.4.3.3"></plus><apply id="A2.E38.m1.3.3.3.3.2.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2"><divide id="A2.E38.m1.3.3.3.3.2.2.1.cmml" xref="A2.E38.m1.3.3.3.3.2.2"></divide><apply id="A2.E38.m1.3.3.3.3.2.2.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2"><csymbol cd="ambiguous" id="A2.E38.m1.3.3.3.3.2.2.2.1.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2">superscript</csymbol><ci id="A2.E38.m1.3.3.3.3.2.2.2.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2.2">𝑇</ci><apply id="A2.E38.m1.3.3.3.3.2.2.2.3.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2.3"><divide id="A2.E38.m1.3.3.3.3.2.2.2.3.1.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2.3.1"></divide><ci id="A2.E38.m1.3.3.3.3.2.2.2.3.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2.3.2">ℓ</ci><ci id="A2.E38.m1.3.3.3.3.2.2.2.3.3.cmml" xref="A2.E38.m1.3.3.3.3.2.2.2.3.3">𝛽</ci></apply></apply><apply id="A2.E38.m1.3.3.3.3.2.2.3.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3"><minus id="A2.E38.m1.3.3.3.3.2.2.3.1.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3.1"></minus><apply id="A2.E38.m1.3.3.3.3.2.2.3.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3.2"><csymbol cd="ambiguous" id="A2.E38.m1.3.3.3.3.2.2.3.2.1.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3.2">subscript</csymbol><ci id="A2.E38.m1.3.3.3.3.2.2.3.2.2.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3.2.2">𝑇</ci><cn id="A2.E38.m1.3.3.3.3.2.2.3.2.3.cmml" type="integer" xref="A2.E38.m1.3.3.3.3.2.2.3.2.3">0</cn></apply><ci id="A2.E38.m1.3.3.3.3.2.2.3.3.cmml" xref="A2.E38.m1.3.3.3.3.2.2.3.3">𝑑</ci></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.6.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><times id="A2.E38.m1.32.32.1.1.1.6.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></times><apply id="A2.E38.m1.5.5.5.5.4.4.cmml" xref="A2.E38.m1.5.5.5.5.4.4"><divide id="A2.E38.m1.5.5.5.5.4.4.1.cmml" xref="A2.E38.m1.5.5.5.5.4.4"></divide><ci id="A2.E38.m1.5.5.5.5.4.4.2.cmml" xref="A2.E38.m1.5.5.5.5.4.4.2">𝑑</ci><apply id="A2.E38.m1.5.5.5.5.4.4.3.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3"><minus id="A2.E38.m1.5.5.5.5.4.4.3.1.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3.1"></minus><apply id="A2.E38.m1.5.5.5.5.4.4.3.2.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3.2"><csymbol cd="ambiguous" id="A2.E38.m1.5.5.5.5.4.4.3.2.1.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3.2">subscript</csymbol><ci id="A2.E38.m1.5.5.5.5.4.4.3.2.2.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3.2.2">𝑇</ci><cn id="A2.E38.m1.5.5.5.5.4.4.3.2.3.cmml" type="integer" xref="A2.E38.m1.5.5.5.5.4.4.3.2.3">0</cn></apply><ci id="A2.E38.m1.5.5.5.5.4.4.3.3.cmml" xref="A2.E38.m1.5.5.5.5.4.4.3.3">𝑑</ci></apply></apply><apply id="A2.E38.m1.6.6.6.6.5.5.cmml" xref="A2.E38.m1.6.6.6.6.5.5"><divide id="A2.E38.m1.6.6.6.6.5.5.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5"></divide><apply id="A2.E38.m1.6.6.6.6.5.5.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2"><csymbol cd="ambiguous" id="A2.E38.m1.6.6.6.6.5.5.2.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2">superscript</csymbol><ci id="A2.E38.m1.6.6.6.6.5.5.2.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2.2">𝑇</ci><apply id="A2.E38.m1.6.6.6.6.5.5.2.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2.3"><divide id="A2.E38.m1.6.6.6.6.5.5.2.3.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2.3.1"></divide><ci id="A2.E38.m1.6.6.6.6.5.5.2.3.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2.3.2">ℓ</ci><ci id="A2.E38.m1.6.6.6.6.5.5.2.3.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.2.3.3">𝛽</ci></apply></apply><apply id="A2.E38.m1.6.6.6.6.5.5.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3"><minus id="A2.E38.m1.6.6.6.6.5.5.3.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.1"></minus><ci id="A2.E38.m1.6.6.6.6.5.5.3.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.2">𝑇</ci><apply id="A2.E38.m1.6.6.6.6.5.5.3.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3"><csymbol cd="ambiguous" id="A2.E38.m1.6.6.6.6.5.5.3.3.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3">superscript</csymbol><ci id="A2.E38.m1.6.6.6.6.5.5.3.3.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3.2">𝑇</ci><apply id="A2.E38.m1.6.6.6.6.5.5.3.3.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3"><divide id="A2.E38.m1.6.6.6.6.5.5.3.3.3.1.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.1"></divide><ci id="A2.E38.m1.6.6.6.6.5.5.3.3.3.2.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.2">ℓ</ci><ci id="A2.E38.m1.6.6.6.6.5.5.3.3.3.3.cmml" xref="A2.E38.m1.6.6.6.6.5.5.3.3.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></apply><apply id="A2.E38.m1.32.32.1.1.1c.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="latexml" id="A2.E38.m1.7.7.7.7.6.6.cmml" xref="A2.E38.m1.7.7.7.7.6.6">asymptotically-equals</csymbol><share href="#A2.E38.m1.32.32.1.1.1.6.cmml" id="A2.E38.m1.32.32.1.1.1d.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></share><apply id="A2.E38.m1.32.32.1.1.1.8.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><plus id="A2.E38.m1.13.13.13.13.12.12.cmml" xref="A2.E38.m1.13.13.13.13.12.12"></plus><apply id="A2.E38.m1.32.32.1.1.1.8.2.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><times id="A2.E38.m1.32.32.1.1.1.8.2.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></times><apply id="A2.E38.m1.32.32.1.1.1.8.2.2.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.8.2.2.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">superscript</csymbol><apply id="A2.E38.m1.32.32.1.1.1.8.2.2.2.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.8.2.2.2.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">subscript</csymbol><ci id="A2.E38.m1.8.8.8.8.7.7.cmml" xref="A2.E38.m1.8.8.8.8.7.7">𝑇</ci><cn id="A2.E38.m1.9.9.9.9.8.8.1.cmml" type="integer" xref="A2.E38.m1.9.9.9.9.8.8.1">0</cn></apply><apply id="A2.E38.m1.10.10.10.10.9.9.1.cmml" xref="A2.E38.m1.10.10.10.10.9.9.1"><minus id="A2.E38.m1.10.10.10.10.9.9.1.1.cmml" xref="A2.E38.m1.10.10.10.10.9.9.1"></minus><cn id="A2.E38.m1.10.10.10.10.9.9.1.2.cmml" type="integer" xref="A2.E38.m1.10.10.10.10.9.9.1.2">1</cn></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.8.2.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.8.2.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">superscript</csymbol><ci id="A2.E38.m1.11.11.11.11.10.10.cmml" xref="A2.E38.m1.11.11.11.11.10.10">𝑇</ci><apply id="A2.E38.m1.12.12.12.12.11.11.1.cmml" xref="A2.E38.m1.12.12.12.12.11.11.1"><divide id="A2.E38.m1.12.12.12.12.11.11.1.1.cmml" xref="A2.E38.m1.12.12.12.12.11.11.1.1"></divide><ci id="A2.E38.m1.12.12.12.12.11.11.1.2.cmml" xref="A2.E38.m1.12.12.12.12.11.11.1.2">ℓ</ci><ci id="A2.E38.m1.12.12.12.12.11.11.1.3.cmml" xref="A2.E38.m1.12.12.12.12.11.11.1.3">𝛽</ci></apply></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.8.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><times id="A2.E38.m1.32.32.1.1.1.8.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></times><apply id="A2.E38.m1.14.14.14.14.13.13.cmml" xref="A2.E38.m1.14.14.14.14.13.13"><divide id="A2.E38.m1.14.14.14.14.13.13.1.cmml" xref="A2.E38.m1.14.14.14.14.13.13"></divide><apply id="A2.E38.m1.14.14.14.14.13.13.2.cmml" xref="A2.E38.m1.14.14.14.14.13.13.2"><csymbol cd="ambiguous" id="A2.E38.m1.14.14.14.14.13.13.2.1.cmml" xref="A2.E38.m1.14.14.14.14.13.13.2">subscript</csymbol><ci id="A2.E38.m1.14.14.14.14.13.13.2.2.cmml" xref="A2.E38.m1.14.14.14.14.13.13.2.2">italic-ϕ</ci><cn id="A2.E38.m1.14.14.14.14.13.13.2.3.cmml" type="integer" xref="A2.E38.m1.14.14.14.14.13.13.2.3">0</cn></apply><apply id="A2.E38.m1.14.14.14.14.13.13.3.cmml" xref="A2.E38.m1.14.14.14.14.13.13.3"><minus id="A2.E38.m1.14.14.14.14.13.13.3.1.cmml" xref="A2.E38.m1.14.14.14.14.13.13.3.1"></minus><cn id="A2.E38.m1.14.14.14.14.13.13.3.2.cmml" type="integer" xref="A2.E38.m1.14.14.14.14.13.13.3.2">1</cn><apply id="A2.E38.m1.14.14.14.14.13.13.3.3.cmml" xref="A2.E38.m1.14.14.14.14.13.13.3.3"><csymbol cd="ambiguous" id="A2.E38.m1.14.14.14.14.13.13.3.3.1.cmml" xref="A2.E38.m1.14.14.14.14.13.13.3.3">subscript</csymbol><ci id="A2.E38.m1.14.14.14.14.13.13.3.3.2.cmml" xref="A2.E38.m1.14.14.14.14.13.13.3.3.2">italic-ϕ</ci><cn id="A2.E38.m1.14.14.14.14.13.13.3.3.3.cmml" type="integer" xref="A2.E38.m1.14.14.14.14.13.13.3.3.3">0</cn></apply></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.8.3.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.8.3.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">superscript</csymbol><ci id="A2.E38.m1.15.15.15.15.14.14.cmml" xref="A2.E38.m1.15.15.15.15.14.14">𝑇</ci><apply id="A2.E38.m1.16.16.16.16.15.15.1.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1"><minus id="A2.E38.m1.16.16.16.16.15.15.1.2.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1"></minus><apply id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1"><minus id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.1.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.1"></minus><cn id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.2.cmml" type="integer" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.2">1</cn><apply id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3"><divide id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.1"></divide><ci id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.2.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.2">ℓ</ci><ci id="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.3.cmml" xref="A2.E38.m1.16.16.16.16.15.15.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></apply><apply id="A2.E38.m1.32.32.1.1.1e.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="latexml" id="A2.E38.m1.17.17.17.1.1.1.cmml" xref="A2.E38.m1.17.17.17.1.1.1">asymptotically-equals</csymbol><share href="#A2.E38.m1.32.32.1.1.1.8.cmml" id="A2.E38.m1.32.32.1.1.1f.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></share><apply id="A2.E38.m1.32.32.1.1.1.2.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><times id="A2.E38.m1.32.32.1.1.1.2.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"></times><apply id="A2.E38.m1.18.18.18.2.2.2.cmml" xref="A2.E38.m1.18.18.18.2.2.2"><divide id="A2.E38.m1.18.18.18.2.2.2.1.cmml" xref="A2.E38.m1.18.18.18.2.2.2"></divide><cn id="A2.E38.m1.18.18.18.2.2.2.2.cmml" type="integer" xref="A2.E38.m1.18.18.18.2.2.2.2">1</cn><apply id="A2.E38.m1.18.18.18.2.2.2.3.cmml" xref="A2.E38.m1.18.18.18.2.2.2.3"><minus id="A2.E38.m1.18.18.18.2.2.2.3.1.cmml" xref="A2.E38.m1.18.18.18.2.2.2.3.1"></minus><cn id="A2.E38.m1.18.18.18.2.2.2.3.2.cmml" type="integer" xref="A2.E38.m1.18.18.18.2.2.2.3.2">1</cn><apply id="A2.E38.m1.18.18.18.2.2.2.3.3.cmml" xref="A2.E38.m1.18.18.18.2.2.2.3.3"><csymbol cd="ambiguous" id="A2.E38.m1.18.18.18.2.2.2.3.3.1.cmml" xref="A2.E38.m1.18.18.18.2.2.2.3.3">subscript</csymbol><ci id="A2.E38.m1.18.18.18.2.2.2.3.3.2.cmml" xref="A2.E38.m1.18.18.18.2.2.2.3.3.2">italic-ϕ</ci><cn id="A2.E38.m1.18.18.18.2.2.2.3.3.3.cmml" type="integer" xref="A2.E38.m1.18.18.18.2.2.2.3.3.3">0</cn></apply></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.2.2.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><max id="A2.E38.m1.19.19.19.3.3.3.cmml" xref="A2.E38.m1.19.19.19.3.3.3"></max><apply id="A2.E38.m1.32.32.1.1.1.1.1.1.1.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><divide id="A2.E38.m1.22.22.22.6.6.6.cmml" xref="A2.E38.m1.22.22.22.6.6.6"></divide><ci id="A2.E38.m1.21.21.21.5.5.5.cmml" xref="A2.E38.m1.21.21.21.5.5.5">𝑇</ci><apply id="A2.E38.m1.32.32.1.1.1.1.1.1.1.1.3.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.1.1.1.1.1.3.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">subscript</csymbol><ci id="A2.E38.m1.23.23.23.7.7.7.cmml" xref="A2.E38.m1.23.23.23.7.7.7">𝑇</ci><cn id="A2.E38.m1.24.24.24.8.8.8.1.cmml" type="integer" xref="A2.E38.m1.24.24.24.8.8.8.1">0</cn></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.2.2.2.2.2.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.2.2.2.2.2.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">subscript</csymbol><ci id="A2.E38.m1.26.26.26.10.10.10.cmml" xref="A2.E38.m1.26.26.26.10.10.10">italic-ϕ</ci><cn id="A2.E38.m1.27.27.27.11.11.11.1.cmml" type="integer" xref="A2.E38.m1.27.27.27.11.11.11.1">0</cn></apply></apply><apply id="A2.E38.m1.32.32.1.1.1.2.5.cmml" xref="A2.E38.m1.16.16.16.16.15a.17"><csymbol cd="ambiguous" id="A2.E38.m1.32.32.1.1.1.2.5.1.cmml" xref="A2.E38.m1.16.16.16.16.15a.17">superscript</csymbol><ci id="A2.E38.m1.29.29.29.13.13.13.cmml" xref="A2.E38.m1.29.29.29.13.13.13">𝑇</ci><apply id="A2.E38.m1.30.30.30.14.14.14.1.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1"><minus id="A2.E38.m1.30.30.30.14.14.14.1.2.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1"></minus><apply id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1"><minus id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.1.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.1"></minus><cn id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.2.cmml" type="integer" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.2">1</cn><apply id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3"><divide id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.1.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.1"></divide><ci id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.2.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.2">ℓ</ci><ci id="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.3.cmml" xref="A2.E38.m1.30.30.30.14.14.14.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E38.m1.33c">\displaystyle\begin{split}\rho&\asymp\frac{T^{\ell/\beta}}{T_{0}-d}+\frac{d}{T% _{0}-d}\frac{T^{\ell/\beta}}{T-T^{\ell/\beta}}\asymp T_{0}^{-1}T^{\ell/\beta}+% \frac{\phi_{0}}{1-\phi_{0}}T^{-(1-\ell/\beta)}\\ &\asymp\frac{1}{1-\phi_{0}}\max\left(T/T_{0},\phi_{0}\right)T^{-(1-\ell/\beta)% },\end{split}</annotation><annotation encoding="application/x-llamapun" id="A2.E38.m1.33d">start_ROW start_CELL italic_ρ end_CELL start_CELL ≍ divide start_ARG italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG + divide start_ARG italic_d end_ARG start_ARG italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT - italic_d end_ARG divide start_ARG italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT end_ARG start_ARG italic_T - italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT end_ARG ≍ italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT + divide start_ARG italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL ≍ divide start_ARG 1 end_ARG start_ARG 1 - italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG roman_max ( italic_T / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT , italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT ) italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(38)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS1.p1.6">where <math alttext="\phi_{0}:=d/T_{0}" class="ltx_Math" display="inline" id="A2.SS1.p1.6.m1.1"><semantics id="A2.SS1.p1.6.m1.1a"><mrow id="A2.SS1.p1.6.m1.1.1" xref="A2.SS1.p1.6.m1.1.1.cmml"><msub id="A2.SS1.p1.6.m1.1.1.2" xref="A2.SS1.p1.6.m1.1.1.2.cmml"><mi id="A2.SS1.p1.6.m1.1.1.2.2" xref="A2.SS1.p1.6.m1.1.1.2.2.cmml">ϕ</mi><mn id="A2.SS1.p1.6.m1.1.1.2.3" xref="A2.SS1.p1.6.m1.1.1.2.3.cmml">0</mn></msub><mo id="A2.SS1.p1.6.m1.1.1.1" lspace="0.278em" rspace="0.278em" xref="A2.SS1.p1.6.m1.1.1.1.cmml">:=</mo><mrow id="A2.SS1.p1.6.m1.1.1.3" xref="A2.SS1.p1.6.m1.1.1.3.cmml"><mi id="A2.SS1.p1.6.m1.1.1.3.2" xref="A2.SS1.p1.6.m1.1.1.3.2.cmml">d</mi><mo id="A2.SS1.p1.6.m1.1.1.3.1" xref="A2.SS1.p1.6.m1.1.1.3.1.cmml">/</mo><msub id="A2.SS1.p1.6.m1.1.1.3.3" xref="A2.SS1.p1.6.m1.1.1.3.3.cmml"><mi id="A2.SS1.p1.6.m1.1.1.3.3.2" xref="A2.SS1.p1.6.m1.1.1.3.3.2.cmml">T</mi><mn id="A2.SS1.p1.6.m1.1.1.3.3.3" xref="A2.SS1.p1.6.m1.1.1.3.3.3.cmml">0</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.p1.6.m1.1b"><apply id="A2.SS1.p1.6.m1.1.1.cmml" xref="A2.SS1.p1.6.m1.1.1"><csymbol cd="latexml" id="A2.SS1.p1.6.m1.1.1.1.cmml" xref="A2.SS1.p1.6.m1.1.1.1">assign</csymbol><apply id="A2.SS1.p1.6.m1.1.1.2.cmml" xref="A2.SS1.p1.6.m1.1.1.2"><csymbol cd="ambiguous" id="A2.SS1.p1.6.m1.1.1.2.1.cmml" xref="A2.SS1.p1.6.m1.1.1.2">subscript</csymbol><ci id="A2.SS1.p1.6.m1.1.1.2.2.cmml" xref="A2.SS1.p1.6.m1.1.1.2.2">italic-ϕ</ci><cn id="A2.SS1.p1.6.m1.1.1.2.3.cmml" type="integer" xref="A2.SS1.p1.6.m1.1.1.2.3">0</cn></apply><apply id="A2.SS1.p1.6.m1.1.1.3.cmml" xref="A2.SS1.p1.6.m1.1.1.3"><divide id="A2.SS1.p1.6.m1.1.1.3.1.cmml" xref="A2.SS1.p1.6.m1.1.1.3.1"></divide><ci id="A2.SS1.p1.6.m1.1.1.3.2.cmml" xref="A2.SS1.p1.6.m1.1.1.3.2">𝑑</ci><apply id="A2.SS1.p1.6.m1.1.1.3.3.cmml" xref="A2.SS1.p1.6.m1.1.1.3.3"><csymbol cd="ambiguous" id="A2.SS1.p1.6.m1.1.1.3.3.1.cmml" xref="A2.SS1.p1.6.m1.1.1.3.3">subscript</csymbol><ci id="A2.SS1.p1.6.m1.1.1.3.3.2.cmml" xref="A2.SS1.p1.6.m1.1.1.3.3.2">𝑇</ci><cn id="A2.SS1.p1.6.m1.1.1.3.3.3.cmml" type="integer" xref="A2.SS1.p1.6.m1.1.1.3.3.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.p1.6.m1.1c">\phi_{0}:=d/T_{0}</annotation><annotation encoding="application/x-llamapun" id="A2.SS1.p1.6.m1.1d">italic_ϕ start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT := italic_d / italic_T start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT</annotation></semantics></math>. Combining our Theorem <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S4.Thmtheorem2" title="Theorem 4.2. ‣ 4.2 Main Result I: A General Formula for Test Error ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.2</span></a> with (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.E43" title="43 ‣ B.2 Representation of Clean Test Error ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">43</span></a>), we get the claimed result. ∎</p> </div> </section> <section class="ltx_subsection" id="A2.SS2"> <h3 class="ltx_title ltx_title_subsection"> <span class="ltx_tag ltx_tag_subsection">B.2 </span>Representation of Clean Test Error</h3> <div class="ltx_para" id="A2.SS2.p1"> <p class="ltx_p" id="A2.SS2.p1.1">We make a small digression to present the following curiosity: with a slight leap of faith, the main results of <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> can be obtained in a few lines from the tools developed in <cite class="ltx_cite ltx_citemacro_citep">(Bach, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib4" title="">2023</a>)</cite>, namely Proposition <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx15" title="Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.4</span></a>. This is significant, because the computations in <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite> were done via methods of statistical physics (replica trick), while <cite class="ltx_cite ltx_citemacro_citep">(Bach, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib4" title="">2023</a>)</cite> is based on RMT.</p> </div> <div class="ltx_para" id="A2.SS2.p2"> <p class="ltx_p" id="A2.SS2.p2.2">Indeed, for regularization parameter <math alttext="\lambda\asymp T^{-\ell}" class="ltx_Math" display="inline" id="A2.SS2.p2.1.m1.1"><semantics id="A2.SS2.p2.1.m1.1a"><mrow id="A2.SS2.p2.1.m1.1.1" xref="A2.SS2.p2.1.m1.1.1.cmml"><mi id="A2.SS2.p2.1.m1.1.1.2" xref="A2.SS2.p2.1.m1.1.1.2.cmml">λ</mi><mo id="A2.SS2.p2.1.m1.1.1.1" xref="A2.SS2.p2.1.m1.1.1.1.cmml">≍</mo><msup id="A2.SS2.p2.1.m1.1.1.3" xref="A2.SS2.p2.1.m1.1.1.3.cmml"><mi id="A2.SS2.p2.1.m1.1.1.3.2" xref="A2.SS2.p2.1.m1.1.1.3.2.cmml">T</mi><mrow id="A2.SS2.p2.1.m1.1.1.3.3" xref="A2.SS2.p2.1.m1.1.1.3.3.cmml"><mo id="A2.SS2.p2.1.m1.1.1.3.3a" xref="A2.SS2.p2.1.m1.1.1.3.3.cmml">−</mo><mi id="A2.SS2.p2.1.m1.1.1.3.3.2" mathvariant="normal" xref="A2.SS2.p2.1.m1.1.1.3.3.2.cmml">ℓ</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.1.m1.1b"><apply id="A2.SS2.p2.1.m1.1.1.cmml" xref="A2.SS2.p2.1.m1.1.1"><csymbol cd="latexml" id="A2.SS2.p2.1.m1.1.1.1.cmml" xref="A2.SS2.p2.1.m1.1.1.1">asymptotically-equals</csymbol><ci id="A2.SS2.p2.1.m1.1.1.2.cmml" xref="A2.SS2.p2.1.m1.1.1.2">𝜆</ci><apply id="A2.SS2.p2.1.m1.1.1.3.cmml" xref="A2.SS2.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.p2.1.m1.1.1.3.1.cmml" xref="A2.SS2.p2.1.m1.1.1.3">superscript</csymbol><ci id="A2.SS2.p2.1.m1.1.1.3.2.cmml" xref="A2.SS2.p2.1.m1.1.1.3.2">𝑇</ci><apply id="A2.SS2.p2.1.m1.1.1.3.3.cmml" xref="A2.SS2.p2.1.m1.1.1.3.3"><minus id="A2.SS2.p2.1.m1.1.1.3.3.1.cmml" xref="A2.SS2.p2.1.m1.1.1.3.3"></minus><ci id="A2.SS2.p2.1.m1.1.1.3.3.2.cmml" xref="A2.SS2.p2.1.m1.1.1.3.3.2">ℓ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.1.m1.1c">\lambda\asymp T^{-\ell}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.1.m1.1d">italic_λ ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ end_POSTSUPERSCRIPT</annotation></semantics></math> given in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#S5.E25" title="25 ‣ 5 The Case of Heavy Tails (Power Law) ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">25</span></a>), we have <math alttext="\kappa=\kappa(\lambda)\simeq\lambda" class="ltx_Math" display="inline" id="A2.SS2.p2.2.m2.1"><semantics id="A2.SS2.p2.2.m2.1a"><mrow id="A2.SS2.p2.2.m2.1.2" xref="A2.SS2.p2.2.m2.1.2.cmml"><mi id="A2.SS2.p2.2.m2.1.2.2" xref="A2.SS2.p2.2.m2.1.2.2.cmml">κ</mi><mo id="A2.SS2.p2.2.m2.1.2.3" xref="A2.SS2.p2.2.m2.1.2.3.cmml">=</mo><mrow id="A2.SS2.p2.2.m2.1.2.4" xref="A2.SS2.p2.2.m2.1.2.4.cmml"><mi id="A2.SS2.p2.2.m2.1.2.4.2" xref="A2.SS2.p2.2.m2.1.2.4.2.cmml">κ</mi><mo id="A2.SS2.p2.2.m2.1.2.4.1" xref="A2.SS2.p2.2.m2.1.2.4.1.cmml">⁢</mo><mrow id="A2.SS2.p2.2.m2.1.2.4.3.2" xref="A2.SS2.p2.2.m2.1.2.4.cmml"><mo id="A2.SS2.p2.2.m2.1.2.4.3.2.1" stretchy="false" xref="A2.SS2.p2.2.m2.1.2.4.cmml">(</mo><mi id="A2.SS2.p2.2.m2.1.1" xref="A2.SS2.p2.2.m2.1.1.cmml">λ</mi><mo id="A2.SS2.p2.2.m2.1.2.4.3.2.2" stretchy="false" xref="A2.SS2.p2.2.m2.1.2.4.cmml">)</mo></mrow></mrow><mo id="A2.SS2.p2.2.m2.1.2.5" xref="A2.SS2.p2.2.m2.1.2.5.cmml">≃</mo><mi id="A2.SS2.p2.2.m2.1.2.6" xref="A2.SS2.p2.2.m2.1.2.6.cmml">λ</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.2.m2.1b"><apply id="A2.SS2.p2.2.m2.1.2.cmml" xref="A2.SS2.p2.2.m2.1.2"><and id="A2.SS2.p2.2.m2.1.2a.cmml" xref="A2.SS2.p2.2.m2.1.2"></and><apply id="A2.SS2.p2.2.m2.1.2b.cmml" xref="A2.SS2.p2.2.m2.1.2"><eq id="A2.SS2.p2.2.m2.1.2.3.cmml" xref="A2.SS2.p2.2.m2.1.2.3"></eq><ci id="A2.SS2.p2.2.m2.1.2.2.cmml" xref="A2.SS2.p2.2.m2.1.2.2">𝜅</ci><apply id="A2.SS2.p2.2.m2.1.2.4.cmml" xref="A2.SS2.p2.2.m2.1.2.4"><times id="A2.SS2.p2.2.m2.1.2.4.1.cmml" xref="A2.SS2.p2.2.m2.1.2.4.1"></times><ci id="A2.SS2.p2.2.m2.1.2.4.2.cmml" xref="A2.SS2.p2.2.m2.1.2.4.2">𝜅</ci><ci id="A2.SS2.p2.2.m2.1.1.cmml" xref="A2.SS2.p2.2.m2.1.1">𝜆</ci></apply></apply><apply id="A2.SS2.p2.2.m2.1.2c.cmml" xref="A2.SS2.p2.2.m2.1.2"><csymbol cd="latexml" id="A2.SS2.p2.2.m2.1.2.5.cmml" xref="A2.SS2.p2.2.m2.1.2.5">similar-to-or-equals</csymbol><share href="#A2.SS2.p2.2.m2.1.2.4.cmml" id="A2.SS2.p2.2.m2.1.2d.cmml" xref="A2.SS2.p2.2.m2.1.2"></share><ci id="A2.SS2.p2.2.m2.1.2.6.cmml" xref="A2.SS2.p2.2.m2.1.2.6">𝜆</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.2.m2.1c">\kappa=\kappa(\lambda)\simeq\lambda</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.2.m2.1d">italic_κ = italic_κ ( italic_λ ) ≃ italic_λ</annotation></semantics></math>. Thus</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx42"> <tbody id="A2.E39"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\kappa\asymp T^{-\ell},\,\mathrm{df}_{2}(\kappa)\asymp\kappa^{-1/% \beta}\asymp T^{\ell/\beta}." class="ltx_Math" display="inline" id="A2.E39.m1.2"><semantics id="A2.E39.m1.2a"><mrow id="A2.E39.m1.2.2.1"><mrow id="A2.E39.m1.2.2.1.1.2" xref="A2.E39.m1.2.2.1.1.3.cmml"><mrow id="A2.E39.m1.2.2.1.1.1.1" xref="A2.E39.m1.2.2.1.1.1.1.cmml"><mi id="A2.E39.m1.2.2.1.1.1.1.2" xref="A2.E39.m1.2.2.1.1.1.1.2.cmml">κ</mi><mo id="A2.E39.m1.2.2.1.1.1.1.1" xref="A2.E39.m1.2.2.1.1.1.1.1.cmml">≍</mo><msup id="A2.E39.m1.2.2.1.1.1.1.3" xref="A2.E39.m1.2.2.1.1.1.1.3.cmml"><mi id="A2.E39.m1.2.2.1.1.1.1.3.2" xref="A2.E39.m1.2.2.1.1.1.1.3.2.cmml">T</mi><mrow id="A2.E39.m1.2.2.1.1.1.1.3.3" xref="A2.E39.m1.2.2.1.1.1.1.3.3.cmml"><mo id="A2.E39.m1.2.2.1.1.1.1.3.3a" xref="A2.E39.m1.2.2.1.1.1.1.3.3.cmml">−</mo><mi id="A2.E39.m1.2.2.1.1.1.1.3.3.2" mathvariant="normal" xref="A2.E39.m1.2.2.1.1.1.1.3.3.2.cmml">ℓ</mi></mrow></msup></mrow><mo id="A2.E39.m1.2.2.1.1.2.3" rspace="0.337em" xref="A2.E39.m1.2.2.1.1.3a.cmml">,</mo><mrow id="A2.E39.m1.2.2.1.1.2.2" xref="A2.E39.m1.2.2.1.1.2.2.cmml"><mrow id="A2.E39.m1.2.2.1.1.2.2.2" xref="A2.E39.m1.2.2.1.1.2.2.2.cmml"><msub id="A2.E39.m1.2.2.1.1.2.2.2.2" xref="A2.E39.m1.2.2.1.1.2.2.2.2.cmml"><mi id="A2.E39.m1.2.2.1.1.2.2.2.2.2" xref="A2.E39.m1.2.2.1.1.2.2.2.2.2.cmml">df</mi><mn id="A2.E39.m1.2.2.1.1.2.2.2.2.3" xref="A2.E39.m1.2.2.1.1.2.2.2.2.3.cmml">2</mn></msub><mo id="A2.E39.m1.2.2.1.1.2.2.2.1" xref="A2.E39.m1.2.2.1.1.2.2.2.1.cmml">⁢</mo><mrow id="A2.E39.m1.2.2.1.1.2.2.2.3.2" xref="A2.E39.m1.2.2.1.1.2.2.2.cmml"><mo id="A2.E39.m1.2.2.1.1.2.2.2.3.2.1" stretchy="false" xref="A2.E39.m1.2.2.1.1.2.2.2.cmml">(</mo><mi id="A2.E39.m1.1.1" xref="A2.E39.m1.1.1.cmml">κ</mi><mo id="A2.E39.m1.2.2.1.1.2.2.2.3.2.2" stretchy="false" xref="A2.E39.m1.2.2.1.1.2.2.2.cmml">)</mo></mrow></mrow><mo id="A2.E39.m1.2.2.1.1.2.2.3" xref="A2.E39.m1.2.2.1.1.2.2.3.cmml">≍</mo><msup id="A2.E39.m1.2.2.1.1.2.2.4" xref="A2.E39.m1.2.2.1.1.2.2.4.cmml"><mi id="A2.E39.m1.2.2.1.1.2.2.4.2" xref="A2.E39.m1.2.2.1.1.2.2.4.2.cmml">κ</mi><mrow id="A2.E39.m1.2.2.1.1.2.2.4.3" xref="A2.E39.m1.2.2.1.1.2.2.4.3.cmml"><mo id="A2.E39.m1.2.2.1.1.2.2.4.3a" xref="A2.E39.m1.2.2.1.1.2.2.4.3.cmml">−</mo><mrow id="A2.E39.m1.2.2.1.1.2.2.4.3.2" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.cmml"><mn id="A2.E39.m1.2.2.1.1.2.2.4.3.2.2" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.2.cmml">1</mn><mo id="A2.E39.m1.2.2.1.1.2.2.4.3.2.1" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.1.cmml">/</mo><mi id="A2.E39.m1.2.2.1.1.2.2.4.3.2.3" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.3.cmml">β</mi></mrow></mrow></msup><mo id="A2.E39.m1.2.2.1.1.2.2.5" xref="A2.E39.m1.2.2.1.1.2.2.5.cmml">≍</mo><msup id="A2.E39.m1.2.2.1.1.2.2.6" xref="A2.E39.m1.2.2.1.1.2.2.6.cmml"><mi id="A2.E39.m1.2.2.1.1.2.2.6.2" xref="A2.E39.m1.2.2.1.1.2.2.6.2.cmml">T</mi><mrow id="A2.E39.m1.2.2.1.1.2.2.6.3" xref="A2.E39.m1.2.2.1.1.2.2.6.3.cmml"><mi id="A2.E39.m1.2.2.1.1.2.2.6.3.2" mathvariant="normal" xref="A2.E39.m1.2.2.1.1.2.2.6.3.2.cmml">ℓ</mi><mo id="A2.E39.m1.2.2.1.1.2.2.6.3.1" xref="A2.E39.m1.2.2.1.1.2.2.6.3.1.cmml">/</mo><mi id="A2.E39.m1.2.2.1.1.2.2.6.3.3" xref="A2.E39.m1.2.2.1.1.2.2.6.3.3.cmml">β</mi></mrow></msup></mrow></mrow><mo id="A2.E39.m1.2.2.1.2" lspace="0em">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.E39.m1.2b"><apply id="A2.E39.m1.2.2.1.1.3.cmml" xref="A2.E39.m1.2.2.1.1.2"><csymbol cd="ambiguous" id="A2.E39.m1.2.2.1.1.3a.cmml" xref="A2.E39.m1.2.2.1.1.2.3">formulae-sequence</csymbol><apply id="A2.E39.m1.2.2.1.1.1.1.cmml" xref="A2.E39.m1.2.2.1.1.1.1"><csymbol cd="latexml" id="A2.E39.m1.2.2.1.1.1.1.1.cmml" xref="A2.E39.m1.2.2.1.1.1.1.1">asymptotically-equals</csymbol><ci id="A2.E39.m1.2.2.1.1.1.1.2.cmml" xref="A2.E39.m1.2.2.1.1.1.1.2">𝜅</ci><apply id="A2.E39.m1.2.2.1.1.1.1.3.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.E39.m1.2.2.1.1.1.1.3.1.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3">superscript</csymbol><ci id="A2.E39.m1.2.2.1.1.1.1.3.2.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3.2">𝑇</ci><apply id="A2.E39.m1.2.2.1.1.1.1.3.3.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3.3"><minus id="A2.E39.m1.2.2.1.1.1.1.3.3.1.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3.3"></minus><ci id="A2.E39.m1.2.2.1.1.1.1.3.3.2.cmml" xref="A2.E39.m1.2.2.1.1.1.1.3.3.2">ℓ</ci></apply></apply></apply><apply id="A2.E39.m1.2.2.1.1.2.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2"><and id="A2.E39.m1.2.2.1.1.2.2a.cmml" xref="A2.E39.m1.2.2.1.1.2.2"></and><apply id="A2.E39.m1.2.2.1.1.2.2b.cmml" xref="A2.E39.m1.2.2.1.1.2.2"><csymbol cd="latexml" id="A2.E39.m1.2.2.1.1.2.2.3.cmml" xref="A2.E39.m1.2.2.1.1.2.2.3">asymptotically-equals</csymbol><apply id="A2.E39.m1.2.2.1.1.2.2.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.2"><times id="A2.E39.m1.2.2.1.1.2.2.2.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.2.1"></times><apply id="A2.E39.m1.2.2.1.1.2.2.2.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.2.2"><csymbol cd="ambiguous" id="A2.E39.m1.2.2.1.1.2.2.2.2.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.2.2">subscript</csymbol><ci id="A2.E39.m1.2.2.1.1.2.2.2.2.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.2.2.2">df</ci><cn id="A2.E39.m1.2.2.1.1.2.2.2.2.3.cmml" type="integer" xref="A2.E39.m1.2.2.1.1.2.2.2.2.3">2</cn></apply><ci id="A2.E39.m1.1.1.cmml" xref="A2.E39.m1.1.1">𝜅</ci></apply><apply id="A2.E39.m1.2.2.1.1.2.2.4.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4"><csymbol cd="ambiguous" id="A2.E39.m1.2.2.1.1.2.2.4.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4">superscript</csymbol><ci id="A2.E39.m1.2.2.1.1.2.2.4.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.2">𝜅</ci><apply id="A2.E39.m1.2.2.1.1.2.2.4.3.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.3"><minus id="A2.E39.m1.2.2.1.1.2.2.4.3.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.3"></minus><apply id="A2.E39.m1.2.2.1.1.2.2.4.3.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2"><divide id="A2.E39.m1.2.2.1.1.2.2.4.3.2.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.1"></divide><cn id="A2.E39.m1.2.2.1.1.2.2.4.3.2.2.cmml" type="integer" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.2">1</cn><ci id="A2.E39.m1.2.2.1.1.2.2.4.3.2.3.cmml" xref="A2.E39.m1.2.2.1.1.2.2.4.3.2.3">𝛽</ci></apply></apply></apply></apply><apply id="A2.E39.m1.2.2.1.1.2.2c.cmml" xref="A2.E39.m1.2.2.1.1.2.2"><csymbol cd="latexml" id="A2.E39.m1.2.2.1.1.2.2.5.cmml" xref="A2.E39.m1.2.2.1.1.2.2.5">asymptotically-equals</csymbol><share href="#A2.E39.m1.2.2.1.1.2.2.4.cmml" id="A2.E39.m1.2.2.1.1.2.2d.cmml" xref="A2.E39.m1.2.2.1.1.2.2"></share><apply id="A2.E39.m1.2.2.1.1.2.2.6.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6"><csymbol cd="ambiguous" id="A2.E39.m1.2.2.1.1.2.2.6.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6">superscript</csymbol><ci id="A2.E39.m1.2.2.1.1.2.2.6.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6.2">𝑇</ci><apply id="A2.E39.m1.2.2.1.1.2.2.6.3.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6.3"><divide id="A2.E39.m1.2.2.1.1.2.2.6.3.1.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6.3.1"></divide><ci id="A2.E39.m1.2.2.1.1.2.2.6.3.2.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6.3.2">ℓ</ci><ci id="A2.E39.m1.2.2.1.1.2.2.6.3.3.cmml" xref="A2.E39.m1.2.2.1.1.2.2.6.3.3">𝛽</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E39.m1.2c">\displaystyle\kappa\asymp T^{-\ell},\,\mathrm{df}_{2}(\kappa)\asymp\kappa^{-1/% \beta}\asymp T^{\ell/\beta}.</annotation><annotation encoding="application/x-llamapun" id="A2.E39.m1.2d">italic_κ ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ end_POSTSUPERSCRIPT , roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) ≍ italic_κ start_POSTSUPERSCRIPT - 1 / italic_β end_POSTSUPERSCRIPT ≍ italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(39)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.p2.4">Now, since <math alttext="\lambda_{i}\asymp i^{-\beta}" class="ltx_Math" display="inline" id="A2.SS2.p2.3.m1.1"><semantics id="A2.SS2.p2.3.m1.1a"><mrow id="A2.SS2.p2.3.m1.1.1" xref="A2.SS2.p2.3.m1.1.1.cmml"><msub id="A2.SS2.p2.3.m1.1.1.2" xref="A2.SS2.p2.3.m1.1.1.2.cmml"><mi id="A2.SS2.p2.3.m1.1.1.2.2" xref="A2.SS2.p2.3.m1.1.1.2.2.cmml">λ</mi><mi id="A2.SS2.p2.3.m1.1.1.2.3" xref="A2.SS2.p2.3.m1.1.1.2.3.cmml">i</mi></msub><mo id="A2.SS2.p2.3.m1.1.1.1" xref="A2.SS2.p2.3.m1.1.1.1.cmml">≍</mo><msup id="A2.SS2.p2.3.m1.1.1.3" xref="A2.SS2.p2.3.m1.1.1.3.cmml"><mi id="A2.SS2.p2.3.m1.1.1.3.2" xref="A2.SS2.p2.3.m1.1.1.3.2.cmml">i</mi><mrow id="A2.SS2.p2.3.m1.1.1.3.3" xref="A2.SS2.p2.3.m1.1.1.3.3.cmml"><mo id="A2.SS2.p2.3.m1.1.1.3.3a" xref="A2.SS2.p2.3.m1.1.1.3.3.cmml">−</mo><mi id="A2.SS2.p2.3.m1.1.1.3.3.2" xref="A2.SS2.p2.3.m1.1.1.3.3.2.cmml">β</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.3.m1.1b"><apply id="A2.SS2.p2.3.m1.1.1.cmml" xref="A2.SS2.p2.3.m1.1.1"><csymbol cd="latexml" id="A2.SS2.p2.3.m1.1.1.1.cmml" xref="A2.SS2.p2.3.m1.1.1.1">asymptotically-equals</csymbol><apply id="A2.SS2.p2.3.m1.1.1.2.cmml" xref="A2.SS2.p2.3.m1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.p2.3.m1.1.1.2.1.cmml" xref="A2.SS2.p2.3.m1.1.1.2">subscript</csymbol><ci id="A2.SS2.p2.3.m1.1.1.2.2.cmml" xref="A2.SS2.p2.3.m1.1.1.2.2">𝜆</ci><ci id="A2.SS2.p2.3.m1.1.1.2.3.cmml" xref="A2.SS2.p2.3.m1.1.1.2.3">𝑖</ci></apply><apply id="A2.SS2.p2.3.m1.1.1.3.cmml" xref="A2.SS2.p2.3.m1.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.p2.3.m1.1.1.3.1.cmml" xref="A2.SS2.p2.3.m1.1.1.3">superscript</csymbol><ci id="A2.SS2.p2.3.m1.1.1.3.2.cmml" xref="A2.SS2.p2.3.m1.1.1.3.2">𝑖</ci><apply id="A2.SS2.p2.3.m1.1.1.3.3.cmml" xref="A2.SS2.p2.3.m1.1.1.3.3"><minus id="A2.SS2.p2.3.m1.1.1.3.3.1.cmml" xref="A2.SS2.p2.3.m1.1.1.3.3"></minus><ci id="A2.SS2.p2.3.m1.1.1.3.3.2.cmml" xref="A2.SS2.p2.3.m1.1.1.3.3.2">𝛽</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.3.m1.1c">\lambda_{i}\asymp i^{-\beta}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.3.m1.1d">italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ≍ italic_i start_POSTSUPERSCRIPT - italic_β end_POSTSUPERSCRIPT</annotation></semantics></math> (capacity condition) and <math alttext="(w_{0}^{\top}v_{i})^{2}=c_{i}^{2}\asymp i^{-\delta}" class="ltx_Math" display="inline" id="A2.SS2.p2.4.m2.1"><semantics id="A2.SS2.p2.4.m2.1a"><mrow id="A2.SS2.p2.4.m2.1.1" xref="A2.SS2.p2.4.m2.1.1.cmml"><msup id="A2.SS2.p2.4.m2.1.1.1" xref="A2.SS2.p2.4.m2.1.1.1.cmml"><mrow id="A2.SS2.p2.4.m2.1.1.1.1.1" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.cmml"><mo id="A2.SS2.p2.4.m2.1.1.1.1.1.2" stretchy="false" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.p2.4.m2.1.1.1.1.1.1" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.cmml"><msubsup id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.cmml"><mi id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.2" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.2.cmml">w</mi><mn id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.3" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.3.cmml">0</mn><mo id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.3" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.3.cmml">⊤</mo></msubsup><mo id="A2.SS2.p2.4.m2.1.1.1.1.1.1.1" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.1.cmml">⁢</mo><msub id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.cmml"><mi id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.2" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.2.cmml">v</mi><mi id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.3" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.3.cmml">i</mi></msub></mrow><mo id="A2.SS2.p2.4.m2.1.1.1.1.1.3" stretchy="false" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A2.SS2.p2.4.m2.1.1.1.3" xref="A2.SS2.p2.4.m2.1.1.1.3.cmml">2</mn></msup><mo id="A2.SS2.p2.4.m2.1.1.3" xref="A2.SS2.p2.4.m2.1.1.3.cmml">=</mo><msubsup id="A2.SS2.p2.4.m2.1.1.4" xref="A2.SS2.p2.4.m2.1.1.4.cmml"><mi id="A2.SS2.p2.4.m2.1.1.4.2.2" xref="A2.SS2.p2.4.m2.1.1.4.2.2.cmml">c</mi><mi id="A2.SS2.p2.4.m2.1.1.4.2.3" xref="A2.SS2.p2.4.m2.1.1.4.2.3.cmml">i</mi><mn id="A2.SS2.p2.4.m2.1.1.4.3" xref="A2.SS2.p2.4.m2.1.1.4.3.cmml">2</mn></msubsup><mo id="A2.SS2.p2.4.m2.1.1.5" xref="A2.SS2.p2.4.m2.1.1.5.cmml">≍</mo><msup id="A2.SS2.p2.4.m2.1.1.6" xref="A2.SS2.p2.4.m2.1.1.6.cmml"><mi id="A2.SS2.p2.4.m2.1.1.6.2" xref="A2.SS2.p2.4.m2.1.1.6.2.cmml">i</mi><mrow id="A2.SS2.p2.4.m2.1.1.6.3" xref="A2.SS2.p2.4.m2.1.1.6.3.cmml"><mo id="A2.SS2.p2.4.m2.1.1.6.3a" xref="A2.SS2.p2.4.m2.1.1.6.3.cmml">−</mo><mi id="A2.SS2.p2.4.m2.1.1.6.3.2" xref="A2.SS2.p2.4.m2.1.1.6.3.2.cmml">δ</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.4.m2.1b"><apply id="A2.SS2.p2.4.m2.1.1.cmml" xref="A2.SS2.p2.4.m2.1.1"><and id="A2.SS2.p2.4.m2.1.1a.cmml" xref="A2.SS2.p2.4.m2.1.1"></and><apply id="A2.SS2.p2.4.m2.1.1b.cmml" xref="A2.SS2.p2.4.m2.1.1"><eq id="A2.SS2.p2.4.m2.1.1.3.cmml" xref="A2.SS2.p2.4.m2.1.1.3"></eq><apply id="A2.SS2.p2.4.m2.1.1.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.1.2.cmml" xref="A2.SS2.p2.4.m2.1.1.1">superscript</csymbol><apply id="A2.SS2.p2.4.m2.1.1.1.1.1.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1"><times id="A2.SS2.p2.4.m2.1.1.1.1.1.1.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.1"></times><apply id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2">superscript</csymbol><apply id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.2.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.2">𝑤</ci><cn id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.3.cmml" type="integer" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.2.3">0</cn></apply><csymbol cd="latexml" id="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.3.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.2.3">top</csymbol></apply><apply id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.1.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3">subscript</csymbol><ci id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.2.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.2">𝑣</ci><ci id="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.3.cmml" xref="A2.SS2.p2.4.m2.1.1.1.1.1.1.3.3">𝑖</ci></apply></apply><cn id="A2.SS2.p2.4.m2.1.1.1.3.cmml" type="integer" xref="A2.SS2.p2.4.m2.1.1.1.3">2</cn></apply><apply id="A2.SS2.p2.4.m2.1.1.4.cmml" xref="A2.SS2.p2.4.m2.1.1.4"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.4.1.cmml" xref="A2.SS2.p2.4.m2.1.1.4">superscript</csymbol><apply id="A2.SS2.p2.4.m2.1.1.4.2.cmml" xref="A2.SS2.p2.4.m2.1.1.4"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.4.2.1.cmml" xref="A2.SS2.p2.4.m2.1.1.4">subscript</csymbol><ci id="A2.SS2.p2.4.m2.1.1.4.2.2.cmml" xref="A2.SS2.p2.4.m2.1.1.4.2.2">𝑐</ci><ci id="A2.SS2.p2.4.m2.1.1.4.2.3.cmml" xref="A2.SS2.p2.4.m2.1.1.4.2.3">𝑖</ci></apply><cn id="A2.SS2.p2.4.m2.1.1.4.3.cmml" type="integer" xref="A2.SS2.p2.4.m2.1.1.4.3">2</cn></apply></apply><apply id="A2.SS2.p2.4.m2.1.1c.cmml" xref="A2.SS2.p2.4.m2.1.1"><csymbol cd="latexml" id="A2.SS2.p2.4.m2.1.1.5.cmml" xref="A2.SS2.p2.4.m2.1.1.5">asymptotically-equals</csymbol><share href="#A2.SS2.p2.4.m2.1.1.4.cmml" id="A2.SS2.p2.4.m2.1.1d.cmml" xref="A2.SS2.p2.4.m2.1.1"></share><apply id="A2.SS2.p2.4.m2.1.1.6.cmml" xref="A2.SS2.p2.4.m2.1.1.6"><csymbol cd="ambiguous" id="A2.SS2.p2.4.m2.1.1.6.1.cmml" xref="A2.SS2.p2.4.m2.1.1.6">superscript</csymbol><ci id="A2.SS2.p2.4.m2.1.1.6.2.cmml" xref="A2.SS2.p2.4.m2.1.1.6.2">𝑖</ci><apply id="A2.SS2.p2.4.m2.1.1.6.3.cmml" xref="A2.SS2.p2.4.m2.1.1.6.3"><minus id="A2.SS2.p2.4.m2.1.1.6.3.1.cmml" xref="A2.SS2.p2.4.m2.1.1.6.3"></minus><ci id="A2.SS2.p2.4.m2.1.1.6.3.2.cmml" xref="A2.SS2.p2.4.m2.1.1.6.3.2">𝛿</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.4.m2.1c">(w_{0}^{\top}v_{i})^{2}=c_{i}^{2}\asymp i^{-\delta}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.4.m2.1d">( italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT italic_v start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = italic_c start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT ≍ italic_i start_POSTSUPERSCRIPT - italic_δ end_POSTSUPERSCRIPT</annotation></semantics></math> (source condition), we deduce</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx43"> <tbody id="A2.E40"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa I)^{-2}w_% {0}&\asymp w_{0}^{\top}\left(\sum_{i}\frac{\lambda_{i}}{(\lambda_{i}+\kappa^{-% 1}\lambda_{i})^{2}}v_{i}v_{i}^{\top}\right)w_{0}=\sum_{i}\frac{c_{i}^{2}% \lambda_{i}}{(\lambda_{i}+\kappa^{-1}\lambda_{i})^{2}}\\ &=\sum_{i}\frac{c_{i}^{2}\lambda_{i}}{(\lambda_{i}+\kappa^{-1}\lambda_{i})^{2}% }\asymp\sum_{i}\frac{\lambda_{i}^{1+\delta/\beta}}{(\lambda_{i}+\kappa^{-1}% \lambda_{i})^{2}}\asymp\kappa^{-\gamma}\asymp T^{-\ell\gamma},\end{split}" class="ltx_Math" display="inline" id="A2.E40.m1.54"><semantics id="A2.E40.m1.54a"><mtable columnspacing="0pt" id="A2.E40.m1.54.54.4" rowspacing="0pt"><mtr id="A2.E40.m1.54.54.4a"><mtd class="ltx_align_right" columnalign="right" id="A2.E40.m1.54.54.4b"><mrow id="A2.E40.m1.52.52.2.51.36.16"><msup id="A2.E40.m1.52.52.2.51.36.16.18"><mi id="A2.E40.m1.1.1.1.1.1.1" xref="A2.E40.m1.1.1.1.1.1.1.cmml">κ</mi><mn id="A2.E40.m1.2.2.2.2.2.2.1" xref="A2.E40.m1.2.2.2.2.2.2.1.cmml">2</mn></msup><mo id="A2.E40.m1.52.52.2.51.36.16.17" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msubsup id="A2.E40.m1.52.52.2.51.36.16.19"><mi id="A2.E40.m1.3.3.3.3.3.3" xref="A2.E40.m1.3.3.3.3.3.3.cmml">w</mi><mn id="A2.E40.m1.4.4.4.4.4.4.1" xref="A2.E40.m1.4.4.4.4.4.4.1.cmml">0</mn><mo id="A2.E40.m1.5.5.5.5.5.5.1" xref="A2.E40.m1.5.5.5.5.5.5.1.cmml">⊤</mo></msubsup><mo id="A2.E40.m1.52.52.2.51.36.16.17a" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><mi id="A2.E40.m1.6.6.6.6.6.6" mathvariant="normal" xref="A2.E40.m1.6.6.6.6.6.6.cmml">Σ</mi><mo id="A2.E40.m1.52.52.2.51.36.16.17b" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msup id="A2.E40.m1.52.52.2.51.36.16.16"><mrow id="A2.E40.m1.52.52.2.51.36.16.16.1.1"><mo id="A2.E40.m1.7.7.7.7.7.7" stretchy="false" xref="A2.E40.m1.51.51.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.52.52.2.51.36.16.16.1.1.1"><mi id="A2.E40.m1.8.8.8.8.8.8" mathvariant="normal" xref="A2.E40.m1.8.8.8.8.8.8.cmml">Σ</mi><mo id="A2.E40.m1.9.9.9.9.9.9" xref="A2.E40.m1.9.9.9.9.9.9.cmml">+</mo><mrow id="A2.E40.m1.52.52.2.51.36.16.16.1.1.1.1"><mi id="A2.E40.m1.10.10.10.10.10.10" xref="A2.E40.m1.10.10.10.10.10.10.cmml">κ</mi><mo id="A2.E40.m1.52.52.2.51.36.16.16.1.1.1.1.1" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><mi id="A2.E40.m1.11.11.11.11.11.11" xref="A2.E40.m1.11.11.11.11.11.11.cmml">I</mi></mrow></mrow><mo id="A2.E40.m1.12.12.12.12.12.12" stretchy="false" xref="A2.E40.m1.51.51.1.1.1.cmml">)</mo></mrow><mrow id="A2.E40.m1.13.13.13.13.13.13.1" xref="A2.E40.m1.13.13.13.13.13.13.1.cmml"><mo id="A2.E40.m1.13.13.13.13.13.13.1a" xref="A2.E40.m1.13.13.13.13.13.13.1.cmml">−</mo><mn id="A2.E40.m1.13.13.13.13.13.13.1.2" xref="A2.E40.m1.13.13.13.13.13.13.1.2.cmml">2</mn></mrow></msup><mo id="A2.E40.m1.52.52.2.51.36.16.17c" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msub id="A2.E40.m1.52.52.2.51.36.16.20"><mi id="A2.E40.m1.14.14.14.14.14.14" xref="A2.E40.m1.14.14.14.14.14.14.cmml">w</mi><mn id="A2.E40.m1.15.15.15.15.15.15.1" xref="A2.E40.m1.15.15.15.15.15.15.1.cmml">0</mn></msub></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E40.m1.54.54.4c"><mrow id="A2.E40.m1.53.53.3.52.37.21"><mi id="A2.E40.m1.53.53.3.52.37.21.23" xref="A2.E40.m1.51.51.1.1.1.cmml"></mi><mo id="A2.E40.m1.16.16.16.16.1.1" xref="A2.E40.m1.16.16.16.16.1.1.cmml">≍</mo><mrow id="A2.E40.m1.53.53.3.52.37.21.21"><msubsup id="A2.E40.m1.53.53.3.52.37.21.21.3"><mi id="A2.E40.m1.17.17.17.17.2.2" xref="A2.E40.m1.17.17.17.17.2.2.cmml">w</mi><mn id="A2.E40.m1.18.18.18.18.3.3.1" xref="A2.E40.m1.18.18.18.18.3.3.1.cmml">0</mn><mo id="A2.E40.m1.19.19.19.19.4.4.1" xref="A2.E40.m1.19.19.19.19.4.4.1.cmml">⊤</mo></msubsup><mo id="A2.E40.m1.53.53.3.52.37.21.21.2" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><mrow id="A2.E40.m1.53.53.3.52.37.21.21.1.1"><mo id="A2.E40.m1.20.20.20.20.5.5" xref="A2.E40.m1.51.51.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1"><mstyle displaystyle="true" id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.1"><munder id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.1a"><mo id="A2.E40.m1.21.21.21.21.6.6" movablelimits="false" xref="A2.E40.m1.21.21.21.21.6.6.cmml">∑</mo><mi id="A2.E40.m1.22.22.22.22.7.7.1" xref="A2.E40.m1.22.22.22.22.7.7.1.cmml">i</mi></munder></mstyle><mrow id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.2"><mstyle displaystyle="true" id="A2.E40.m1.23.23.23.23.8.8" xref="A2.E40.m1.23.23.23.23.8.8.cmml"><mfrac id="A2.E40.m1.23.23.23.23.8.8a" xref="A2.E40.m1.23.23.23.23.8.8.cmml"><msub id="A2.E40.m1.23.23.23.23.8.8.3" xref="A2.E40.m1.23.23.23.23.8.8.3.cmml"><mi id="A2.E40.m1.23.23.23.23.8.8.3.2" xref="A2.E40.m1.23.23.23.23.8.8.3.2.cmml">λ</mi><mi id="A2.E40.m1.23.23.23.23.8.8.3.3" xref="A2.E40.m1.23.23.23.23.8.8.3.3.cmml">i</mi></msub><msup id="A2.E40.m1.23.23.23.23.8.8.1" xref="A2.E40.m1.23.23.23.23.8.8.1.cmml"><mrow id="A2.E40.m1.23.23.23.23.8.8.1.1.1" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.cmml"><mo id="A2.E40.m1.23.23.23.23.8.8.1.1.1.2" stretchy="false" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.cmml"><msub id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.cmml"><mi id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.2.cmml">λ</mi><mi id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.3" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.3.cmml">i</mi></msub><mo id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.1" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.1.cmml">+</mo><mrow id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.cmml"><msup id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.cmml"><mi id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.2.cmml">κ</mi><mrow id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.cmml"><mo id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3a" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.cmml">−</mo><mn id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.1" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.cmml"><mi id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.2" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.3" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo id="A2.E40.m1.23.23.23.23.8.8.1.1.1.3" stretchy="false" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.cmml">)</mo></mrow><mn id="A2.E40.m1.23.23.23.23.8.8.1.3" xref="A2.E40.m1.23.23.23.23.8.8.1.3.cmml">2</mn></msup></mfrac></mstyle><mo id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.2.1" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msub id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.2.2"><mi id="A2.E40.m1.24.24.24.24.9.9" xref="A2.E40.m1.24.24.24.24.9.9.cmml">v</mi><mi id="A2.E40.m1.25.25.25.25.10.10.1" xref="A2.E40.m1.25.25.25.25.10.10.1.cmml">i</mi></msub><mo id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.2.1a" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msubsup id="A2.E40.m1.53.53.3.52.37.21.21.1.1.1.2.3"><mi id="A2.E40.m1.26.26.26.26.11.11" xref="A2.E40.m1.26.26.26.26.11.11.cmml">v</mi><mi id="A2.E40.m1.27.27.27.27.12.12.1" xref="A2.E40.m1.27.27.27.27.12.12.1.cmml">i</mi><mo id="A2.E40.m1.28.28.28.28.13.13.1" xref="A2.E40.m1.28.28.28.28.13.13.1.cmml">⊤</mo></msubsup></mrow></mrow><mo id="A2.E40.m1.29.29.29.29.14.14" xref="A2.E40.m1.51.51.1.1.1.cmml">)</mo></mrow><mo id="A2.E40.m1.53.53.3.52.37.21.21.2a" xref="A2.E40.m1.51.51.1.1.1.cmml">⁢</mo><msub id="A2.E40.m1.53.53.3.52.37.21.21.4"><mi id="A2.E40.m1.30.30.30.30.15.15" xref="A2.E40.m1.30.30.30.30.15.15.cmml">w</mi><mn id="A2.E40.m1.31.31.31.31.16.16.1" xref="A2.E40.m1.31.31.31.31.16.16.1.cmml">0</mn></msub></mrow><mo id="A2.E40.m1.32.32.32.32.17.17" xref="A2.E40.m1.32.32.32.32.17.17.cmml">=</mo><mrow id="A2.E40.m1.53.53.3.52.37.21.24"><mstyle displaystyle="true" id="A2.E40.m1.53.53.3.52.37.21.24.1"><munder id="A2.E40.m1.53.53.3.52.37.21.24.1a"><mo id="A2.E40.m1.33.33.33.33.18.18" movablelimits="false" xref="A2.E40.m1.33.33.33.33.18.18.cmml">∑</mo><mi id="A2.E40.m1.34.34.34.34.19.19.1" xref="A2.E40.m1.34.34.34.34.19.19.1.cmml">i</mi></munder></mstyle><mstyle displaystyle="true" id="A2.E40.m1.35.35.35.35.20.20" xref="A2.E40.m1.35.35.35.35.20.20.cmml"><mfrac id="A2.E40.m1.35.35.35.35.20.20a" xref="A2.E40.m1.35.35.35.35.20.20.cmml"><mrow id="A2.E40.m1.35.35.35.35.20.20.3" xref="A2.E40.m1.35.35.35.35.20.20.3.cmml"><msubsup id="A2.E40.m1.35.35.35.35.20.20.3.2" xref="A2.E40.m1.35.35.35.35.20.20.3.2.cmml"><mi id="A2.E40.m1.35.35.35.35.20.20.3.2.2.2" xref="A2.E40.m1.35.35.35.35.20.20.3.2.2.2.cmml">c</mi><mi id="A2.E40.m1.35.35.35.35.20.20.3.2.2.3" xref="A2.E40.m1.35.35.35.35.20.20.3.2.2.3.cmml">i</mi><mn id="A2.E40.m1.35.35.35.35.20.20.3.2.3" xref="A2.E40.m1.35.35.35.35.20.20.3.2.3.cmml">2</mn></msubsup><mo id="A2.E40.m1.35.35.35.35.20.20.3.1" xref="A2.E40.m1.35.35.35.35.20.20.3.1.cmml">⁢</mo><msub id="A2.E40.m1.35.35.35.35.20.20.3.3" xref="A2.E40.m1.35.35.35.35.20.20.3.3.cmml"><mi id="A2.E40.m1.35.35.35.35.20.20.3.3.2" xref="A2.E40.m1.35.35.35.35.20.20.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.35.35.35.35.20.20.3.3.3" xref="A2.E40.m1.35.35.35.35.20.20.3.3.3.cmml">i</mi></msub></mrow><msup id="A2.E40.m1.35.35.35.35.20.20.1" xref="A2.E40.m1.35.35.35.35.20.20.1.cmml"><mrow id="A2.E40.m1.35.35.35.35.20.20.1.1.1" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.cmml"><mo id="A2.E40.m1.35.35.35.35.20.20.1.1.1.2" stretchy="false" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.cmml"><msub id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.cmml"><mi id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.2.cmml">λ</mi><mi id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.3" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.3.cmml">i</mi></msub><mo id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.1" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.1.cmml">+</mo><mrow id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.cmml"><msup id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.cmml"><mi id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.2.cmml">κ</mi><mrow id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.cmml"><mo id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3a" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.cmml">−</mo><mn id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.1" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.cmml"><mi id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.2" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.3" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo id="A2.E40.m1.35.35.35.35.20.20.1.1.1.3" stretchy="false" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.cmml">)</mo></mrow><mn id="A2.E40.m1.35.35.35.35.20.20.1.3" xref="A2.E40.m1.35.35.35.35.20.20.1.3.cmml">2</mn></msup></mfrac></mstyle></mrow></mrow></mtd></mtr><mtr id="A2.E40.m1.54.54.4d"><mtd id="A2.E40.m1.54.54.4e" xref="A2.E40.m1.51.51.1.1.1.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A2.E40.m1.54.54.4f"><mrow id="A2.E40.m1.54.54.4.53.16.16.16"><mrow id="A2.E40.m1.54.54.4.53.16.16.16.1"><mi id="A2.E40.m1.54.54.4.53.16.16.16.1.2" xref="A2.E40.m1.51.51.1.1.1.cmml"></mi><mo id="A2.E40.m1.36.36.36.1.1.1" xref="A2.E40.m1.36.36.36.1.1.1.cmml">=</mo><mrow id="A2.E40.m1.54.54.4.53.16.16.16.1.3"><mstyle displaystyle="true" id="A2.E40.m1.54.54.4.53.16.16.16.1.3.1"><munder id="A2.E40.m1.54.54.4.53.16.16.16.1.3.1a"><mo id="A2.E40.m1.37.37.37.2.2.2" movablelimits="false" xref="A2.E40.m1.37.37.37.2.2.2.cmml">∑</mo><mi id="A2.E40.m1.38.38.38.3.3.3.1" xref="A2.E40.m1.38.38.38.3.3.3.1.cmml">i</mi></munder></mstyle><mstyle displaystyle="true" id="A2.E40.m1.39.39.39.4.4.4" xref="A2.E40.m1.39.39.39.4.4.4.cmml"><mfrac id="A2.E40.m1.39.39.39.4.4.4a" xref="A2.E40.m1.39.39.39.4.4.4.cmml"><mrow id="A2.E40.m1.39.39.39.4.4.4.3" xref="A2.E40.m1.39.39.39.4.4.4.3.cmml"><msubsup id="A2.E40.m1.39.39.39.4.4.4.3.2" xref="A2.E40.m1.39.39.39.4.4.4.3.2.cmml"><mi id="A2.E40.m1.39.39.39.4.4.4.3.2.2.2" xref="A2.E40.m1.39.39.39.4.4.4.3.2.2.2.cmml">c</mi><mi id="A2.E40.m1.39.39.39.4.4.4.3.2.2.3" xref="A2.E40.m1.39.39.39.4.4.4.3.2.2.3.cmml">i</mi><mn id="A2.E40.m1.39.39.39.4.4.4.3.2.3" xref="A2.E40.m1.39.39.39.4.4.4.3.2.3.cmml">2</mn></msubsup><mo id="A2.E40.m1.39.39.39.4.4.4.3.1" xref="A2.E40.m1.39.39.39.4.4.4.3.1.cmml">⁢</mo><msub id="A2.E40.m1.39.39.39.4.4.4.3.3" xref="A2.E40.m1.39.39.39.4.4.4.3.3.cmml"><mi id="A2.E40.m1.39.39.39.4.4.4.3.3.2" xref="A2.E40.m1.39.39.39.4.4.4.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.39.39.39.4.4.4.3.3.3" xref="A2.E40.m1.39.39.39.4.4.4.3.3.3.cmml">i</mi></msub></mrow><msup id="A2.E40.m1.39.39.39.4.4.4.1" xref="A2.E40.m1.39.39.39.4.4.4.1.cmml"><mrow id="A2.E40.m1.39.39.39.4.4.4.1.1.1" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.cmml"><mo id="A2.E40.m1.39.39.39.4.4.4.1.1.1.2" stretchy="false" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.cmml"><msub id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.cmml"><mi id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.2.cmml">λ</mi><mi id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.3" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.3.cmml">i</mi></msub><mo id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.1" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.1.cmml">+</mo><mrow id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.cmml"><msup id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.cmml"><mi id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.2.cmml">κ</mi><mrow id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.cmml"><mo id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3a" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.cmml">−</mo><mn id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.1" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.cmml"><mi id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.2" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.3" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo id="A2.E40.m1.39.39.39.4.4.4.1.1.1.3" stretchy="false" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.cmml">)</mo></mrow><mn id="A2.E40.m1.39.39.39.4.4.4.1.3" xref="A2.E40.m1.39.39.39.4.4.4.1.3.cmml">2</mn></msup></mfrac></mstyle></mrow><mo id="A2.E40.m1.40.40.40.5.5.5" xref="A2.E40.m1.40.40.40.5.5.5.cmml">≍</mo><mrow id="A2.E40.m1.54.54.4.53.16.16.16.1.4"><mstyle displaystyle="true" id="A2.E40.m1.54.54.4.53.16.16.16.1.4.1"><munder id="A2.E40.m1.54.54.4.53.16.16.16.1.4.1a"><mo id="A2.E40.m1.41.41.41.6.6.6" movablelimits="false" xref="A2.E40.m1.41.41.41.6.6.6.cmml">∑</mo><mi id="A2.E40.m1.42.42.42.7.7.7.1" xref="A2.E40.m1.42.42.42.7.7.7.1.cmml">i</mi></munder></mstyle><mstyle displaystyle="true" id="A2.E40.m1.43.43.43.8.8.8" xref="A2.E40.m1.43.43.43.8.8.8.cmml"><mfrac id="A2.E40.m1.43.43.43.8.8.8a" xref="A2.E40.m1.43.43.43.8.8.8.cmml"><msubsup id="A2.E40.m1.43.43.43.8.8.8.3" xref="A2.E40.m1.43.43.43.8.8.8.3.cmml"><mi id="A2.E40.m1.43.43.43.8.8.8.3.2.2" xref="A2.E40.m1.43.43.43.8.8.8.3.2.2.cmml">λ</mi><mi id="A2.E40.m1.43.43.43.8.8.8.3.2.3" xref="A2.E40.m1.43.43.43.8.8.8.3.2.3.cmml">i</mi><mrow id="A2.E40.m1.43.43.43.8.8.8.3.3" xref="A2.E40.m1.43.43.43.8.8.8.3.3.cmml"><mn id="A2.E40.m1.43.43.43.8.8.8.3.3.2" xref="A2.E40.m1.43.43.43.8.8.8.3.3.2.cmml">1</mn><mo id="A2.E40.m1.43.43.43.8.8.8.3.3.1" xref="A2.E40.m1.43.43.43.8.8.8.3.3.1.cmml">+</mo><mrow id="A2.E40.m1.43.43.43.8.8.8.3.3.3" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.cmml"><mi id="A2.E40.m1.43.43.43.8.8.8.3.3.3.2" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.2.cmml">δ</mi><mo id="A2.E40.m1.43.43.43.8.8.8.3.3.3.1" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.1.cmml">/</mo><mi id="A2.E40.m1.43.43.43.8.8.8.3.3.3.3" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.3.cmml">β</mi></mrow></mrow></msubsup><msup id="A2.E40.m1.43.43.43.8.8.8.1" xref="A2.E40.m1.43.43.43.8.8.8.1.cmml"><mrow id="A2.E40.m1.43.43.43.8.8.8.1.1.1" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.cmml"><mo id="A2.E40.m1.43.43.43.8.8.8.1.1.1.2" stretchy="false" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.cmml">(</mo><mrow id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.cmml"><msub id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.cmml"><mi id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.2.cmml">λ</mi><mi id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.3" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.3.cmml">i</mi></msub><mo id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.1" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.1.cmml">+</mo><mrow id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.cmml"><msup id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.cmml"><mi id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.2.cmml">κ</mi><mrow id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.cmml"><mo id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3a" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.cmml">−</mo><mn id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.1" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.1.cmml">⁢</mo><msub id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.cmml"><mi id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.2" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.3" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo id="A2.E40.m1.43.43.43.8.8.8.1.1.1.3" stretchy="false" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.cmml">)</mo></mrow><mn id="A2.E40.m1.43.43.43.8.8.8.1.3" xref="A2.E40.m1.43.43.43.8.8.8.1.3.cmml">2</mn></msup></mfrac></mstyle></mrow><mo id="A2.E40.m1.44.44.44.9.9.9" xref="A2.E40.m1.44.44.44.9.9.9.cmml">≍</mo><msup id="A2.E40.m1.54.54.4.53.16.16.16.1.5"><mi id="A2.E40.m1.45.45.45.10.10.10" xref="A2.E40.m1.45.45.45.10.10.10.cmml">κ</mi><mrow id="A2.E40.m1.46.46.46.11.11.11.1" xref="A2.E40.m1.46.46.46.11.11.11.1.cmml"><mo id="A2.E40.m1.46.46.46.11.11.11.1a" xref="A2.E40.m1.46.46.46.11.11.11.1.cmml">−</mo><mi id="A2.E40.m1.46.46.46.11.11.11.1.2" xref="A2.E40.m1.46.46.46.11.11.11.1.2.cmml">γ</mi></mrow></msup><mo id="A2.E40.m1.47.47.47.12.12.12" xref="A2.E40.m1.47.47.47.12.12.12.cmml">≍</mo><msup id="A2.E40.m1.54.54.4.53.16.16.16.1.6"><mi id="A2.E40.m1.48.48.48.13.13.13" xref="A2.E40.m1.48.48.48.13.13.13.cmml">T</mi><mrow id="A2.E40.m1.49.49.49.14.14.14.1" xref="A2.E40.m1.49.49.49.14.14.14.1.cmml"><mo id="A2.E40.m1.49.49.49.14.14.14.1a" xref="A2.E40.m1.49.49.49.14.14.14.1.cmml">−</mo><mrow id="A2.E40.m1.49.49.49.14.14.14.1.2" xref="A2.E40.m1.49.49.49.14.14.14.1.2.cmml"><mi id="A2.E40.m1.49.49.49.14.14.14.1.2.2" mathvariant="normal" xref="A2.E40.m1.49.49.49.14.14.14.1.2.2.cmml">ℓ</mi><mo id="A2.E40.m1.49.49.49.14.14.14.1.2.1" xref="A2.E40.m1.49.49.49.14.14.14.1.2.1.cmml">⁢</mo><mi id="A2.E40.m1.49.49.49.14.14.14.1.2.3" xref="A2.E40.m1.49.49.49.14.14.14.1.2.3.cmml">γ</mi></mrow></mrow></msup></mrow><mo id="A2.E40.m1.50.50.50.15.15.15" xref="A2.E40.m1.51.51.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A2.E40.m1.54b"><apply id="A2.E40.m1.51.51.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><and id="A2.E40.m1.51.51.1.1.1a.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></and><apply id="A2.E40.m1.51.51.1.1.1b.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="latexml" id="A2.E40.m1.16.16.16.16.1.1.cmml" xref="A2.E40.m1.16.16.16.16.1.1">asymptotically-equals</csymbol><apply id="A2.E40.m1.51.51.1.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><times id="A2.E40.m1.51.51.1.1.1.1.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></times><apply id="A2.E40.m1.51.51.1.1.1.1.3.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.1.3.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><ci id="A2.E40.m1.1.1.1.1.1.1.cmml" xref="A2.E40.m1.1.1.1.1.1.1">𝜅</ci><cn id="A2.E40.m1.2.2.2.2.2.2.1.cmml" type="integer" xref="A2.E40.m1.2.2.2.2.2.2.1">2</cn></apply><apply id="A2.E40.m1.51.51.1.1.1.1.4.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.1.4.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><apply id="A2.E40.m1.51.51.1.1.1.1.4.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.1.4.2.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.3.3.3.3.3.3.cmml" xref="A2.E40.m1.3.3.3.3.3.3">𝑤</ci><cn id="A2.E40.m1.4.4.4.4.4.4.1.cmml" type="integer" xref="A2.E40.m1.4.4.4.4.4.4.1">0</cn></apply><csymbol cd="latexml" id="A2.E40.m1.5.5.5.5.5.5.1.cmml" xref="A2.E40.m1.5.5.5.5.5.5.1">top</csymbol></apply><ci id="A2.E40.m1.6.6.6.6.6.6.cmml" xref="A2.E40.m1.6.6.6.6.6.6">Σ</ci><apply id="A2.E40.m1.51.51.1.1.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.1.1.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><apply id="A2.E40.m1.51.51.1.1.1.1.1.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><plus id="A2.E40.m1.9.9.9.9.9.9.cmml" xref="A2.E40.m1.9.9.9.9.9.9"></plus><ci id="A2.E40.m1.8.8.8.8.8.8.cmml" xref="A2.E40.m1.8.8.8.8.8.8">Σ</ci><apply id="A2.E40.m1.51.51.1.1.1.1.1.1.1.1.3.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><times id="A2.E40.m1.51.51.1.1.1.1.1.1.1.1.3.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></times><ci id="A2.E40.m1.10.10.10.10.10.10.cmml" xref="A2.E40.m1.10.10.10.10.10.10">𝜅</ci><ci id="A2.E40.m1.11.11.11.11.11.11.cmml" xref="A2.E40.m1.11.11.11.11.11.11">𝐼</ci></apply></apply><apply id="A2.E40.m1.13.13.13.13.13.13.1.cmml" xref="A2.E40.m1.13.13.13.13.13.13.1"><minus id="A2.E40.m1.13.13.13.13.13.13.1.1.cmml" xref="A2.E40.m1.13.13.13.13.13.13.1"></minus><cn id="A2.E40.m1.13.13.13.13.13.13.1.2.cmml" type="integer" xref="A2.E40.m1.13.13.13.13.13.13.1.2">2</cn></apply></apply><apply id="A2.E40.m1.51.51.1.1.1.1.6.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.1.6.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.14.14.14.14.14.14.cmml" xref="A2.E40.m1.14.14.14.14.14.14">𝑤</ci><cn id="A2.E40.m1.15.15.15.15.15.15.1.cmml" type="integer" xref="A2.E40.m1.15.15.15.15.15.15.1">0</cn></apply></apply><apply id="A2.E40.m1.51.51.1.1.1.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><times id="A2.E40.m1.51.51.1.1.1.2.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></times><apply id="A2.E40.m1.51.51.1.1.1.2.3.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.3.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><apply id="A2.E40.m1.51.51.1.1.1.2.3.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.3.2.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.17.17.17.17.2.2.cmml" xref="A2.E40.m1.17.17.17.17.2.2">𝑤</ci><cn id="A2.E40.m1.18.18.18.18.3.3.1.cmml" type="integer" xref="A2.E40.m1.18.18.18.18.3.3.1">0</cn></apply><csymbol cd="latexml" id="A2.E40.m1.19.19.19.19.4.4.1.cmml" xref="A2.E40.m1.19.19.19.19.4.4.1">top</csymbol></apply><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.1.1.1.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><sum id="A2.E40.m1.21.21.21.21.6.6.cmml" xref="A2.E40.m1.21.21.21.21.6.6"></sum><ci id="A2.E40.m1.22.22.22.22.7.7.1.cmml" xref="A2.E40.m1.22.22.22.22.7.7.1">𝑖</ci></apply><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><times id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></times><apply id="A2.E40.m1.23.23.23.23.8.8.cmml" xref="A2.E40.m1.23.23.23.23.8.8"><divide id="A2.E40.m1.23.23.23.23.8.8.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8"></divide><apply id="A2.E40.m1.23.23.23.23.8.8.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.3"><csymbol cd="ambiguous" id="A2.E40.m1.23.23.23.23.8.8.3.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.3">subscript</csymbol><ci id="A2.E40.m1.23.23.23.23.8.8.3.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.3.2">𝜆</ci><ci id="A2.E40.m1.23.23.23.23.8.8.3.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.3.3">𝑖</ci></apply><apply id="A2.E40.m1.23.23.23.23.8.8.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1"><csymbol cd="ambiguous" id="A2.E40.m1.23.23.23.23.8.8.1.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1">superscript</csymbol><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1"><plus id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.1"></plus><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2">subscript</csymbol><ci id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.2">𝜆</ci><ci id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.2.3">𝑖</ci></apply><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3"><times id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.1"></times><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2">superscript</csymbol><ci id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.2">𝜅</ci><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3"><minus id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3"></minus><cn id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.2.cmml" type="integer" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.1.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3">subscript</csymbol><ci id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.2.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.2">𝜆</ci><ci id="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.3.cmml" xref="A2.E40.m1.23.23.23.23.8.8.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply><cn id="A2.E40.m1.23.23.23.23.8.8.1.3.cmml" type="integer" xref="A2.E40.m1.23.23.23.23.8.8.1.3">2</cn></apply></apply><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.3.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.3.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.24.24.24.24.9.9.cmml" xref="A2.E40.m1.24.24.24.24.9.9">𝑣</ci><ci id="A2.E40.m1.25.25.25.25.10.10.1.cmml" xref="A2.E40.m1.25.25.25.25.10.10.1">𝑖</ci></apply><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.4.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.4.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><apply id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.4.2.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.1.1.1.2.4.2.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.26.26.26.26.11.11.cmml" xref="A2.E40.m1.26.26.26.26.11.11">𝑣</ci><ci id="A2.E40.m1.27.27.27.27.12.12.1.cmml" xref="A2.E40.m1.27.27.27.27.12.12.1">𝑖</ci></apply><csymbol cd="latexml" id="A2.E40.m1.28.28.28.28.13.13.1.cmml" xref="A2.E40.m1.28.28.28.28.13.13.1">top</csymbol></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1.2.4.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.2.4.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><ci id="A2.E40.m1.30.30.30.30.15.15.cmml" xref="A2.E40.m1.30.30.30.30.15.15">𝑤</ci><cn id="A2.E40.m1.31.31.31.31.16.16.1.cmml" type="integer" xref="A2.E40.m1.31.31.31.31.16.16.1">0</cn></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1c.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><eq id="A2.E40.m1.32.32.32.32.17.17.cmml" xref="A2.E40.m1.32.32.32.32.17.17"></eq><share href="#A2.E40.m1.51.51.1.1.1.2.cmml" id="A2.E40.m1.51.51.1.1.1d.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></share><apply id="A2.E40.m1.51.51.1.1.1.6.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><apply id="A2.E40.m1.51.51.1.1.1.6.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.6.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><sum id="A2.E40.m1.33.33.33.33.18.18.cmml" xref="A2.E40.m1.33.33.33.33.18.18"></sum><ci id="A2.E40.m1.34.34.34.34.19.19.1.cmml" xref="A2.E40.m1.34.34.34.34.19.19.1">𝑖</ci></apply><apply id="A2.E40.m1.35.35.35.35.20.20.cmml" xref="A2.E40.m1.35.35.35.35.20.20"><divide id="A2.E40.m1.35.35.35.35.20.20.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20"></divide><apply id="A2.E40.m1.35.35.35.35.20.20.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3"><times id="A2.E40.m1.35.35.35.35.20.20.3.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.1"></times><apply id="A2.E40.m1.35.35.35.35.20.20.3.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.3.2.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2">superscript</csymbol><apply id="A2.E40.m1.35.35.35.35.20.20.3.2.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.3.2.2.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2">subscript</csymbol><ci id="A2.E40.m1.35.35.35.35.20.20.3.2.2.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2.2.2">𝑐</ci><ci id="A2.E40.m1.35.35.35.35.20.20.3.2.2.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.2.2.3">𝑖</ci></apply><cn id="A2.E40.m1.35.35.35.35.20.20.3.2.3.cmml" type="integer" xref="A2.E40.m1.35.35.35.35.20.20.3.2.3">2</cn></apply><apply id="A2.E40.m1.35.35.35.35.20.20.3.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.3.3.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.3">subscript</csymbol><ci id="A2.E40.m1.35.35.35.35.20.20.3.3.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.3.2">𝜆</ci><ci id="A2.E40.m1.35.35.35.35.20.20.3.3.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.3.3.3">𝑖</ci></apply></apply><apply id="A2.E40.m1.35.35.35.35.20.20.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.1.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1">superscript</csymbol><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1"><plus id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.1"></plus><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2">subscript</csymbol><ci id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.2">𝜆</ci><ci id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.2.3">𝑖</ci></apply><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3"><times id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.1"></times><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2">superscript</csymbol><ci id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.2">𝜅</ci><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3"><minus id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3"></minus><cn id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.2.cmml" type="integer" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.1.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3">subscript</csymbol><ci id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.2.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.2">𝜆</ci><ci id="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.3.cmml" xref="A2.E40.m1.35.35.35.35.20.20.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply><cn id="A2.E40.m1.35.35.35.35.20.20.1.3.cmml" type="integer" xref="A2.E40.m1.35.35.35.35.20.20.1.3">2</cn></apply></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1e.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><eq id="A2.E40.m1.36.36.36.1.1.1.cmml" xref="A2.E40.m1.36.36.36.1.1.1"></eq><share href="#A2.E40.m1.51.51.1.1.1.6.cmml" id="A2.E40.m1.51.51.1.1.1f.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></share><apply id="A2.E40.m1.51.51.1.1.1.8.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><apply id="A2.E40.m1.51.51.1.1.1.8.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.8.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><sum id="A2.E40.m1.37.37.37.2.2.2.cmml" xref="A2.E40.m1.37.37.37.2.2.2"></sum><ci id="A2.E40.m1.38.38.38.3.3.3.1.cmml" xref="A2.E40.m1.38.38.38.3.3.3.1">𝑖</ci></apply><apply id="A2.E40.m1.39.39.39.4.4.4.cmml" xref="A2.E40.m1.39.39.39.4.4.4"><divide id="A2.E40.m1.39.39.39.4.4.4.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4"></divide><apply id="A2.E40.m1.39.39.39.4.4.4.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3"><times id="A2.E40.m1.39.39.39.4.4.4.3.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.1"></times><apply id="A2.E40.m1.39.39.39.4.4.4.3.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.3.2.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2">superscript</csymbol><apply id="A2.E40.m1.39.39.39.4.4.4.3.2.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.3.2.2.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2">subscript</csymbol><ci id="A2.E40.m1.39.39.39.4.4.4.3.2.2.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2.2.2">𝑐</ci><ci id="A2.E40.m1.39.39.39.4.4.4.3.2.2.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.2.2.3">𝑖</ci></apply><cn id="A2.E40.m1.39.39.39.4.4.4.3.2.3.cmml" type="integer" xref="A2.E40.m1.39.39.39.4.4.4.3.2.3">2</cn></apply><apply id="A2.E40.m1.39.39.39.4.4.4.3.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.3.3.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.3">subscript</csymbol><ci id="A2.E40.m1.39.39.39.4.4.4.3.3.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.3.2">𝜆</ci><ci id="A2.E40.m1.39.39.39.4.4.4.3.3.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.3.3.3">𝑖</ci></apply></apply><apply id="A2.E40.m1.39.39.39.4.4.4.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.1.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1">superscript</csymbol><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1"><plus id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.1"></plus><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2">subscript</csymbol><ci id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.2">𝜆</ci><ci id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.2.3">𝑖</ci></apply><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3"><times id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.1"></times><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2">superscript</csymbol><ci id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.2">𝜅</ci><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3"><minus id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3"></minus><cn id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.2.cmml" type="integer" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.1.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3">subscript</csymbol><ci id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.2.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.2">𝜆</ci><ci id="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.3.cmml" xref="A2.E40.m1.39.39.39.4.4.4.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply><cn id="A2.E40.m1.39.39.39.4.4.4.1.3.cmml" type="integer" xref="A2.E40.m1.39.39.39.4.4.4.1.3">2</cn></apply></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1g.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="latexml" id="A2.E40.m1.40.40.40.5.5.5.cmml" xref="A2.E40.m1.40.40.40.5.5.5">asymptotically-equals</csymbol><share href="#A2.E40.m1.51.51.1.1.1.8.cmml" id="A2.E40.m1.51.51.1.1.1h.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></share><apply id="A2.E40.m1.51.51.1.1.1.10.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><apply id="A2.E40.m1.51.51.1.1.1.10.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.10.1.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">subscript</csymbol><sum id="A2.E40.m1.41.41.41.6.6.6.cmml" xref="A2.E40.m1.41.41.41.6.6.6"></sum><ci id="A2.E40.m1.42.42.42.7.7.7.1.cmml" xref="A2.E40.m1.42.42.42.7.7.7.1">𝑖</ci></apply><apply id="A2.E40.m1.43.43.43.8.8.8.cmml" xref="A2.E40.m1.43.43.43.8.8.8"><divide id="A2.E40.m1.43.43.43.8.8.8.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8"></divide><apply id="A2.E40.m1.43.43.43.8.8.8.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3">superscript</csymbol><apply id="A2.E40.m1.43.43.43.8.8.8.3.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.3.2.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3">subscript</csymbol><ci id="A2.E40.m1.43.43.43.8.8.8.3.2.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.2.2">𝜆</ci><ci id="A2.E40.m1.43.43.43.8.8.8.3.2.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.2.3">𝑖</ci></apply><apply id="A2.E40.m1.43.43.43.8.8.8.3.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3"><plus id="A2.E40.m1.43.43.43.8.8.8.3.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3.1"></plus><cn id="A2.E40.m1.43.43.43.8.8.8.3.3.2.cmml" type="integer" xref="A2.E40.m1.43.43.43.8.8.8.3.3.2">1</cn><apply id="A2.E40.m1.43.43.43.8.8.8.3.3.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3"><divide id="A2.E40.m1.43.43.43.8.8.8.3.3.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.1"></divide><ci id="A2.E40.m1.43.43.43.8.8.8.3.3.3.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.2">𝛿</ci><ci id="A2.E40.m1.43.43.43.8.8.8.3.3.3.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.3.3.3.3">𝛽</ci></apply></apply></apply><apply id="A2.E40.m1.43.43.43.8.8.8.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.1.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1">superscript</csymbol><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1"><plus id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.1"></plus><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2">subscript</csymbol><ci id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.2">𝜆</ci><ci id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.2.3">𝑖</ci></apply><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3"><times id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.1"></times><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2">superscript</csymbol><ci id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.2">𝜅</ci><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3"><minus id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3"></minus><cn id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.2.cmml" type="integer" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.1.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3">subscript</csymbol><ci id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.2.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.2">𝜆</ci><ci id="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.3.cmml" xref="A2.E40.m1.43.43.43.8.8.8.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply><cn id="A2.E40.m1.43.43.43.8.8.8.1.3.cmml" type="integer" xref="A2.E40.m1.43.43.43.8.8.8.1.3">2</cn></apply></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1i.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="latexml" id="A2.E40.m1.44.44.44.9.9.9.cmml" xref="A2.E40.m1.44.44.44.9.9.9">asymptotically-equals</csymbol><share href="#A2.E40.m1.51.51.1.1.1.10.cmml" id="A2.E40.m1.51.51.1.1.1j.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></share><apply id="A2.E40.m1.51.51.1.1.1.12.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.12.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><ci id="A2.E40.m1.45.45.45.10.10.10.cmml" xref="A2.E40.m1.45.45.45.10.10.10">𝜅</ci><apply id="A2.E40.m1.46.46.46.11.11.11.1.cmml" xref="A2.E40.m1.46.46.46.11.11.11.1"><minus id="A2.E40.m1.46.46.46.11.11.11.1.1.cmml" xref="A2.E40.m1.46.46.46.11.11.11.1"></minus><ci id="A2.E40.m1.46.46.46.11.11.11.1.2.cmml" xref="A2.E40.m1.46.46.46.11.11.11.1.2">𝛾</ci></apply></apply></apply><apply id="A2.E40.m1.51.51.1.1.1k.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="latexml" id="A2.E40.m1.47.47.47.12.12.12.cmml" xref="A2.E40.m1.47.47.47.12.12.12">asymptotically-equals</csymbol><share href="#A2.E40.m1.51.51.1.1.1.12.cmml" id="A2.E40.m1.51.51.1.1.1l.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"></share><apply id="A2.E40.m1.51.51.1.1.1.14.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17"><csymbol cd="ambiguous" id="A2.E40.m1.51.51.1.1.1.14.1.cmml" xref="A2.E40.m1.52.52.2.51.36.16.17">superscript</csymbol><ci id="A2.E40.m1.48.48.48.13.13.13.cmml" xref="A2.E40.m1.48.48.48.13.13.13">𝑇</ci><apply id="A2.E40.m1.49.49.49.14.14.14.1.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1"><minus id="A2.E40.m1.49.49.49.14.14.14.1.1.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1"></minus><apply id="A2.E40.m1.49.49.49.14.14.14.1.2.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1.2"><times id="A2.E40.m1.49.49.49.14.14.14.1.2.1.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1.2.1"></times><ci id="A2.E40.m1.49.49.49.14.14.14.1.2.2.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1.2.2">ℓ</ci><ci id="A2.E40.m1.49.49.49.14.14.14.1.2.3.cmml" xref="A2.E40.m1.49.49.49.14.14.14.1.2.3">𝛾</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E40.m1.54c">\displaystyle\begin{split}\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa I)^{-2}w_% {0}&\asymp w_{0}^{\top}\left(\sum_{i}\frac{\lambda_{i}}{(\lambda_{i}+\kappa^{-% 1}\lambda_{i})^{2}}v_{i}v_{i}^{\top}\right)w_{0}=\sum_{i}\frac{c_{i}^{2}% \lambda_{i}}{(\lambda_{i}+\kappa^{-1}\lambda_{i})^{2}}\\ &=\sum_{i}\frac{c_{i}^{2}\lambda_{i}}{(\lambda_{i}+\kappa^{-1}\lambda_{i})^{2}% }\asymp\sum_{i}\frac{\lambda_{i}^{1+\delta/\beta}}{(\lambda_{i}+\kappa^{-1}% \lambda_{i})^{2}}\asymp\kappa^{-\gamma}\asymp T^{-\ell\gamma},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A2.E40.m1.54d">start_ROW start_CELL italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT roman_Σ ( roman_Σ + italic_κ italic_I ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_CELL start_CELL ≍ italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT ( ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT end_ARG start_ARG ( italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT + italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG italic_v start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT italic_v start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT ) italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT = ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_c start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT end_ARG start_ARG ( italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT + italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_c start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT end_ARG start_ARG ( italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT + italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG ≍ ∑ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT start_POSTSUPERSCRIPT 1 + italic_δ / italic_β end_POSTSUPERSCRIPT end_ARG start_ARG ( italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT + italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_i end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT end_ARG ≍ italic_κ start_POSTSUPERSCRIPT - italic_γ end_POSTSUPERSCRIPT ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ italic_γ end_POSTSUPERSCRIPT , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(40)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.p2.11">where <math alttext="\gamma=\min(2,1+\delta/\beta-1/\beta)=\min(2,2r)=2\underline{r}" class="ltx_Math" display="inline" id="A2.SS2.p2.5.m1.6"><semantics id="A2.SS2.p2.5.m1.6a"><mrow id="A2.SS2.p2.5.m1.6.6" xref="A2.SS2.p2.5.m1.6.6.cmml"><mi id="A2.SS2.p2.5.m1.6.6.4" xref="A2.SS2.p2.5.m1.6.6.4.cmml">γ</mi><mo id="A2.SS2.p2.5.m1.6.6.5" xref="A2.SS2.p2.5.m1.6.6.5.cmml">=</mo><mrow id="A2.SS2.p2.5.m1.5.5.1.1" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml"><mi id="A2.SS2.p2.5.m1.1.1" xref="A2.SS2.p2.5.m1.1.1.cmml">min</mi><mo id="A2.SS2.p2.5.m1.5.5.1.1a" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml">⁡</mo><mrow id="A2.SS2.p2.5.m1.5.5.1.1.1" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml"><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.2" stretchy="false" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml">(</mo><mn id="A2.SS2.p2.5.m1.2.2" xref="A2.SS2.p2.5.m1.2.2.cmml">2</mn><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.3" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml">,</mo><mrow id="A2.SS2.p2.5.m1.5.5.1.1.1.1" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.cmml"><mrow id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.cmml"><mn id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.2" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.2.cmml">1</mn><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.1" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.1.cmml">+</mo><mrow id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.cmml"><mi id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.2" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.2.cmml">δ</mi><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.1" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.1.cmml">/</mo><mi id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.3" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.3.cmml">β</mi></mrow></mrow><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.1.1" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.1.cmml">−</mo><mrow id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.cmml"><mn id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.2" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.2.cmml">1</mn><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.1" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.1.cmml">/</mo><mi id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.3" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.SS2.p2.5.m1.5.5.1.1.1.4" stretchy="false" xref="A2.SS2.p2.5.m1.5.5.1.2.cmml">)</mo></mrow></mrow><mo id="A2.SS2.p2.5.m1.6.6.6" xref="A2.SS2.p2.5.m1.6.6.6.cmml">=</mo><mrow id="A2.SS2.p2.5.m1.6.6.2.1" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml"><mi id="A2.SS2.p2.5.m1.3.3" xref="A2.SS2.p2.5.m1.3.3.cmml">min</mi><mo id="A2.SS2.p2.5.m1.6.6.2.1a" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml">⁡</mo><mrow id="A2.SS2.p2.5.m1.6.6.2.1.1" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml"><mo id="A2.SS2.p2.5.m1.6.6.2.1.1.2" stretchy="false" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml">(</mo><mn id="A2.SS2.p2.5.m1.4.4" xref="A2.SS2.p2.5.m1.4.4.cmml">2</mn><mo id="A2.SS2.p2.5.m1.6.6.2.1.1.3" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml">,</mo><mrow id="A2.SS2.p2.5.m1.6.6.2.1.1.1" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.cmml"><mn id="A2.SS2.p2.5.m1.6.6.2.1.1.1.2" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.2.cmml">2</mn><mo id="A2.SS2.p2.5.m1.6.6.2.1.1.1.1" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.1.cmml">⁢</mo><mi id="A2.SS2.p2.5.m1.6.6.2.1.1.1.3" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.3.cmml">r</mi></mrow><mo id="A2.SS2.p2.5.m1.6.6.2.1.1.4" stretchy="false" xref="A2.SS2.p2.5.m1.6.6.2.2.cmml">)</mo></mrow></mrow><mo id="A2.SS2.p2.5.m1.6.6.7" xref="A2.SS2.p2.5.m1.6.6.7.cmml">=</mo><mrow id="A2.SS2.p2.5.m1.6.6.8" xref="A2.SS2.p2.5.m1.6.6.8.cmml"><mn id="A2.SS2.p2.5.m1.6.6.8.2" xref="A2.SS2.p2.5.m1.6.6.8.2.cmml">2</mn><mo id="A2.SS2.p2.5.m1.6.6.8.1" xref="A2.SS2.p2.5.m1.6.6.8.1.cmml">⁢</mo><munder accentunder="true" id="A2.SS2.p2.5.m1.6.6.8.3" xref="A2.SS2.p2.5.m1.6.6.8.3.cmml"><mi id="A2.SS2.p2.5.m1.6.6.8.3.2" xref="A2.SS2.p2.5.m1.6.6.8.3.2.cmml">r</mi><mo id="A2.SS2.p2.5.m1.6.6.8.3.1" xref="A2.SS2.p2.5.m1.6.6.8.3.1.cmml">¯</mo></munder></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.5.m1.6b"><apply id="A2.SS2.p2.5.m1.6.6.cmml" xref="A2.SS2.p2.5.m1.6.6"><and id="A2.SS2.p2.5.m1.6.6a.cmml" xref="A2.SS2.p2.5.m1.6.6"></and><apply id="A2.SS2.p2.5.m1.6.6b.cmml" xref="A2.SS2.p2.5.m1.6.6"><eq id="A2.SS2.p2.5.m1.6.6.5.cmml" xref="A2.SS2.p2.5.m1.6.6.5"></eq><ci id="A2.SS2.p2.5.m1.6.6.4.cmml" xref="A2.SS2.p2.5.m1.6.6.4">𝛾</ci><apply id="A2.SS2.p2.5.m1.5.5.1.2.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1"><min id="A2.SS2.p2.5.m1.1.1.cmml" xref="A2.SS2.p2.5.m1.1.1"></min><cn id="A2.SS2.p2.5.m1.2.2.cmml" type="integer" xref="A2.SS2.p2.5.m1.2.2">2</cn><apply id="A2.SS2.p2.5.m1.5.5.1.1.1.1.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1"><minus id="A2.SS2.p2.5.m1.5.5.1.1.1.1.1.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.1"></minus><apply id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2"><plus id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.1.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.1"></plus><cn id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.2.cmml" type="integer" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.2">1</cn><apply id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3"><divide id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.1.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.1"></divide><ci id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.2.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.2">𝛿</ci><ci id="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.3.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.2.3.3">𝛽</ci></apply></apply><apply id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3"><divide id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.1.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.1"></divide><cn id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.2.cmml" type="integer" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.2">1</cn><ci id="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.3.cmml" xref="A2.SS2.p2.5.m1.5.5.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A2.SS2.p2.5.m1.6.6c.cmml" xref="A2.SS2.p2.5.m1.6.6"><eq id="A2.SS2.p2.5.m1.6.6.6.cmml" xref="A2.SS2.p2.5.m1.6.6.6"></eq><share href="#A2.SS2.p2.5.m1.5.5.1.cmml" id="A2.SS2.p2.5.m1.6.6d.cmml" xref="A2.SS2.p2.5.m1.6.6"></share><apply id="A2.SS2.p2.5.m1.6.6.2.2.cmml" xref="A2.SS2.p2.5.m1.6.6.2.1"><min id="A2.SS2.p2.5.m1.3.3.cmml" xref="A2.SS2.p2.5.m1.3.3"></min><cn id="A2.SS2.p2.5.m1.4.4.cmml" type="integer" xref="A2.SS2.p2.5.m1.4.4">2</cn><apply id="A2.SS2.p2.5.m1.6.6.2.1.1.1.cmml" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1"><times id="A2.SS2.p2.5.m1.6.6.2.1.1.1.1.cmml" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.1"></times><cn id="A2.SS2.p2.5.m1.6.6.2.1.1.1.2.cmml" type="integer" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.2">2</cn><ci id="A2.SS2.p2.5.m1.6.6.2.1.1.1.3.cmml" xref="A2.SS2.p2.5.m1.6.6.2.1.1.1.3">𝑟</ci></apply></apply></apply><apply id="A2.SS2.p2.5.m1.6.6e.cmml" xref="A2.SS2.p2.5.m1.6.6"><eq id="A2.SS2.p2.5.m1.6.6.7.cmml" xref="A2.SS2.p2.5.m1.6.6.7"></eq><share href="#A2.SS2.p2.5.m1.6.6.2.cmml" id="A2.SS2.p2.5.m1.6.6f.cmml" xref="A2.SS2.p2.5.m1.6.6"></share><apply id="A2.SS2.p2.5.m1.6.6.8.cmml" xref="A2.SS2.p2.5.m1.6.6.8"><times id="A2.SS2.p2.5.m1.6.6.8.1.cmml" xref="A2.SS2.p2.5.m1.6.6.8.1"></times><cn id="A2.SS2.p2.5.m1.6.6.8.2.cmml" type="integer" xref="A2.SS2.p2.5.m1.6.6.8.2">2</cn><apply id="A2.SS2.p2.5.m1.6.6.8.3.cmml" xref="A2.SS2.p2.5.m1.6.6.8.3"><ci id="A2.SS2.p2.5.m1.6.6.8.3.1.cmml" xref="A2.SS2.p2.5.m1.6.6.8.3.1">¯</ci><ci id="A2.SS2.p2.5.m1.6.6.8.3.2.cmml" xref="A2.SS2.p2.5.m1.6.6.8.3.2">𝑟</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.5.m1.6c">\gamma=\min(2,1+\delta/\beta-1/\beta)=\min(2,2r)=2\underline{r}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.5.m1.6d">italic_γ = roman_min ( 2 , 1 + italic_δ / italic_β - 1 / italic_β ) = roman_min ( 2 , 2 italic_r ) = 2 under¯ start_ARG italic_r end_ARG</annotation></semantics></math>, with <math alttext="\underline{r}:=\min(r,1)" class="ltx_Math" display="inline" id="A2.SS2.p2.6.m2.3"><semantics id="A2.SS2.p2.6.m2.3a"><mrow id="A2.SS2.p2.6.m2.3.4" xref="A2.SS2.p2.6.m2.3.4.cmml"><munder accentunder="true" id="A2.SS2.p2.6.m2.3.4.2" xref="A2.SS2.p2.6.m2.3.4.2.cmml"><mi id="A2.SS2.p2.6.m2.3.4.2.2" xref="A2.SS2.p2.6.m2.3.4.2.2.cmml">r</mi><mo id="A2.SS2.p2.6.m2.3.4.2.1" xref="A2.SS2.p2.6.m2.3.4.2.1.cmml">¯</mo></munder><mo id="A2.SS2.p2.6.m2.3.4.1" lspace="0.278em" rspace="0.278em" xref="A2.SS2.p2.6.m2.3.4.1.cmml">:=</mo><mrow id="A2.SS2.p2.6.m2.3.4.3.2" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml"><mi id="A2.SS2.p2.6.m2.1.1" xref="A2.SS2.p2.6.m2.1.1.cmml">min</mi><mo id="A2.SS2.p2.6.m2.3.4.3.2a" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml">⁡</mo><mrow id="A2.SS2.p2.6.m2.3.4.3.2.1" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml"><mo id="A2.SS2.p2.6.m2.3.4.3.2.1.1" stretchy="false" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml">(</mo><mi id="A2.SS2.p2.6.m2.2.2" xref="A2.SS2.p2.6.m2.2.2.cmml">r</mi><mo id="A2.SS2.p2.6.m2.3.4.3.2.1.2" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml">,</mo><mn id="A2.SS2.p2.6.m2.3.3" xref="A2.SS2.p2.6.m2.3.3.cmml">1</mn><mo id="A2.SS2.p2.6.m2.3.4.3.2.1.3" stretchy="false" xref="A2.SS2.p2.6.m2.3.4.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.6.m2.3b"><apply id="A2.SS2.p2.6.m2.3.4.cmml" xref="A2.SS2.p2.6.m2.3.4"><csymbol cd="latexml" id="A2.SS2.p2.6.m2.3.4.1.cmml" xref="A2.SS2.p2.6.m2.3.4.1">assign</csymbol><apply id="A2.SS2.p2.6.m2.3.4.2.cmml" xref="A2.SS2.p2.6.m2.3.4.2"><ci id="A2.SS2.p2.6.m2.3.4.2.1.cmml" xref="A2.SS2.p2.6.m2.3.4.2.1">¯</ci><ci id="A2.SS2.p2.6.m2.3.4.2.2.cmml" xref="A2.SS2.p2.6.m2.3.4.2.2">𝑟</ci></apply><apply id="A2.SS2.p2.6.m2.3.4.3.1.cmml" xref="A2.SS2.p2.6.m2.3.4.3.2"><min id="A2.SS2.p2.6.m2.1.1.cmml" xref="A2.SS2.p2.6.m2.1.1"></min><ci id="A2.SS2.p2.6.m2.2.2.cmml" xref="A2.SS2.p2.6.m2.2.2">𝑟</ci><cn id="A2.SS2.p2.6.m2.3.3.cmml" type="integer" xref="A2.SS2.p2.6.m2.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.6.m2.3c">\underline{r}:=\min(r,1)</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.6.m2.3d">under¯ start_ARG italic_r end_ARG := roman_min ( italic_r , 1 )</annotation></semantics></math>. The exponent is so because <math alttext="\delta=1+\beta(2r-1)" class="ltx_Math" display="inline" id="A2.SS2.p2.7.m3.1"><semantics id="A2.SS2.p2.7.m3.1a"><mrow id="A2.SS2.p2.7.m3.1.1" xref="A2.SS2.p2.7.m3.1.1.cmml"><mi id="A2.SS2.p2.7.m3.1.1.3" xref="A2.SS2.p2.7.m3.1.1.3.cmml">δ</mi><mo id="A2.SS2.p2.7.m3.1.1.2" xref="A2.SS2.p2.7.m3.1.1.2.cmml">=</mo><mrow id="A2.SS2.p2.7.m3.1.1.1" xref="A2.SS2.p2.7.m3.1.1.1.cmml"><mn id="A2.SS2.p2.7.m3.1.1.1.3" xref="A2.SS2.p2.7.m3.1.1.1.3.cmml">1</mn><mo id="A2.SS2.p2.7.m3.1.1.1.2" xref="A2.SS2.p2.7.m3.1.1.1.2.cmml">+</mo><mrow id="A2.SS2.p2.7.m3.1.1.1.1" xref="A2.SS2.p2.7.m3.1.1.1.1.cmml"><mi id="A2.SS2.p2.7.m3.1.1.1.1.3" xref="A2.SS2.p2.7.m3.1.1.1.1.3.cmml">β</mi><mo id="A2.SS2.p2.7.m3.1.1.1.1.2" xref="A2.SS2.p2.7.m3.1.1.1.1.2.cmml">⁢</mo><mrow id="A2.SS2.p2.7.m3.1.1.1.1.1.1" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.cmml"><mo id="A2.SS2.p2.7.m3.1.1.1.1.1.1.2" stretchy="false" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.cmml"><mrow id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.cmml"><mn id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.2" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.2.cmml">2</mn><mo id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.1" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.1.cmml">⁢</mo><mi id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.3" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.3.cmml">r</mi></mrow><mo id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.1" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.1.cmml">−</mo><mn id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.3" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.3.cmml">1</mn></mrow><mo id="A2.SS2.p2.7.m3.1.1.1.1.1.1.3" stretchy="false" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.7.m3.1b"><apply id="A2.SS2.p2.7.m3.1.1.cmml" xref="A2.SS2.p2.7.m3.1.1"><eq id="A2.SS2.p2.7.m3.1.1.2.cmml" xref="A2.SS2.p2.7.m3.1.1.2"></eq><ci id="A2.SS2.p2.7.m3.1.1.3.cmml" xref="A2.SS2.p2.7.m3.1.1.3">𝛿</ci><apply id="A2.SS2.p2.7.m3.1.1.1.cmml" xref="A2.SS2.p2.7.m3.1.1.1"><plus id="A2.SS2.p2.7.m3.1.1.1.2.cmml" xref="A2.SS2.p2.7.m3.1.1.1.2"></plus><cn id="A2.SS2.p2.7.m3.1.1.1.3.cmml" type="integer" xref="A2.SS2.p2.7.m3.1.1.1.3">1</cn><apply id="A2.SS2.p2.7.m3.1.1.1.1.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1"><times id="A2.SS2.p2.7.m3.1.1.1.1.2.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.2"></times><ci id="A2.SS2.p2.7.m3.1.1.1.1.3.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.3">𝛽</ci><apply id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1"><minus id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.1.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.1"></minus><apply id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2"><times id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.1.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.1"></times><cn id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.2.cmml" type="integer" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.2">2</cn><ci id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.3.cmml" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.2.3">𝑟</ci></apply><cn id="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.3.cmml" type="integer" xref="A2.SS2.p2.7.m3.1.1.1.1.1.1.1.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.7.m3.1c">\delta=1+\beta(2r-1)</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.7.m3.1d">italic_δ = 1 + italic_β ( 2 italic_r - 1 )</annotation></semantics></math>, and so <math alttext="\delta/\beta=1/\beta+2r-1" class="ltx_Math" display="inline" id="A2.SS2.p2.8.m4.1"><semantics id="A2.SS2.p2.8.m4.1a"><mrow id="A2.SS2.p2.8.m4.1.1" xref="A2.SS2.p2.8.m4.1.1.cmml"><mrow id="A2.SS2.p2.8.m4.1.1.2" xref="A2.SS2.p2.8.m4.1.1.2.cmml"><mi id="A2.SS2.p2.8.m4.1.1.2.2" xref="A2.SS2.p2.8.m4.1.1.2.2.cmml">δ</mi><mo id="A2.SS2.p2.8.m4.1.1.2.1" xref="A2.SS2.p2.8.m4.1.1.2.1.cmml">/</mo><mi id="A2.SS2.p2.8.m4.1.1.2.3" xref="A2.SS2.p2.8.m4.1.1.2.3.cmml">β</mi></mrow><mo id="A2.SS2.p2.8.m4.1.1.1" xref="A2.SS2.p2.8.m4.1.1.1.cmml">=</mo><mrow id="A2.SS2.p2.8.m4.1.1.3" xref="A2.SS2.p2.8.m4.1.1.3.cmml"><mrow id="A2.SS2.p2.8.m4.1.1.3.2" xref="A2.SS2.p2.8.m4.1.1.3.2.cmml"><mrow id="A2.SS2.p2.8.m4.1.1.3.2.2" xref="A2.SS2.p2.8.m4.1.1.3.2.2.cmml"><mn id="A2.SS2.p2.8.m4.1.1.3.2.2.2" xref="A2.SS2.p2.8.m4.1.1.3.2.2.2.cmml">1</mn><mo id="A2.SS2.p2.8.m4.1.1.3.2.2.1" xref="A2.SS2.p2.8.m4.1.1.3.2.2.1.cmml">/</mo><mi id="A2.SS2.p2.8.m4.1.1.3.2.2.3" xref="A2.SS2.p2.8.m4.1.1.3.2.2.3.cmml">β</mi></mrow><mo id="A2.SS2.p2.8.m4.1.1.3.2.1" xref="A2.SS2.p2.8.m4.1.1.3.2.1.cmml">+</mo><mrow id="A2.SS2.p2.8.m4.1.1.3.2.3" xref="A2.SS2.p2.8.m4.1.1.3.2.3.cmml"><mn id="A2.SS2.p2.8.m4.1.1.3.2.3.2" xref="A2.SS2.p2.8.m4.1.1.3.2.3.2.cmml">2</mn><mo id="A2.SS2.p2.8.m4.1.1.3.2.3.1" xref="A2.SS2.p2.8.m4.1.1.3.2.3.1.cmml">⁢</mo><mi id="A2.SS2.p2.8.m4.1.1.3.2.3.3" xref="A2.SS2.p2.8.m4.1.1.3.2.3.3.cmml">r</mi></mrow></mrow><mo id="A2.SS2.p2.8.m4.1.1.3.1" xref="A2.SS2.p2.8.m4.1.1.3.1.cmml">−</mo><mn id="A2.SS2.p2.8.m4.1.1.3.3" xref="A2.SS2.p2.8.m4.1.1.3.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.8.m4.1b"><apply id="A2.SS2.p2.8.m4.1.1.cmml" xref="A2.SS2.p2.8.m4.1.1"><eq id="A2.SS2.p2.8.m4.1.1.1.cmml" xref="A2.SS2.p2.8.m4.1.1.1"></eq><apply id="A2.SS2.p2.8.m4.1.1.2.cmml" xref="A2.SS2.p2.8.m4.1.1.2"><divide id="A2.SS2.p2.8.m4.1.1.2.1.cmml" xref="A2.SS2.p2.8.m4.1.1.2.1"></divide><ci id="A2.SS2.p2.8.m4.1.1.2.2.cmml" xref="A2.SS2.p2.8.m4.1.1.2.2">𝛿</ci><ci id="A2.SS2.p2.8.m4.1.1.2.3.cmml" xref="A2.SS2.p2.8.m4.1.1.2.3">𝛽</ci></apply><apply id="A2.SS2.p2.8.m4.1.1.3.cmml" xref="A2.SS2.p2.8.m4.1.1.3"><minus id="A2.SS2.p2.8.m4.1.1.3.1.cmml" xref="A2.SS2.p2.8.m4.1.1.3.1"></minus><apply id="A2.SS2.p2.8.m4.1.1.3.2.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2"><plus id="A2.SS2.p2.8.m4.1.1.3.2.1.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.1"></plus><apply id="A2.SS2.p2.8.m4.1.1.3.2.2.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.2"><divide id="A2.SS2.p2.8.m4.1.1.3.2.2.1.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.2.1"></divide><cn id="A2.SS2.p2.8.m4.1.1.3.2.2.2.cmml" type="integer" xref="A2.SS2.p2.8.m4.1.1.3.2.2.2">1</cn><ci id="A2.SS2.p2.8.m4.1.1.3.2.2.3.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.2.3">𝛽</ci></apply><apply id="A2.SS2.p2.8.m4.1.1.3.2.3.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.3"><times id="A2.SS2.p2.8.m4.1.1.3.2.3.1.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.3.1"></times><cn id="A2.SS2.p2.8.m4.1.1.3.2.3.2.cmml" type="integer" xref="A2.SS2.p2.8.m4.1.1.3.2.3.2">2</cn><ci id="A2.SS2.p2.8.m4.1.1.3.2.3.3.cmml" xref="A2.SS2.p2.8.m4.1.1.3.2.3.3">𝑟</ci></apply></apply><cn id="A2.SS2.p2.8.m4.1.1.3.3.cmml" type="integer" xref="A2.SS2.p2.8.m4.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.8.m4.1c">\delta/\beta=1/\beta+2r-1</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.8.m4.1d">italic_δ / italic_β = 1 / italic_β + 2 italic_r - 1</annotation></semantics></math> by construction. The estimation of the last sum in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A2.E40" title="40 ‣ B.2 Representation of Clean Test Error ‣ Appendix B Power-Law Regime ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">40</span></a>) is thanks to Lemma <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.Thmtheorem1" title="Lemma C.1. ‣ Appendix C Technical Lemmas ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">C.1</span></a> applied with <math alttext="D=\kappa^{-1}" class="ltx_Math" display="inline" id="A2.SS2.p2.9.m5.1"><semantics id="A2.SS2.p2.9.m5.1a"><mrow id="A2.SS2.p2.9.m5.1.1" xref="A2.SS2.p2.9.m5.1.1.cmml"><mi id="A2.SS2.p2.9.m5.1.1.2" xref="A2.SS2.p2.9.m5.1.1.2.cmml">D</mi><mo id="A2.SS2.p2.9.m5.1.1.1" xref="A2.SS2.p2.9.m5.1.1.1.cmml">=</mo><msup id="A2.SS2.p2.9.m5.1.1.3" xref="A2.SS2.p2.9.m5.1.1.3.cmml"><mi id="A2.SS2.p2.9.m5.1.1.3.2" xref="A2.SS2.p2.9.m5.1.1.3.2.cmml">κ</mi><mrow id="A2.SS2.p2.9.m5.1.1.3.3" xref="A2.SS2.p2.9.m5.1.1.3.3.cmml"><mo id="A2.SS2.p2.9.m5.1.1.3.3a" xref="A2.SS2.p2.9.m5.1.1.3.3.cmml">−</mo><mn id="A2.SS2.p2.9.m5.1.1.3.3.2" xref="A2.SS2.p2.9.m5.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.9.m5.1b"><apply id="A2.SS2.p2.9.m5.1.1.cmml" xref="A2.SS2.p2.9.m5.1.1"><eq id="A2.SS2.p2.9.m5.1.1.1.cmml" xref="A2.SS2.p2.9.m5.1.1.1"></eq><ci id="A2.SS2.p2.9.m5.1.1.2.cmml" xref="A2.SS2.p2.9.m5.1.1.2">𝐷</ci><apply id="A2.SS2.p2.9.m5.1.1.3.cmml" xref="A2.SS2.p2.9.m5.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.p2.9.m5.1.1.3.1.cmml" xref="A2.SS2.p2.9.m5.1.1.3">superscript</csymbol><ci id="A2.SS2.p2.9.m5.1.1.3.2.cmml" xref="A2.SS2.p2.9.m5.1.1.3.2">𝜅</ci><apply id="A2.SS2.p2.9.m5.1.1.3.3.cmml" xref="A2.SS2.p2.9.m5.1.1.3.3"><minus id="A2.SS2.p2.9.m5.1.1.3.3.1.cmml" xref="A2.SS2.p2.9.m5.1.1.3.3"></minus><cn id="A2.SS2.p2.9.m5.1.1.3.3.2.cmml" type="integer" xref="A2.SS2.p2.9.m5.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.9.m5.1c">D=\kappa^{-1}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.9.m5.1d">italic_D = italic_κ start_POSTSUPERSCRIPT - 1 end_POSTSUPERSCRIPT</annotation></semantics></math>, <math alttext="n=1+\delta/\beta" class="ltx_Math" display="inline" id="A2.SS2.p2.10.m6.1"><semantics id="A2.SS2.p2.10.m6.1a"><mrow id="A2.SS2.p2.10.m6.1.1" xref="A2.SS2.p2.10.m6.1.1.cmml"><mi id="A2.SS2.p2.10.m6.1.1.2" xref="A2.SS2.p2.10.m6.1.1.2.cmml">n</mi><mo id="A2.SS2.p2.10.m6.1.1.1" xref="A2.SS2.p2.10.m6.1.1.1.cmml">=</mo><mrow id="A2.SS2.p2.10.m6.1.1.3" xref="A2.SS2.p2.10.m6.1.1.3.cmml"><mn id="A2.SS2.p2.10.m6.1.1.3.2" xref="A2.SS2.p2.10.m6.1.1.3.2.cmml">1</mn><mo id="A2.SS2.p2.10.m6.1.1.3.1" xref="A2.SS2.p2.10.m6.1.1.3.1.cmml">+</mo><mrow id="A2.SS2.p2.10.m6.1.1.3.3" xref="A2.SS2.p2.10.m6.1.1.3.3.cmml"><mi id="A2.SS2.p2.10.m6.1.1.3.3.2" xref="A2.SS2.p2.10.m6.1.1.3.3.2.cmml">δ</mi><mo id="A2.SS2.p2.10.m6.1.1.3.3.1" xref="A2.SS2.p2.10.m6.1.1.3.3.1.cmml">/</mo><mi id="A2.SS2.p2.10.m6.1.1.3.3.3" xref="A2.SS2.p2.10.m6.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.10.m6.1b"><apply id="A2.SS2.p2.10.m6.1.1.cmml" xref="A2.SS2.p2.10.m6.1.1"><eq id="A2.SS2.p2.10.m6.1.1.1.cmml" xref="A2.SS2.p2.10.m6.1.1.1"></eq><ci id="A2.SS2.p2.10.m6.1.1.2.cmml" xref="A2.SS2.p2.10.m6.1.1.2">𝑛</ci><apply id="A2.SS2.p2.10.m6.1.1.3.cmml" xref="A2.SS2.p2.10.m6.1.1.3"><plus id="A2.SS2.p2.10.m6.1.1.3.1.cmml" xref="A2.SS2.p2.10.m6.1.1.3.1"></plus><cn id="A2.SS2.p2.10.m6.1.1.3.2.cmml" type="integer" xref="A2.SS2.p2.10.m6.1.1.3.2">1</cn><apply id="A2.SS2.p2.10.m6.1.1.3.3.cmml" xref="A2.SS2.p2.10.m6.1.1.3.3"><divide id="A2.SS2.p2.10.m6.1.1.3.3.1.cmml" xref="A2.SS2.p2.10.m6.1.1.3.3.1"></divide><ci id="A2.SS2.p2.10.m6.1.1.3.3.2.cmml" xref="A2.SS2.p2.10.m6.1.1.3.3.2">𝛿</ci><ci id="A2.SS2.p2.10.m6.1.1.3.3.3.cmml" xref="A2.SS2.p2.10.m6.1.1.3.3.3">𝛽</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.10.m6.1c">n=1+\delta/\beta</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.10.m6.1d">italic_n = 1 + italic_δ / italic_β</annotation></semantics></math>, and <math alttext="m=2" class="ltx_Math" display="inline" id="A2.SS2.p2.11.m7.1"><semantics id="A2.SS2.p2.11.m7.1a"><mrow id="A2.SS2.p2.11.m7.1.1" xref="A2.SS2.p2.11.m7.1.1.cmml"><mi id="A2.SS2.p2.11.m7.1.1.2" xref="A2.SS2.p2.11.m7.1.1.2.cmml">m</mi><mo id="A2.SS2.p2.11.m7.1.1.1" xref="A2.SS2.p2.11.m7.1.1.1.cmml">=</mo><mn id="A2.SS2.p2.11.m7.1.1.3" xref="A2.SS2.p2.11.m7.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.p2.11.m7.1b"><apply id="A2.SS2.p2.11.m7.1.1.cmml" xref="A2.SS2.p2.11.m7.1.1"><eq id="A2.SS2.p2.11.m7.1.1.1.cmml" xref="A2.SS2.p2.11.m7.1.1.1"></eq><ci id="A2.SS2.p2.11.m7.1.1.2.cmml" xref="A2.SS2.p2.11.m7.1.1.2">𝑚</ci><cn id="A2.SS2.p2.11.m7.1.1.3.cmml" type="integer" xref="A2.SS2.p2.11.m7.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.p2.11.m7.1c">m=2</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.p2.11.m7.1d">italic_m = 2</annotation></semantics></math>. Therefore, invoking Proposition <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.EGx15" title="Proposition 4.4. ‣ 4.3 Essential Random Matrix Theory ‣ 4 Exact Test Error Characterization ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">4.4</span></a> gives</p> <table class="ltx_equationgroup ltx_eqn_align ltx_eqn_table" id="A3.EGx44"> <tbody id="A2.E41"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Bias" class="ltx_Math" display="inline" id="A2.E41.m1.1"><semantics id="A2.E41.m1.1a"><mrow id="A2.E41.m1.1.1" xref="A2.E41.m1.1.1.cmml"><mi id="A2.E41.m1.1.1.2" xref="A2.E41.m1.1.1.2.cmml">B</mi><mo id="A2.E41.m1.1.1.1" xref="A2.E41.m1.1.1.1.cmml">⁢</mo><mi id="A2.E41.m1.1.1.3" xref="A2.E41.m1.1.1.3.cmml">i</mi><mo id="A2.E41.m1.1.1.1a" xref="A2.E41.m1.1.1.1.cmml">⁢</mo><mi id="A2.E41.m1.1.1.4" xref="A2.E41.m1.1.1.4.cmml">a</mi><mo id="A2.E41.m1.1.1.1b" xref="A2.E41.m1.1.1.1.cmml">⁢</mo><mi id="A2.E41.m1.1.1.5" xref="A2.E41.m1.1.1.5.cmml">s</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.E41.m1.1b"><apply id="A2.E41.m1.1.1.cmml" xref="A2.E41.m1.1.1"><times id="A2.E41.m1.1.1.1.cmml" xref="A2.E41.m1.1.1.1"></times><ci id="A2.E41.m1.1.1.2.cmml" xref="A2.E41.m1.1.1.2">𝐵</ci><ci id="A2.E41.m1.1.1.3.cmml" xref="A2.E41.m1.1.1.3">𝑖</ci><ci id="A2.E41.m1.1.1.4.cmml" xref="A2.E41.m1.1.1.4">𝑎</ci><ci id="A2.E41.m1.1.1.5.cmml" xref="A2.E41.m1.1.1.5">𝑠</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E41.m1.1c">\displaystyle Bias</annotation><annotation encoding="application/x-llamapun" id="A2.E41.m1.1d">italic_B italic_i italic_a italic_s</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\frac{\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa)^{-2}w_{0}% }{1-\mathrm{df}_{2}(\kappa)/T}\asymp\frac{T^{\ell\gamma}}{1-T^{-(1-\ell/\beta)% }}\asymp T^{-\ell\gamma}=T^{-2\ell\underline{r}}" class="ltx_Math" display="inline" id="A2.E41.m2.3"><semantics id="A2.E41.m2.3a"><mrow id="A2.E41.m2.3.4" xref="A2.E41.m2.3.4.cmml"><mi id="A2.E41.m2.3.4.2" xref="A2.E41.m2.3.4.2.cmml"></mi><mo id="A2.E41.m2.3.4.3" xref="A2.E41.m2.3.4.3.cmml">≃</mo><mstyle displaystyle="true" id="A2.E41.m2.2.2" xref="A2.E41.m2.2.2.cmml"><mfrac id="A2.E41.m2.2.2a" xref="A2.E41.m2.2.2.cmml"><mrow id="A2.E41.m2.1.1.1" xref="A2.E41.m2.1.1.1.cmml"><msup id="A2.E41.m2.1.1.1.3" xref="A2.E41.m2.1.1.1.3.cmml"><mi id="A2.E41.m2.1.1.1.3.2" xref="A2.E41.m2.1.1.1.3.2.cmml">κ</mi><mn id="A2.E41.m2.1.1.1.3.3" xref="A2.E41.m2.1.1.1.3.3.cmml">2</mn></msup><mo id="A2.E41.m2.1.1.1.2" xref="A2.E41.m2.1.1.1.2.cmml">⁢</mo><msubsup id="A2.E41.m2.1.1.1.4" xref="A2.E41.m2.1.1.1.4.cmml"><mi id="A2.E41.m2.1.1.1.4.2.2" xref="A2.E41.m2.1.1.1.4.2.2.cmml">w</mi><mn id="A2.E41.m2.1.1.1.4.2.3" xref="A2.E41.m2.1.1.1.4.2.3.cmml">0</mn><mo id="A2.E41.m2.1.1.1.4.3" xref="A2.E41.m2.1.1.1.4.3.cmml">⊤</mo></msubsup><mo id="A2.E41.m2.1.1.1.2a" xref="A2.E41.m2.1.1.1.2.cmml">⁢</mo><mi id="A2.E41.m2.1.1.1.5" mathvariant="normal" xref="A2.E41.m2.1.1.1.5.cmml">Σ</mi><mo id="A2.E41.m2.1.1.1.2b" xref="A2.E41.m2.1.1.1.2.cmml">⁢</mo><msup id="A2.E41.m2.1.1.1.1" xref="A2.E41.m2.1.1.1.1.cmml"><mrow id="A2.E41.m2.1.1.1.1.1.1" xref="A2.E41.m2.1.1.1.1.1.1.1.cmml"><mo id="A2.E41.m2.1.1.1.1.1.1.2" stretchy="false" xref="A2.E41.m2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.E41.m2.1.1.1.1.1.1.1" xref="A2.E41.m2.1.1.1.1.1.1.1.cmml"><mi id="A2.E41.m2.1.1.1.1.1.1.1.2" mathvariant="normal" xref="A2.E41.m2.1.1.1.1.1.1.1.2.cmml">Σ</mi><mo id="A2.E41.m2.1.1.1.1.1.1.1.1" xref="A2.E41.m2.1.1.1.1.1.1.1.1.cmml">+</mo><mi id="A2.E41.m2.1.1.1.1.1.1.1.3" xref="A2.E41.m2.1.1.1.1.1.1.1.3.cmml">κ</mi></mrow><mo id="A2.E41.m2.1.1.1.1.1.1.3" stretchy="false" xref="A2.E41.m2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A2.E41.m2.1.1.1.1.3" xref="A2.E41.m2.1.1.1.1.3.cmml"><mo id="A2.E41.m2.1.1.1.1.3a" xref="A2.E41.m2.1.1.1.1.3.cmml">−</mo><mn id="A2.E41.m2.1.1.1.1.3.2" xref="A2.E41.m2.1.1.1.1.3.2.cmml">2</mn></mrow></msup><mo id="A2.E41.m2.1.1.1.2c" xref="A2.E41.m2.1.1.1.2.cmml">⁢</mo><msub id="A2.E41.m2.1.1.1.6" xref="A2.E41.m2.1.1.1.6.cmml"><mi id="A2.E41.m2.1.1.1.6.2" xref="A2.E41.m2.1.1.1.6.2.cmml">w</mi><mn id="A2.E41.m2.1.1.1.6.3" xref="A2.E41.m2.1.1.1.6.3.cmml">0</mn></msub></mrow><mrow id="A2.E41.m2.2.2.2" xref="A2.E41.m2.2.2.2.cmml"><mn id="A2.E41.m2.2.2.2.3" xref="A2.E41.m2.2.2.2.3.cmml">1</mn><mo id="A2.E41.m2.2.2.2.2" xref="A2.E41.m2.2.2.2.2.cmml">−</mo><mrow id="A2.E41.m2.2.2.2.4" xref="A2.E41.m2.2.2.2.4.cmml"><mrow id="A2.E41.m2.2.2.2.4.2" xref="A2.E41.m2.2.2.2.4.2.cmml"><msub id="A2.E41.m2.2.2.2.4.2.2" xref="A2.E41.m2.2.2.2.4.2.2.cmml"><mi id="A2.E41.m2.2.2.2.4.2.2.2" xref="A2.E41.m2.2.2.2.4.2.2.2.cmml">df</mi><mn id="A2.E41.m2.2.2.2.4.2.2.3" xref="A2.E41.m2.2.2.2.4.2.2.3.cmml">2</mn></msub><mo id="A2.E41.m2.2.2.2.4.2.1" xref="A2.E41.m2.2.2.2.4.2.1.cmml">⁢</mo><mrow id="A2.E41.m2.2.2.2.4.2.3.2" xref="A2.E41.m2.2.2.2.4.2.cmml"><mo id="A2.E41.m2.2.2.2.4.2.3.2.1" stretchy="false" xref="A2.E41.m2.2.2.2.4.2.cmml">(</mo><mi id="A2.E41.m2.2.2.2.1" xref="A2.E41.m2.2.2.2.1.cmml">κ</mi><mo id="A2.E41.m2.2.2.2.4.2.3.2.2" stretchy="false" xref="A2.E41.m2.2.2.2.4.2.cmml">)</mo></mrow></mrow><mo id="A2.E41.m2.2.2.2.4.1" xref="A2.E41.m2.2.2.2.4.1.cmml">/</mo><mi id="A2.E41.m2.2.2.2.4.3" xref="A2.E41.m2.2.2.2.4.3.cmml">T</mi></mrow></mrow></mfrac></mstyle><mo id="A2.E41.m2.3.4.4" xref="A2.E41.m2.3.4.4.cmml">≍</mo><mstyle displaystyle="true" id="A2.E41.m2.3.3" xref="A2.E41.m2.3.3.cmml"><mfrac id="A2.E41.m2.3.3a" xref="A2.E41.m2.3.3.cmml"><msup id="A2.E41.m2.3.3.3" xref="A2.E41.m2.3.3.3.cmml"><mi id="A2.E41.m2.3.3.3.2" xref="A2.E41.m2.3.3.3.2.cmml">T</mi><mrow id="A2.E41.m2.3.3.3.3" xref="A2.E41.m2.3.3.3.3.cmml"><mi id="A2.E41.m2.3.3.3.3.2" mathvariant="normal" xref="A2.E41.m2.3.3.3.3.2.cmml">ℓ</mi><mo id="A2.E41.m2.3.3.3.3.1" xref="A2.E41.m2.3.3.3.3.1.cmml">⁢</mo><mi id="A2.E41.m2.3.3.3.3.3" xref="A2.E41.m2.3.3.3.3.3.cmml">γ</mi></mrow></msup><mrow id="A2.E41.m2.3.3.1" xref="A2.E41.m2.3.3.1.cmml"><mn id="A2.E41.m2.3.3.1.3" xref="A2.E41.m2.3.3.1.3.cmml">1</mn><mo id="A2.E41.m2.3.3.1.2" xref="A2.E41.m2.3.3.1.2.cmml">−</mo><msup id="A2.E41.m2.3.3.1.4" xref="A2.E41.m2.3.3.1.4.cmml"><mi id="A2.E41.m2.3.3.1.4.2" xref="A2.E41.m2.3.3.1.4.2.cmml">T</mi><mrow id="A2.E41.m2.3.3.1.1.1" xref="A2.E41.m2.3.3.1.1.1.cmml"><mo id="A2.E41.m2.3.3.1.1.1a" xref="A2.E41.m2.3.3.1.1.1.cmml">−</mo><mrow id="A2.E41.m2.3.3.1.1.1.1.1" xref="A2.E41.m2.3.3.1.1.1.1.1.1.cmml"><mo id="A2.E41.m2.3.3.1.1.1.1.1.2" stretchy="false" xref="A2.E41.m2.3.3.1.1.1.1.1.1.cmml">(</mo><mrow id="A2.E41.m2.3.3.1.1.1.1.1.1" xref="A2.E41.m2.3.3.1.1.1.1.1.1.cmml"><mn id="A2.E41.m2.3.3.1.1.1.1.1.1.2" xref="A2.E41.m2.3.3.1.1.1.1.1.1.2.cmml">1</mn><mo id="A2.E41.m2.3.3.1.1.1.1.1.1.1" xref="A2.E41.m2.3.3.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A2.E41.m2.3.3.1.1.1.1.1.1.3" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.cmml"><mi id="A2.E41.m2.3.3.1.1.1.1.1.1.3.2" mathvariant="normal" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.2.cmml">ℓ</mi><mo id="A2.E41.m2.3.3.1.1.1.1.1.1.3.1" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.1.cmml">/</mo><mi id="A2.E41.m2.3.3.1.1.1.1.1.1.3.3" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.E41.m2.3.3.1.1.1.1.1.3" stretchy="false" xref="A2.E41.m2.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mfrac></mstyle><mo id="A2.E41.m2.3.4.5" xref="A2.E41.m2.3.4.5.cmml">≍</mo><msup id="A2.E41.m2.3.4.6" xref="A2.E41.m2.3.4.6.cmml"><mi id="A2.E41.m2.3.4.6.2" xref="A2.E41.m2.3.4.6.2.cmml">T</mi><mrow id="A2.E41.m2.3.4.6.3" xref="A2.E41.m2.3.4.6.3.cmml"><mo id="A2.E41.m2.3.4.6.3a" xref="A2.E41.m2.3.4.6.3.cmml">−</mo><mrow id="A2.E41.m2.3.4.6.3.2" xref="A2.E41.m2.3.4.6.3.2.cmml"><mi id="A2.E41.m2.3.4.6.3.2.2" mathvariant="normal" xref="A2.E41.m2.3.4.6.3.2.2.cmml">ℓ</mi><mo id="A2.E41.m2.3.4.6.3.2.1" xref="A2.E41.m2.3.4.6.3.2.1.cmml">⁢</mo><mi id="A2.E41.m2.3.4.6.3.2.3" xref="A2.E41.m2.3.4.6.3.2.3.cmml">γ</mi></mrow></mrow></msup><mo id="A2.E41.m2.3.4.7" xref="A2.E41.m2.3.4.7.cmml">=</mo><msup id="A2.E41.m2.3.4.8" xref="A2.E41.m2.3.4.8.cmml"><mi id="A2.E41.m2.3.4.8.2" xref="A2.E41.m2.3.4.8.2.cmml">T</mi><mrow id="A2.E41.m2.3.4.8.3" xref="A2.E41.m2.3.4.8.3.cmml"><mo id="A2.E41.m2.3.4.8.3a" xref="A2.E41.m2.3.4.8.3.cmml">−</mo><mrow id="A2.E41.m2.3.4.8.3.2" xref="A2.E41.m2.3.4.8.3.2.cmml"><mn id="A2.E41.m2.3.4.8.3.2.2" xref="A2.E41.m2.3.4.8.3.2.2.cmml">2</mn><mo id="A2.E41.m2.3.4.8.3.2.1" xref="A2.E41.m2.3.4.8.3.2.1.cmml">⁢</mo><mi id="A2.E41.m2.3.4.8.3.2.3" mathvariant="normal" xref="A2.E41.m2.3.4.8.3.2.3.cmml">ℓ</mi><mo id="A2.E41.m2.3.4.8.3.2.1a" xref="A2.E41.m2.3.4.8.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.E41.m2.3.4.8.3.2.4" xref="A2.E41.m2.3.4.8.3.2.4.cmml"><mi id="A2.E41.m2.3.4.8.3.2.4.2" xref="A2.E41.m2.3.4.8.3.2.4.2.cmml">r</mi><mo id="A2.E41.m2.3.4.8.3.2.4.1" xref="A2.E41.m2.3.4.8.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.E41.m2.3b"><apply id="A2.E41.m2.3.4.cmml" xref="A2.E41.m2.3.4"><and id="A2.E41.m2.3.4a.cmml" xref="A2.E41.m2.3.4"></and><apply id="A2.E41.m2.3.4b.cmml" xref="A2.E41.m2.3.4"><csymbol cd="latexml" id="A2.E41.m2.3.4.3.cmml" xref="A2.E41.m2.3.4.3">similar-to-or-equals</csymbol><csymbol cd="latexml" id="A2.E41.m2.3.4.2.cmml" xref="A2.E41.m2.3.4.2">absent</csymbol><apply id="A2.E41.m2.2.2.cmml" xref="A2.E41.m2.2.2"><divide id="A2.E41.m2.2.2.3.cmml" xref="A2.E41.m2.2.2"></divide><apply id="A2.E41.m2.1.1.1.cmml" xref="A2.E41.m2.1.1.1"><times id="A2.E41.m2.1.1.1.2.cmml" xref="A2.E41.m2.1.1.1.2"></times><apply id="A2.E41.m2.1.1.1.3.cmml" xref="A2.E41.m2.1.1.1.3"><csymbol cd="ambiguous" id="A2.E41.m2.1.1.1.3.1.cmml" xref="A2.E41.m2.1.1.1.3">superscript</csymbol><ci id="A2.E41.m2.1.1.1.3.2.cmml" xref="A2.E41.m2.1.1.1.3.2">𝜅</ci><cn id="A2.E41.m2.1.1.1.3.3.cmml" type="integer" xref="A2.E41.m2.1.1.1.3.3">2</cn></apply><apply id="A2.E41.m2.1.1.1.4.cmml" xref="A2.E41.m2.1.1.1.4"><csymbol cd="ambiguous" id="A2.E41.m2.1.1.1.4.1.cmml" xref="A2.E41.m2.1.1.1.4">superscript</csymbol><apply id="A2.E41.m2.1.1.1.4.2.cmml" xref="A2.E41.m2.1.1.1.4"><csymbol cd="ambiguous" id="A2.E41.m2.1.1.1.4.2.1.cmml" xref="A2.E41.m2.1.1.1.4">subscript</csymbol><ci id="A2.E41.m2.1.1.1.4.2.2.cmml" xref="A2.E41.m2.1.1.1.4.2.2">𝑤</ci><cn id="A2.E41.m2.1.1.1.4.2.3.cmml" type="integer" xref="A2.E41.m2.1.1.1.4.2.3">0</cn></apply><csymbol cd="latexml" id="A2.E41.m2.1.1.1.4.3.cmml" xref="A2.E41.m2.1.1.1.4.3">top</csymbol></apply><ci id="A2.E41.m2.1.1.1.5.cmml" xref="A2.E41.m2.1.1.1.5">Σ</ci><apply id="A2.E41.m2.1.1.1.1.cmml" xref="A2.E41.m2.1.1.1.1"><csymbol cd="ambiguous" id="A2.E41.m2.1.1.1.1.2.cmml" xref="A2.E41.m2.1.1.1.1">superscript</csymbol><apply id="A2.E41.m2.1.1.1.1.1.1.1.cmml" xref="A2.E41.m2.1.1.1.1.1.1"><plus id="A2.E41.m2.1.1.1.1.1.1.1.1.cmml" xref="A2.E41.m2.1.1.1.1.1.1.1.1"></plus><ci id="A2.E41.m2.1.1.1.1.1.1.1.2.cmml" xref="A2.E41.m2.1.1.1.1.1.1.1.2">Σ</ci><ci id="A2.E41.m2.1.1.1.1.1.1.1.3.cmml" xref="A2.E41.m2.1.1.1.1.1.1.1.3">𝜅</ci></apply><apply id="A2.E41.m2.1.1.1.1.3.cmml" xref="A2.E41.m2.1.1.1.1.3"><minus id="A2.E41.m2.1.1.1.1.3.1.cmml" xref="A2.E41.m2.1.1.1.1.3"></minus><cn id="A2.E41.m2.1.1.1.1.3.2.cmml" type="integer" xref="A2.E41.m2.1.1.1.1.3.2">2</cn></apply></apply><apply id="A2.E41.m2.1.1.1.6.cmml" xref="A2.E41.m2.1.1.1.6"><csymbol cd="ambiguous" id="A2.E41.m2.1.1.1.6.1.cmml" xref="A2.E41.m2.1.1.1.6">subscript</csymbol><ci id="A2.E41.m2.1.1.1.6.2.cmml" xref="A2.E41.m2.1.1.1.6.2">𝑤</ci><cn id="A2.E41.m2.1.1.1.6.3.cmml" type="integer" xref="A2.E41.m2.1.1.1.6.3">0</cn></apply></apply><apply id="A2.E41.m2.2.2.2.cmml" xref="A2.E41.m2.2.2.2"><minus id="A2.E41.m2.2.2.2.2.cmml" xref="A2.E41.m2.2.2.2.2"></minus><cn id="A2.E41.m2.2.2.2.3.cmml" type="integer" xref="A2.E41.m2.2.2.2.3">1</cn><apply id="A2.E41.m2.2.2.2.4.cmml" xref="A2.E41.m2.2.2.2.4"><divide id="A2.E41.m2.2.2.2.4.1.cmml" xref="A2.E41.m2.2.2.2.4.1"></divide><apply id="A2.E41.m2.2.2.2.4.2.cmml" xref="A2.E41.m2.2.2.2.4.2"><times id="A2.E41.m2.2.2.2.4.2.1.cmml" xref="A2.E41.m2.2.2.2.4.2.1"></times><apply id="A2.E41.m2.2.2.2.4.2.2.cmml" xref="A2.E41.m2.2.2.2.4.2.2"><csymbol cd="ambiguous" id="A2.E41.m2.2.2.2.4.2.2.1.cmml" xref="A2.E41.m2.2.2.2.4.2.2">subscript</csymbol><ci id="A2.E41.m2.2.2.2.4.2.2.2.cmml" xref="A2.E41.m2.2.2.2.4.2.2.2">df</ci><cn id="A2.E41.m2.2.2.2.4.2.2.3.cmml" type="integer" xref="A2.E41.m2.2.2.2.4.2.2.3">2</cn></apply><ci id="A2.E41.m2.2.2.2.1.cmml" xref="A2.E41.m2.2.2.2.1">𝜅</ci></apply><ci id="A2.E41.m2.2.2.2.4.3.cmml" xref="A2.E41.m2.2.2.2.4.3">𝑇</ci></apply></apply></apply></apply><apply id="A2.E41.m2.3.4c.cmml" xref="A2.E41.m2.3.4"><csymbol cd="latexml" id="A2.E41.m2.3.4.4.cmml" xref="A2.E41.m2.3.4.4">asymptotically-equals</csymbol><share href="#A2.E41.m2.2.2.cmml" id="A2.E41.m2.3.4d.cmml" xref="A2.E41.m2.3.4"></share><apply id="A2.E41.m2.3.3.cmml" xref="A2.E41.m2.3.3"><divide id="A2.E41.m2.3.3.2.cmml" xref="A2.E41.m2.3.3"></divide><apply id="A2.E41.m2.3.3.3.cmml" xref="A2.E41.m2.3.3.3"><csymbol cd="ambiguous" id="A2.E41.m2.3.3.3.1.cmml" xref="A2.E41.m2.3.3.3">superscript</csymbol><ci id="A2.E41.m2.3.3.3.2.cmml" xref="A2.E41.m2.3.3.3.2">𝑇</ci><apply id="A2.E41.m2.3.3.3.3.cmml" xref="A2.E41.m2.3.3.3.3"><times id="A2.E41.m2.3.3.3.3.1.cmml" xref="A2.E41.m2.3.3.3.3.1"></times><ci id="A2.E41.m2.3.3.3.3.2.cmml" xref="A2.E41.m2.3.3.3.3.2">ℓ</ci><ci id="A2.E41.m2.3.3.3.3.3.cmml" xref="A2.E41.m2.3.3.3.3.3">𝛾</ci></apply></apply><apply id="A2.E41.m2.3.3.1.cmml" xref="A2.E41.m2.3.3.1"><minus id="A2.E41.m2.3.3.1.2.cmml" xref="A2.E41.m2.3.3.1.2"></minus><cn id="A2.E41.m2.3.3.1.3.cmml" type="integer" xref="A2.E41.m2.3.3.1.3">1</cn><apply id="A2.E41.m2.3.3.1.4.cmml" xref="A2.E41.m2.3.3.1.4"><csymbol cd="ambiguous" id="A2.E41.m2.3.3.1.4.1.cmml" xref="A2.E41.m2.3.3.1.4">superscript</csymbol><ci id="A2.E41.m2.3.3.1.4.2.cmml" xref="A2.E41.m2.3.3.1.4.2">𝑇</ci><apply id="A2.E41.m2.3.3.1.1.1.cmml" xref="A2.E41.m2.3.3.1.1.1"><minus id="A2.E41.m2.3.3.1.1.1.2.cmml" xref="A2.E41.m2.3.3.1.1.1"></minus><apply id="A2.E41.m2.3.3.1.1.1.1.1.1.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1"><minus id="A2.E41.m2.3.3.1.1.1.1.1.1.1.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1.1.1"></minus><cn id="A2.E41.m2.3.3.1.1.1.1.1.1.2.cmml" type="integer" xref="A2.E41.m2.3.3.1.1.1.1.1.1.2">1</cn><apply id="A2.E41.m2.3.3.1.1.1.1.1.1.3.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3"><divide id="A2.E41.m2.3.3.1.1.1.1.1.1.3.1.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.1"></divide><ci id="A2.E41.m2.3.3.1.1.1.1.1.1.3.2.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.2">ℓ</ci><ci id="A2.E41.m2.3.3.1.1.1.1.1.1.3.3.cmml" xref="A2.E41.m2.3.3.1.1.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></apply><apply id="A2.E41.m2.3.4e.cmml" xref="A2.E41.m2.3.4"><csymbol cd="latexml" id="A2.E41.m2.3.4.5.cmml" xref="A2.E41.m2.3.4.5">asymptotically-equals</csymbol><share href="#A2.E41.m2.3.3.cmml" id="A2.E41.m2.3.4f.cmml" xref="A2.E41.m2.3.4"></share><apply id="A2.E41.m2.3.4.6.cmml" xref="A2.E41.m2.3.4.6"><csymbol cd="ambiguous" id="A2.E41.m2.3.4.6.1.cmml" xref="A2.E41.m2.3.4.6">superscript</csymbol><ci id="A2.E41.m2.3.4.6.2.cmml" xref="A2.E41.m2.3.4.6.2">𝑇</ci><apply id="A2.E41.m2.3.4.6.3.cmml" xref="A2.E41.m2.3.4.6.3"><minus id="A2.E41.m2.3.4.6.3.1.cmml" xref="A2.E41.m2.3.4.6.3"></minus><apply id="A2.E41.m2.3.4.6.3.2.cmml" xref="A2.E41.m2.3.4.6.3.2"><times id="A2.E41.m2.3.4.6.3.2.1.cmml" xref="A2.E41.m2.3.4.6.3.2.1"></times><ci id="A2.E41.m2.3.4.6.3.2.2.cmml" xref="A2.E41.m2.3.4.6.3.2.2">ℓ</ci><ci id="A2.E41.m2.3.4.6.3.2.3.cmml" xref="A2.E41.m2.3.4.6.3.2.3">𝛾</ci></apply></apply></apply></apply><apply id="A2.E41.m2.3.4g.cmml" xref="A2.E41.m2.3.4"><eq id="A2.E41.m2.3.4.7.cmml" xref="A2.E41.m2.3.4.7"></eq><share href="#A2.E41.m2.3.4.6.cmml" id="A2.E41.m2.3.4h.cmml" xref="A2.E41.m2.3.4"></share><apply id="A2.E41.m2.3.4.8.cmml" xref="A2.E41.m2.3.4.8"><csymbol cd="ambiguous" id="A2.E41.m2.3.4.8.1.cmml" xref="A2.E41.m2.3.4.8">superscript</csymbol><ci id="A2.E41.m2.3.4.8.2.cmml" xref="A2.E41.m2.3.4.8.2">𝑇</ci><apply id="A2.E41.m2.3.4.8.3.cmml" xref="A2.E41.m2.3.4.8.3"><minus id="A2.E41.m2.3.4.8.3.1.cmml" xref="A2.E41.m2.3.4.8.3"></minus><apply id="A2.E41.m2.3.4.8.3.2.cmml" xref="A2.E41.m2.3.4.8.3.2"><times id="A2.E41.m2.3.4.8.3.2.1.cmml" xref="A2.E41.m2.3.4.8.3.2.1"></times><cn id="A2.E41.m2.3.4.8.3.2.2.cmml" type="integer" xref="A2.E41.m2.3.4.8.3.2.2">2</cn><ci id="A2.E41.m2.3.4.8.3.2.3.cmml" xref="A2.E41.m2.3.4.8.3.2.3">ℓ</ci><apply id="A2.E41.m2.3.4.8.3.2.4.cmml" xref="A2.E41.m2.3.4.8.3.2.4"><ci id="A2.E41.m2.3.4.8.3.2.4.1.cmml" xref="A2.E41.m2.3.4.8.3.2.4.1">¯</ci><ci id="A2.E41.m2.3.4.8.3.2.4.2.cmml" xref="A2.E41.m2.3.4.8.3.2.4.2">𝑟</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E41.m2.3c">\displaystyle\simeq\frac{\kappa^{2}w_{0}^{\top}\Sigma(\Sigma+\kappa)^{-2}w_{0}% }{1-\mathrm{df}_{2}(\kappa)/T}\asymp\frac{T^{\ell\gamma}}{1-T^{-(1-\ell/\beta)% }}\asymp T^{-\ell\gamma}=T^{-2\ell\underline{r}}</annotation><annotation encoding="application/x-llamapun" id="A2.E41.m2.3d">≃ divide start_ARG italic_κ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ⊤ end_POSTSUPERSCRIPT roman_Σ ( roman_Σ + italic_κ ) start_POSTSUPERSCRIPT - 2 end_POSTSUPERSCRIPT italic_w start_POSTSUBSCRIPT 0 end_POSTSUBSCRIPT end_ARG start_ARG 1 - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) / italic_T end_ARG ≍ divide start_ARG italic_T start_POSTSUPERSCRIPT roman_ℓ italic_γ end_POSTSUPERSCRIPT end_ARG start_ARG 1 - italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT end_ARG ≍ italic_T start_POSTSUPERSCRIPT - roman_ℓ italic_γ end_POSTSUPERSCRIPT = italic_T start_POSTSUPERSCRIPT - 2 roman_ℓ under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(41)</span></td> </tr></tbody> <tbody id="A2.E42"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle Var" class="ltx_Math" display="inline" id="A2.E42.m1.1"><semantics id="A2.E42.m1.1a"><mrow id="A2.E42.m1.1.1" xref="A2.E42.m1.1.1.cmml"><mi id="A2.E42.m1.1.1.2" xref="A2.E42.m1.1.1.2.cmml">V</mi><mo id="A2.E42.m1.1.1.1" xref="A2.E42.m1.1.1.1.cmml">⁢</mo><mi id="A2.E42.m1.1.1.3" xref="A2.E42.m1.1.1.3.cmml">a</mi><mo id="A2.E42.m1.1.1.1a" xref="A2.E42.m1.1.1.1.cmml">⁢</mo><mi id="A2.E42.m1.1.1.4" xref="A2.E42.m1.1.1.4.cmml">r</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.E42.m1.1b"><apply id="A2.E42.m1.1.1.cmml" xref="A2.E42.m1.1.1"><times id="A2.E42.m1.1.1.1.cmml" xref="A2.E42.m1.1.1.1"></times><ci id="A2.E42.m1.1.1.2.cmml" xref="A2.E42.m1.1.1.2">𝑉</ci><ci id="A2.E42.m1.1.1.3.cmml" xref="A2.E42.m1.1.1.3">𝑎</ci><ci id="A2.E42.m1.1.1.4.cmml" xref="A2.E42.m1.1.1.4">𝑟</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E42.m1.1c">\displaystyle Var</annotation><annotation encoding="application/x-llamapun" id="A2.E42.m1.1d">italic_V italic_a italic_r</annotation></semantics></math></td> <td class="ltx_td ltx_align_left ltx_eqn_cell"><math alttext="\displaystyle\simeq\sigma^{2}\frac{\mathrm{df}_{2}(\kappa)}{T}\cdot\frac{1}{1-% \mathrm{df}_{2}(\kappa)/T}\asymp\sigma^{2}\frac{T^{\ell/\beta}}{T}\frac{1}{1-o% (1)}\asymp\sigma^{2}T^{-(1-\ell/\beta)}." class="ltx_Math" display="inline" id="A2.E42.m2.5"><semantics id="A2.E42.m2.5a"><mrow id="A2.E42.m2.5.5.1" xref="A2.E42.m2.5.5.1.1.cmml"><mrow id="A2.E42.m2.5.5.1.1" xref="A2.E42.m2.5.5.1.1.cmml"><mi id="A2.E42.m2.5.5.1.1.2" xref="A2.E42.m2.5.5.1.1.2.cmml"></mi><mo id="A2.E42.m2.5.5.1.1.3" xref="A2.E42.m2.5.5.1.1.3.cmml">≃</mo><mrow id="A2.E42.m2.5.5.1.1.4" xref="A2.E42.m2.5.5.1.1.4.cmml"><mrow id="A2.E42.m2.5.5.1.1.4.2" xref="A2.E42.m2.5.5.1.1.4.2.cmml"><msup id="A2.E42.m2.5.5.1.1.4.2.2" xref="A2.E42.m2.5.5.1.1.4.2.2.cmml"><mi id="A2.E42.m2.5.5.1.1.4.2.2.2" xref="A2.E42.m2.5.5.1.1.4.2.2.2.cmml">σ</mi><mn id="A2.E42.m2.5.5.1.1.4.2.2.3" xref="A2.E42.m2.5.5.1.1.4.2.2.3.cmml">2</mn></msup><mo id="A2.E42.m2.5.5.1.1.4.2.1" xref="A2.E42.m2.5.5.1.1.4.2.1.cmml">⁢</mo><mstyle displaystyle="true" id="A2.E42.m2.1.1" xref="A2.E42.m2.1.1.cmml"><mfrac id="A2.E42.m2.1.1a" xref="A2.E42.m2.1.1.cmml"><mrow id="A2.E42.m2.1.1.1" xref="A2.E42.m2.1.1.1.cmml"><msub id="A2.E42.m2.1.1.1.3" xref="A2.E42.m2.1.1.1.3.cmml"><mi id="A2.E42.m2.1.1.1.3.2" xref="A2.E42.m2.1.1.1.3.2.cmml">df</mi><mn id="A2.E42.m2.1.1.1.3.3" xref="A2.E42.m2.1.1.1.3.3.cmml">2</mn></msub><mo id="A2.E42.m2.1.1.1.2" xref="A2.E42.m2.1.1.1.2.cmml">⁢</mo><mrow id="A2.E42.m2.1.1.1.4.2" xref="A2.E42.m2.1.1.1.cmml"><mo id="A2.E42.m2.1.1.1.4.2.1" stretchy="false" xref="A2.E42.m2.1.1.1.cmml">(</mo><mi id="A2.E42.m2.1.1.1.1" xref="A2.E42.m2.1.1.1.1.cmml">κ</mi><mo id="A2.E42.m2.1.1.1.4.2.2" stretchy="false" xref="A2.E42.m2.1.1.1.cmml">)</mo></mrow></mrow><mi id="A2.E42.m2.1.1.3" xref="A2.E42.m2.1.1.3.cmml">T</mi></mfrac></mstyle></mrow><mo id="A2.E42.m2.5.5.1.1.4.1" lspace="0.222em" rspace="0.222em" xref="A2.E42.m2.5.5.1.1.4.1.cmml">⋅</mo><mstyle displaystyle="true" id="A2.E42.m2.2.2" xref="A2.E42.m2.2.2.cmml"><mfrac id="A2.E42.m2.2.2a" xref="A2.E42.m2.2.2.cmml"><mn id="A2.E42.m2.2.2.3" xref="A2.E42.m2.2.2.3.cmml">1</mn><mrow id="A2.E42.m2.2.2.1" xref="A2.E42.m2.2.2.1.cmml"><mn id="A2.E42.m2.2.2.1.3" xref="A2.E42.m2.2.2.1.3.cmml">1</mn><mo id="A2.E42.m2.2.2.1.2" xref="A2.E42.m2.2.2.1.2.cmml">−</mo><mrow id="A2.E42.m2.2.2.1.4" xref="A2.E42.m2.2.2.1.4.cmml"><mrow id="A2.E42.m2.2.2.1.4.2" xref="A2.E42.m2.2.2.1.4.2.cmml"><msub id="A2.E42.m2.2.2.1.4.2.2" xref="A2.E42.m2.2.2.1.4.2.2.cmml"><mi id="A2.E42.m2.2.2.1.4.2.2.2" xref="A2.E42.m2.2.2.1.4.2.2.2.cmml">df</mi><mn id="A2.E42.m2.2.2.1.4.2.2.3" xref="A2.E42.m2.2.2.1.4.2.2.3.cmml">2</mn></msub><mo id="A2.E42.m2.2.2.1.4.2.1" xref="A2.E42.m2.2.2.1.4.2.1.cmml">⁢</mo><mrow id="A2.E42.m2.2.2.1.4.2.3.2" xref="A2.E42.m2.2.2.1.4.2.cmml"><mo id="A2.E42.m2.2.2.1.4.2.3.2.1" stretchy="false" xref="A2.E42.m2.2.2.1.4.2.cmml">(</mo><mi id="A2.E42.m2.2.2.1.1" xref="A2.E42.m2.2.2.1.1.cmml">κ</mi><mo id="A2.E42.m2.2.2.1.4.2.3.2.2" stretchy="false" xref="A2.E42.m2.2.2.1.4.2.cmml">)</mo></mrow></mrow><mo id="A2.E42.m2.2.2.1.4.1" xref="A2.E42.m2.2.2.1.4.1.cmml">/</mo><mi id="A2.E42.m2.2.2.1.4.3" xref="A2.E42.m2.2.2.1.4.3.cmml">T</mi></mrow></mrow></mfrac></mstyle></mrow><mo id="A2.E42.m2.5.5.1.1.5" xref="A2.E42.m2.5.5.1.1.5.cmml">≍</mo><mrow id="A2.E42.m2.5.5.1.1.6" xref="A2.E42.m2.5.5.1.1.6.cmml"><msup id="A2.E42.m2.5.5.1.1.6.2" xref="A2.E42.m2.5.5.1.1.6.2.cmml"><mi id="A2.E42.m2.5.5.1.1.6.2.2" xref="A2.E42.m2.5.5.1.1.6.2.2.cmml">σ</mi><mn id="A2.E42.m2.5.5.1.1.6.2.3" xref="A2.E42.m2.5.5.1.1.6.2.3.cmml">2</mn></msup><mo id="A2.E42.m2.5.5.1.1.6.1" xref="A2.E42.m2.5.5.1.1.6.1.cmml">⁢</mo><mstyle displaystyle="true" id="A2.E42.m2.5.5.1.1.6.3" xref="A2.E42.m2.5.5.1.1.6.3.cmml"><mfrac id="A2.E42.m2.5.5.1.1.6.3a" xref="A2.E42.m2.5.5.1.1.6.3.cmml"><msup id="A2.E42.m2.5.5.1.1.6.3.2" xref="A2.E42.m2.5.5.1.1.6.3.2.cmml"><mi id="A2.E42.m2.5.5.1.1.6.3.2.2" xref="A2.E42.m2.5.5.1.1.6.3.2.2.cmml">T</mi><mrow id="A2.E42.m2.5.5.1.1.6.3.2.3" xref="A2.E42.m2.5.5.1.1.6.3.2.3.cmml"><mi id="A2.E42.m2.5.5.1.1.6.3.2.3.2" mathvariant="normal" xref="A2.E42.m2.5.5.1.1.6.3.2.3.2.cmml">ℓ</mi><mo id="A2.E42.m2.5.5.1.1.6.3.2.3.1" xref="A2.E42.m2.5.5.1.1.6.3.2.3.1.cmml">/</mo><mi id="A2.E42.m2.5.5.1.1.6.3.2.3.3" xref="A2.E42.m2.5.5.1.1.6.3.2.3.3.cmml">β</mi></mrow></msup><mi id="A2.E42.m2.5.5.1.1.6.3.3" xref="A2.E42.m2.5.5.1.1.6.3.3.cmml">T</mi></mfrac></mstyle><mo id="A2.E42.m2.5.5.1.1.6.1a" xref="A2.E42.m2.5.5.1.1.6.1.cmml">⁢</mo><mstyle displaystyle="true" id="A2.E42.m2.3.3" xref="A2.E42.m2.3.3.cmml"><mfrac id="A2.E42.m2.3.3a" xref="A2.E42.m2.3.3.cmml"><mn id="A2.E42.m2.3.3.3" xref="A2.E42.m2.3.3.3.cmml">1</mn><mrow id="A2.E42.m2.3.3.1" xref="A2.E42.m2.3.3.1.cmml"><mn id="A2.E42.m2.3.3.1.3" xref="A2.E42.m2.3.3.1.3.cmml">1</mn><mo id="A2.E42.m2.3.3.1.2" xref="A2.E42.m2.3.3.1.2.cmml">−</mo><mrow id="A2.E42.m2.3.3.1.4" xref="A2.E42.m2.3.3.1.4.cmml"><mi id="A2.E42.m2.3.3.1.4.2" xref="A2.E42.m2.3.3.1.4.2.cmml">o</mi><mo id="A2.E42.m2.3.3.1.4.1" xref="A2.E42.m2.3.3.1.4.1.cmml">⁢</mo><mrow id="A2.E42.m2.3.3.1.4.3.2" xref="A2.E42.m2.3.3.1.4.cmml"><mo id="A2.E42.m2.3.3.1.4.3.2.1" stretchy="false" xref="A2.E42.m2.3.3.1.4.cmml">(</mo><mn id="A2.E42.m2.3.3.1.1" xref="A2.E42.m2.3.3.1.1.cmml">1</mn><mo id="A2.E42.m2.3.3.1.4.3.2.2" stretchy="false" xref="A2.E42.m2.3.3.1.4.cmml">)</mo></mrow></mrow></mrow></mfrac></mstyle></mrow><mo id="A2.E42.m2.5.5.1.1.7" xref="A2.E42.m2.5.5.1.1.7.cmml">≍</mo><mrow id="A2.E42.m2.5.5.1.1.8" xref="A2.E42.m2.5.5.1.1.8.cmml"><msup id="A2.E42.m2.5.5.1.1.8.2" xref="A2.E42.m2.5.5.1.1.8.2.cmml"><mi id="A2.E42.m2.5.5.1.1.8.2.2" xref="A2.E42.m2.5.5.1.1.8.2.2.cmml">σ</mi><mn id="A2.E42.m2.5.5.1.1.8.2.3" xref="A2.E42.m2.5.5.1.1.8.2.3.cmml">2</mn></msup><mo id="A2.E42.m2.5.5.1.1.8.1" xref="A2.E42.m2.5.5.1.1.8.1.cmml">⁢</mo><msup id="A2.E42.m2.5.5.1.1.8.3" xref="A2.E42.m2.5.5.1.1.8.3.cmml"><mi id="A2.E42.m2.5.5.1.1.8.3.2" xref="A2.E42.m2.5.5.1.1.8.3.2.cmml">T</mi><mrow id="A2.E42.m2.4.4.1" xref="A2.E42.m2.4.4.1.cmml"><mo id="A2.E42.m2.4.4.1a" xref="A2.E42.m2.4.4.1.cmml">−</mo><mrow id="A2.E42.m2.4.4.1.1.1" xref="A2.E42.m2.4.4.1.1.1.1.cmml"><mo id="A2.E42.m2.4.4.1.1.1.2" stretchy="false" xref="A2.E42.m2.4.4.1.1.1.1.cmml">(</mo><mrow id="A2.E42.m2.4.4.1.1.1.1" xref="A2.E42.m2.4.4.1.1.1.1.cmml"><mn id="A2.E42.m2.4.4.1.1.1.1.2" xref="A2.E42.m2.4.4.1.1.1.1.2.cmml">1</mn><mo id="A2.E42.m2.4.4.1.1.1.1.1" xref="A2.E42.m2.4.4.1.1.1.1.1.cmml">−</mo><mrow id="A2.E42.m2.4.4.1.1.1.1.3" xref="A2.E42.m2.4.4.1.1.1.1.3.cmml"><mi id="A2.E42.m2.4.4.1.1.1.1.3.2" mathvariant="normal" xref="A2.E42.m2.4.4.1.1.1.1.3.2.cmml">ℓ</mi><mo id="A2.E42.m2.4.4.1.1.1.1.3.1" xref="A2.E42.m2.4.4.1.1.1.1.3.1.cmml">/</mo><mi id="A2.E42.m2.4.4.1.1.1.1.3.3" xref="A2.E42.m2.4.4.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A2.E42.m2.4.4.1.1.1.3" stretchy="false" xref="A2.E42.m2.4.4.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow></mrow><mo id="A2.E42.m2.5.5.1.2" lspace="0em" xref="A2.E42.m2.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.E42.m2.5b"><apply id="A2.E42.m2.5.5.1.1.cmml" xref="A2.E42.m2.5.5.1"><and id="A2.E42.m2.5.5.1.1a.cmml" xref="A2.E42.m2.5.5.1"></and><apply id="A2.E42.m2.5.5.1.1b.cmml" xref="A2.E42.m2.5.5.1"><csymbol cd="latexml" id="A2.E42.m2.5.5.1.1.3.cmml" xref="A2.E42.m2.5.5.1.1.3">similar-to-or-equals</csymbol><csymbol cd="latexml" id="A2.E42.m2.5.5.1.1.2.cmml" xref="A2.E42.m2.5.5.1.1.2">absent</csymbol><apply id="A2.E42.m2.5.5.1.1.4.cmml" xref="A2.E42.m2.5.5.1.1.4"><ci id="A2.E42.m2.5.5.1.1.4.1.cmml" xref="A2.E42.m2.5.5.1.1.4.1">⋅</ci><apply id="A2.E42.m2.5.5.1.1.4.2.cmml" xref="A2.E42.m2.5.5.1.1.4.2"><times id="A2.E42.m2.5.5.1.1.4.2.1.cmml" xref="A2.E42.m2.5.5.1.1.4.2.1"></times><apply id="A2.E42.m2.5.5.1.1.4.2.2.cmml" xref="A2.E42.m2.5.5.1.1.4.2.2"><csymbol cd="ambiguous" id="A2.E42.m2.5.5.1.1.4.2.2.1.cmml" xref="A2.E42.m2.5.5.1.1.4.2.2">superscript</csymbol><ci id="A2.E42.m2.5.5.1.1.4.2.2.2.cmml" xref="A2.E42.m2.5.5.1.1.4.2.2.2">𝜎</ci><cn id="A2.E42.m2.5.5.1.1.4.2.2.3.cmml" type="integer" xref="A2.E42.m2.5.5.1.1.4.2.2.3">2</cn></apply><apply id="A2.E42.m2.1.1.cmml" xref="A2.E42.m2.1.1"><divide id="A2.E42.m2.1.1.2.cmml" xref="A2.E42.m2.1.1"></divide><apply id="A2.E42.m2.1.1.1.cmml" xref="A2.E42.m2.1.1.1"><times id="A2.E42.m2.1.1.1.2.cmml" xref="A2.E42.m2.1.1.1.2"></times><apply id="A2.E42.m2.1.1.1.3.cmml" xref="A2.E42.m2.1.1.1.3"><csymbol cd="ambiguous" id="A2.E42.m2.1.1.1.3.1.cmml" xref="A2.E42.m2.1.1.1.3">subscript</csymbol><ci id="A2.E42.m2.1.1.1.3.2.cmml" xref="A2.E42.m2.1.1.1.3.2">df</ci><cn id="A2.E42.m2.1.1.1.3.3.cmml" type="integer" xref="A2.E42.m2.1.1.1.3.3">2</cn></apply><ci id="A2.E42.m2.1.1.1.1.cmml" xref="A2.E42.m2.1.1.1.1">𝜅</ci></apply><ci id="A2.E42.m2.1.1.3.cmml" xref="A2.E42.m2.1.1.3">𝑇</ci></apply></apply><apply id="A2.E42.m2.2.2.cmml" xref="A2.E42.m2.2.2"><divide id="A2.E42.m2.2.2.2.cmml" xref="A2.E42.m2.2.2"></divide><cn id="A2.E42.m2.2.2.3.cmml" type="integer" xref="A2.E42.m2.2.2.3">1</cn><apply id="A2.E42.m2.2.2.1.cmml" xref="A2.E42.m2.2.2.1"><minus id="A2.E42.m2.2.2.1.2.cmml" xref="A2.E42.m2.2.2.1.2"></minus><cn id="A2.E42.m2.2.2.1.3.cmml" type="integer" xref="A2.E42.m2.2.2.1.3">1</cn><apply id="A2.E42.m2.2.2.1.4.cmml" xref="A2.E42.m2.2.2.1.4"><divide id="A2.E42.m2.2.2.1.4.1.cmml" xref="A2.E42.m2.2.2.1.4.1"></divide><apply id="A2.E42.m2.2.2.1.4.2.cmml" xref="A2.E42.m2.2.2.1.4.2"><times id="A2.E42.m2.2.2.1.4.2.1.cmml" xref="A2.E42.m2.2.2.1.4.2.1"></times><apply id="A2.E42.m2.2.2.1.4.2.2.cmml" xref="A2.E42.m2.2.2.1.4.2.2"><csymbol cd="ambiguous" id="A2.E42.m2.2.2.1.4.2.2.1.cmml" xref="A2.E42.m2.2.2.1.4.2.2">subscript</csymbol><ci id="A2.E42.m2.2.2.1.4.2.2.2.cmml" xref="A2.E42.m2.2.2.1.4.2.2.2">df</ci><cn id="A2.E42.m2.2.2.1.4.2.2.3.cmml" type="integer" xref="A2.E42.m2.2.2.1.4.2.2.3">2</cn></apply><ci id="A2.E42.m2.2.2.1.1.cmml" xref="A2.E42.m2.2.2.1.1">𝜅</ci></apply><ci id="A2.E42.m2.2.2.1.4.3.cmml" xref="A2.E42.m2.2.2.1.4.3">𝑇</ci></apply></apply></apply></apply></apply><apply id="A2.E42.m2.5.5.1.1c.cmml" xref="A2.E42.m2.5.5.1"><csymbol cd="latexml" id="A2.E42.m2.5.5.1.1.5.cmml" xref="A2.E42.m2.5.5.1.1.5">asymptotically-equals</csymbol><share href="#A2.E42.m2.5.5.1.1.4.cmml" id="A2.E42.m2.5.5.1.1d.cmml" xref="A2.E42.m2.5.5.1"></share><apply id="A2.E42.m2.5.5.1.1.6.cmml" xref="A2.E42.m2.5.5.1.1.6"><times id="A2.E42.m2.5.5.1.1.6.1.cmml" xref="A2.E42.m2.5.5.1.1.6.1"></times><apply id="A2.E42.m2.5.5.1.1.6.2.cmml" xref="A2.E42.m2.5.5.1.1.6.2"><csymbol cd="ambiguous" id="A2.E42.m2.5.5.1.1.6.2.1.cmml" xref="A2.E42.m2.5.5.1.1.6.2">superscript</csymbol><ci id="A2.E42.m2.5.5.1.1.6.2.2.cmml" xref="A2.E42.m2.5.5.1.1.6.2.2">𝜎</ci><cn id="A2.E42.m2.5.5.1.1.6.2.3.cmml" type="integer" xref="A2.E42.m2.5.5.1.1.6.2.3">2</cn></apply><apply id="A2.E42.m2.5.5.1.1.6.3.cmml" xref="A2.E42.m2.5.5.1.1.6.3"><divide id="A2.E42.m2.5.5.1.1.6.3.1.cmml" xref="A2.E42.m2.5.5.1.1.6.3"></divide><apply id="A2.E42.m2.5.5.1.1.6.3.2.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2"><csymbol cd="ambiguous" id="A2.E42.m2.5.5.1.1.6.3.2.1.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2">superscript</csymbol><ci id="A2.E42.m2.5.5.1.1.6.3.2.2.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2.2">𝑇</ci><apply id="A2.E42.m2.5.5.1.1.6.3.2.3.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2.3"><divide id="A2.E42.m2.5.5.1.1.6.3.2.3.1.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2.3.1"></divide><ci id="A2.E42.m2.5.5.1.1.6.3.2.3.2.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2.3.2">ℓ</ci><ci id="A2.E42.m2.5.5.1.1.6.3.2.3.3.cmml" xref="A2.E42.m2.5.5.1.1.6.3.2.3.3">𝛽</ci></apply></apply><ci id="A2.E42.m2.5.5.1.1.6.3.3.cmml" xref="A2.E42.m2.5.5.1.1.6.3.3">𝑇</ci></apply><apply id="A2.E42.m2.3.3.cmml" xref="A2.E42.m2.3.3"><divide id="A2.E42.m2.3.3.2.cmml" xref="A2.E42.m2.3.3"></divide><cn id="A2.E42.m2.3.3.3.cmml" type="integer" xref="A2.E42.m2.3.3.3">1</cn><apply id="A2.E42.m2.3.3.1.cmml" xref="A2.E42.m2.3.3.1"><minus id="A2.E42.m2.3.3.1.2.cmml" xref="A2.E42.m2.3.3.1.2"></minus><cn id="A2.E42.m2.3.3.1.3.cmml" type="integer" xref="A2.E42.m2.3.3.1.3">1</cn><apply id="A2.E42.m2.3.3.1.4.cmml" xref="A2.E42.m2.3.3.1.4"><times id="A2.E42.m2.3.3.1.4.1.cmml" xref="A2.E42.m2.3.3.1.4.1"></times><ci id="A2.E42.m2.3.3.1.4.2.cmml" xref="A2.E42.m2.3.3.1.4.2">𝑜</ci><cn id="A2.E42.m2.3.3.1.1.cmml" type="integer" xref="A2.E42.m2.3.3.1.1">1</cn></apply></apply></apply></apply></apply><apply id="A2.E42.m2.5.5.1.1e.cmml" xref="A2.E42.m2.5.5.1"><csymbol cd="latexml" id="A2.E42.m2.5.5.1.1.7.cmml" xref="A2.E42.m2.5.5.1.1.7">asymptotically-equals</csymbol><share href="#A2.E42.m2.5.5.1.1.6.cmml" id="A2.E42.m2.5.5.1.1f.cmml" xref="A2.E42.m2.5.5.1"></share><apply id="A2.E42.m2.5.5.1.1.8.cmml" xref="A2.E42.m2.5.5.1.1.8"><times id="A2.E42.m2.5.5.1.1.8.1.cmml" xref="A2.E42.m2.5.5.1.1.8.1"></times><apply id="A2.E42.m2.5.5.1.1.8.2.cmml" xref="A2.E42.m2.5.5.1.1.8.2"><csymbol cd="ambiguous" id="A2.E42.m2.5.5.1.1.8.2.1.cmml" xref="A2.E42.m2.5.5.1.1.8.2">superscript</csymbol><ci id="A2.E42.m2.5.5.1.1.8.2.2.cmml" xref="A2.E42.m2.5.5.1.1.8.2.2">𝜎</ci><cn id="A2.E42.m2.5.5.1.1.8.2.3.cmml" type="integer" xref="A2.E42.m2.5.5.1.1.8.2.3">2</cn></apply><apply id="A2.E42.m2.5.5.1.1.8.3.cmml" xref="A2.E42.m2.5.5.1.1.8.3"><csymbol cd="ambiguous" id="A2.E42.m2.5.5.1.1.8.3.1.cmml" xref="A2.E42.m2.5.5.1.1.8.3">superscript</csymbol><ci id="A2.E42.m2.5.5.1.1.8.3.2.cmml" xref="A2.E42.m2.5.5.1.1.8.3.2">𝑇</ci><apply id="A2.E42.m2.4.4.1.cmml" xref="A2.E42.m2.4.4.1"><minus id="A2.E42.m2.4.4.1.2.cmml" xref="A2.E42.m2.4.4.1"></minus><apply id="A2.E42.m2.4.4.1.1.1.1.cmml" xref="A2.E42.m2.4.4.1.1.1"><minus id="A2.E42.m2.4.4.1.1.1.1.1.cmml" xref="A2.E42.m2.4.4.1.1.1.1.1"></minus><cn id="A2.E42.m2.4.4.1.1.1.1.2.cmml" type="integer" xref="A2.E42.m2.4.4.1.1.1.1.2">1</cn><apply id="A2.E42.m2.4.4.1.1.1.1.3.cmml" xref="A2.E42.m2.4.4.1.1.1.1.3"><divide id="A2.E42.m2.4.4.1.1.1.1.3.1.cmml" xref="A2.E42.m2.4.4.1.1.1.1.3.1"></divide><ci id="A2.E42.m2.4.4.1.1.1.1.3.2.cmml" xref="A2.E42.m2.4.4.1.1.1.1.3.2">ℓ</ci><ci id="A2.E42.m2.4.4.1.1.1.1.3.3.cmml" xref="A2.E42.m2.4.4.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E42.m2.5c">\displaystyle\simeq\sigma^{2}\frac{\mathrm{df}_{2}(\kappa)}{T}\cdot\frac{1}{1-% \mathrm{df}_{2}(\kappa)/T}\asymp\sigma^{2}\frac{T^{\ell/\beta}}{T}\frac{1}{1-o% (1)}\asymp\sigma^{2}T^{-(1-\ell/\beta)}.</annotation><annotation encoding="application/x-llamapun" id="A2.E42.m2.5d">≃ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT divide start_ARG roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) end_ARG start_ARG italic_T end_ARG ⋅ divide start_ARG 1 end_ARG start_ARG 1 - roman_df start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT ( italic_κ ) / italic_T end_ARG ≍ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT divide start_ARG italic_T start_POSTSUPERSCRIPT roman_ℓ / italic_β end_POSTSUPERSCRIPT end_ARG start_ARG italic_T end_ARG divide start_ARG 1 end_ARG start_ARG 1 - italic_o ( 1 ) end_ARG ≍ italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(42)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.p2.12">We deduce the scaling law</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx45"> <tbody id="A2.E43"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}\simeq Bias+Var\asymp T^{-2\ell\underline{r}}+\sigma^{2}% T^{-(1-\ell/\beta)}\asymp\max(\sigma^{2},T^{1-2\ell\underline{r}-\ell/\beta)})% T^{-(1-\ell/\beta)}," class="ltx_math_unparsed" display="inline" id="A2.E43.m1.4"><semantics id="A2.E43.m1.4a"><mrow id="A2.E43.m1.4.4.1"><mrow id="A2.E43.m1.4.4.1.1"><msub id="A2.E43.m1.4.4.1.1.4"><mi id="A2.E43.m1.4.4.1.1.4.2">E</mi><mrow id="A2.E43.m1.4.4.1.1.4.3"><mi id="A2.E43.m1.4.4.1.1.4.3.2">t</mi><mo id="A2.E43.m1.4.4.1.1.4.3.1">⁢</mo><mi id="A2.E43.m1.4.4.1.1.4.3.3">e</mi><mo id="A2.E43.m1.4.4.1.1.4.3.1a">⁢</mo><mi id="A2.E43.m1.4.4.1.1.4.3.4">s</mi><mo id="A2.E43.m1.4.4.1.1.4.3.1b">⁢</mo><mi id="A2.E43.m1.4.4.1.1.4.3.5">t</mi></mrow></msub><mo id="A2.E43.m1.4.4.1.1.5">≃</mo><mrow id="A2.E43.m1.4.4.1.1.6"><mrow id="A2.E43.m1.4.4.1.1.6.2"><mi id="A2.E43.m1.4.4.1.1.6.2.2">B</mi><mo id="A2.E43.m1.4.4.1.1.6.2.1">⁢</mo><mi id="A2.E43.m1.4.4.1.1.6.2.3">i</mi><mo id="A2.E43.m1.4.4.1.1.6.2.1a">⁢</mo><mi id="A2.E43.m1.4.4.1.1.6.2.4">a</mi><mo id="A2.E43.m1.4.4.1.1.6.2.1b">⁢</mo><mi id="A2.E43.m1.4.4.1.1.6.2.5">s</mi></mrow><mo id="A2.E43.m1.4.4.1.1.6.1">+</mo><mrow id="A2.E43.m1.4.4.1.1.6.3"><mi id="A2.E43.m1.4.4.1.1.6.3.2">V</mi><mo id="A2.E43.m1.4.4.1.1.6.3.1">⁢</mo><mi id="A2.E43.m1.4.4.1.1.6.3.3">a</mi><mo id="A2.E43.m1.4.4.1.1.6.3.1a">⁢</mo><mi id="A2.E43.m1.4.4.1.1.6.3.4">r</mi></mrow></mrow><mo id="A2.E43.m1.4.4.1.1.7">≍</mo><mrow id="A2.E43.m1.4.4.1.1.8"><msup id="A2.E43.m1.4.4.1.1.8.2"><mi id="A2.E43.m1.4.4.1.1.8.2.2">T</mi><mrow id="A2.E43.m1.4.4.1.1.8.2.3"><mo id="A2.E43.m1.4.4.1.1.8.2.3a">−</mo><mrow id="A2.E43.m1.4.4.1.1.8.2.3.2"><mn id="A2.E43.m1.4.4.1.1.8.2.3.2.2">2</mn><mo id="A2.E43.m1.4.4.1.1.8.2.3.2.1">⁢</mo><mi id="A2.E43.m1.4.4.1.1.8.2.3.2.3" mathvariant="normal">ℓ</mi><mo id="A2.E43.m1.4.4.1.1.8.2.3.2.1a">⁢</mo><munder accentunder="true" id="A2.E43.m1.4.4.1.1.8.2.3.2.4"><mi id="A2.E43.m1.4.4.1.1.8.2.3.2.4.2">r</mi><mo id="A2.E43.m1.4.4.1.1.8.2.3.2.4.1">¯</mo></munder></mrow></mrow></msup><mo id="A2.E43.m1.4.4.1.1.8.1">+</mo><mrow id="A2.E43.m1.4.4.1.1.8.3"><msup id="A2.E43.m1.4.4.1.1.8.3.2"><mi id="A2.E43.m1.4.4.1.1.8.3.2.2">σ</mi><mn id="A2.E43.m1.4.4.1.1.8.3.2.3">2</mn></msup><mo id="A2.E43.m1.4.4.1.1.8.3.1">⁢</mo><msup id="A2.E43.m1.4.4.1.1.8.3.3"><mi id="A2.E43.m1.4.4.1.1.8.3.3.2">T</mi><mrow id="A2.E43.m1.1.1.1"><mo id="A2.E43.m1.1.1.1a">−</mo><mrow id="A2.E43.m1.1.1.1.1.1"><mo id="A2.E43.m1.1.1.1.1.1.2" stretchy="false">(</mo><mrow id="A2.E43.m1.1.1.1.1.1.1"><mn id="A2.E43.m1.1.1.1.1.1.1.2">1</mn><mo id="A2.E43.m1.1.1.1.1.1.1.1">−</mo><mrow id="A2.E43.m1.1.1.1.1.1.1.3"><mi id="A2.E43.m1.1.1.1.1.1.1.3.2" mathvariant="normal">ℓ</mi><mo id="A2.E43.m1.1.1.1.1.1.1.3.1">/</mo><mi id="A2.E43.m1.1.1.1.1.1.1.3.3">β</mi></mrow></mrow><mo id="A2.E43.m1.1.1.1.1.1.3" stretchy="false">)</mo></mrow></mrow></msup></mrow></mrow><mo id="A2.E43.m1.4.4.1.1.9">≍</mo><mrow id="A2.E43.m1.4.4.1.1.2"><mrow id="A2.E43.m1.4.4.1.1.2.2.2"><mi id="A2.E43.m1.3.3">max</mi><mo id="A2.E43.m1.4.4.1.1.2.2.2a">⁡</mo><mrow id="A2.E43.m1.4.4.1.1.2.2.2.2"><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.3" stretchy="false">(</mo><msup id="A2.E43.m1.4.4.1.1.1.1.1.1.1"><mi id="A2.E43.m1.4.4.1.1.1.1.1.1.1.2">σ</mi><mn id="A2.E43.m1.4.4.1.1.1.1.1.1.1.3">2</mn></msup><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.4">,</mo><msup id="A2.E43.m1.4.4.1.1.2.2.2.2.2"><mi id="A2.E43.m1.4.4.1.1.2.2.2.2.2.2">T</mi><mrow id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3"><mn id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.1">1</mn><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.2">−</mo><mn id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.3">2</mn><mi id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.4" mathvariant="normal">ℓ</mi><munder accentunder="true" id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.5"><mi id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.5.2">r</mi><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.5.1">¯</mo></munder><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.6">−</mo><mi id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.7" mathvariant="normal">ℓ</mi><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.8">/</mo><mi id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.9">β</mi><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.2.3.10" stretchy="false">)</mo></mrow></msup><mo id="A2.E43.m1.4.4.1.1.2.2.2.2.5" stretchy="false">)</mo></mrow></mrow><mo id="A2.E43.m1.4.4.1.1.2.3">⁢</mo><msup id="A2.E43.m1.4.4.1.1.2.4"><mi id="A2.E43.m1.4.4.1.1.2.4.2">T</mi><mrow id="A2.E43.m1.2.2.1"><mo id="A2.E43.m1.2.2.1a">−</mo><mrow id="A2.E43.m1.2.2.1.1.1"><mo id="A2.E43.m1.2.2.1.1.1.2" stretchy="false">(</mo><mrow id="A2.E43.m1.2.2.1.1.1.1"><mn id="A2.E43.m1.2.2.1.1.1.1.2">1</mn><mo id="A2.E43.m1.2.2.1.1.1.1.1">−</mo><mrow id="A2.E43.m1.2.2.1.1.1.1.3"><mi id="A2.E43.m1.2.2.1.1.1.1.3.2" mathvariant="normal">ℓ</mi><mo id="A2.E43.m1.2.2.1.1.1.1.3.1">/</mo><mi id="A2.E43.m1.2.2.1.1.1.1.3.3">β</mi></mrow></mrow><mo id="A2.E43.m1.2.2.1.1.1.3" stretchy="false">)</mo></mrow></mrow></msup></mrow></mrow><mo id="A2.E43.m1.4.4.1.2">,</mo></mrow><annotation encoding="application/x-tex" id="A2.E43.m1.4b">\displaystyle E_{test}\simeq Bias+Var\asymp T^{-2\ell\underline{r}}+\sigma^{2}% T^{-(1-\ell/\beta)}\asymp\max(\sigma^{2},T^{1-2\ell\underline{r}-\ell/\beta)})% T^{-(1-\ell/\beta)},</annotation><annotation encoding="application/x-llamapun" id="A2.E43.m1.4c">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ≃ italic_B italic_i italic_a italic_s + italic_V italic_a italic_r ≍ italic_T start_POSTSUPERSCRIPT - 2 roman_ℓ under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT + italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ≍ roman_max ( italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT , italic_T start_POSTSUPERSCRIPT 1 - 2 roman_ℓ under¯ start_ARG italic_r end_ARG - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ) italic_T start_POSTSUPERSCRIPT - ( 1 - roman_ℓ / italic_β ) end_POSTSUPERSCRIPT ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(43)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.p2.13">which is precisely the main result of <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>.</p> </div> <section class="ltx_paragraph" id="A2.SS2.SSS0.Px1"> <h4 class="ltx_title ltx_title_paragraph">Low-Noise Regime.</h4> <div class="ltx_para" id="A2.SS2.SSS0.Px1.p1"> <p class="ltx_p" id="A2.SS2.SSS0.Px1.p1.2">In the low noise regime where <math alttext="\sigma^{2}=O(T^{-2\beta\underline{r}})" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px1.p1.1.m1.1"><semantics id="A2.SS2.SSS0.Px1.p1.1.m1.1a"><mrow id="A2.SS2.SSS0.Px1.p1.1.m1.1.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.cmml"><msup id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.cmml"><mi id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.2.cmml">σ</mi><mn id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.3" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.3.cmml">2</mn></msup><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.cmml"><mi id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.3" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.3.cmml">O</mi><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.2.cmml">⁢</mo><mrow id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.cmml"><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.2" stretchy="false" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><msup id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.cmml"><mi id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.2.cmml">T</mi><mrow id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.cmml"><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3a" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.cmml"><mn id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.2.cmml">2</mn><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1.cmml">⁢</mo><mi id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.3" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.3.cmml">β</mi><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1a" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.cmml"><mi id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.2" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.2.cmml">r</mi><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.1" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup><mo id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.3" stretchy="false" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px1.p1.1.m1.1b"><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1"><eq id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.2"></eq><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3">superscript</csymbol><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.2">𝜎</ci><cn id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.3.cmml" type="integer" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.3.3">2</cn></apply><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1"><times id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.2"></times><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.3.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.3">𝑂</ci><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1">superscript</csymbol><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.2">𝑇</ci><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3"><minus id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3"></minus><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2"><times id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.1"></times><cn id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.2.cmml" type="integer" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.2">2</cn><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.3.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.3">𝛽</ci><apply id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4"><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.1.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.1">¯</ci><ci id="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.2.cmml" xref="A2.SS2.SSS0.Px1.p1.1.m1.1.1.1.1.1.1.3.2.4.2">𝑟</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px1.p1.1.m1.1c">\sigma^{2}=O(T^{-2\beta\underline{r}})</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px1.p1.1.m1.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = italic_O ( italic_T start_POSTSUPERSCRIPT - 2 italic_β under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT )</annotation></semantics></math>, one may take <math alttext="\ell=\beta" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px1.p1.2.m2.1"><semantics id="A2.SS2.SSS0.Px1.p1.2.m2.1a"><mrow id="A2.SS2.SSS0.Px1.p1.2.m2.1.1" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.cmml"><mi id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.2" mathvariant="normal" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.2.cmml">ℓ</mi><mo id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.1" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.1.cmml">=</mo><mi id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.3" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.3.cmml">β</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px1.p1.2.m2.1b"><apply id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1"><eq id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.1.cmml" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.1"></eq><ci id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.2.cmml" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.2">ℓ</ci><ci id="A2.SS2.SSS0.Px1.p1.2.m2.1.1.3.cmml" xref="A2.SS2.SSS0.Px1.p1.2.m2.1.1.3">𝛽</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px1.p1.2.m2.1c">\ell=\beta</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px1.p1.2.m2.1d">roman_ℓ = italic_β</annotation></semantics></math>; the variance is then much smaller than the bias, and one has the fast rate</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx46"> <tbody id="A2.E44"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}\asymp T^{-2\beta\underline{r}}\,." class="ltx_Math" display="inline" id="A2.E44.m1.1"><semantics id="A2.E44.m1.1a"><mrow id="A2.E44.m1.1.1.1" xref="A2.E44.m1.1.1.1.1.cmml"><mrow id="A2.E44.m1.1.1.1.1" xref="A2.E44.m1.1.1.1.1.cmml"><msub id="A2.E44.m1.1.1.1.1.2" xref="A2.E44.m1.1.1.1.1.2.cmml"><mi id="A2.E44.m1.1.1.1.1.2.2" xref="A2.E44.m1.1.1.1.1.2.2.cmml">E</mi><mrow id="A2.E44.m1.1.1.1.1.2.3" xref="A2.E44.m1.1.1.1.1.2.3.cmml"><mi id="A2.E44.m1.1.1.1.1.2.3.2" xref="A2.E44.m1.1.1.1.1.2.3.2.cmml">t</mi><mo id="A2.E44.m1.1.1.1.1.2.3.1" xref="A2.E44.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E44.m1.1.1.1.1.2.3.3" xref="A2.E44.m1.1.1.1.1.2.3.3.cmml">e</mi><mo id="A2.E44.m1.1.1.1.1.2.3.1a" xref="A2.E44.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E44.m1.1.1.1.1.2.3.4" xref="A2.E44.m1.1.1.1.1.2.3.4.cmml">s</mi><mo id="A2.E44.m1.1.1.1.1.2.3.1b" xref="A2.E44.m1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E44.m1.1.1.1.1.2.3.5" xref="A2.E44.m1.1.1.1.1.2.3.5.cmml">t</mi></mrow></msub><mo id="A2.E44.m1.1.1.1.1.1" xref="A2.E44.m1.1.1.1.1.1.cmml">≍</mo><msup id="A2.E44.m1.1.1.1.1.3" xref="A2.E44.m1.1.1.1.1.3.cmml"><mi id="A2.E44.m1.1.1.1.1.3.2" xref="A2.E44.m1.1.1.1.1.3.2.cmml">T</mi><mrow id="A2.E44.m1.1.1.1.1.3.3" xref="A2.E44.m1.1.1.1.1.3.3.cmml"><mo id="A2.E44.m1.1.1.1.1.3.3a" xref="A2.E44.m1.1.1.1.1.3.3.cmml">−</mo><mrow id="A2.E44.m1.1.1.1.1.3.3.2" xref="A2.E44.m1.1.1.1.1.3.3.2.cmml"><mn id="A2.E44.m1.1.1.1.1.3.3.2.2" xref="A2.E44.m1.1.1.1.1.3.3.2.2.cmml">2</mn><mo id="A2.E44.m1.1.1.1.1.3.3.2.1" xref="A2.E44.m1.1.1.1.1.3.3.2.1.cmml">⁢</mo><mi id="A2.E44.m1.1.1.1.1.3.3.2.3" xref="A2.E44.m1.1.1.1.1.3.3.2.3.cmml">β</mi><mo id="A2.E44.m1.1.1.1.1.3.3.2.1a" xref="A2.E44.m1.1.1.1.1.3.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.E44.m1.1.1.1.1.3.3.2.4" xref="A2.E44.m1.1.1.1.1.3.3.2.4.cmml"><mi id="A2.E44.m1.1.1.1.1.3.3.2.4.2" xref="A2.E44.m1.1.1.1.1.3.3.2.4.2.cmml">r</mi><mo id="A2.E44.m1.1.1.1.1.3.3.2.4.1" xref="A2.E44.m1.1.1.1.1.3.3.2.4.1.cmml">¯</mo></munder></mrow></mrow></msup></mrow><mo id="A2.E44.m1.1.1.1.2" lspace="0em" xref="A2.E44.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.E44.m1.1b"><apply id="A2.E44.m1.1.1.1.1.cmml" xref="A2.E44.m1.1.1.1"><csymbol cd="latexml" id="A2.E44.m1.1.1.1.1.1.cmml" xref="A2.E44.m1.1.1.1.1.1">asymptotically-equals</csymbol><apply id="A2.E44.m1.1.1.1.1.2.cmml" xref="A2.E44.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E44.m1.1.1.1.1.2.1.cmml" xref="A2.E44.m1.1.1.1.1.2">subscript</csymbol><ci id="A2.E44.m1.1.1.1.1.2.2.cmml" xref="A2.E44.m1.1.1.1.1.2.2">𝐸</ci><apply id="A2.E44.m1.1.1.1.1.2.3.cmml" xref="A2.E44.m1.1.1.1.1.2.3"><times id="A2.E44.m1.1.1.1.1.2.3.1.cmml" xref="A2.E44.m1.1.1.1.1.2.3.1"></times><ci id="A2.E44.m1.1.1.1.1.2.3.2.cmml" xref="A2.E44.m1.1.1.1.1.2.3.2">𝑡</ci><ci id="A2.E44.m1.1.1.1.1.2.3.3.cmml" xref="A2.E44.m1.1.1.1.1.2.3.3">𝑒</ci><ci id="A2.E44.m1.1.1.1.1.2.3.4.cmml" xref="A2.E44.m1.1.1.1.1.2.3.4">𝑠</ci><ci id="A2.E44.m1.1.1.1.1.2.3.5.cmml" xref="A2.E44.m1.1.1.1.1.2.3.5">𝑡</ci></apply></apply><apply id="A2.E44.m1.1.1.1.1.3.cmml" xref="A2.E44.m1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.E44.m1.1.1.1.1.3.1.cmml" xref="A2.E44.m1.1.1.1.1.3">superscript</csymbol><ci id="A2.E44.m1.1.1.1.1.3.2.cmml" xref="A2.E44.m1.1.1.1.1.3.2">𝑇</ci><apply id="A2.E44.m1.1.1.1.1.3.3.cmml" xref="A2.E44.m1.1.1.1.1.3.3"><minus id="A2.E44.m1.1.1.1.1.3.3.1.cmml" xref="A2.E44.m1.1.1.1.1.3.3"></minus><apply id="A2.E44.m1.1.1.1.1.3.3.2.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2"><times id="A2.E44.m1.1.1.1.1.3.3.2.1.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2.1"></times><cn id="A2.E44.m1.1.1.1.1.3.3.2.2.cmml" type="integer" xref="A2.E44.m1.1.1.1.1.3.3.2.2">2</cn><ci id="A2.E44.m1.1.1.1.1.3.3.2.3.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2.3">𝛽</ci><apply id="A2.E44.m1.1.1.1.1.3.3.2.4.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2.4"><ci id="A2.E44.m1.1.1.1.1.3.3.2.4.1.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2.4.1">¯</ci><ci id="A2.E44.m1.1.1.1.1.3.3.2.4.2.cmml" xref="A2.E44.m1.1.1.1.1.3.3.2.4.2">𝑟</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E44.m1.1c">\displaystyle E_{test}\asymp T^{-2\beta\underline{r}}\,.</annotation><annotation encoding="application/x-llamapun" id="A2.E44.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ≍ italic_T start_POSTSUPERSCRIPT - 2 italic_β under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(44)</span></td> </tr></tbody> </table> </div> </section> <section class="ltx_paragraph" id="A2.SS2.SSS0.Px2"> <h4 class="ltx_title ltx_title_paragraph">High-Noise Regime.</h4> <div class="ltx_para" id="A2.SS2.SSS0.Px2.p1"> <p class="ltx_p" id="A2.SS2.SSS0.Px2.p1.3">Now, consider the case where <math alttext="\sigma^{2}=\Theta(1)" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px2.p1.1.m1.1"><semantics id="A2.SS2.SSS0.Px2.p1.1.m1.1a"><mrow id="A2.SS2.SSS0.Px2.p1.1.m1.1.2" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.cmml"><msup id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.cmml"><mi id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.2" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.2.cmml">σ</mi><mn id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.3" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.3.cmml">2</mn></msup><mo id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.1" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.1.cmml">=</mo><mrow id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.cmml"><mi id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.2" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.2.cmml">Θ</mi><mo id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.1" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.1.cmml">⁢</mo><mrow id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.3.2" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.cmml"><mo id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.3.2.1" stretchy="false" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.cmml">(</mo><mn id="A2.SS2.SSS0.Px2.p1.1.m1.1.1" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.1.cmml">1</mn><mo id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.3.2.2" stretchy="false" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px2.p1.1.m1.1b"><apply id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2"><eq id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.1.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.1"></eq><apply id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2"><csymbol cd="ambiguous" id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.1.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2">superscript</csymbol><ci id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.2.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.2">𝜎</ci><cn id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.3.cmml" type="integer" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.2.3">2</cn></apply><apply id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3"><times id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.1.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.1"></times><ci id="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.2.cmml" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.2.3.2">Θ</ci><cn id="A2.SS2.SSS0.Px2.p1.1.m1.1.1.cmml" type="integer" xref="A2.SS2.SSS0.Px2.p1.1.m1.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px2.p1.1.m1.1c">\sigma^{2}=\Theta(1)</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px2.p1.1.m1.1d">italic_σ start_POSTSUPERSCRIPT 2 end_POSTSUPERSCRIPT = roman_Θ ( 1 )</annotation></semantics></math>. Setting <math alttext="2\ell\underline{r}=1-\ell/\beta" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px2.p1.2.m2.1"><semantics id="A2.SS2.SSS0.Px2.p1.2.m2.1a"><mrow id="A2.SS2.SSS0.Px2.p1.2.m2.1.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.cmml"><mrow id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.cmml"><mn id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.2" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.2.cmml">2</mn><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1.cmml">⁢</mo><mi id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.3" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.3.cmml">ℓ</mi><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1a" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.cmml"><mi id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.2" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.2.cmml">r</mi><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.1.cmml">¯</mo></munder></mrow><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.1.cmml">=</mo><mrow id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.cmml"><mn id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.2" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.2.cmml">1</mn><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.1.cmml">−</mo><mrow id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.cmml"><mi id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.2" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.2.cmml">ℓ</mi><mo id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.1" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.1.cmml">/</mo><mi id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.3" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px2.p1.2.m2.1b"><apply id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1"><eq id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.1"></eq><apply id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2"><times id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.1"></times><cn id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.2.cmml" type="integer" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.2">2</cn><ci id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.3.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.3">ℓ</ci><apply id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4"><ci id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.1">¯</ci><ci id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.2.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.2.4.2">𝑟</ci></apply></apply><apply id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3"><minus id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.1"></minus><cn id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.2.cmml" type="integer" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.2">1</cn><apply id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3"><divide id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.1.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.1"></divide><ci id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.2.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.2">ℓ</ci><ci id="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.3.cmml" xref="A2.SS2.SSS0.Px2.p1.2.m2.1.1.3.3.3">𝛽</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px2.p1.2.m2.1c">2\ell\underline{r}=1-\ell/\beta</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px2.p1.2.m2.1d">2 roman_ℓ under¯ start_ARG italic_r end_ARG = 1 - roman_ℓ / italic_β</annotation></semantics></math> to balance out the bias and variance gives <math alttext="\ell=\ell_{crit}" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px2.p1.3.m3.1"><semantics id="A2.SS2.SSS0.Px2.p1.3.m3.1a"><mrow id="A2.SS2.SSS0.Px2.p1.3.m3.1.1" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.cmml"><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.2" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.2.cmml">ℓ</mi><mo id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.1" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.1.cmml">=</mo><msub id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.cmml"><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.2" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.2.cmml">ℓ</mi><mrow id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.cmml"><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.2" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.2.cmml">c</mi><mo id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.3" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.3.cmml">r</mi><mo id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1a" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.4" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.4.cmml">i</mi><mo id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1b" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1.cmml">⁢</mo><mi id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.5" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px2.p1.3.m3.1b"><apply id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1"><eq id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.1.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.1"></eq><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.2.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.2">ℓ</ci><apply id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3"><csymbol cd="ambiguous" id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.1.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3">subscript</csymbol><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.2.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.2">ℓ</ci><apply id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3"><times id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.1"></times><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.2.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.2">𝑐</ci><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.3.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.3">𝑟</ci><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.4.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.4">𝑖</ci><ci id="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.5.cmml" xref="A2.SS2.SSS0.Px2.p1.3.m3.1.1.3.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px2.p1.3.m3.1c">\ell=\ell_{crit}</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px2.p1.3.m3.1d">roman_ℓ = roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT</annotation></semantics></math>, where</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx47"> <tbody id="A2.E45"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\ell_{crit}:=\frac{\beta}{2\beta\underline{r}+1}\in(0,\beta)." class="ltx_Math" display="inline" id="A2.E45.m1.3"><semantics id="A2.E45.m1.3a"><mrow id="A2.E45.m1.3.3.1" xref="A2.E45.m1.3.3.1.1.cmml"><mrow id="A2.E45.m1.3.3.1.1" xref="A2.E45.m1.3.3.1.1.cmml"><msub id="A2.E45.m1.3.3.1.1.2" xref="A2.E45.m1.3.3.1.1.2.cmml"><mi id="A2.E45.m1.3.3.1.1.2.2" mathvariant="normal" xref="A2.E45.m1.3.3.1.1.2.2.cmml">ℓ</mi><mrow id="A2.E45.m1.3.3.1.1.2.3" xref="A2.E45.m1.3.3.1.1.2.3.cmml"><mi id="A2.E45.m1.3.3.1.1.2.3.2" xref="A2.E45.m1.3.3.1.1.2.3.2.cmml">c</mi><mo id="A2.E45.m1.3.3.1.1.2.3.1" xref="A2.E45.m1.3.3.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E45.m1.3.3.1.1.2.3.3" xref="A2.E45.m1.3.3.1.1.2.3.3.cmml">r</mi><mo id="A2.E45.m1.3.3.1.1.2.3.1a" xref="A2.E45.m1.3.3.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E45.m1.3.3.1.1.2.3.4" xref="A2.E45.m1.3.3.1.1.2.3.4.cmml">i</mi><mo id="A2.E45.m1.3.3.1.1.2.3.1b" xref="A2.E45.m1.3.3.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E45.m1.3.3.1.1.2.3.5" xref="A2.E45.m1.3.3.1.1.2.3.5.cmml">t</mi></mrow></msub><mo id="A2.E45.m1.3.3.1.1.3" lspace="0.278em" rspace="0.278em" xref="A2.E45.m1.3.3.1.1.3.cmml">:=</mo><mstyle displaystyle="true" id="A2.E45.m1.3.3.1.1.4" xref="A2.E45.m1.3.3.1.1.4.cmml"><mfrac id="A2.E45.m1.3.3.1.1.4a" xref="A2.E45.m1.3.3.1.1.4.cmml"><mi id="A2.E45.m1.3.3.1.1.4.2" xref="A2.E45.m1.3.3.1.1.4.2.cmml">β</mi><mrow id="A2.E45.m1.3.3.1.1.4.3" xref="A2.E45.m1.3.3.1.1.4.3.cmml"><mrow id="A2.E45.m1.3.3.1.1.4.3.2" xref="A2.E45.m1.3.3.1.1.4.3.2.cmml"><mn id="A2.E45.m1.3.3.1.1.4.3.2.2" xref="A2.E45.m1.3.3.1.1.4.3.2.2.cmml">2</mn><mo id="A2.E45.m1.3.3.1.1.4.3.2.1" xref="A2.E45.m1.3.3.1.1.4.3.2.1.cmml">⁢</mo><mi id="A2.E45.m1.3.3.1.1.4.3.2.3" xref="A2.E45.m1.3.3.1.1.4.3.2.3.cmml">β</mi><mo id="A2.E45.m1.3.3.1.1.4.3.2.1a" xref="A2.E45.m1.3.3.1.1.4.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.E45.m1.3.3.1.1.4.3.2.4" xref="A2.E45.m1.3.3.1.1.4.3.2.4.cmml"><mi id="A2.E45.m1.3.3.1.1.4.3.2.4.2" xref="A2.E45.m1.3.3.1.1.4.3.2.4.2.cmml">r</mi><mo id="A2.E45.m1.3.3.1.1.4.3.2.4.1" xref="A2.E45.m1.3.3.1.1.4.3.2.4.1.cmml">¯</mo></munder></mrow><mo id="A2.E45.m1.3.3.1.1.4.3.1" xref="A2.E45.m1.3.3.1.1.4.3.1.cmml">+</mo><mn id="A2.E45.m1.3.3.1.1.4.3.3" xref="A2.E45.m1.3.3.1.1.4.3.3.cmml">1</mn></mrow></mfrac></mstyle><mo id="A2.E45.m1.3.3.1.1.5" xref="A2.E45.m1.3.3.1.1.5.cmml">∈</mo><mrow id="A2.E45.m1.3.3.1.1.6.2" xref="A2.E45.m1.3.3.1.1.6.1.cmml"><mo id="A2.E45.m1.3.3.1.1.6.2.1" stretchy="false" xref="A2.E45.m1.3.3.1.1.6.1.cmml">(</mo><mn id="A2.E45.m1.1.1" xref="A2.E45.m1.1.1.cmml">0</mn><mo id="A2.E45.m1.3.3.1.1.6.2.2" xref="A2.E45.m1.3.3.1.1.6.1.cmml">,</mo><mi id="A2.E45.m1.2.2" xref="A2.E45.m1.2.2.cmml">β</mi><mo id="A2.E45.m1.3.3.1.1.6.2.3" stretchy="false" xref="A2.E45.m1.3.3.1.1.6.1.cmml">)</mo></mrow></mrow><mo id="A2.E45.m1.3.3.1.2" lspace="0em" xref="A2.E45.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.E45.m1.3b"><apply id="A2.E45.m1.3.3.1.1.cmml" xref="A2.E45.m1.3.3.1"><and id="A2.E45.m1.3.3.1.1a.cmml" xref="A2.E45.m1.3.3.1"></and><apply id="A2.E45.m1.3.3.1.1b.cmml" xref="A2.E45.m1.3.3.1"><csymbol cd="latexml" id="A2.E45.m1.3.3.1.1.3.cmml" xref="A2.E45.m1.3.3.1.1.3">assign</csymbol><apply id="A2.E45.m1.3.3.1.1.2.cmml" xref="A2.E45.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A2.E45.m1.3.3.1.1.2.1.cmml" xref="A2.E45.m1.3.3.1.1.2">subscript</csymbol><ci id="A2.E45.m1.3.3.1.1.2.2.cmml" xref="A2.E45.m1.3.3.1.1.2.2">ℓ</ci><apply id="A2.E45.m1.3.3.1.1.2.3.cmml" xref="A2.E45.m1.3.3.1.1.2.3"><times id="A2.E45.m1.3.3.1.1.2.3.1.cmml" xref="A2.E45.m1.3.3.1.1.2.3.1"></times><ci id="A2.E45.m1.3.3.1.1.2.3.2.cmml" xref="A2.E45.m1.3.3.1.1.2.3.2">𝑐</ci><ci id="A2.E45.m1.3.3.1.1.2.3.3.cmml" xref="A2.E45.m1.3.3.1.1.2.3.3">𝑟</ci><ci id="A2.E45.m1.3.3.1.1.2.3.4.cmml" xref="A2.E45.m1.3.3.1.1.2.3.4">𝑖</ci><ci id="A2.E45.m1.3.3.1.1.2.3.5.cmml" xref="A2.E45.m1.3.3.1.1.2.3.5">𝑡</ci></apply></apply><apply id="A2.E45.m1.3.3.1.1.4.cmml" xref="A2.E45.m1.3.3.1.1.4"><divide id="A2.E45.m1.3.3.1.1.4.1.cmml" xref="A2.E45.m1.3.3.1.1.4"></divide><ci id="A2.E45.m1.3.3.1.1.4.2.cmml" xref="A2.E45.m1.3.3.1.1.4.2">𝛽</ci><apply id="A2.E45.m1.3.3.1.1.4.3.cmml" xref="A2.E45.m1.3.3.1.1.4.3"><plus id="A2.E45.m1.3.3.1.1.4.3.1.cmml" xref="A2.E45.m1.3.3.1.1.4.3.1"></plus><apply id="A2.E45.m1.3.3.1.1.4.3.2.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2"><times id="A2.E45.m1.3.3.1.1.4.3.2.1.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2.1"></times><cn id="A2.E45.m1.3.3.1.1.4.3.2.2.cmml" type="integer" xref="A2.E45.m1.3.3.1.1.4.3.2.2">2</cn><ci id="A2.E45.m1.3.3.1.1.4.3.2.3.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2.3">𝛽</ci><apply id="A2.E45.m1.3.3.1.1.4.3.2.4.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2.4"><ci id="A2.E45.m1.3.3.1.1.4.3.2.4.1.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2.4.1">¯</ci><ci id="A2.E45.m1.3.3.1.1.4.3.2.4.2.cmml" xref="A2.E45.m1.3.3.1.1.4.3.2.4.2">𝑟</ci></apply></apply><cn id="A2.E45.m1.3.3.1.1.4.3.3.cmml" type="integer" xref="A2.E45.m1.3.3.1.1.4.3.3">1</cn></apply></apply></apply><apply id="A2.E45.m1.3.3.1.1c.cmml" xref="A2.E45.m1.3.3.1"><in id="A2.E45.m1.3.3.1.1.5.cmml" xref="A2.E45.m1.3.3.1.1.5"></in><share href="#A2.E45.m1.3.3.1.1.4.cmml" id="A2.E45.m1.3.3.1.1d.cmml" xref="A2.E45.m1.3.3.1"></share><interval closure="open" id="A2.E45.m1.3.3.1.1.6.1.cmml" xref="A2.E45.m1.3.3.1.1.6.2"><cn id="A2.E45.m1.1.1.cmml" type="integer" xref="A2.E45.m1.1.1">0</cn><ci id="A2.E45.m1.2.2.cmml" xref="A2.E45.m1.2.2">𝛽</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E45.m1.3c">\displaystyle\ell_{crit}:=\frac{\beta}{2\beta\underline{r}+1}\in(0,\beta).</annotation><annotation encoding="application/x-llamapun" id="A2.E45.m1.3d">roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT := divide start_ARG italic_β end_ARG start_ARG 2 italic_β under¯ start_ARG italic_r end_ARG + 1 end_ARG ∈ ( 0 , italic_β ) .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(45)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.SSS0.Px2.p1.4">With this value of the exponent <math alttext="\ell" class="ltx_Math" display="inline" id="A2.SS2.SSS0.Px2.p1.4.m1.1"><semantics id="A2.SS2.SSS0.Px2.p1.4.m1.1a"><mi id="A2.SS2.SSS0.Px2.p1.4.m1.1.1" mathvariant="normal" xref="A2.SS2.SSS0.Px2.p1.4.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="A2.SS2.SSS0.Px2.p1.4.m1.1b"><ci id="A2.SS2.SSS0.Px2.p1.4.m1.1.1.cmml" xref="A2.SS2.SSS0.Px2.p1.4.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS2.SSS0.Px2.p1.4.m1.1c">\ell</annotation><annotation encoding="application/x-llamapun" id="A2.SS2.SSS0.Px2.p1.4.m1.1d">roman_ℓ</annotation></semantics></math>, we get the error rate</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx48"> <tbody id="A2.E46"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle E_{test}\asymp T^{-2\ell_{crit}\cdot\underline{r}}=T^{-c},\text{% with }c:=\frac{2\beta\underline{r}}{2\beta\underline{r}+1}," class="ltx_Math" display="inline" id="A2.E46.m1.1"><semantics id="A2.E46.m1.1a"><mrow id="A2.E46.m1.1.1.1"><mrow id="A2.E46.m1.1.1.1.1.2" xref="A2.E46.m1.1.1.1.1.3.cmml"><mrow id="A2.E46.m1.1.1.1.1.1.1" xref="A2.E46.m1.1.1.1.1.1.1.cmml"><msub id="A2.E46.m1.1.1.1.1.1.1.2" xref="A2.E46.m1.1.1.1.1.1.1.2.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.2.2" xref="A2.E46.m1.1.1.1.1.1.1.2.2.cmml">E</mi><mrow id="A2.E46.m1.1.1.1.1.1.1.2.3" xref="A2.E46.m1.1.1.1.1.1.1.2.3.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.2.3.2" xref="A2.E46.m1.1.1.1.1.1.1.2.3.2.cmml">t</mi><mo id="A2.E46.m1.1.1.1.1.1.1.2.3.1" xref="A2.E46.m1.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.2.3.3" xref="A2.E46.m1.1.1.1.1.1.1.2.3.3.cmml">e</mi><mo id="A2.E46.m1.1.1.1.1.1.1.2.3.1a" xref="A2.E46.m1.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.2.3.4" xref="A2.E46.m1.1.1.1.1.1.1.2.3.4.cmml">s</mi><mo id="A2.E46.m1.1.1.1.1.1.1.2.3.1b" xref="A2.E46.m1.1.1.1.1.1.1.2.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.2.3.5" xref="A2.E46.m1.1.1.1.1.1.1.2.3.5.cmml">t</mi></mrow></msub><mo id="A2.E46.m1.1.1.1.1.1.1.3" xref="A2.E46.m1.1.1.1.1.1.1.3.cmml">≍</mo><msup id="A2.E46.m1.1.1.1.1.1.1.4" xref="A2.E46.m1.1.1.1.1.1.1.4.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.4.2" xref="A2.E46.m1.1.1.1.1.1.1.4.2.cmml">T</mi><mrow id="A2.E46.m1.1.1.1.1.1.1.4.3" xref="A2.E46.m1.1.1.1.1.1.1.4.3.cmml"><mo id="A2.E46.m1.1.1.1.1.1.1.4.3a" xref="A2.E46.m1.1.1.1.1.1.1.4.3.cmml">−</mo><mrow id="A2.E46.m1.1.1.1.1.1.1.4.3.2" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.cmml"><mrow id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.cmml"><mn id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.2" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.2.cmml">2</mn><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.1" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.1.cmml">⁢</mo><msub id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.2" mathvariant="normal" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.2.cmml">ℓ</mi><mrow id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.2" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.2.cmml">c</mi><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.3" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.3.cmml">r</mi><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1a" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.4" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.4.cmml">i</mi><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1b" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.5" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.5.cmml">t</mi></mrow></msub></mrow><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.1" lspace="0.222em" rspace="0.222em" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.1.cmml">⋅</mo><munder accentunder="true" id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.2" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.2.cmml">r</mi><mo id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.1" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.1.cmml">¯</mo></munder></mrow></mrow></msup><mo id="A2.E46.m1.1.1.1.1.1.1.5" xref="A2.E46.m1.1.1.1.1.1.1.5.cmml">=</mo><msup id="A2.E46.m1.1.1.1.1.1.1.6" xref="A2.E46.m1.1.1.1.1.1.1.6.cmml"><mi id="A2.E46.m1.1.1.1.1.1.1.6.2" xref="A2.E46.m1.1.1.1.1.1.1.6.2.cmml">T</mi><mrow id="A2.E46.m1.1.1.1.1.1.1.6.3" xref="A2.E46.m1.1.1.1.1.1.1.6.3.cmml"><mo id="A2.E46.m1.1.1.1.1.1.1.6.3a" xref="A2.E46.m1.1.1.1.1.1.1.6.3.cmml">−</mo><mi id="A2.E46.m1.1.1.1.1.1.1.6.3.2" xref="A2.E46.m1.1.1.1.1.1.1.6.3.2.cmml">c</mi></mrow></msup></mrow><mo id="A2.E46.m1.1.1.1.1.2.3" xref="A2.E46.m1.1.1.1.1.3a.cmml">,</mo><mrow id="A2.E46.m1.1.1.1.1.2.2" xref="A2.E46.m1.1.1.1.1.2.2.cmml"><mrow id="A2.E46.m1.1.1.1.1.2.2.2" xref="A2.E46.m1.1.1.1.1.2.2.2.cmml"><mtext id="A2.E46.m1.1.1.1.1.2.2.2.2" xref="A2.E46.m1.1.1.1.1.2.2.2.2a.cmml"> with </mtext><mo id="A2.E46.m1.1.1.1.1.2.2.2.1" xref="A2.E46.m1.1.1.1.1.2.2.2.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.2.2.2.3" xref="A2.E46.m1.1.1.1.1.2.2.2.3.cmml">c</mi></mrow><mo id="A2.E46.m1.1.1.1.1.2.2.1" lspace="0.278em" rspace="0.278em" xref="A2.E46.m1.1.1.1.1.2.2.1.cmml">:=</mo><mstyle displaystyle="true" id="A2.E46.m1.1.1.1.1.2.2.3" xref="A2.E46.m1.1.1.1.1.2.2.3.cmml"><mfrac id="A2.E46.m1.1.1.1.1.2.2.3a" xref="A2.E46.m1.1.1.1.1.2.2.3.cmml"><mrow id="A2.E46.m1.1.1.1.1.2.2.3.2" xref="A2.E46.m1.1.1.1.1.2.2.3.2.cmml"><mn id="A2.E46.m1.1.1.1.1.2.2.3.2.2" xref="A2.E46.m1.1.1.1.1.2.2.3.2.2.cmml">2</mn><mo id="A2.E46.m1.1.1.1.1.2.2.3.2.1" xref="A2.E46.m1.1.1.1.1.2.2.3.2.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.2.2.3.2.3" xref="A2.E46.m1.1.1.1.1.2.2.3.2.3.cmml">β</mi><mo id="A2.E46.m1.1.1.1.1.2.2.3.2.1a" xref="A2.E46.m1.1.1.1.1.2.2.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.E46.m1.1.1.1.1.2.2.3.2.4" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4.cmml"><mi id="A2.E46.m1.1.1.1.1.2.2.3.2.4.2" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4.2.cmml">r</mi><mo id="A2.E46.m1.1.1.1.1.2.2.3.2.4.1" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4.1.cmml">¯</mo></munder></mrow><mrow id="A2.E46.m1.1.1.1.1.2.2.3.3" xref="A2.E46.m1.1.1.1.1.2.2.3.3.cmml"><mrow id="A2.E46.m1.1.1.1.1.2.2.3.3.2" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.cmml"><mn id="A2.E46.m1.1.1.1.1.2.2.3.3.2.2" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.2.cmml">2</mn><mo id="A2.E46.m1.1.1.1.1.2.2.3.3.2.1" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.1.cmml">⁢</mo><mi id="A2.E46.m1.1.1.1.1.2.2.3.3.2.3" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.3.cmml">β</mi><mo id="A2.E46.m1.1.1.1.1.2.2.3.3.2.1a" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.1.cmml">⁢</mo><munder accentunder="true" id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.cmml"><mi id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.2" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.2.cmml">r</mi><mo id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.1" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.1.cmml">¯</mo></munder></mrow><mo id="A2.E46.m1.1.1.1.1.2.2.3.3.1" xref="A2.E46.m1.1.1.1.1.2.2.3.3.1.cmml">+</mo><mn id="A2.E46.m1.1.1.1.1.2.2.3.3.3" xref="A2.E46.m1.1.1.1.1.2.2.3.3.3.cmml">1</mn></mrow></mfrac></mstyle></mrow></mrow><mo id="A2.E46.m1.1.1.1.2">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A2.E46.m1.1b"><apply id="A2.E46.m1.1.1.1.1.3.cmml" xref="A2.E46.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E46.m1.1.1.1.1.3a.cmml" xref="A2.E46.m1.1.1.1.1.2.3">formulae-sequence</csymbol><apply id="A2.E46.m1.1.1.1.1.1.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1"><and id="A2.E46.m1.1.1.1.1.1.1a.cmml" xref="A2.E46.m1.1.1.1.1.1.1"></and><apply id="A2.E46.m1.1.1.1.1.1.1b.cmml" xref="A2.E46.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.E46.m1.1.1.1.1.1.1.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.3">asymptotically-equals</csymbol><apply id="A2.E46.m1.1.1.1.1.1.1.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.E46.m1.1.1.1.1.1.1.2.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A2.E46.m1.1.1.1.1.1.1.2.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.2">𝐸</ci><apply id="A2.E46.m1.1.1.1.1.1.1.2.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3"><times id="A2.E46.m1.1.1.1.1.1.1.2.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3.1"></times><ci id="A2.E46.m1.1.1.1.1.1.1.2.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3.2">𝑡</ci><ci id="A2.E46.m1.1.1.1.1.1.1.2.3.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3.3">𝑒</ci><ci id="A2.E46.m1.1.1.1.1.1.1.2.3.4.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3.4">𝑠</ci><ci id="A2.E46.m1.1.1.1.1.1.1.2.3.5.cmml" xref="A2.E46.m1.1.1.1.1.1.1.2.3.5">𝑡</ci></apply></apply><apply id="A2.E46.m1.1.1.1.1.1.1.4.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A2.E46.m1.1.1.1.1.1.1.4.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4">superscript</csymbol><ci id="A2.E46.m1.1.1.1.1.1.1.4.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.2">𝑇</ci><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3"><minus id="A2.E46.m1.1.1.1.1.1.1.4.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3"></minus><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2"><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.1">⋅</ci><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2"><times id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.1"></times><cn id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.2.cmml" type="integer" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.2">2</cn><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3"><csymbol cd="ambiguous" id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3">subscript</csymbol><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.2">ℓ</ci><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3"><times id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.1"></times><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.2">𝑐</ci><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.3">𝑟</ci><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.4.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.4">𝑖</ci><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.5.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.2.3.3.5">𝑡</ci></apply></apply></apply><apply id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3"><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.1">¯</ci><ci id="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.4.3.2.3.2">𝑟</ci></apply></apply></apply></apply></apply><apply id="A2.E46.m1.1.1.1.1.1.1c.cmml" xref="A2.E46.m1.1.1.1.1.1.1"><eq id="A2.E46.m1.1.1.1.1.1.1.5.cmml" xref="A2.E46.m1.1.1.1.1.1.1.5"></eq><share href="#A2.E46.m1.1.1.1.1.1.1.4.cmml" id="A2.E46.m1.1.1.1.1.1.1d.cmml" xref="A2.E46.m1.1.1.1.1.1.1"></share><apply id="A2.E46.m1.1.1.1.1.1.1.6.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6"><csymbol cd="ambiguous" id="A2.E46.m1.1.1.1.1.1.1.6.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6">superscript</csymbol><ci id="A2.E46.m1.1.1.1.1.1.1.6.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6.2">𝑇</ci><apply id="A2.E46.m1.1.1.1.1.1.1.6.3.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6.3"><minus id="A2.E46.m1.1.1.1.1.1.1.6.3.1.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6.3"></minus><ci id="A2.E46.m1.1.1.1.1.1.1.6.3.2.cmml" xref="A2.E46.m1.1.1.1.1.1.1.6.3.2">𝑐</ci></apply></apply></apply></apply><apply id="A2.E46.m1.1.1.1.1.2.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2"><csymbol cd="latexml" id="A2.E46.m1.1.1.1.1.2.2.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.1">assign</csymbol><apply id="A2.E46.m1.1.1.1.1.2.2.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.2"><times id="A2.E46.m1.1.1.1.1.2.2.2.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.2.1"></times><ci id="A2.E46.m1.1.1.1.1.2.2.2.2a.cmml" xref="A2.E46.m1.1.1.1.1.2.2.2.2"><mtext id="A2.E46.m1.1.1.1.1.2.2.2.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.2.2"> with </mtext></ci><ci id="A2.E46.m1.1.1.1.1.2.2.2.3.cmml" xref="A2.E46.m1.1.1.1.1.2.2.2.3">𝑐</ci></apply><apply id="A2.E46.m1.1.1.1.1.2.2.3.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3"><divide id="A2.E46.m1.1.1.1.1.2.2.3.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3"></divide><apply id="A2.E46.m1.1.1.1.1.2.2.3.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2"><times id="A2.E46.m1.1.1.1.1.2.2.3.2.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2.1"></times><cn id="A2.E46.m1.1.1.1.1.2.2.3.2.2.cmml" type="integer" xref="A2.E46.m1.1.1.1.1.2.2.3.2.2">2</cn><ci id="A2.E46.m1.1.1.1.1.2.2.3.2.3.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2.3">𝛽</ci><apply id="A2.E46.m1.1.1.1.1.2.2.3.2.4.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4"><ci id="A2.E46.m1.1.1.1.1.2.2.3.2.4.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4.1">¯</ci><ci id="A2.E46.m1.1.1.1.1.2.2.3.2.4.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.2.4.2">𝑟</ci></apply></apply><apply id="A2.E46.m1.1.1.1.1.2.2.3.3.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3"><plus id="A2.E46.m1.1.1.1.1.2.2.3.3.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.1"></plus><apply id="A2.E46.m1.1.1.1.1.2.2.3.3.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2"><times id="A2.E46.m1.1.1.1.1.2.2.3.3.2.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.1"></times><cn id="A2.E46.m1.1.1.1.1.2.2.3.3.2.2.cmml" type="integer" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.2">2</cn><ci id="A2.E46.m1.1.1.1.1.2.2.3.3.2.3.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.3">𝛽</ci><apply id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4"><ci id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.1.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.1">¯</ci><ci id="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.2.cmml" xref="A2.E46.m1.1.1.1.1.2.2.3.3.2.4.2">𝑟</ci></apply></apply><cn id="A2.E46.m1.1.1.1.1.2.2.3.3.3.cmml" type="integer" xref="A2.E46.m1.1.1.1.1.2.2.3.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.E46.m1.1c">\displaystyle E_{test}\asymp T^{-2\ell_{crit}\cdot\underline{r}}=T^{-c},\text{% with }c:=\frac{2\beta\underline{r}}{2\beta\underline{r}+1},</annotation><annotation encoding="application/x-llamapun" id="A2.E46.m1.1d">italic_E start_POSTSUBSCRIPT italic_t italic_e italic_s italic_t end_POSTSUBSCRIPT ≍ italic_T start_POSTSUPERSCRIPT - 2 roman_ℓ start_POSTSUBSCRIPT italic_c italic_r italic_i italic_t end_POSTSUBSCRIPT ⋅ under¯ start_ARG italic_r end_ARG end_POSTSUPERSCRIPT = italic_T start_POSTSUPERSCRIPT - italic_c end_POSTSUPERSCRIPT , with italic_c := divide start_ARG 2 italic_β under¯ start_ARG italic_r end_ARG end_ARG start_ARG 2 italic_β under¯ start_ARG italic_r end_ARG + 1 end_ARG ,</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(46)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A2.SS2.SSS0.Px2.p1.5">which is precisely the main result of <cite class="ltx_cite ltx_citemacro_citep">(Cui et al., <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib15" title="">2022</a>)</cite>, known to be minimax optimal (de Vito <cite class="ltx_cite ltx_citemacro_citep">(Caponnetto & de Vito, <a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#bib.bib12" title="">2007</a>)</cite>, etc.) !</p> </div> </section> </section> </section> <section class="ltx_appendix" id="A3"> <h2 class="ltx_title ltx_title_appendix"> <span class="ltx_tag ltx_tag_appendix">Appendix C </span>Technical Lemmas</h2> <div class="ltx_theorem ltx_theorem_lemma" id="A3.Thmtheorem1"> <h6 class="ltx_title ltx_runin ltx_title_theorem"> <span class="ltx_tag ltx_tag_theorem"><span class="ltx_text ltx_font_bold" id="A3.Thmtheorem1.1.1.1">Lemma C.1</span></span><span class="ltx_text ltx_font_bold" id="A3.Thmtheorem1.2.2">.</span> </h6> <div class="ltx_para" id="A3.Thmtheorem1.p1"> <p class="ltx_p" id="A3.Thmtheorem1.p1.6"><span class="ltx_text ltx_font_italic" id="A3.Thmtheorem1.p1.6.6">Let the sequence <math alttext="(\lambda_{k})_{k\geq 1}" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.1.1.m1.1"><semantics id="A3.Thmtheorem1.p1.1.1.m1.1a"><msub id="A3.Thmtheorem1.p1.1.1.m1.1.1" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.cmml"><mrow id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.cmml"><mo id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.2" mathvariant="normal" stretchy="false" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.cmml">(</mo><msub id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.cmml"><mi id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.2" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.2.cmml">λ</mi><mi id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.3" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.3.cmml">k</mi></msub><mo id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.3" mathvariant="normal" stretchy="false" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.Thmtheorem1.p1.1.1.m1.1.1.3" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.cmml"><mi id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.2" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.2.cmml">k</mi><mo id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.1.cmml">≥</mo><mn id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.3.cmml">1</mn></mrow></msub><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.1.1.m1.1b"><apply id="A3.Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.1.1.m1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1">subscript</csymbol><apply id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1">subscript</csymbol><ci id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.2">𝜆</ci><ci id="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.1.1.1.3">𝑘</ci></apply><apply id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3"><geq id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.1.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.1"></geq><ci id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.2.cmml" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.2">𝑘</ci><cn id="A3.Thmtheorem1.p1.1.1.m1.1.1.3.3.cmml" type="integer" xref="A3.Thmtheorem1.p1.1.1.m1.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.1.1.m1.1c">(\lambda_{k})_{k\geq 1}</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.1.1.m1.1d">( italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ) start_POSTSUBSCRIPT italic_k ≥ 1 end_POSTSUBSCRIPT</annotation></semantics></math> of positive numbers be such that <math alttext="\lambda_{k}\asymp k^{-\beta}" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.2.2.m2.1"><semantics id="A3.Thmtheorem1.p1.2.2.m2.1a"><mrow id="A3.Thmtheorem1.p1.2.2.m2.1.1" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.cmml"><msub id="A3.Thmtheorem1.p1.2.2.m2.1.1.2" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.cmml"><mi id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.2" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.2.cmml">λ</mi><mi id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.3" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.3.cmml">k</mi></msub><mo id="A3.Thmtheorem1.p1.2.2.m2.1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.1.cmml">≍</mo><msup id="A3.Thmtheorem1.p1.2.2.m2.1.1.3" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.cmml"><mi id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.2" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.2.cmml">k</mi><mrow id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.cmml"><mo id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3a" mathvariant="normal" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.cmml">−</mo><mi id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.2" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.2.cmml">β</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.2.2.m2.1b"><apply id="A3.Thmtheorem1.p1.2.2.m2.1.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1"><csymbol cd="latexml" id="A3.Thmtheorem1.p1.2.2.m2.1.1.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.1">asymptotically-equals</csymbol><apply id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2">subscript</csymbol><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.2.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.2">𝜆</ci><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.2.3.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.2.3">𝑘</ci></apply><apply id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3"><csymbol cd="ambiguous" id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3">superscript</csymbol><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.2.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.2">𝑘</ci><apply id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3"><minus id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.1.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3"></minus><ci id="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.2.cmml" xref="A3.Thmtheorem1.p1.2.2.m2.1.1.3.3.2">𝛽</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.2.2.m2.1c">\lambda_{k}\asymp k^{-\beta}</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.2.2.m2.1d">italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ≍ italic_k start_POSTSUPERSCRIPT - italic_β end_POSTSUPERSCRIPT</annotation></semantics></math> for some constant <math alttext="\beta>0" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.3.3.m3.1"><semantics id="A3.Thmtheorem1.p1.3.3.m3.1a"><mrow id="A3.Thmtheorem1.p1.3.3.m3.1.1" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.cmml"><mi id="A3.Thmtheorem1.p1.3.3.m3.1.1.2" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.2.cmml">β</mi><mo id="A3.Thmtheorem1.p1.3.3.m3.1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.1.cmml">></mo><mn id="A3.Thmtheorem1.p1.3.3.m3.1.1.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.3.3.m3.1b"><apply id="A3.Thmtheorem1.p1.3.3.m3.1.1.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1"><gt id="A3.Thmtheorem1.p1.3.3.m3.1.1.1.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.1"></gt><ci id="A3.Thmtheorem1.p1.3.3.m3.1.1.2.cmml" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.2">𝛽</ci><cn id="A3.Thmtheorem1.p1.3.3.m3.1.1.3.cmml" type="integer" xref="A3.Thmtheorem1.p1.3.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.3.3.m3.1c">\beta>0</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.3.3.m3.1d">italic_β > 0</annotation></semantics></math>, and let <math alttext="m,n\geq 0" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.4.4.m4.2"><semantics id="A3.Thmtheorem1.p1.4.4.m4.2a"><mrow id="A3.Thmtheorem1.p1.4.4.m4.2.3" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.cmml"><mrow id="A3.Thmtheorem1.p1.4.4.m4.2.3.2.2" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.2.1.cmml"><mi id="A3.Thmtheorem1.p1.4.4.m4.1.1" xref="A3.Thmtheorem1.p1.4.4.m4.1.1.cmml">m</mi><mo id="A3.Thmtheorem1.p1.4.4.m4.2.3.2.2.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.2.1.cmml">,</mo><mi id="A3.Thmtheorem1.p1.4.4.m4.2.2" xref="A3.Thmtheorem1.p1.4.4.m4.2.2.cmml">n</mi></mrow><mo id="A3.Thmtheorem1.p1.4.4.m4.2.3.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.1.cmml">≥</mo><mn id="A3.Thmtheorem1.p1.4.4.m4.2.3.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.4.4.m4.2b"><apply id="A3.Thmtheorem1.p1.4.4.m4.2.3.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.2.3"><geq id="A3.Thmtheorem1.p1.4.4.m4.2.3.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.1"></geq><list id="A3.Thmtheorem1.p1.4.4.m4.2.3.2.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.2.2"><ci id="A3.Thmtheorem1.p1.4.4.m4.1.1.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.1.1">𝑚</ci><ci id="A3.Thmtheorem1.p1.4.4.m4.2.2.cmml" xref="A3.Thmtheorem1.p1.4.4.m4.2.2">𝑛</ci></list><cn id="A3.Thmtheorem1.p1.4.4.m4.2.3.3.cmml" type="integer" xref="A3.Thmtheorem1.p1.4.4.m4.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.4.4.m4.2c">m,n\geq 0</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.4.4.m4.2d">italic_m , italic_n ≥ 0</annotation></semantics></math> with <math alttext="n\beta>1" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.5.5.m5.1"><semantics id="A3.Thmtheorem1.p1.5.5.m5.1a"><mrow id="A3.Thmtheorem1.p1.5.5.m5.1.1" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.cmml"><mrow id="A3.Thmtheorem1.p1.5.5.m5.1.1.2" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.cmml"><mi id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2.cmml">n</mi><mo id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.1" mathvariant="italic" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.1.cmml">⁢</mo><mi id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3.cmml">β</mi></mrow><mo id="A3.Thmtheorem1.p1.5.5.m5.1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.1.cmml">></mo><mn id="A3.Thmtheorem1.p1.5.5.m5.1.1.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.5.5.m5.1b"><apply id="A3.Thmtheorem1.p1.5.5.m5.1.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1"><gt id="A3.Thmtheorem1.p1.5.5.m5.1.1.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.1"></gt><apply id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2"><times id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.1.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.1"></times><ci id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.2">𝑛</ci><ci id="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3.cmml" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.2.3">𝛽</ci></apply><cn id="A3.Thmtheorem1.p1.5.5.m5.1.1.3.cmml" type="integer" xref="A3.Thmtheorem1.p1.5.5.m5.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.5.5.m5.1c">n\beta>1</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.5.5.m5.1d">italic_n italic_β > 1</annotation></semantics></math>. Then, for <math alttext="D\gg 1" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.6.6.m6.1"><semantics id="A3.Thmtheorem1.p1.6.6.m6.1a"><mrow id="A3.Thmtheorem1.p1.6.6.m6.1.1" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.cmml"><mi id="A3.Thmtheorem1.p1.6.6.m6.1.1.2" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.2.cmml">D</mi><mo id="A3.Thmtheorem1.p1.6.6.m6.1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.1.cmml">≫</mo><mn id="A3.Thmtheorem1.p1.6.6.m6.1.1.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.6.6.m6.1b"><apply id="A3.Thmtheorem1.p1.6.6.m6.1.1.cmml" xref="A3.Thmtheorem1.p1.6.6.m6.1.1"><csymbol cd="latexml" id="A3.Thmtheorem1.p1.6.6.m6.1.1.1.cmml" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.1">much-greater-than</csymbol><ci id="A3.Thmtheorem1.p1.6.6.m6.1.1.2.cmml" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.2">𝐷</ci><cn id="A3.Thmtheorem1.p1.6.6.m6.1.1.3.cmml" type="integer" xref="A3.Thmtheorem1.p1.6.6.m6.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.6.6.m6.1c">D\gg 1</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.6.6.m6.1d">italic_D ≫ 1</annotation></semantics></math>, it holds that</span></p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx49"> <tbody id="A3.E47"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\sum_{k=1}^{\infty}\frac{\lambda_{k}^{n}}{(1+D\lambda_{k})^{m}}% \asymp D^{-c}\begin{cases}\log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else,}\end{cases}" class="ltx_Math" display="inline" id="A3.E47.m1.5"><semantics id="A3.E47.m1.5a"><mrow id="A3.E47.m1.5.6" xref="A3.E47.m1.5.6.cmml"><mrow id="A3.E47.m1.5.6.2" xref="A3.E47.m1.5.6.2.cmml"><mstyle displaystyle="true" id="A3.E47.m1.5.6.2.1" xref="A3.E47.m1.5.6.2.1.cmml"><munderover id="A3.E47.m1.5.6.2.1a" xref="A3.E47.m1.5.6.2.1.cmml"><mo id="A3.E47.m1.5.6.2.1.2.2" movablelimits="false" xref="A3.E47.m1.5.6.2.1.2.2.cmml">∑</mo><mrow id="A3.E47.m1.5.6.2.1.2.3" xref="A3.E47.m1.5.6.2.1.2.3.cmml"><mi id="A3.E47.m1.5.6.2.1.2.3.2" xref="A3.E47.m1.5.6.2.1.2.3.2.cmml">k</mi><mo id="A3.E47.m1.5.6.2.1.2.3.1" xref="A3.E47.m1.5.6.2.1.2.3.1.cmml">=</mo><mn id="A3.E47.m1.5.6.2.1.2.3.3" xref="A3.E47.m1.5.6.2.1.2.3.3.cmml">1</mn></mrow><mi id="A3.E47.m1.5.6.2.1.3" mathvariant="normal" xref="A3.E47.m1.5.6.2.1.3.cmml">∞</mi></munderover></mstyle><mstyle displaystyle="true" id="A3.E47.m1.5.5" xref="A3.E47.m1.5.5.cmml"><mfrac id="A3.E47.m1.5.5a" xref="A3.E47.m1.5.5.cmml"><msubsup id="A3.E47.m1.5.5.3" xref="A3.E47.m1.5.5.3.cmml"><mi id="A3.E47.m1.5.5.3.2.2" xref="A3.E47.m1.5.5.3.2.2.cmml">λ</mi><mi id="A3.E47.m1.5.5.3.2.3" xref="A3.E47.m1.5.5.3.2.3.cmml">k</mi><mi id="A3.E47.m1.5.5.3.3" xref="A3.E47.m1.5.5.3.3.cmml">n</mi></msubsup><msup id="A3.E47.m1.5.5.1" xref="A3.E47.m1.5.5.1.cmml"><mrow id="A3.E47.m1.5.5.1.1.1" xref="A3.E47.m1.5.5.1.1.1.1.cmml"><mo id="A3.E47.m1.5.5.1.1.1.2" stretchy="false" xref="A3.E47.m1.5.5.1.1.1.1.cmml">(</mo><mrow id="A3.E47.m1.5.5.1.1.1.1" xref="A3.E47.m1.5.5.1.1.1.1.cmml"><mn id="A3.E47.m1.5.5.1.1.1.1.2" xref="A3.E47.m1.5.5.1.1.1.1.2.cmml">1</mn><mo id="A3.E47.m1.5.5.1.1.1.1.1" xref="A3.E47.m1.5.5.1.1.1.1.1.cmml">+</mo><mrow id="A3.E47.m1.5.5.1.1.1.1.3" xref="A3.E47.m1.5.5.1.1.1.1.3.cmml"><mi id="A3.E47.m1.5.5.1.1.1.1.3.2" xref="A3.E47.m1.5.5.1.1.1.1.3.2.cmml">D</mi><mo id="A3.E47.m1.5.5.1.1.1.1.3.1" xref="A3.E47.m1.5.5.1.1.1.1.3.1.cmml">⁢</mo><msub id="A3.E47.m1.5.5.1.1.1.1.3.3" xref="A3.E47.m1.5.5.1.1.1.1.3.3.cmml"><mi id="A3.E47.m1.5.5.1.1.1.1.3.3.2" xref="A3.E47.m1.5.5.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A3.E47.m1.5.5.1.1.1.1.3.3.3" xref="A3.E47.m1.5.5.1.1.1.1.3.3.3.cmml">k</mi></msub></mrow></mrow><mo id="A3.E47.m1.5.5.1.1.1.3" stretchy="false" xref="A3.E47.m1.5.5.1.1.1.1.cmml">)</mo></mrow><mi id="A3.E47.m1.5.5.1.3" xref="A3.E47.m1.5.5.1.3.cmml">m</mi></msup></mfrac></mstyle></mrow><mo id="A3.E47.m1.5.6.1" xref="A3.E47.m1.5.6.1.cmml">≍</mo><mrow id="A3.E47.m1.5.6.3" xref="A3.E47.m1.5.6.3.cmml"><msup id="A3.E47.m1.5.6.3.2" xref="A3.E47.m1.5.6.3.2.cmml"><mi id="A3.E47.m1.5.6.3.2.2" xref="A3.E47.m1.5.6.3.2.2.cmml">D</mi><mrow id="A3.E47.m1.5.6.3.2.3" xref="A3.E47.m1.5.6.3.2.3.cmml"><mo id="A3.E47.m1.5.6.3.2.3a" xref="A3.E47.m1.5.6.3.2.3.cmml">−</mo><mi id="A3.E47.m1.5.6.3.2.3.2" xref="A3.E47.m1.5.6.3.2.3.2.cmml">c</mi></mrow></msup><mo id="A3.E47.m1.5.6.3.1" xref="A3.E47.m1.5.6.3.1.cmml">⁢</mo><mrow id="A3.E47.m1.4.4a" xref="A3.E47.m1.5.6.3.3.1.cmml"><mo id="A3.E47.m1.4.4a.5" xref="A3.E47.m1.5.6.3.3.1.1.cmml">{</mo><mtable columnspacing="5pt" id="A3.E47.m1.4.4.4a" rowspacing="0pt" xref="A3.E47.m1.5.6.3.3.1.cmml"><mtr id="A3.E47.m1.4.4.4aa" xref="A3.E47.m1.5.6.3.3.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.E47.m1.4.4.4ab" xref="A3.E47.m1.5.6.3.3.1.cmml"><mrow id="A3.E47.m1.1.1.1.1.1.1.1" xref="A3.E47.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.E47.m1.1.1.1.1.1.1.1.1" xref="A3.E47.m1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E47.m1.1.1.1.1.1.1.1.1.1" xref="A3.E47.m1.1.1.1.1.1.1.1.1.1.cmml">log</mi><mo id="A3.E47.m1.1.1.1.1.1.1.1.1a" lspace="0.167em" xref="A3.E47.m1.1.1.1.1.1.1.1.1.cmml">⁡</mo><mi id="A3.E47.m1.1.1.1.1.1.1.1.1.2" xref="A3.E47.m1.1.1.1.1.1.1.1.1.2.cmml">D</mi></mrow><mo id="A3.E47.m1.1.1.1.1.1.1.1.2" xref="A3.E47.m1.1.1.1.1.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.E47.m1.4.4.4ac" xref="A3.E47.m1.5.6.3.3.1.cmml"><mrow id="A3.E47.m1.2.2.2.2.2.1.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.E47.m1.2.2.2.2.2.1.1.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.E47.m1.2.2.2.2.2.1.1.1.2" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.cmml"><mtext id="A3.E47.m1.2.2.2.2.2.1.1.1.2.2" mathvariant="italic" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.2a.cmml"> if </mtext><mo id="A3.E47.m1.2.2.2.2.2.1.1.1.2.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.1.cmml">⁢</mo><mi id="A3.E47.m1.2.2.2.2.2.1.1.1.2.3" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.3.cmml">m</mi></mrow><mo id="A3.E47.m1.2.2.2.2.2.1.1.1.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.1.cmml">=</mo><mrow id="A3.E47.m1.2.2.2.2.2.1.1.1.3" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.cmml"><mi id="A3.E47.m1.2.2.2.2.2.1.1.1.3.2" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.2.cmml">n</mi><mo id="A3.E47.m1.2.2.2.2.2.1.1.1.3.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.1.cmml">−</mo><mrow id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.cmml"><mn id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.2" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.2.cmml">1</mn><mo id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.1" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.1.cmml">/</mo><mi id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.3" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><mo id="A3.E47.m1.2.2.2.2.2.1.1.2" xref="A3.E47.m1.2.2.2.2.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.E47.m1.4.4.4ad" xref="A3.E47.m1.5.6.3.3.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.E47.m1.4.4.4ae" xref="A3.E47.m1.5.6.3.3.1.cmml"><mrow id="A3.E47.m1.3.3.3.3.1.1.3" xref="A3.E47.m1.5.6.3.3.1.cmml"><mn id="A3.E47.m1.3.3.3.3.1.1.1" xref="A3.E47.m1.3.3.3.3.1.1.1.cmml">1</mn><mo id="A3.E47.m1.3.3.3.3.1.1.3.1" xref="A3.E47.m1.5.6.3.3.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.E47.m1.4.4.4af" xref="A3.E47.m1.5.6.3.3.1.cmml"><mtext id="A3.E47.m1.4.4.4.4.2.1" mathvariant="italic" xref="A3.E47.m1.4.4.4.4.2.1a.cmml"> else,</mtext></mtd></mtr></mtable></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E47.m1.5b"><apply id="A3.E47.m1.5.6.cmml" xref="A3.E47.m1.5.6"><csymbol cd="latexml" id="A3.E47.m1.5.6.1.cmml" xref="A3.E47.m1.5.6.1">asymptotically-equals</csymbol><apply id="A3.E47.m1.5.6.2.cmml" xref="A3.E47.m1.5.6.2"><apply id="A3.E47.m1.5.6.2.1.cmml" xref="A3.E47.m1.5.6.2.1"><csymbol cd="ambiguous" id="A3.E47.m1.5.6.2.1.1.cmml" xref="A3.E47.m1.5.6.2.1">superscript</csymbol><apply id="A3.E47.m1.5.6.2.1.2.cmml" xref="A3.E47.m1.5.6.2.1"><csymbol cd="ambiguous" id="A3.E47.m1.5.6.2.1.2.1.cmml" xref="A3.E47.m1.5.6.2.1">subscript</csymbol><sum id="A3.E47.m1.5.6.2.1.2.2.cmml" xref="A3.E47.m1.5.6.2.1.2.2"></sum><apply id="A3.E47.m1.5.6.2.1.2.3.cmml" xref="A3.E47.m1.5.6.2.1.2.3"><eq id="A3.E47.m1.5.6.2.1.2.3.1.cmml" xref="A3.E47.m1.5.6.2.1.2.3.1"></eq><ci id="A3.E47.m1.5.6.2.1.2.3.2.cmml" xref="A3.E47.m1.5.6.2.1.2.3.2">𝑘</ci><cn id="A3.E47.m1.5.6.2.1.2.3.3.cmml" type="integer" xref="A3.E47.m1.5.6.2.1.2.3.3">1</cn></apply></apply><infinity id="A3.E47.m1.5.6.2.1.3.cmml" xref="A3.E47.m1.5.6.2.1.3"></infinity></apply><apply id="A3.E47.m1.5.5.cmml" xref="A3.E47.m1.5.5"><divide id="A3.E47.m1.5.5.2.cmml" xref="A3.E47.m1.5.5"></divide><apply id="A3.E47.m1.5.5.3.cmml" xref="A3.E47.m1.5.5.3"><csymbol cd="ambiguous" id="A3.E47.m1.5.5.3.1.cmml" xref="A3.E47.m1.5.5.3">superscript</csymbol><apply id="A3.E47.m1.5.5.3.2.cmml" xref="A3.E47.m1.5.5.3"><csymbol cd="ambiguous" id="A3.E47.m1.5.5.3.2.1.cmml" xref="A3.E47.m1.5.5.3">subscript</csymbol><ci id="A3.E47.m1.5.5.3.2.2.cmml" xref="A3.E47.m1.5.5.3.2.2">𝜆</ci><ci id="A3.E47.m1.5.5.3.2.3.cmml" xref="A3.E47.m1.5.5.3.2.3">𝑘</ci></apply><ci id="A3.E47.m1.5.5.3.3.cmml" xref="A3.E47.m1.5.5.3.3">𝑛</ci></apply><apply id="A3.E47.m1.5.5.1.cmml" xref="A3.E47.m1.5.5.1"><csymbol cd="ambiguous" id="A3.E47.m1.5.5.1.2.cmml" xref="A3.E47.m1.5.5.1">superscript</csymbol><apply id="A3.E47.m1.5.5.1.1.1.1.cmml" xref="A3.E47.m1.5.5.1.1.1"><plus id="A3.E47.m1.5.5.1.1.1.1.1.cmml" xref="A3.E47.m1.5.5.1.1.1.1.1"></plus><cn id="A3.E47.m1.5.5.1.1.1.1.2.cmml" type="integer" xref="A3.E47.m1.5.5.1.1.1.1.2">1</cn><apply id="A3.E47.m1.5.5.1.1.1.1.3.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3"><times id="A3.E47.m1.5.5.1.1.1.1.3.1.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.1"></times><ci id="A3.E47.m1.5.5.1.1.1.1.3.2.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.2">𝐷</ci><apply id="A3.E47.m1.5.5.1.1.1.1.3.3.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.E47.m1.5.5.1.1.1.1.3.3.1.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.3">subscript</csymbol><ci id="A3.E47.m1.5.5.1.1.1.1.3.3.2.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.3.2">𝜆</ci><ci id="A3.E47.m1.5.5.1.1.1.1.3.3.3.cmml" xref="A3.E47.m1.5.5.1.1.1.1.3.3.3">𝑘</ci></apply></apply></apply><ci id="A3.E47.m1.5.5.1.3.cmml" xref="A3.E47.m1.5.5.1.3">𝑚</ci></apply></apply></apply><apply id="A3.E47.m1.5.6.3.cmml" xref="A3.E47.m1.5.6.3"><times id="A3.E47.m1.5.6.3.1.cmml" xref="A3.E47.m1.5.6.3.1"></times><apply id="A3.E47.m1.5.6.3.2.cmml" xref="A3.E47.m1.5.6.3.2"><csymbol cd="ambiguous" id="A3.E47.m1.5.6.3.2.1.cmml" xref="A3.E47.m1.5.6.3.2">superscript</csymbol><ci id="A3.E47.m1.5.6.3.2.2.cmml" xref="A3.E47.m1.5.6.3.2.2">𝐷</ci><apply id="A3.E47.m1.5.6.3.2.3.cmml" xref="A3.E47.m1.5.6.3.2.3"><minus id="A3.E47.m1.5.6.3.2.3.1.cmml" xref="A3.E47.m1.5.6.3.2.3"></minus><ci id="A3.E47.m1.5.6.3.2.3.2.cmml" xref="A3.E47.m1.5.6.3.2.3.2">𝑐</ci></apply></apply><apply id="A3.E47.m1.5.6.3.3.1.cmml" xref="A3.E47.m1.4.4a"><csymbol cd="latexml" id="A3.E47.m1.5.6.3.3.1.1.cmml" xref="A3.E47.m1.4.4a.5">cases</csymbol><apply id="A3.E47.m1.1.1.1.1.1.1.1.1.cmml" xref="A3.E47.m1.1.1.1.1.1.1.1"><log id="A3.E47.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E47.m1.1.1.1.1.1.1.1.1.1"></log><ci id="A3.E47.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E47.m1.1.1.1.1.1.1.1.1.2">𝐷</ci></apply><apply id="A3.E47.m1.2.2.2.2.2.1.1.1.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1"><eq id="A3.E47.m1.2.2.2.2.2.1.1.1.1.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.1"></eq><apply id="A3.E47.m1.2.2.2.2.2.1.1.1.2.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2"><times id="A3.E47.m1.2.2.2.2.2.1.1.1.2.1.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.1"></times><ci id="A3.E47.m1.2.2.2.2.2.1.1.1.2.2a.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.2"><mtext id="A3.E47.m1.2.2.2.2.2.1.1.1.2.2.cmml" mathvariant="italic" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.2"> if </mtext></ci><ci id="A3.E47.m1.2.2.2.2.2.1.1.1.2.3.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.2.3">𝑚</ci></apply><apply id="A3.E47.m1.2.2.2.2.2.1.1.1.3.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3"><minus id="A3.E47.m1.2.2.2.2.2.1.1.1.3.1.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.1"></minus><ci id="A3.E47.m1.2.2.2.2.2.1.1.1.3.2.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.2">𝑛</ci><apply id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3"><divide id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.1.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.1"></divide><cn id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.2.cmml" type="integer" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.2">1</cn><ci id="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.3.cmml" xref="A3.E47.m1.2.2.2.2.2.1.1.1.3.3.3">𝛽</ci></apply></apply></apply><cn id="A3.E47.m1.3.3.3.3.1.1.1.cmml" type="integer" xref="A3.E47.m1.3.3.3.3.1.1.1">1</cn><ci id="A3.E47.m1.4.4.4.4.2.1a.cmml" xref="A3.E47.m1.4.4.4.4.2.1"><mtext id="A3.E47.m1.4.4.4.4.2.1.cmml" mathvariant="italic" xref="A3.E47.m1.4.4.4.4.2.1"> else,</mtext></ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E47.m1.5c">\displaystyle\sum_{k=1}^{\infty}\frac{\lambda_{k}^{n}}{(1+D\lambda_{k})^{m}}% \asymp D^{-c}\begin{cases}\log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else,}\end{cases}</annotation><annotation encoding="application/x-llamapun" id="A3.E47.m1.5d">∑ start_POSTSUBSCRIPT italic_k = 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ∞ end_POSTSUPERSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_D italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG ≍ italic_D start_POSTSUPERSCRIPT - italic_c end_POSTSUPERSCRIPT { start_ROW start_CELL roman_log italic_D , end_CELL start_CELL if italic_m = italic_n - 1 / italic_β , end_CELL end_ROW start_ROW start_CELL 1 , end_CELL start_CELL else, end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(47)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A3.Thmtheorem1.p1.7"><span class="ltx_text ltx_font_italic" id="A3.Thmtheorem1.p1.7.1">where <math alttext="c:=\min(m,n-1/\beta)\geq 0" class="ltx_Math" display="inline" id="A3.Thmtheorem1.p1.7.1.m1.3"><semantics id="A3.Thmtheorem1.p1.7.1.m1.3a"><mrow id="A3.Thmtheorem1.p1.7.1.m1.3.3" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.cmml"><mi id="A3.Thmtheorem1.p1.7.1.m1.3.3.3" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.3.cmml">c</mi><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.4" lspace="0.278em" mathvariant="normal" rspace="0.278em" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.4.cmml">:=</mo><mrow id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml"><mi id="A3.Thmtheorem1.p1.7.1.m1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.1.1.cmml">min</mi><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1a" mathvariant="italic" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml">⁡</mo><mrow id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml"><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.2" mathvariant="normal" stretchy="false" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml">(</mo><mi id="A3.Thmtheorem1.p1.7.1.m1.2.2" xref="A3.Thmtheorem1.p1.7.1.m1.2.2.cmml">m</mi><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.3" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml">,</mo><mrow id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.cmml"><mi id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.2" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.2.cmml">n</mi><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.1.cmml">−</mo><mrow id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.cmml"><mn id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.2" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.2.cmml">1</mn><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.1" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.1.cmml">/</mo><mi id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.3" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.4" mathvariant="normal" stretchy="false" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml">)</mo></mrow></mrow><mo id="A3.Thmtheorem1.p1.7.1.m1.3.3.5" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.5.cmml">≥</mo><mn id="A3.Thmtheorem1.p1.7.1.m1.3.3.6" mathvariant="normal" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.6.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.Thmtheorem1.p1.7.1.m1.3b"><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3"><and id="A3.Thmtheorem1.p1.7.1.m1.3.3a.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3"></and><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3b.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3"><csymbol cd="latexml" id="A3.Thmtheorem1.p1.7.1.m1.3.3.4.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.4">assign</csymbol><ci id="A3.Thmtheorem1.p1.7.1.m1.3.3.3.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.3">𝑐</ci><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.2.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1"><min id="A3.Thmtheorem1.p1.7.1.m1.1.1.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.1.1"></min><ci id="A3.Thmtheorem1.p1.7.1.m1.2.2.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.2.2">𝑚</ci><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1"><minus id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.1.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.1"></minus><ci id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.2.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.2">𝑛</ci><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3"><divide id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.1.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.1"></divide><cn id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.2.cmml" type="integer" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.2">1</cn><ci id="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.3.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Thmtheorem1.p1.7.1.m1.3.3c.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3"><geq id="A3.Thmtheorem1.p1.7.1.m1.3.3.5.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.5"></geq><share href="#A3.Thmtheorem1.p1.7.1.m1.3.3.1.cmml" id="A3.Thmtheorem1.p1.7.1.m1.3.3d.cmml" xref="A3.Thmtheorem1.p1.7.1.m1.3.3"></share><cn id="A3.Thmtheorem1.p1.7.1.m1.3.3.6.cmml" type="integer" xref="A3.Thmtheorem1.p1.7.1.m1.3.3.6">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Thmtheorem1.p1.7.1.m1.3c">c:=\min(m,n-1/\beta)\geq 0</annotation><annotation encoding="application/x-llamapun" id="A3.Thmtheorem1.p1.7.1.m1.3d">italic_c := roman_min ( italic_m , italic_n - 1 / italic_β ) ≥ 0</annotation></semantics></math>.</span></p> </div> </div> <div class="ltx_proof" id="A3.2"> <h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6> <div class="ltx_para" id="A3.1.p1"> <p class="ltx_p" id="A3.1.p1.2">First observe that</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx50"> <tbody id="A3.Ex12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\lambda_{k}^{n}/(1+D\lambda_{k})^{m}&\asymp\lambda_{% k}^{n}\min(1,(D\lambda_{k})^{-m})\\ &=\begin{cases}\lambda_{k}^{n}=k^{-n\beta},&\mbox{ if }D\lambda_{k}<1,\text{ i% .e if }k>D^{1/\beta},\\ D^{-m}\lambda_{k}^{-(m-n)}=D^{-m}k^{(m-n)\beta},&\mbox{ else.}\end{cases}\end{split}" class="ltx_Math" display="inline" id="A3.Ex12.m1.37"><semantics id="A3.Ex12.m1.37a"><mtable columnspacing="0pt" id="A3.Ex12.m1.37.37.4" rowspacing="0pt" xref="A3.Ex12.m1.35.35.2.cmml"><mtr id="A3.Ex12.m1.37.37.4a" xref="A3.Ex12.m1.35.35.2.cmml"><mtd class="ltx_align_right" columnalign="right" id="A3.Ex12.m1.37.37.4b" xref="A3.Ex12.m1.35.35.2.cmml"><mrow id="A3.Ex12.m1.36.36.3.34.28.13" xref="A3.Ex12.m1.35.35.2.cmml"><msubsup id="A3.Ex12.m1.36.36.3.34.28.13.14" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.5.5.5.1.1.1" xref="A3.Ex12.m1.5.5.5.1.1.1.cmml">λ</mi><mi id="A3.Ex12.m1.6.6.6.2.2.2.1" xref="A3.Ex12.m1.6.6.6.2.2.2.1.cmml">k</mi><mi id="A3.Ex12.m1.7.7.7.3.3.3.1" xref="A3.Ex12.m1.7.7.7.3.3.3.1.cmml">n</mi></msubsup><mo id="A3.Ex12.m1.8.8.8.4.4.4" xref="A3.Ex12.m1.8.8.8.4.4.4.cmml">/</mo><msup id="A3.Ex12.m1.36.36.3.34.28.13.13" xref="A3.Ex12.m1.35.35.2.cmml"><mrow id="A3.Ex12.m1.36.36.3.34.28.13.13.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mo id="A3.Ex12.m1.9.9.9.5.5.5" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">(</mo><mrow id="A3.Ex12.m1.36.36.3.34.28.13.13.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mn id="A3.Ex12.m1.10.10.10.6.6.6" xref="A3.Ex12.m1.10.10.10.6.6.6.cmml">1</mn><mo id="A3.Ex12.m1.11.11.11.7.7.7" xref="A3.Ex12.m1.11.11.11.7.7.7.cmml">+</mo><mrow id="A3.Ex12.m1.36.36.3.34.28.13.13.1.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.12.12.12.8.8.8" xref="A3.Ex12.m1.12.12.12.8.8.8.cmml">D</mi><mo id="A3.Ex12.m1.36.36.3.34.28.13.13.1.1.1.1.1" xref="A3.Ex12.m1.35.35.2a.cmml">⁢</mo><msub id="A3.Ex12.m1.36.36.3.34.28.13.13.1.1.1.1.2" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.13.13.13.9.9.9" xref="A3.Ex12.m1.13.13.13.9.9.9.cmml">λ</mi><mi id="A3.Ex12.m1.14.14.14.10.10.10.1" xref="A3.Ex12.m1.14.14.14.10.10.10.1.cmml">k</mi></msub></mrow></mrow><mo id="A3.Ex12.m1.15.15.15.11.11.11" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">)</mo></mrow><mi id="A3.Ex12.m1.16.16.16.12.12.12.1" xref="A3.Ex12.m1.16.16.16.12.12.12.1.cmml">m</mi></msup></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.37.37.4c" xref="A3.Ex12.m1.35.35.2.cmml"><mrow id="A3.Ex12.m1.37.37.4.35.29.16" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.37.37.4.35.29.16.17" xref="A3.Ex12.m1.35.35.2a.cmml"></mi><mo id="A3.Ex12.m1.17.17.17.13.1.1" xref="A3.Ex12.m1.17.17.17.13.1.1.cmml">≍</mo><mrow id="A3.Ex12.m1.37.37.4.35.29.16.16" xref="A3.Ex12.m1.35.35.2.cmml"><msubsup id="A3.Ex12.m1.37.37.4.35.29.16.16.3" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.18.18.18.14.2.2" xref="A3.Ex12.m1.18.18.18.14.2.2.cmml">λ</mi><mi id="A3.Ex12.m1.19.19.19.15.3.3.1" xref="A3.Ex12.m1.19.19.19.15.3.3.1.cmml">k</mi><mi id="A3.Ex12.m1.20.20.20.16.4.4.1" xref="A3.Ex12.m1.20.20.20.16.4.4.1.cmml">n</mi></msubsup><mo id="A3.Ex12.m1.37.37.4.35.29.16.16.2" lspace="0.167em" xref="A3.Ex12.m1.35.35.2a.cmml">⁢</mo><mrow id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.21.21.21.17.5.5" xref="A3.Ex12.m1.21.21.21.17.5.5.cmml">min</mi><mo id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1a" xref="A3.Ex12.m1.35.35.2a.cmml">⁡</mo><mrow id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mo id="A3.Ex12.m1.22.22.22.18.6.6" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">(</mo><mn id="A3.Ex12.m1.23.23.23.19.7.7" xref="A3.Ex12.m1.23.23.23.19.7.7.cmml">1</mn><mo id="A3.Ex12.m1.24.24.24.20.8.8" xref="A3.Ex12.m1.35.35.2a.cmml">,</mo><msup id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mrow id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mo id="A3.Ex12.m1.25.25.25.21.9.9" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">(</mo><mrow id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1.1.1.1.1" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.26.26.26.22.10.10" xref="A3.Ex12.m1.26.26.26.22.10.10.cmml">D</mi><mo id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1.1.1.1.1.1" xref="A3.Ex12.m1.35.35.2a.cmml">⁢</mo><msub id="A3.Ex12.m1.37.37.4.35.29.16.16.1.1.1.1.1.1.1.2" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.27.27.27.23.11.11" xref="A3.Ex12.m1.27.27.27.23.11.11.cmml">λ</mi><mi id="A3.Ex12.m1.28.28.28.24.12.12.1" xref="A3.Ex12.m1.28.28.28.24.12.12.1.cmml">k</mi></msub></mrow><mo id="A3.Ex12.m1.29.29.29.25.13.13" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">)</mo></mrow><mrow id="A3.Ex12.m1.30.30.30.26.14.14.1" xref="A3.Ex12.m1.30.30.30.26.14.14.1.cmml"><mo id="A3.Ex12.m1.30.30.30.26.14.14.1a" xref="A3.Ex12.m1.30.30.30.26.14.14.1.cmml">−</mo><mi id="A3.Ex12.m1.30.30.30.26.14.14.1.2" xref="A3.Ex12.m1.30.30.30.26.14.14.1.2.cmml">m</mi></mrow></msup><mo id="A3.Ex12.m1.31.31.31.27.15.15" stretchy="false" xref="A3.Ex12.m1.35.35.2a.cmml">)</mo></mrow></mrow></mrow></mrow></mtd></mtr><mtr id="A3.Ex12.m1.37.37.4d" xref="A3.Ex12.m1.35.35.2.cmml"><mtd id="A3.Ex12.m1.37.37.4e" xref="A3.Ex12.m1.35.35.2a.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.37.37.4f" xref="A3.Ex12.m1.35.35.2.cmml"><mrow id="A3.Ex12.m1.33.33.33.6.6a" xref="A3.Ex12.m1.35.35.2.cmml"><mi id="A3.Ex12.m1.33.33.33.6.6a.7" xref="A3.Ex12.m1.35.35.2a.cmml"></mi><mo id="A3.Ex12.m1.32.32.32.5.5.5" xref="A3.Ex12.m1.32.32.32.5.5.5.cmml">=</mo><mrow id="A3.Ex12.m1.4.4.4.4.4.4a" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mo id="A3.Ex12.m1.4.4.4.4.4.4a.5" xref="A3.Ex12.m1.33.33.33.6.6.6.1.1.cmml">{</mo><mtable columnspacing="5pt" id="A3.Ex12.m1.4.4.4.4.4.4.4a" rowspacing="0pt" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mtr id="A3.Ex12.m1.4.4.4.4.4.4.4aa" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.4.4.4.4.4.4.4ab" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mrow id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msubsup id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">λ</mi><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml">k</mi><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.3" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml">n</mi></msubsup><mo id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">=</mo><msup id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">k</mi><mrow id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml"><mo id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3a" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">−</mo><mrow id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml"><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2.cmml">n</mi><mo id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1.cmml">⁢</mo><mi id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3.cmml">β</mi></mrow></mrow></msup></mrow><mo id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.4.4.4.4.4.4.4ac" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.3.cmml"><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.cmml"><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.cmml"><mtext id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2a.cmml"> if </mtext><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1.cmml">⁢</mo><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.3.cmml">D</mi><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1a" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1.cmml">⁢</mo><msub id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.cmml"><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.2.cmml">λ</mi><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.3.cmml">k</mi></msub></mrow><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.1.cmml"><</mo><mn id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.1.cmml">1</mn></mrow><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.3a.cmml">,</mo><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.cmml"><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.cmml"><mtext id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2a.cmml"> i.e if </mtext><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.1.cmml">⁢</mo><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.3.cmml">k</mi></mrow><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.1.cmml">></mo><msup id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.cmml"><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.2.cmml">D</mi><mrow id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.cmml"><mn id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.2" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.2.cmml">1</mn><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.1" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.1.cmml">/</mo><mi id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.3" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.3.cmml">β</mi></mrow></msup></mrow></mrow><mo id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.2" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex12.m1.4.4.4.4.4.4.4ad" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.4.4.4.4.4.4.4ae" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.cmml"><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.cmml"><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.cmml"><msup id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.2.cmml">D</mi><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.cmml"><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3a" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.cmml">−</mo><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.2.cmml">m</mi></mrow></msup><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.1.cmml">⁢</mo><msubsup id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.2.cmml">λ</mi><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.3.cmml">k</mi><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml"><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1a" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml">−</mo><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.cmml"><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.2" stretchy="false" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.2.cmml">m</mi><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.3" stretchy="false" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msubsup></mrow><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.1.cmml">=</mo><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.cmml"><msup id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.2.cmml">D</mi><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.cmml"><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3a" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.cmml">−</mo><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.2.cmml">m</mi></mrow></msup><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.1.cmml">⁢</mo><msup id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.2.cmml">k</mi><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.cmml"><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.cmml"><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.2" stretchy="false" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.cmml">(</mo><mrow id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.cmml"><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.2.cmml">m</mi><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.1" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.1.cmml">−</mo><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.3" stretchy="false" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.cmml">)</mo></mrow><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.2.cmml">⁢</mo><mi id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.3" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.3.cmml">β</mi></mrow></msup></mrow></mrow><mo id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.2" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex12.m1.4.4.4.4.4.4.4af" xref="A3.Ex12.m1.33.33.33.6.6.6.1.cmml"><mtext id="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1" xref="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1a.cmml"> else.</mtext></mtd></mtr></mtable></mrow></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A3.Ex12.m1.37b"><apply id="A3.Ex12.m1.35.35.2.cmml" xref="A3.Ex12.m1.37.37.4"><and id="A3.Ex12.m1.35.35.2a.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5"></and><apply id="A3.Ex12.m1.35.35.2b.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="latexml" id="A3.Ex12.m1.17.17.17.13.1.1.cmml" xref="A3.Ex12.m1.17.17.17.13.1.1">asymptotically-equals</csymbol><apply id="A3.Ex12.m1.34.34.1.1.cmml" xref="A3.Ex12.m1.37.37.4"><divide id="A3.Ex12.m1.8.8.8.4.4.4.cmml" xref="A3.Ex12.m1.8.8.8.4.4.4"></divide><apply id="A3.Ex12.m1.34.34.1.1.3.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.34.34.1.1.3.1.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5">superscript</csymbol><apply id="A3.Ex12.m1.34.34.1.1.3.2.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.34.34.1.1.3.2.1.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5">subscript</csymbol><ci id="A3.Ex12.m1.5.5.5.1.1.1.cmml" xref="A3.Ex12.m1.5.5.5.1.1.1">𝜆</ci><ci id="A3.Ex12.m1.6.6.6.2.2.2.1.cmml" xref="A3.Ex12.m1.6.6.6.2.2.2.1">𝑘</ci></apply><ci id="A3.Ex12.m1.7.7.7.3.3.3.1.cmml" xref="A3.Ex12.m1.7.7.7.3.3.3.1">𝑛</ci></apply><apply id="A3.Ex12.m1.34.34.1.1.1.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.34.34.1.1.1.2.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5">superscript</csymbol><apply id="A3.Ex12.m1.34.34.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.37.37.4"><plus id="A3.Ex12.m1.11.11.11.7.7.7.cmml" xref="A3.Ex12.m1.11.11.11.7.7.7"></plus><cn id="A3.Ex12.m1.10.10.10.6.6.6.cmml" type="integer" xref="A3.Ex12.m1.10.10.10.6.6.6">1</cn><apply id="A3.Ex12.m1.34.34.1.1.1.1.1.1.3.cmml" xref="A3.Ex12.m1.37.37.4"><times id="A3.Ex12.m1.34.34.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex12.m1.37.37.4"></times><ci id="A3.Ex12.m1.12.12.12.8.8.8.cmml" xref="A3.Ex12.m1.12.12.12.8.8.8">𝐷</ci><apply id="A3.Ex12.m1.34.34.1.1.1.1.1.1.3.3.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.34.34.1.1.1.1.1.1.3.3.1.cmml" xref="A3.Ex12.m1.37.37.4">subscript</csymbol><ci id="A3.Ex12.m1.13.13.13.9.9.9.cmml" xref="A3.Ex12.m1.13.13.13.9.9.9">𝜆</ci><ci id="A3.Ex12.m1.14.14.14.10.10.10.1.cmml" xref="A3.Ex12.m1.14.14.14.10.10.10.1">𝑘</ci></apply></apply></apply><ci id="A3.Ex12.m1.16.16.16.12.12.12.1.cmml" xref="A3.Ex12.m1.16.16.16.12.12.12.1">𝑚</ci></apply></apply><apply id="A3.Ex12.m1.35.35.2.2.cmml" xref="A3.Ex12.m1.37.37.4"><times id="A3.Ex12.m1.35.35.2.2.2.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5"></times><apply id="A3.Ex12.m1.35.35.2.2.3.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.35.35.2.2.3.1.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5">superscript</csymbol><apply id="A3.Ex12.m1.35.35.2.2.3.2.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.35.35.2.2.3.2.1.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5">subscript</csymbol><ci id="A3.Ex12.m1.18.18.18.14.2.2.cmml" xref="A3.Ex12.m1.18.18.18.14.2.2">𝜆</ci><ci id="A3.Ex12.m1.19.19.19.15.3.3.1.cmml" xref="A3.Ex12.m1.19.19.19.15.3.3.1">𝑘</ci></apply><ci id="A3.Ex12.m1.20.20.20.16.4.4.1.cmml" xref="A3.Ex12.m1.20.20.20.16.4.4.1">𝑛</ci></apply><apply id="A3.Ex12.m1.35.35.2.2.1.2.cmml" xref="A3.Ex12.m1.37.37.4"><min id="A3.Ex12.m1.21.21.21.17.5.5.cmml" xref="A3.Ex12.m1.21.21.21.17.5.5"></min><cn id="A3.Ex12.m1.23.23.23.19.7.7.cmml" type="integer" xref="A3.Ex12.m1.23.23.23.19.7.7">1</cn><apply id="A3.Ex12.m1.35.35.2.2.1.1.1.1.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.35.35.2.2.1.1.1.1.2.cmml" xref="A3.Ex12.m1.37.37.4">superscript</csymbol><apply id="A3.Ex12.m1.35.35.2.2.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.37.37.4"><times id="A3.Ex12.m1.35.35.2.2.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.37.37.4"></times><ci id="A3.Ex12.m1.26.26.26.22.10.10.cmml" xref="A3.Ex12.m1.26.26.26.22.10.10">𝐷</ci><apply id="A3.Ex12.m1.35.35.2.2.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex12.m1.37.37.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.35.35.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex12.m1.37.37.4">subscript</csymbol><ci id="A3.Ex12.m1.27.27.27.23.11.11.cmml" xref="A3.Ex12.m1.27.27.27.23.11.11">𝜆</ci><ci id="A3.Ex12.m1.28.28.28.24.12.12.1.cmml" xref="A3.Ex12.m1.28.28.28.24.12.12.1">𝑘</ci></apply></apply><apply id="A3.Ex12.m1.30.30.30.26.14.14.1.cmml" xref="A3.Ex12.m1.30.30.30.26.14.14.1"><minus id="A3.Ex12.m1.30.30.30.26.14.14.1.1.cmml" xref="A3.Ex12.m1.30.30.30.26.14.14.1"></minus><ci id="A3.Ex12.m1.30.30.30.26.14.14.1.2.cmml" xref="A3.Ex12.m1.30.30.30.26.14.14.1.2">𝑚</ci></apply></apply></apply></apply></apply><apply id="A3.Ex12.m1.35.35.2c.cmml" xref="A3.Ex12.m1.37.37.4"><eq id="A3.Ex12.m1.32.32.32.5.5.5.cmml" xref="A3.Ex12.m1.32.32.32.5.5.5"></eq><share href="#A3.Ex12.m1.35.35.2.2.cmml" id="A3.Ex12.m1.35.35.2d.cmml" xref="A3.Ex12.m1.9.9.9.5.5.5"></share><apply id="A3.Ex12.m1.33.33.33.6.6.6.1.cmml" xref="A3.Ex12.m1.4.4.4.4.4.4a"><csymbol cd="latexml" id="A3.Ex12.m1.33.33.33.6.6.6.1.1.cmml" xref="A3.Ex12.m1.4.4.4.4.4.4a.5">cases</csymbol><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1"><eq id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.1"></eq><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.2">𝜆</ci><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.3">𝑘</ci></apply><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.3">𝑛</ci></apply><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.2">𝑘</ci><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3"><minus id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3"></minus><apply id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2"><times id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.1"></times><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.2">𝑛</ci><ci id="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3.cmml" xref="A3.Ex12.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.3.2.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2"><csymbol cd="ambiguous" id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.3a.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.3">formulae-sequence</csymbol><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1"><lt id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.1"></lt><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2"><times id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.1"></times><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2a.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2"><mtext id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.2"> if </mtext></ci><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.3">𝐷</ci><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4"><csymbol cd="ambiguous" id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4">subscript</csymbol><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.2">𝜆</ci><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.1.1.2.4.3">𝑘</ci></apply></apply><cn id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.1.cmml" type="integer" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.1">1</cn></apply><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2"><gt id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.1"></gt><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2"><times id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.1"></times><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2a.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2"><mtext id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.2"> i.e if </mtext></ci><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.2.3">𝑘</ci></apply><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3"><csymbol cd="ambiguous" id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3">superscript</csymbol><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.2.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.2">𝐷</ci><apply id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3"><divide id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.1.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.1"></divide><cn id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.2.cmml" type="integer" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.2">1</cn><ci id="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.3.cmml" xref="A3.Ex12.m1.2.2.2.2.2.2.2.2.2.1.2.1.2.2.3.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3"><eq id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.1"></eq><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2"><times id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.1"></times><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2"><csymbol cd="ambiguous" id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2">superscript</csymbol><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.2">𝐷</ci><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3"><minus id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3"></minus><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.2.3.2">𝑚</ci></apply></apply><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3"><csymbol cd="ambiguous" id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3">superscript</csymbol><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3"><csymbol cd="ambiguous" id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3">subscript</csymbol><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.2">𝜆</ci><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.2.3.2.3">𝑘</ci></apply><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1"><minus id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1"></minus><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1"><minus id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.1"></minus><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.2">𝑚</ci><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.1.1.3">𝑛</ci></apply></apply></apply></apply><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3"><times id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.1"></times><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2"><csymbol cd="ambiguous" id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2">superscript</csymbol><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.2">𝐷</ci><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3"><minus id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3"></minus><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.2.3.2">𝑚</ci></apply></apply><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3"><csymbol cd="ambiguous" id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3">superscript</csymbol><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.3.1.3.3.2">𝑘</ci><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1"><times id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.2"></times><apply id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1"><minus id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.1.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.1"></minus><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.2.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.2">𝑚</ci><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.1.1.1.3">𝑛</ci></apply><ci id="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.3.cmml" xref="A3.Ex12.m1.3.3.3.3.3.3.3.3.1.1.2.1.3">𝛽</ci></apply></apply></apply></apply><ci id="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1a.cmml" xref="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1"><mtext id="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1.cmml" xref="A3.Ex12.m1.4.4.4.4.4.4.4.4.2.1"> else.</mtext></ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex12.m1.37c">\displaystyle\begin{split}\lambda_{k}^{n}/(1+D\lambda_{k})^{m}&\asymp\lambda_{% k}^{n}\min(1,(D\lambda_{k})^{-m})\\ &=\begin{cases}\lambda_{k}^{n}=k^{-n\beta},&\mbox{ if }D\lambda_{k}<1,\text{ i% .e if }k>D^{1/\beta},\\ D^{-m}\lambda_{k}^{-(m-n)}=D^{-m}k^{(m-n)\beta},&\mbox{ else.}\end{cases}\end{split}</annotation><annotation encoding="application/x-llamapun" id="A3.Ex12.m1.37d">start_ROW start_CELL italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT / ( 1 + italic_D italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_CELL start_CELL ≍ italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT roman_min ( 1 , ( italic_D italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT ) end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = { start_ROW start_CELL italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT = italic_k start_POSTSUPERSCRIPT - italic_n italic_β end_POSTSUPERSCRIPT , end_CELL start_CELL if italic_D italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT < 1 , i.e if italic_k > italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT , end_CELL end_ROW start_ROW start_CELL italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT - ( italic_m - italic_n ) end_POSTSUPERSCRIPT = italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT italic_k start_POSTSUPERSCRIPT ( italic_m - italic_n ) italic_β end_POSTSUPERSCRIPT , end_CELL start_CELL else. end_CELL end_ROW end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A3.1.p1.3">We deduce that</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx51"> <tbody id="A3.E48"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\sum_{k=1}^{\infty}\frac{\lambda_{k}^{n}}{(1+D\lambda_{k})^{m}}% \asymp D^{-m}\sum_{1\leq k\leq D^{1/\beta}}k^{(m-n)\beta}+\sum_{k>D^{1/\beta}}% k^{-n\beta}." class="ltx_Math" display="inline" id="A3.E48.m1.3"><semantics id="A3.E48.m1.3a"><mrow id="A3.E48.m1.3.3.1" xref="A3.E48.m1.3.3.1.1.cmml"><mrow id="A3.E48.m1.3.3.1.1" xref="A3.E48.m1.3.3.1.1.cmml"><mrow id="A3.E48.m1.3.3.1.1.2" xref="A3.E48.m1.3.3.1.1.2.cmml"><mstyle displaystyle="true" id="A3.E48.m1.3.3.1.1.2.1" xref="A3.E48.m1.3.3.1.1.2.1.cmml"><munderover id="A3.E48.m1.3.3.1.1.2.1a" xref="A3.E48.m1.3.3.1.1.2.1.cmml"><mo id="A3.E48.m1.3.3.1.1.2.1.2.2" movablelimits="false" xref="A3.E48.m1.3.3.1.1.2.1.2.2.cmml">∑</mo><mrow id="A3.E48.m1.3.3.1.1.2.1.2.3" xref="A3.E48.m1.3.3.1.1.2.1.2.3.cmml"><mi id="A3.E48.m1.3.3.1.1.2.1.2.3.2" xref="A3.E48.m1.3.3.1.1.2.1.2.3.2.cmml">k</mi><mo id="A3.E48.m1.3.3.1.1.2.1.2.3.1" xref="A3.E48.m1.3.3.1.1.2.1.2.3.1.cmml">=</mo><mn id="A3.E48.m1.3.3.1.1.2.1.2.3.3" xref="A3.E48.m1.3.3.1.1.2.1.2.3.3.cmml">1</mn></mrow><mi id="A3.E48.m1.3.3.1.1.2.1.3" mathvariant="normal" xref="A3.E48.m1.3.3.1.1.2.1.3.cmml">∞</mi></munderover></mstyle><mstyle displaystyle="true" id="A3.E48.m1.1.1" xref="A3.E48.m1.1.1.cmml"><mfrac id="A3.E48.m1.1.1a" xref="A3.E48.m1.1.1.cmml"><msubsup id="A3.E48.m1.1.1.3" xref="A3.E48.m1.1.1.3.cmml"><mi id="A3.E48.m1.1.1.3.2.2" xref="A3.E48.m1.1.1.3.2.2.cmml">λ</mi><mi id="A3.E48.m1.1.1.3.2.3" xref="A3.E48.m1.1.1.3.2.3.cmml">k</mi><mi id="A3.E48.m1.1.1.3.3" xref="A3.E48.m1.1.1.3.3.cmml">n</mi></msubsup><msup id="A3.E48.m1.1.1.1" xref="A3.E48.m1.1.1.1.cmml"><mrow id="A3.E48.m1.1.1.1.1.1" xref="A3.E48.m1.1.1.1.1.1.1.cmml"><mo id="A3.E48.m1.1.1.1.1.1.2" stretchy="false" xref="A3.E48.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E48.m1.1.1.1.1.1.1" xref="A3.E48.m1.1.1.1.1.1.1.cmml"><mn id="A3.E48.m1.1.1.1.1.1.1.2" xref="A3.E48.m1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A3.E48.m1.1.1.1.1.1.1.1" xref="A3.E48.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.E48.m1.1.1.1.1.1.1.3" xref="A3.E48.m1.1.1.1.1.1.1.3.cmml"><mi id="A3.E48.m1.1.1.1.1.1.1.3.2" xref="A3.E48.m1.1.1.1.1.1.1.3.2.cmml">D</mi><mo id="A3.E48.m1.1.1.1.1.1.1.3.1" xref="A3.E48.m1.1.1.1.1.1.1.3.1.cmml">⁢</mo><msub id="A3.E48.m1.1.1.1.1.1.1.3.3" xref="A3.E48.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A3.E48.m1.1.1.1.1.1.1.3.3.2" xref="A3.E48.m1.1.1.1.1.1.1.3.3.2.cmml">λ</mi><mi id="A3.E48.m1.1.1.1.1.1.1.3.3.3" xref="A3.E48.m1.1.1.1.1.1.1.3.3.3.cmml">k</mi></msub></mrow></mrow><mo id="A3.E48.m1.1.1.1.1.1.3" stretchy="false" xref="A3.E48.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A3.E48.m1.1.1.1.3" xref="A3.E48.m1.1.1.1.3.cmml">m</mi></msup></mfrac></mstyle></mrow><mo id="A3.E48.m1.3.3.1.1.1" xref="A3.E48.m1.3.3.1.1.1.cmml">≍</mo><mrow id="A3.E48.m1.3.3.1.1.3" xref="A3.E48.m1.3.3.1.1.3.cmml"><mrow id="A3.E48.m1.3.3.1.1.3.2" xref="A3.E48.m1.3.3.1.1.3.2.cmml"><msup id="A3.E48.m1.3.3.1.1.3.2.2" xref="A3.E48.m1.3.3.1.1.3.2.2.cmml"><mi id="A3.E48.m1.3.3.1.1.3.2.2.2" xref="A3.E48.m1.3.3.1.1.3.2.2.2.cmml">D</mi><mrow id="A3.E48.m1.3.3.1.1.3.2.2.3" xref="A3.E48.m1.3.3.1.1.3.2.2.3.cmml"><mo id="A3.E48.m1.3.3.1.1.3.2.2.3a" xref="A3.E48.m1.3.3.1.1.3.2.2.3.cmml">−</mo><mi id="A3.E48.m1.3.3.1.1.3.2.2.3.2" xref="A3.E48.m1.3.3.1.1.3.2.2.3.2.cmml">m</mi></mrow></msup><mo id="A3.E48.m1.3.3.1.1.3.2.1" xref="A3.E48.m1.3.3.1.1.3.2.1.cmml">⁢</mo><mrow id="A3.E48.m1.3.3.1.1.3.2.3" xref="A3.E48.m1.3.3.1.1.3.2.3.cmml"><mstyle displaystyle="true" id="A3.E48.m1.3.3.1.1.3.2.3.1" xref="A3.E48.m1.3.3.1.1.3.2.3.1.cmml"><munder id="A3.E48.m1.3.3.1.1.3.2.3.1a" xref="A3.E48.m1.3.3.1.1.3.2.3.1.cmml"><mo id="A3.E48.m1.3.3.1.1.3.2.3.1.2" movablelimits="false" xref="A3.E48.m1.3.3.1.1.3.2.3.1.2.cmml">∑</mo><mrow id="A3.E48.m1.3.3.1.1.3.2.3.1.3" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.cmml"><mn id="A3.E48.m1.3.3.1.1.3.2.3.1.3.2" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.2.cmml">1</mn><mo id="A3.E48.m1.3.3.1.1.3.2.3.1.3.3" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.3.cmml">≤</mo><mi id="A3.E48.m1.3.3.1.1.3.2.3.1.3.4" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.4.cmml">k</mi><mo id="A3.E48.m1.3.3.1.1.3.2.3.1.3.5" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.5.cmml">≤</mo><msup id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.cmml"><mi id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.2" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.2.cmml">D</mi><mrow id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.cmml"><mn id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.2" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.2.cmml">1</mn><mo id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.1" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.1.cmml">/</mo><mi id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.3" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.3.cmml">β</mi></mrow></msup></mrow></munder></mstyle><msup id="A3.E48.m1.3.3.1.1.3.2.3.2" xref="A3.E48.m1.3.3.1.1.3.2.3.2.cmml"><mi id="A3.E48.m1.3.3.1.1.3.2.3.2.2" xref="A3.E48.m1.3.3.1.1.3.2.3.2.2.cmml">k</mi><mrow id="A3.E48.m1.2.2.1" xref="A3.E48.m1.2.2.1.cmml"><mrow id="A3.E48.m1.2.2.1.1.1" xref="A3.E48.m1.2.2.1.1.1.1.cmml"><mo id="A3.E48.m1.2.2.1.1.1.2" stretchy="false" xref="A3.E48.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="A3.E48.m1.2.2.1.1.1.1" xref="A3.E48.m1.2.2.1.1.1.1.cmml"><mi id="A3.E48.m1.2.2.1.1.1.1.2" xref="A3.E48.m1.2.2.1.1.1.1.2.cmml">m</mi><mo id="A3.E48.m1.2.2.1.1.1.1.1" xref="A3.E48.m1.2.2.1.1.1.1.1.cmml">−</mo><mi id="A3.E48.m1.2.2.1.1.1.1.3" xref="A3.E48.m1.2.2.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.E48.m1.2.2.1.1.1.3" stretchy="false" xref="A3.E48.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo id="A3.E48.m1.2.2.1.2" xref="A3.E48.m1.2.2.1.2.cmml">⁢</mo><mi id="A3.E48.m1.2.2.1.3" xref="A3.E48.m1.2.2.1.3.cmml">β</mi></mrow></msup></mrow></mrow><mo id="A3.E48.m1.3.3.1.1.3.1" xref="A3.E48.m1.3.3.1.1.3.1.cmml">+</mo><mrow id="A3.E48.m1.3.3.1.1.3.3" xref="A3.E48.m1.3.3.1.1.3.3.cmml"><mstyle displaystyle="true" id="A3.E48.m1.3.3.1.1.3.3.1" xref="A3.E48.m1.3.3.1.1.3.3.1.cmml"><munder id="A3.E48.m1.3.3.1.1.3.3.1a" xref="A3.E48.m1.3.3.1.1.3.3.1.cmml"><mo id="A3.E48.m1.3.3.1.1.3.3.1.2" movablelimits="false" xref="A3.E48.m1.3.3.1.1.3.3.1.2.cmml">∑</mo><mrow id="A3.E48.m1.3.3.1.1.3.3.1.3" xref="A3.E48.m1.3.3.1.1.3.3.1.3.cmml"><mi id="A3.E48.m1.3.3.1.1.3.3.1.3.2" xref="A3.E48.m1.3.3.1.1.3.3.1.3.2.cmml">k</mi><mo id="A3.E48.m1.3.3.1.1.3.3.1.3.1" xref="A3.E48.m1.3.3.1.1.3.3.1.3.1.cmml">></mo><msup id="A3.E48.m1.3.3.1.1.3.3.1.3.3" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.cmml"><mi id="A3.E48.m1.3.3.1.1.3.3.1.3.3.2" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.2.cmml">D</mi><mrow id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.cmml"><mn id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.2" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.2.cmml">1</mn><mo id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.1" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.1.cmml">/</mo><mi id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.3" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.3.cmml">β</mi></mrow></msup></mrow></munder></mstyle><msup id="A3.E48.m1.3.3.1.1.3.3.2" xref="A3.E48.m1.3.3.1.1.3.3.2.cmml"><mi id="A3.E48.m1.3.3.1.1.3.3.2.2" xref="A3.E48.m1.3.3.1.1.3.3.2.2.cmml">k</mi><mrow id="A3.E48.m1.3.3.1.1.3.3.2.3" xref="A3.E48.m1.3.3.1.1.3.3.2.3.cmml"><mo id="A3.E48.m1.3.3.1.1.3.3.2.3a" xref="A3.E48.m1.3.3.1.1.3.3.2.3.cmml">−</mo><mrow id="A3.E48.m1.3.3.1.1.3.3.2.3.2" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.cmml"><mi id="A3.E48.m1.3.3.1.1.3.3.2.3.2.2" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.2.cmml">n</mi><mo id="A3.E48.m1.3.3.1.1.3.3.2.3.2.1" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.1.cmml">⁢</mo><mi id="A3.E48.m1.3.3.1.1.3.3.2.3.2.3" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.3.cmml">β</mi></mrow></mrow></msup></mrow></mrow></mrow><mo id="A3.E48.m1.3.3.1.2" lspace="0em" xref="A3.E48.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.E48.m1.3b"><apply id="A3.E48.m1.3.3.1.1.cmml" xref="A3.E48.m1.3.3.1"><csymbol cd="latexml" id="A3.E48.m1.3.3.1.1.1.cmml" xref="A3.E48.m1.3.3.1.1.1">asymptotically-equals</csymbol><apply id="A3.E48.m1.3.3.1.1.2.cmml" xref="A3.E48.m1.3.3.1.1.2"><apply id="A3.E48.m1.3.3.1.1.2.1.cmml" xref="A3.E48.m1.3.3.1.1.2.1"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.2.1.1.cmml" xref="A3.E48.m1.3.3.1.1.2.1">superscript</csymbol><apply id="A3.E48.m1.3.3.1.1.2.1.2.cmml" xref="A3.E48.m1.3.3.1.1.2.1"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.2.1.2.1.cmml" xref="A3.E48.m1.3.3.1.1.2.1">subscript</csymbol><sum id="A3.E48.m1.3.3.1.1.2.1.2.2.cmml" xref="A3.E48.m1.3.3.1.1.2.1.2.2"></sum><apply id="A3.E48.m1.3.3.1.1.2.1.2.3.cmml" xref="A3.E48.m1.3.3.1.1.2.1.2.3"><eq id="A3.E48.m1.3.3.1.1.2.1.2.3.1.cmml" xref="A3.E48.m1.3.3.1.1.2.1.2.3.1"></eq><ci id="A3.E48.m1.3.3.1.1.2.1.2.3.2.cmml" xref="A3.E48.m1.3.3.1.1.2.1.2.3.2">𝑘</ci><cn id="A3.E48.m1.3.3.1.1.2.1.2.3.3.cmml" type="integer" xref="A3.E48.m1.3.3.1.1.2.1.2.3.3">1</cn></apply></apply><infinity id="A3.E48.m1.3.3.1.1.2.1.3.cmml" xref="A3.E48.m1.3.3.1.1.2.1.3"></infinity></apply><apply id="A3.E48.m1.1.1.cmml" xref="A3.E48.m1.1.1"><divide id="A3.E48.m1.1.1.2.cmml" xref="A3.E48.m1.1.1"></divide><apply id="A3.E48.m1.1.1.3.cmml" xref="A3.E48.m1.1.1.3"><csymbol cd="ambiguous" id="A3.E48.m1.1.1.3.1.cmml" xref="A3.E48.m1.1.1.3">superscript</csymbol><apply id="A3.E48.m1.1.1.3.2.cmml" xref="A3.E48.m1.1.1.3"><csymbol cd="ambiguous" id="A3.E48.m1.1.1.3.2.1.cmml" xref="A3.E48.m1.1.1.3">subscript</csymbol><ci id="A3.E48.m1.1.1.3.2.2.cmml" xref="A3.E48.m1.1.1.3.2.2">𝜆</ci><ci id="A3.E48.m1.1.1.3.2.3.cmml" xref="A3.E48.m1.1.1.3.2.3">𝑘</ci></apply><ci id="A3.E48.m1.1.1.3.3.cmml" xref="A3.E48.m1.1.1.3.3">𝑛</ci></apply><apply id="A3.E48.m1.1.1.1.cmml" xref="A3.E48.m1.1.1.1"><csymbol cd="ambiguous" id="A3.E48.m1.1.1.1.2.cmml" xref="A3.E48.m1.1.1.1">superscript</csymbol><apply id="A3.E48.m1.1.1.1.1.1.1.cmml" xref="A3.E48.m1.1.1.1.1.1"><plus id="A3.E48.m1.1.1.1.1.1.1.1.cmml" xref="A3.E48.m1.1.1.1.1.1.1.1"></plus><cn id="A3.E48.m1.1.1.1.1.1.1.2.cmml" type="integer" xref="A3.E48.m1.1.1.1.1.1.1.2">1</cn><apply id="A3.E48.m1.1.1.1.1.1.1.3.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3"><times id="A3.E48.m1.1.1.1.1.1.1.3.1.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.1"></times><ci id="A3.E48.m1.1.1.1.1.1.1.3.2.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.2">𝐷</ci><apply id="A3.E48.m1.1.1.1.1.1.1.3.3.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.E48.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A3.E48.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.3.2">𝜆</ci><ci id="A3.E48.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A3.E48.m1.1.1.1.1.1.1.3.3.3">𝑘</ci></apply></apply></apply><ci id="A3.E48.m1.1.1.1.3.cmml" xref="A3.E48.m1.1.1.1.3">𝑚</ci></apply></apply></apply><apply id="A3.E48.m1.3.3.1.1.3.cmml" xref="A3.E48.m1.3.3.1.1.3"><plus id="A3.E48.m1.3.3.1.1.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.1"></plus><apply id="A3.E48.m1.3.3.1.1.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2"><times id="A3.E48.m1.3.3.1.1.3.2.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.1"></times><apply id="A3.E48.m1.3.3.1.1.3.2.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.2.2.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2">superscript</csymbol><ci id="A3.E48.m1.3.3.1.1.3.2.2.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2.2">𝐷</ci><apply id="A3.E48.m1.3.3.1.1.3.2.2.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2.3"><minus id="A3.E48.m1.3.3.1.1.3.2.2.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2.3"></minus><ci id="A3.E48.m1.3.3.1.1.3.2.2.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.2.3.2">𝑚</ci></apply></apply><apply id="A3.E48.m1.3.3.1.1.3.2.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3"><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.2.3.1.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1">subscript</csymbol><sum id="A3.E48.m1.3.3.1.1.3.2.3.1.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.2"></sum><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3"><and id="A3.E48.m1.3.3.1.1.3.2.3.1.3a.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3"></and><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.3b.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3"><leq id="A3.E48.m1.3.3.1.1.3.2.3.1.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.3"></leq><cn id="A3.E48.m1.3.3.1.1.3.2.3.1.3.2.cmml" type="integer" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.2">1</cn><ci id="A3.E48.m1.3.3.1.1.3.2.3.1.3.4.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.4">𝑘</ci></apply><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.3c.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3"><leq id="A3.E48.m1.3.3.1.1.3.2.3.1.3.5.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.5"></leq><share href="#A3.E48.m1.3.3.1.1.3.2.3.1.3.4.cmml" id="A3.E48.m1.3.3.1.1.3.2.3.1.3d.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3"></share><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6">superscript</csymbol><ci id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.2">𝐷</ci><apply id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3"><divide id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.1"></divide><cn id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.2.cmml" type="integer" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.2">1</cn><ci id="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.1.3.6.3.3">𝛽</ci></apply></apply></apply></apply></apply><apply id="A3.E48.m1.3.3.1.1.3.2.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.2"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.2.3.2.1.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.2">superscript</csymbol><ci id="A3.E48.m1.3.3.1.1.3.2.3.2.2.cmml" xref="A3.E48.m1.3.3.1.1.3.2.3.2.2">𝑘</ci><apply id="A3.E48.m1.2.2.1.cmml" xref="A3.E48.m1.2.2.1"><times id="A3.E48.m1.2.2.1.2.cmml" xref="A3.E48.m1.2.2.1.2"></times><apply id="A3.E48.m1.2.2.1.1.1.1.cmml" xref="A3.E48.m1.2.2.1.1.1"><minus id="A3.E48.m1.2.2.1.1.1.1.1.cmml" xref="A3.E48.m1.2.2.1.1.1.1.1"></minus><ci id="A3.E48.m1.2.2.1.1.1.1.2.cmml" xref="A3.E48.m1.2.2.1.1.1.1.2">𝑚</ci><ci id="A3.E48.m1.2.2.1.1.1.1.3.cmml" xref="A3.E48.m1.2.2.1.1.1.1.3">𝑛</ci></apply><ci id="A3.E48.m1.2.2.1.3.cmml" xref="A3.E48.m1.2.2.1.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.E48.m1.3.3.1.1.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3"><apply id="A3.E48.m1.3.3.1.1.3.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.3.1.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1">subscript</csymbol><sum id="A3.E48.m1.3.3.1.1.3.3.1.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.2"></sum><apply id="A3.E48.m1.3.3.1.1.3.3.1.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3"><gt id="A3.E48.m1.3.3.1.1.3.3.1.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.1"></gt><ci id="A3.E48.m1.3.3.1.1.3.3.1.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.2">𝑘</ci><apply id="A3.E48.m1.3.3.1.1.3.3.1.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.3.1.3.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3">superscript</csymbol><ci id="A3.E48.m1.3.3.1.1.3.3.1.3.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.2">𝐷</ci><apply id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3"><divide id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.1"></divide><cn id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.2.cmml" type="integer" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.2">1</cn><ci id="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.1.3.3.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.E48.m1.3.3.1.1.3.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2"><csymbol cd="ambiguous" id="A3.E48.m1.3.3.1.1.3.3.2.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2">superscript</csymbol><ci id="A3.E48.m1.3.3.1.1.3.3.2.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.2">𝑘</ci><apply id="A3.E48.m1.3.3.1.1.3.3.2.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3"><minus id="A3.E48.m1.3.3.1.1.3.3.2.3.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3"></minus><apply id="A3.E48.m1.3.3.1.1.3.3.2.3.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2"><times id="A3.E48.m1.3.3.1.1.3.3.2.3.2.1.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.1"></times><ci id="A3.E48.m1.3.3.1.1.3.3.2.3.2.2.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.2">𝑛</ci><ci id="A3.E48.m1.3.3.1.1.3.3.2.3.2.3.cmml" xref="A3.E48.m1.3.3.1.1.3.3.2.3.2.3">𝛽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E48.m1.3c">\displaystyle\sum_{k=1}^{\infty}\frac{\lambda_{k}^{n}}{(1+D\lambda_{k})^{m}}% \asymp D^{-m}\sum_{1\leq k\leq D^{1/\beta}}k^{(m-n)\beta}+\sum_{k>D^{1/\beta}}% k^{-n\beta}.</annotation><annotation encoding="application/x-llamapun" id="A3.E48.m1.3d">∑ start_POSTSUBSCRIPT italic_k = 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ∞ end_POSTSUPERSCRIPT divide start_ARG italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_n end_POSTSUPERSCRIPT end_ARG start_ARG ( 1 + italic_D italic_λ start_POSTSUBSCRIPT italic_k end_POSTSUBSCRIPT ) start_POSTSUPERSCRIPT italic_m end_POSTSUPERSCRIPT end_ARG ≍ italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT ∑ start_POSTSUBSCRIPT 1 ≤ italic_k ≤ italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUBSCRIPT italic_k start_POSTSUPERSCRIPT ( italic_m - italic_n ) italic_β end_POSTSUPERSCRIPT + ∑ start_POSTSUBSCRIPT italic_k > italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUBSCRIPT italic_k start_POSTSUPERSCRIPT - italic_n italic_β end_POSTSUPERSCRIPT .</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> <td class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right" rowspan="1"><span class="ltx_tag ltx_tag_equation ltx_align_right">(48)</span></td> </tr></tbody> </table> <p class="ltx_p" id="A3.1.p1.4">By comparing with the corresponding integral, one can write the first sum in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.E48" title="48 ‣ Proof. ‣ Appendix C Technical Lemmas ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">48</span></a>) as</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx52"> <tbody id="A3.Ex13"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}D^{-m}\sum_{1\leq k\leq D^{1/\beta}}k^{(m-n)\beta}&% \asymp D^{-m}\int_{1}^{D^{1/\beta}}u^{(m-n)\beta}\mathrm{d}u\\ &\asymp D^{-m}\begin{cases}(D^{1/\beta})^{1+(m-n)\beta}=D^{-(n-1/\beta)},&% \mbox{ if }n-1/\beta<m,\\ \log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else.}\end{cases}\\ &=\begin{cases}D^{-(n-1/\beta)},&\mbox{ if }n-1/\beta<m,\\ D^{-m}\log D,&\mbox{ if }m=n-1/\beta,\\ D^{-m},&\mbox{ else.}\end{cases}\\ &=D^{-c}\begin{cases}\log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else,}\end{cases}\end{split}" class="ltx_Math" display="inline" id="A3.Ex13.m1.42"><semantics id="A3.Ex13.m1.42a"><mtable columnspacing="0pt" id="A3.Ex13.m1.42.42a" rowspacing="0pt" xref="A3.Ex13.m1.42.43.1.cmml"><mtr id="A3.Ex13.m1.42.42aa" xref="A3.Ex13.m1.42.43.1.cmml"><mtd class="ltx_align_right" columnalign="right" id="A3.Ex13.m1.42.42ab" xref="A3.Ex13.m1.42.43.1.cmml"><mrow id="A3.Ex13.m1.22.22.22.6.6a" xref="A3.Ex13.m1.42.43.1.cmml"><msup id="A3.Ex13.m1.22.22.22.6.6a.8" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.17.17.17.1.1.1" xref="A3.Ex13.m1.17.17.17.1.1.1.cmml">D</mi><mrow id="A3.Ex13.m1.18.18.18.2.2.2.1" xref="A3.Ex13.m1.18.18.18.2.2.2.1.cmml"><mo id="A3.Ex13.m1.18.18.18.2.2.2.1a" xref="A3.Ex13.m1.18.18.18.2.2.2.1.cmml">−</mo><mi id="A3.Ex13.m1.18.18.18.2.2.2.1.2" xref="A3.Ex13.m1.18.18.18.2.2.2.1.2.cmml">m</mi></mrow></msup><mo id="A3.Ex13.m1.22.22.22.6.6a.7" xref="A3.Ex13.m1.42.43.1a.cmml">⁢</mo><mrow id="A3.Ex13.m1.22.22.22.6.6a.9" xref="A3.Ex13.m1.42.43.1.cmml"><mstyle displaystyle="true" id="A3.Ex13.m1.22.22.22.6.6a.9.1" xref="A3.Ex13.m1.42.43.1.cmml"><munder id="A3.Ex13.m1.22.22.22.6.6a.9.1a" xref="A3.Ex13.m1.42.43.1.cmml"><mo id="A3.Ex13.m1.19.19.19.3.3.3" movablelimits="false" xref="A3.Ex13.m1.19.19.19.3.3.3.cmml">∑</mo><mrow id="A3.Ex13.m1.20.20.20.4.4.4.1" xref="A3.Ex13.m1.20.20.20.4.4.4.1.cmml"><mn id="A3.Ex13.m1.20.20.20.4.4.4.1.2" xref="A3.Ex13.m1.20.20.20.4.4.4.1.2.cmml">1</mn><mo id="A3.Ex13.m1.20.20.20.4.4.4.1.3" xref="A3.Ex13.m1.20.20.20.4.4.4.1.3.cmml">≤</mo><mi id="A3.Ex13.m1.20.20.20.4.4.4.1.4" xref="A3.Ex13.m1.20.20.20.4.4.4.1.4.cmml">k</mi><mo id="A3.Ex13.m1.20.20.20.4.4.4.1.5" xref="A3.Ex13.m1.20.20.20.4.4.4.1.5.cmml">≤</mo><msup id="A3.Ex13.m1.20.20.20.4.4.4.1.6" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.cmml"><mi id="A3.Ex13.m1.20.20.20.4.4.4.1.6.2" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.2.cmml">D</mi><mrow id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.cmml"><mn id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.2" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.2.cmml">1</mn><mo id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.1" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.1.cmml">/</mo><mi id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.3" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.3.cmml">β</mi></mrow></msup></mrow></munder></mstyle><msup id="A3.Ex13.m1.22.22.22.6.6a.9.2" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.21.21.21.5.5.5" xref="A3.Ex13.m1.21.21.21.5.5.5.cmml">k</mi><mrow id="A3.Ex13.m1.22.22.22.6.6.6.1" xref="A3.Ex13.m1.22.22.22.6.6.6.1.cmml"><mrow id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.cmml"><mo id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.cmml">(</mo><mrow id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.cmml"><mi id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.2" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.2.cmml">m</mi><mo id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.1" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.1.cmml">−</mo><mi id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.3" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.cmml">)</mo></mrow><mo id="A3.Ex13.m1.22.22.22.6.6.6.1.2" xref="A3.Ex13.m1.22.22.22.6.6.6.1.2.cmml">⁢</mo><mi id="A3.Ex13.m1.22.22.22.6.6.6.1.3" xref="A3.Ex13.m1.22.22.22.6.6.6.1.3.cmml">β</mi></mrow></msup></mrow></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.42.42ac" xref="A3.Ex13.m1.42.43.1.cmml"><mrow id="A3.Ex13.m1.32.32.32.16.10a" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.32.32.32.16.10a.11" xref="A3.Ex13.m1.42.43.1a.cmml"></mi><mo id="A3.Ex13.m1.23.23.23.7.1.1" xref="A3.Ex13.m1.23.23.23.7.1.1.cmml">≍</mo><mrow id="A3.Ex13.m1.32.32.32.16.10a.12" xref="A3.Ex13.m1.42.43.1.cmml"><msup id="A3.Ex13.m1.32.32.32.16.10a.12.2" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.24.24.24.8.2.2" xref="A3.Ex13.m1.24.24.24.8.2.2.cmml">D</mi><mrow id="A3.Ex13.m1.25.25.25.9.3.3.1" xref="A3.Ex13.m1.25.25.25.9.3.3.1.cmml"><mo id="A3.Ex13.m1.25.25.25.9.3.3.1a" xref="A3.Ex13.m1.25.25.25.9.3.3.1.cmml">−</mo><mi id="A3.Ex13.m1.25.25.25.9.3.3.1.2" xref="A3.Ex13.m1.25.25.25.9.3.3.1.2.cmml">m</mi></mrow></msup><mo id="A3.Ex13.m1.32.32.32.16.10a.12.1" xref="A3.Ex13.m1.42.43.1a.cmml">⁢</mo><mrow id="A3.Ex13.m1.32.32.32.16.10a.12.3" xref="A3.Ex13.m1.42.43.1.cmml"><mstyle displaystyle="true" id="A3.Ex13.m1.32.32.32.16.10a.12.3.1" xref="A3.Ex13.m1.42.43.1.cmml"><msubsup id="A3.Ex13.m1.32.32.32.16.10a.12.3.1a" xref="A3.Ex13.m1.42.43.1.cmml"><mo id="A3.Ex13.m1.26.26.26.10.4.4" xref="A3.Ex13.m1.26.26.26.10.4.4.cmml">∫</mo><mn id="A3.Ex13.m1.27.27.27.11.5.5.1" xref="A3.Ex13.m1.27.27.27.11.5.5.1.cmml">1</mn><msup id="A3.Ex13.m1.28.28.28.12.6.6.1" xref="A3.Ex13.m1.28.28.28.12.6.6.1.cmml"><mi id="A3.Ex13.m1.28.28.28.12.6.6.1.2" xref="A3.Ex13.m1.28.28.28.12.6.6.1.2.cmml">D</mi><mrow id="A3.Ex13.m1.28.28.28.12.6.6.1.3" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.cmml"><mn id="A3.Ex13.m1.28.28.28.12.6.6.1.3.2" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.2.cmml">1</mn><mo id="A3.Ex13.m1.28.28.28.12.6.6.1.3.1" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.1.cmml">/</mo><mi id="A3.Ex13.m1.28.28.28.12.6.6.1.3.3" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.3.cmml">β</mi></mrow></msup></msubsup></mstyle><mrow id="A3.Ex13.m1.32.32.32.16.10a.12.3.2" xref="A3.Ex13.m1.42.43.1.cmml"><msup id="A3.Ex13.m1.32.32.32.16.10a.12.3.2.2" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.29.29.29.13.7.7" xref="A3.Ex13.m1.29.29.29.13.7.7.cmml">u</mi><mrow id="A3.Ex13.m1.30.30.30.14.8.8.1" xref="A3.Ex13.m1.30.30.30.14.8.8.1.cmml"><mrow id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.cmml"><mo id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.cmml">(</mo><mrow id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.cmml"><mi id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.2" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.2.cmml">m</mi><mo id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.1" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.1.cmml">−</mo><mi id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.3" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.cmml">)</mo></mrow><mo id="A3.Ex13.m1.30.30.30.14.8.8.1.2" xref="A3.Ex13.m1.30.30.30.14.8.8.1.2.cmml">⁢</mo><mi id="A3.Ex13.m1.30.30.30.14.8.8.1.3" xref="A3.Ex13.m1.30.30.30.14.8.8.1.3.cmml">β</mi></mrow></msup><mo id="A3.Ex13.m1.32.32.32.16.10a.12.3.2.1" lspace="0em" xref="A3.Ex13.m1.42.43.1a.cmml">⁢</mo><mrow id="A3.Ex13.m1.32.32.32.16.10a.12.3.2.3" xref="A3.Ex13.m1.42.43.1.cmml"><mo id="A3.Ex13.m1.31.31.31.15.9.9" rspace="0em" xref="A3.Ex13.m1.31.31.31.15.9.9.cmml">d</mo><mi id="A3.Ex13.m1.32.32.32.16.10.10" xref="A3.Ex13.m1.32.32.32.16.10.10.cmml">u</mi></mrow></mrow></mrow></mrow></mrow></mtd></mtr><mtr id="A3.Ex13.m1.42.42ad" xref="A3.Ex13.m1.42.43.1.cmml"><mtd id="A3.Ex13.m1.42.42ae" xref="A3.Ex13.m1.42.43.1a.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.42.42af" xref="A3.Ex13.m1.42.43.1.cmml"><mrow id="A3.Ex13.m1.36.36.36.10.10a" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.36.36.36.10.10a.11" xref="A3.Ex13.m1.42.43.1a.cmml"></mi><mo id="A3.Ex13.m1.33.33.33.7.7.7" xref="A3.Ex13.m1.33.33.33.7.7.7.cmml">≍</mo><mrow id="A3.Ex13.m1.36.36.36.10.10a.12" xref="A3.Ex13.m1.42.43.1.cmml"><msup id="A3.Ex13.m1.36.36.36.10.10a.12.2" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.34.34.34.8.8.8" xref="A3.Ex13.m1.34.34.34.8.8.8.cmml">D</mi><mrow id="A3.Ex13.m1.35.35.35.9.9.9.1" xref="A3.Ex13.m1.35.35.35.9.9.9.1.cmml"><mo id="A3.Ex13.m1.35.35.35.9.9.9.1a" xref="A3.Ex13.m1.35.35.35.9.9.9.1.cmml">−</mo><mi id="A3.Ex13.m1.35.35.35.9.9.9.1.2" xref="A3.Ex13.m1.35.35.35.9.9.9.1.2.cmml">m</mi></mrow></msup><mo id="A3.Ex13.m1.36.36.36.10.10a.12.1" xref="A3.Ex13.m1.42.43.1a.cmml">⁢</mo><mrow id="A3.Ex13.m1.6.6.6.6.6.6a" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mo id="A3.Ex13.m1.6.6.6.6.6.6a.7" xref="A3.Ex13.m1.36.36.36.10.10.10.1.1.cmml">{</mo><mtable columnspacing="5pt" id="A3.Ex13.m1.6.6.6.6.6.6.6a" rowspacing="0pt" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mtr id="A3.Ex13.m1.6.6.6.6.6.6.6aa" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6ab" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml"><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml"><msup id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.cmml"><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.cmml"><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.cmml">(</mo><msup id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.cmml"><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.2.cmml">D</mi><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.cmml"><mn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.2.cmml">1</mn><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.1.cmml">/</mo><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.3.cmml">β</mi></mrow></msup><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">1</mn><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">+</mo><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">m</mi><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">n</mi></mrow><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">⁢</mo><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">β</mi></mrow></mrow></msup><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.2.cmml">=</mo><msup id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.cmml"><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.2.cmml">D</mi><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml"><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1a" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml">−</mo><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml"><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml">(</mo><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml"><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.2.cmml">n</mi><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.1.cmml">−</mo><mrow id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.cmml"><mn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.2.cmml">1</mn><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.1" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.1.cmml">/</mo><mi id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.3" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6ac" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mrow id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.cmml"><mrow id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.cmml"><mtext id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2a.cmml"> if </mtext><mo id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.1.cmml">⁢</mo><mi id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.3" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.3.cmml">n</mi></mrow><mo id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.1.cmml">−</mo><mrow id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.cmml"><mn id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.2" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.2.cmml">1</mn><mo id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.1.cmml">/</mo><mi id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.3" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.1" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.1.cmml"><</mo><mi id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.3" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.3.cmml">m</mi></mrow><mo id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.2" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex13.m1.6.6.6.6.6.6.6ad" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6ae" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mrow id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml"><mrow id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml"><mi id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.1" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.cmml">log</mi><mo id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1a" lspace="0.167em" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml">⁡</mo><mi id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.2" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.2.cmml">D</mi></mrow><mo id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.2" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6af" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mrow id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.cmml"><mtext id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2a.cmml"> if </mtext><mo id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.1.cmml">⁢</mo><mi id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.3" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.3.cmml">m</mi></mrow><mo id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.1.cmml">=</mo><mrow id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.cmml"><mi id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.2" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.2.cmml">n</mi><mo id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.1.cmml">−</mo><mrow id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.cmml"><mn id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.2" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.2.cmml">1</mn><mo id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.1" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.1.cmml">/</mo><mi id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.3" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><mo id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.2" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex13.m1.6.6.6.6.6.6.6ag" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6ah" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mrow id="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.3" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mn id="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.1" xref="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.1.cmml">1</mn><mo id="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.3.1" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.6.6.6.6.6.6.6ai" xref="A3.Ex13.m1.36.36.36.10.10.10.1.cmml"><mtext id="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1" xref="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1a.cmml"> else.</mtext></mtd></mtr></mtable></mrow></mrow></mrow></mtd></mtr><mtr id="A3.Ex13.m1.42.42ag" xref="A3.Ex13.m1.42.43.1.cmml"><mtd id="A3.Ex13.m1.42.42ah" xref="A3.Ex13.m1.42.43.1a.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.42.42ai" xref="A3.Ex13.m1.42.43.1.cmml"><mrow id="A3.Ex13.m1.38.38.38.8.8a" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.38.38.38.8.8a.9" xref="A3.Ex13.m1.42.43.1a.cmml"></mi><mo id="A3.Ex13.m1.37.37.37.7.7.7" xref="A3.Ex13.m1.37.37.37.7.7.7.cmml">=</mo><mrow id="A3.Ex13.m1.12.12.12.6.6.6a" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mo id="A3.Ex13.m1.12.12.12.6.6.6a.7" xref="A3.Ex13.m1.38.38.38.8.8.8.1.1.cmml">{</mo><mtable columnspacing="5pt" id="A3.Ex13.m1.12.12.12.6.6.6.6a" rowspacing="0pt" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mtr id="A3.Ex13.m1.12.12.12.6.6.6.6aa" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6ab" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.cmml"><msup id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.cmml"><mi id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.2" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.2.cmml">D</mi><mrow id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.cmml"><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1a" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.2" stretchy="false" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">n</mi><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mn id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml">/</mo><mi id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.3" stretchy="false" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></msup><mo id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.2" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6ac" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.cmml"><mrow id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.cmml"><mtext id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2a.cmml"> if </mtext><mo id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.1.cmml">⁢</mo><mi id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.3" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.3.cmml">n</mi></mrow><mo id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.1.cmml">−</mo><mrow id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.cmml"><mn id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.2" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.2.cmml">1</mn><mo id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.1.cmml">/</mo><mi id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.3" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.1" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.1.cmml"><</mo><mi id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.3" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.3.cmml">m</mi></mrow><mo id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.2" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex13.m1.12.12.12.6.6.6.6ad" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6ae" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.cmml"><mrow id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.cmml"><msup id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.cmml"><mi id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.2" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.2.cmml">D</mi><mrow id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.cmml"><mo id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3a" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.cmml">−</mo><mi id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.2" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.2.cmml">m</mi></mrow></msup><mo id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.1" lspace="0.167em" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.1.cmml">⁢</mo><mrow id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.cmml"><mi id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.1" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.1.cmml">log</mi><mo id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3a" lspace="0.167em" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.cmml">⁡</mo><mi id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.2" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.2.cmml">D</mi></mrow></mrow><mo id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.2" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6af" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.cmml"><mtext id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2a.cmml"> if </mtext><mo id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.1.cmml">⁢</mo><mi id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.3" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.3.cmml">m</mi></mrow><mo id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.1.cmml">=</mo><mrow id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.cmml"><mi id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.2" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.2.cmml">n</mi><mo id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.1.cmml">−</mo><mrow id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.cmml"><mn id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.2" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.2.cmml">1</mn><mo id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.1" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.1.cmml">/</mo><mi id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.3" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><mo id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.2" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex13.m1.12.12.12.6.6.6.6ag" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6ah" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.cmml"><msup id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.cmml"><mi id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.2" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.2.cmml">D</mi><mrow id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.cmml"><mo id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3a" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.cmml">−</mo><mi id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.2" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.2.cmml">m</mi></mrow></msup><mo id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.2" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.12.12.12.6.6.6.6ai" xref="A3.Ex13.m1.38.38.38.8.8.8.1.cmml"><mtext id="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1" xref="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1a.cmml"> else.</mtext></mtd></mtr></mtable></mrow></mrow></mtd></mtr><mtr id="A3.Ex13.m1.42.42aj" xref="A3.Ex13.m1.42.43.1.cmml"><mtd id="A3.Ex13.m1.42.42ak" xref="A3.Ex13.m1.42.43.1a.cmml"></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.42.42al" xref="A3.Ex13.m1.42.43.1.cmml"><mrow id="A3.Ex13.m1.42.42.42.8.8a" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.42.42.42.8.8a.9" xref="A3.Ex13.m1.42.43.1a.cmml"></mi><mo id="A3.Ex13.m1.39.39.39.5.5.5" xref="A3.Ex13.m1.39.39.39.5.5.5.cmml">=</mo><mrow id="A3.Ex13.m1.42.42.42.8.8a.10" xref="A3.Ex13.m1.42.43.1.cmml"><msup id="A3.Ex13.m1.42.42.42.8.8a.10.2" xref="A3.Ex13.m1.42.43.1.cmml"><mi id="A3.Ex13.m1.40.40.40.6.6.6" xref="A3.Ex13.m1.40.40.40.6.6.6.cmml">D</mi><mrow id="A3.Ex13.m1.41.41.41.7.7.7.1" xref="A3.Ex13.m1.41.41.41.7.7.7.1.cmml"><mo id="A3.Ex13.m1.41.41.41.7.7.7.1a" xref="A3.Ex13.m1.41.41.41.7.7.7.1.cmml">−</mo><mi id="A3.Ex13.m1.41.41.41.7.7.7.1.2" xref="A3.Ex13.m1.41.41.41.7.7.7.1.2.cmml">c</mi></mrow></msup><mo id="A3.Ex13.m1.42.42.42.8.8a.10.1" xref="A3.Ex13.m1.42.43.1a.cmml">⁢</mo><mrow id="A3.Ex13.m1.16.16.16.4.4.4a" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mo id="A3.Ex13.m1.16.16.16.4.4.4a.5" xref="A3.Ex13.m1.42.42.42.8.8.8.1.1.cmml">{</mo><mtable columnspacing="5pt" id="A3.Ex13.m1.16.16.16.4.4.4.4a" rowspacing="0pt" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mtr id="A3.Ex13.m1.16.16.16.4.4.4.4aa" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.16.16.16.4.4.4.4ab" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.1.cmml">log</mi><mo id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1a" lspace="0.167em" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.cmml">⁡</mo><mi id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.2.cmml">D</mi></mrow><mo id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.2" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.16.16.16.4.4.4.4ac" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.cmml"><mrow id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.cmml"><mtext id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2a.cmml"> if </mtext><mo id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.1.cmml">⁢</mo><mi id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.3" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.3.cmml">m</mi></mrow><mo id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.1.cmml">=</mo><mrow id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.cmml"><mi id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.2" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.2.cmml">n</mi><mo id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.1.cmml">−</mo><mrow id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.cmml"><mn id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.2" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.2.cmml">1</mn><mo id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.1" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.1.cmml">/</mo><mi id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.3" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.3.cmml">β</mi></mrow></mrow></mrow><mo id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.2" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.cmml">,</mo></mrow></mtd></mtr><mtr id="A3.Ex13.m1.16.16.16.4.4.4.4ad" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.16.16.16.4.4.4.4ae" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mrow id="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.3" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mn id="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.1" xref="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.1.cmml">1</mn><mo id="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.3.1" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml">,</mo></mrow></mtd><mtd class="ltx_align_left" columnalign="left" id="A3.Ex13.m1.16.16.16.4.4.4.4af" xref="A3.Ex13.m1.42.42.42.8.8.8.1.cmml"><mtext id="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1" xref="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1a.cmml"> else,</mtext></mtd></mtr></mtable></mrow></mrow></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A3.Ex13.m1.42b"><apply id="A3.Ex13.m1.42.43.1.cmml" xref="A3.Ex13.m1.42.42a"><and id="A3.Ex13.m1.42.43.1a.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></and><apply id="A3.Ex13.m1.42.43.1b.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="latexml" id="A3.Ex13.m1.23.23.23.7.1.1.cmml" xref="A3.Ex13.m1.23.23.23.7.1.1">asymptotically-equals</csymbol><apply id="A3.Ex13.m1.42.43.1.2.cmml" xref="A3.Ex13.m1.42.42a"><times id="A3.Ex13.m1.42.43.1.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></times><apply id="A3.Ex13.m1.42.43.1.2.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.2.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.17.17.17.1.1.1.cmml" xref="A3.Ex13.m1.17.17.17.1.1.1">𝐷</ci><apply id="A3.Ex13.m1.18.18.18.2.2.2.1.cmml" xref="A3.Ex13.m1.18.18.18.2.2.2.1"><minus id="A3.Ex13.m1.18.18.18.2.2.2.1.1.cmml" xref="A3.Ex13.m1.18.18.18.2.2.2.1"></minus><ci id="A3.Ex13.m1.18.18.18.2.2.2.1.2.cmml" xref="A3.Ex13.m1.18.18.18.2.2.2.1.2">𝑚</ci></apply></apply><apply id="A3.Ex13.m1.42.43.1.2.3.cmml" xref="A3.Ex13.m1.42.42a"><apply id="A3.Ex13.m1.42.43.1.2.3.1.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.2.3.1.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">subscript</csymbol><sum id="A3.Ex13.m1.19.19.19.3.3.3.cmml" xref="A3.Ex13.m1.19.19.19.3.3.3"></sum><apply id="A3.Ex13.m1.20.20.20.4.4.4.1.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1"><and id="A3.Ex13.m1.20.20.20.4.4.4.1a.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1"></and><apply id="A3.Ex13.m1.20.20.20.4.4.4.1b.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1"><leq id="A3.Ex13.m1.20.20.20.4.4.4.1.3.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.3"></leq><cn id="A3.Ex13.m1.20.20.20.4.4.4.1.2.cmml" type="integer" xref="A3.Ex13.m1.20.20.20.4.4.4.1.2">1</cn><ci id="A3.Ex13.m1.20.20.20.4.4.4.1.4.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.4">𝑘</ci></apply><apply id="A3.Ex13.m1.20.20.20.4.4.4.1c.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1"><leq id="A3.Ex13.m1.20.20.20.4.4.4.1.5.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.5"></leq><share href="#A3.Ex13.m1.20.20.20.4.4.4.1.4.cmml" id="A3.Ex13.m1.20.20.20.4.4.4.1d.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1"></share><apply id="A3.Ex13.m1.20.20.20.4.4.4.1.6.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6"><csymbol cd="ambiguous" id="A3.Ex13.m1.20.20.20.4.4.4.1.6.1.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6">superscript</csymbol><ci id="A3.Ex13.m1.20.20.20.4.4.4.1.6.2.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.2">𝐷</ci><apply id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3"><divide id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.1.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.1"></divide><cn id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.2.cmml" type="integer" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.2">1</cn><ci id="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.3.cmml" xref="A3.Ex13.m1.20.20.20.4.4.4.1.6.3.3">𝛽</ci></apply></apply></apply></apply></apply><apply id="A3.Ex13.m1.42.43.1.2.3.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.2.3.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.21.21.21.5.5.5.cmml" xref="A3.Ex13.m1.21.21.21.5.5.5">𝑘</ci><apply id="A3.Ex13.m1.22.22.22.6.6.6.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1"><times id="A3.Ex13.m1.22.22.22.6.6.6.1.2.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.2"></times><apply id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1"><minus id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.1"></minus><ci id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.2.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.2">𝑚</ci><ci id="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.3.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.1.1.1.3">𝑛</ci></apply><ci id="A3.Ex13.m1.22.22.22.6.6.6.1.3.cmml" xref="A3.Ex13.m1.22.22.22.6.6.6.1.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex13.m1.42.43.1.4.cmml" xref="A3.Ex13.m1.42.42a"><times id="A3.Ex13.m1.42.43.1.4.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></times><apply id="A3.Ex13.m1.42.43.1.4.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.4.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.24.24.24.8.2.2.cmml" xref="A3.Ex13.m1.24.24.24.8.2.2">𝐷</ci><apply id="A3.Ex13.m1.25.25.25.9.3.3.1.cmml" xref="A3.Ex13.m1.25.25.25.9.3.3.1"><minus id="A3.Ex13.m1.25.25.25.9.3.3.1.1.cmml" xref="A3.Ex13.m1.25.25.25.9.3.3.1"></minus><ci id="A3.Ex13.m1.25.25.25.9.3.3.1.2.cmml" xref="A3.Ex13.m1.25.25.25.9.3.3.1.2">𝑚</ci></apply></apply><apply id="A3.Ex13.m1.42.43.1.4.3.cmml" xref="A3.Ex13.m1.42.42a"><apply id="A3.Ex13.m1.42.43.1.4.3.1.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.4.3.1.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><apply id="A3.Ex13.m1.42.43.1.4.3.1.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.4.3.1.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">subscript</csymbol><int id="A3.Ex13.m1.26.26.26.10.4.4.cmml" xref="A3.Ex13.m1.26.26.26.10.4.4"></int><cn id="A3.Ex13.m1.27.27.27.11.5.5.1.cmml" type="integer" xref="A3.Ex13.m1.27.27.27.11.5.5.1">1</cn></apply><apply id="A3.Ex13.m1.28.28.28.12.6.6.1.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.28.28.28.12.6.6.1.1.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1">superscript</csymbol><ci id="A3.Ex13.m1.28.28.28.12.6.6.1.2.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1.2">𝐷</ci><apply id="A3.Ex13.m1.28.28.28.12.6.6.1.3.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3"><divide id="A3.Ex13.m1.28.28.28.12.6.6.1.3.1.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.1"></divide><cn id="A3.Ex13.m1.28.28.28.12.6.6.1.3.2.cmml" type="integer" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.2">1</cn><ci id="A3.Ex13.m1.28.28.28.12.6.6.1.3.3.cmml" xref="A3.Ex13.m1.28.28.28.12.6.6.1.3.3">𝛽</ci></apply></apply></apply><apply id="A3.Ex13.m1.42.43.1.4.3.2.cmml" xref="A3.Ex13.m1.42.42a"><times id="A3.Ex13.m1.42.43.1.4.3.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></times><apply id="A3.Ex13.m1.42.43.1.4.3.2.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.4.3.2.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.29.29.29.13.7.7.cmml" xref="A3.Ex13.m1.29.29.29.13.7.7">𝑢</ci><apply id="A3.Ex13.m1.30.30.30.14.8.8.1.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1"><times id="A3.Ex13.m1.30.30.30.14.8.8.1.2.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.2"></times><apply id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1"><minus id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.1.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.1"></minus><ci id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.2.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.2">𝑚</ci><ci id="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.3.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.1.1.1.3">𝑛</ci></apply><ci id="A3.Ex13.m1.30.30.30.14.8.8.1.3.cmml" xref="A3.Ex13.m1.30.30.30.14.8.8.1.3">𝛽</ci></apply></apply><apply id="A3.Ex13.m1.42.43.1.4.3.2.3.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="latexml" id="A3.Ex13.m1.31.31.31.15.9.9.cmml" xref="A3.Ex13.m1.31.31.31.15.9.9">differential-d</csymbol><ci id="A3.Ex13.m1.32.32.32.16.10.10.cmml" xref="A3.Ex13.m1.32.32.32.16.10.10">𝑢</ci></apply></apply></apply></apply></apply><apply id="A3.Ex13.m1.42.43.1c.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="latexml" id="A3.Ex13.m1.33.33.33.7.7.7.cmml" xref="A3.Ex13.m1.33.33.33.7.7.7">asymptotically-equals</csymbol><share href="#A3.Ex13.m1.42.43.1.4.cmml" id="A3.Ex13.m1.42.43.1d.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></share><apply id="A3.Ex13.m1.42.43.1.6.cmml" xref="A3.Ex13.m1.42.42a"><times id="A3.Ex13.m1.42.43.1.6.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></times><apply id="A3.Ex13.m1.42.43.1.6.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.6.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.34.34.34.8.8.8.cmml" xref="A3.Ex13.m1.34.34.34.8.8.8">𝐷</ci><apply id="A3.Ex13.m1.35.35.35.9.9.9.1.cmml" xref="A3.Ex13.m1.35.35.35.9.9.9.1"><minus id="A3.Ex13.m1.35.35.35.9.9.9.1.1.cmml" xref="A3.Ex13.m1.35.35.35.9.9.9.1"></minus><ci id="A3.Ex13.m1.35.35.35.9.9.9.1.2.cmml" xref="A3.Ex13.m1.35.35.35.9.9.9.1.2">𝑚</ci></apply></apply><apply id="A3.Ex13.m1.36.36.36.10.10.10.1.cmml" xref="A3.Ex13.m1.6.6.6.6.6.6a"><csymbol cd="latexml" id="A3.Ex13.m1.36.36.36.10.10.10.1.1.cmml" xref="A3.Ex13.m1.6.6.6.6.6.6a.7">cases</csymbol><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3"><eq id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.2"></eq><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1">superscript</csymbol><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1">superscript</csymbol><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.2">𝐷</ci><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3"><divide id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.1"></divide><cn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.2.cmml" type="integer" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.2">1</cn><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.1.1.1.1.3.3">𝛽</ci></apply></apply><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1"><plus id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.2"></plus><cn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" type="integer" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.3">1</cn><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1"><times id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.2"></times><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"><minus id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1"></minus><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑚</ci><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝑛</ci></apply><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝛽</ci></apply></apply></apply><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3"><csymbol cd="ambiguous" id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3">superscript</csymbol><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.3.1.3.2">𝐷</ci><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1"><minus id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1"></minus><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1"><minus id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.1"></minus><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.2">𝑛</ci><apply id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3"><divide id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.1"></divide><cn id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.2.cmml" type="integer" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.2">1</cn><ci id="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.3.cmml" xref="A3.Ex13.m1.1.1.1.1.1.1.1.1.1.1.2.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply><apply id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1"><lt id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.1.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.1"></lt><apply id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2"><minus id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.1.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.1"></minus><apply id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2"><times id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.1.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.1"></times><ci id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2a.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2"><mtext id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.2"> if </mtext></ci><ci id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.3.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.2.3">𝑛</ci></apply><apply id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3"><divide id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.1.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.1"></divide><cn id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.2.cmml" type="integer" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.2">1</cn><ci id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.3.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.2.3.3">𝛽</ci></apply></apply><ci id="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.3.cmml" xref="A3.Ex13.m1.2.2.2.2.2.2.2.2.2.1.1.1.3">𝑚</ci></apply><apply id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.cmml" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1"><log id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.1.cmml" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.1"></log><ci id="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.2.cmml" xref="A3.Ex13.m1.3.3.3.3.3.3.3.3.1.1.1.1.2">𝐷</ci></apply><apply id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1"><eq id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.1.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.1"></eq><apply id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2"><times id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.1.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.1"></times><ci id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2a.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2"><mtext id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.2"> if </mtext></ci><ci id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.3.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.2.3">𝑚</ci></apply><apply id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3"><minus id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.1.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.1"></minus><ci id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.2.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.2">𝑛</ci><apply id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3"><divide id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.1.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.1"></divide><cn id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.2.cmml" type="integer" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.2">1</cn><ci id="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.3.cmml" xref="A3.Ex13.m1.4.4.4.4.4.4.4.4.2.1.1.1.3.3.3">𝛽</ci></apply></apply></apply><cn id="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.1.cmml" type="integer" xref="A3.Ex13.m1.5.5.5.5.5.5.5.5.1.1.1">1</cn><ci id="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1a.cmml" xref="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1"><mtext id="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1.cmml" xref="A3.Ex13.m1.6.6.6.6.6.6.6.6.2.1"> else.</mtext></ci></apply></apply></apply><apply id="A3.Ex13.m1.42.43.1e.cmml" xref="A3.Ex13.m1.42.42a"><eq id="A3.Ex13.m1.37.37.37.7.7.7.cmml" xref="A3.Ex13.m1.37.37.37.7.7.7"></eq><share href="#A3.Ex13.m1.42.43.1.6.cmml" id="A3.Ex13.m1.42.43.1f.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></share><apply id="A3.Ex13.m1.38.38.38.8.8.8.1.cmml" xref="A3.Ex13.m1.12.12.12.6.6.6a"><csymbol cd="latexml" id="A3.Ex13.m1.38.38.38.8.8.8.1.1.cmml" xref="A3.Ex13.m1.12.12.12.6.6.6a.7">cases</csymbol><apply id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.2.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.2.1.2">𝐷</ci><apply id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1"><minus id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1"></minus><apply id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1"><minus id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.1"></minus><ci id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑛</ci><apply id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3"><divide id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.1"></divide><cn id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" type="integer" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.2">1</cn><ci id="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.Ex13.m1.7.7.7.1.1.1.1.1.1.1.1.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1"><lt id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.1.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.1"></lt><apply id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2"><minus id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.1.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.1"></minus><apply id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2"><times id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.1.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.1"></times><ci id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2a.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2"><mtext id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.2"> if </mtext></ci><ci id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.3.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.2.3">𝑛</ci></apply><apply id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3"><divide id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.1.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.1"></divide><cn id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.2.cmml" type="integer" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.2">1</cn><ci id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.3.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.2.3.3">𝛽</ci></apply></apply><ci id="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.3.cmml" xref="A3.Ex13.m1.8.8.8.2.2.2.2.2.2.1.1.1.3">𝑚</ci></apply><apply id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1"><times id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.1.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.1"></times><apply id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.1.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.2.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.2">𝐷</ci><apply id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3"><minus id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.1.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3"></minus><ci id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.2.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.2.3.2">𝑚</ci></apply></apply><apply id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3"><log id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.1"></log><ci id="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.2.cmml" xref="A3.Ex13.m1.9.9.9.3.3.3.3.3.1.1.1.1.3.2">𝐷</ci></apply></apply><apply id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1"><eq id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.1.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.1"></eq><apply id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2"><times id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.1.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.1"></times><ci id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2a.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2"><mtext id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.2"> if </mtext></ci><ci id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.3.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.2.3">𝑚</ci></apply><apply id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3"><minus id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.1.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.1"></minus><ci id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.2.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.2">𝑛</ci><apply id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3"><divide id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.1.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.1"></divide><cn id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.2.cmml" type="integer" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.2">1</cn><ci id="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.3.cmml" xref="A3.Ex13.m1.10.10.10.4.4.4.4.4.2.1.1.1.3.3.3">𝛽</ci></apply></apply></apply><apply id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1"><csymbol cd="ambiguous" id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.1.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1">superscript</csymbol><ci id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.2.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.2">𝐷</ci><apply id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3"><minus id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.1.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3"></minus><ci id="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.2.cmml" xref="A3.Ex13.m1.11.11.11.5.5.5.5.5.1.1.1.1.3.2">𝑚</ci></apply></apply><ci id="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1a.cmml" xref="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1"><mtext id="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1.cmml" xref="A3.Ex13.m1.12.12.12.6.6.6.6.6.2.1"> else.</mtext></ci></apply></apply><apply id="A3.Ex13.m1.42.43.1g.cmml" xref="A3.Ex13.m1.42.42a"><eq id="A3.Ex13.m1.39.39.39.5.5.5.cmml" xref="A3.Ex13.m1.39.39.39.5.5.5"></eq><share href="#A3.Ex13.m1.42.43.1.8.cmml" id="A3.Ex13.m1.42.43.1h.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></share><apply id="A3.Ex13.m1.42.43.1.10.cmml" xref="A3.Ex13.m1.42.42a"><times id="A3.Ex13.m1.42.43.1.10.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7"></times><apply id="A3.Ex13.m1.42.43.1.10.2.cmml" xref="A3.Ex13.m1.42.42a"><csymbol cd="ambiguous" id="A3.Ex13.m1.42.43.1.10.2.1.cmml" xref="A3.Ex13.m1.22.22.22.6.6a.7">superscript</csymbol><ci id="A3.Ex13.m1.40.40.40.6.6.6.cmml" xref="A3.Ex13.m1.40.40.40.6.6.6">𝐷</ci><apply id="A3.Ex13.m1.41.41.41.7.7.7.1.cmml" xref="A3.Ex13.m1.41.41.41.7.7.7.1"><minus id="A3.Ex13.m1.41.41.41.7.7.7.1.1.cmml" xref="A3.Ex13.m1.41.41.41.7.7.7.1"></minus><ci id="A3.Ex13.m1.41.41.41.7.7.7.1.2.cmml" xref="A3.Ex13.m1.41.41.41.7.7.7.1.2">𝑐</ci></apply></apply><apply id="A3.Ex13.m1.42.42.42.8.8.8.1.cmml" xref="A3.Ex13.m1.16.16.16.4.4.4a"><csymbol cd="latexml" id="A3.Ex13.m1.42.42.42.8.8.8.1.1.cmml" xref="A3.Ex13.m1.16.16.16.4.4.4a.5">cases</csymbol><apply id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1"><log id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.1"></log><ci id="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex13.m1.13.13.13.1.1.1.1.1.1.1.1.1.2">𝐷</ci></apply><apply id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1"><eq id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.1.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.1"></eq><apply id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2"><times id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.1.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.1"></times><ci id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2a.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2"><mtext id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.2"> if </mtext></ci><ci id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.3.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.2.3">𝑚</ci></apply><apply id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3"><minus id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.1.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.1"></minus><ci id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.2.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.2">𝑛</ci><apply id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3"><divide id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.1.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.1"></divide><cn id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.2.cmml" type="integer" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.2">1</cn><ci id="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.3.cmml" xref="A3.Ex13.m1.14.14.14.2.2.2.2.2.2.1.1.1.3.3.3">𝛽</ci></apply></apply></apply><cn id="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.1.cmml" type="integer" xref="A3.Ex13.m1.15.15.15.3.3.3.3.3.1.1.1">1</cn><ci id="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1a.cmml" xref="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1"><mtext id="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1.cmml" xref="A3.Ex13.m1.16.16.16.4.4.4.4.4.2.1"> else,</mtext></ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex13.m1.42c">\displaystyle\begin{split}D^{-m}\sum_{1\leq k\leq D^{1/\beta}}k^{(m-n)\beta}&% \asymp D^{-m}\int_{1}^{D^{1/\beta}}u^{(m-n)\beta}\mathrm{d}u\\ &\asymp D^{-m}\begin{cases}(D^{1/\beta})^{1+(m-n)\beta}=D^{-(n-1/\beta)},&% \mbox{ if }n-1/\beta<m,\\ \log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else.}\end{cases}\\ &=\begin{cases}D^{-(n-1/\beta)},&\mbox{ if }n-1/\beta<m,\\ D^{-m}\log D,&\mbox{ if }m=n-1/\beta,\\ D^{-m},&\mbox{ else.}\end{cases}\\ &=D^{-c}\begin{cases}\log D,&\mbox{ if }m=n-1/\beta,\\ 1,&\mbox{ else,}\end{cases}\end{split}</annotation><annotation encoding="application/x-llamapun" id="A3.Ex13.m1.42d">start_ROW start_CELL italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT ∑ start_POSTSUBSCRIPT 1 ≤ italic_k ≤ italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUBSCRIPT italic_k start_POSTSUPERSCRIPT ( italic_m - italic_n ) italic_β end_POSTSUPERSCRIPT end_CELL start_CELL ≍ italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT ∫ start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT start_POSTSUPERSCRIPT italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUPERSCRIPT italic_u start_POSTSUPERSCRIPT ( italic_m - italic_n ) italic_β end_POSTSUPERSCRIPT roman_d italic_u end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL ≍ italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT { start_ROW start_CELL ( italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT ) start_POSTSUPERSCRIPT 1 + ( italic_m - italic_n ) italic_β end_POSTSUPERSCRIPT = italic_D start_POSTSUPERSCRIPT - ( italic_n - 1 / italic_β ) end_POSTSUPERSCRIPT , end_CELL start_CELL if italic_n - 1 / italic_β < italic_m , end_CELL end_ROW start_ROW start_CELL roman_log italic_D , end_CELL start_CELL if italic_m = italic_n - 1 / italic_β , end_CELL end_ROW start_ROW start_CELL 1 , end_CELL start_CELL else. end_CELL end_ROW end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = { start_ROW start_CELL italic_D start_POSTSUPERSCRIPT - ( italic_n - 1 / italic_β ) end_POSTSUPERSCRIPT , end_CELL start_CELL if italic_n - 1 / italic_β < italic_m , end_CELL end_ROW start_ROW start_CELL italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT roman_log italic_D , end_CELL start_CELL if italic_m = italic_n - 1 / italic_β , end_CELL end_ROW start_ROW start_CELL italic_D start_POSTSUPERSCRIPT - italic_m end_POSTSUPERSCRIPT , end_CELL start_CELL else. end_CELL end_ROW end_CELL end_ROW start_ROW start_CELL end_CELL start_CELL = italic_D start_POSTSUPERSCRIPT - italic_c end_POSTSUPERSCRIPT { start_ROW start_CELL roman_log italic_D , end_CELL start_CELL if italic_m = italic_n - 1 / italic_β , end_CELL end_ROW start_ROW start_CELL 1 , end_CELL start_CELL else, end_CELL end_ROW end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A3.1.p1.1">where <math alttext="c\geq 0" class="ltx_Math" display="inline" id="A3.1.p1.1.m1.1"><semantics id="A3.1.p1.1.m1.1a"><mrow id="A3.1.p1.1.m1.1.1" xref="A3.1.p1.1.m1.1.1.cmml"><mi id="A3.1.p1.1.m1.1.1.2" xref="A3.1.p1.1.m1.1.1.2.cmml">c</mi><mo id="A3.1.p1.1.m1.1.1.1" xref="A3.1.p1.1.m1.1.1.1.cmml">≥</mo><mn id="A3.1.p1.1.m1.1.1.3" xref="A3.1.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.1.p1.1.m1.1b"><apply id="A3.1.p1.1.m1.1.1.cmml" xref="A3.1.p1.1.m1.1.1"><geq id="A3.1.p1.1.m1.1.1.1.cmml" xref="A3.1.p1.1.m1.1.1.1"></geq><ci id="A3.1.p1.1.m1.1.1.2.cmml" xref="A3.1.p1.1.m1.1.1.2">𝑐</ci><cn id="A3.1.p1.1.m1.1.1.3.cmml" type="integer" xref="A3.1.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.1.p1.1.m1.1c">c\geq 0</annotation><annotation encoding="application/x-llamapun" id="A3.1.p1.1.m1.1d">italic_c ≥ 0</annotation></semantics></math> is as given in the lemma.</p> </div> <div class="ltx_para" id="A3.2.p2"> <p class="ltx_p" id="A3.2.p2.1">Analogously, one can write the second sum in (<a class="ltx_ref" href="https://arxiv.org/html/2402.07712v1#A3.E48" title="48 ‣ Proof. ‣ Appendix C Technical Lemmas ‣ Model Collapse Demystified: The Case of Regression"><span class="ltx_text ltx_ref_tag">48</span></a>) as</p> <table class="ltx_equationgroup ltx_eqn_eqnarray ltx_eqn_table" id="A3.EGx53"> <tbody id="A3.Ex14"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline"> <td class="ltx_eqn_cell ltx_eqn_center_padleft"></td> <td class="ltx_td ltx_align_right ltx_eqn_cell"><math alttext="\displaystyle\begin{split}\sum_{k>D^{1/\beta}}k^{-n\beta}\asymp\int_{D^{1/% \beta}}^{\infty}u^{-n\beta}\mathrm{d}u\asymp(D^{1/\beta})^{1-n\beta}=D^{-(n-1/% \beta)},\end{split}" class="ltx_Math" display="inline" id="A3.Ex14.m1.24"><semantics id="A3.Ex14.m1.24a"><mtable id="A3.Ex14.m1.24.24.2"><mtr id="A3.Ex14.m1.24.24.2a"><mtd class="ltx_align_right" columnalign="right" id="A3.Ex14.m1.24.24.2b"><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23"><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1"><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1.3"><mstyle displaystyle="true" id="A3.Ex14.m1.24.24.2.23.23.23.23.1.3.1"><munder id="A3.Ex14.m1.24.24.2.23.23.23.23.1.3.1a"><mo id="A3.Ex14.m1.1.1.1.1.1.1" movablelimits="false" xref="A3.Ex14.m1.1.1.1.1.1.1.cmml">∑</mo><mrow id="A3.Ex14.m1.2.2.2.2.2.2.1" xref="A3.Ex14.m1.2.2.2.2.2.2.1.cmml"><mi id="A3.Ex14.m1.2.2.2.2.2.2.1.2" xref="A3.Ex14.m1.2.2.2.2.2.2.1.2.cmml">k</mi><mo id="A3.Ex14.m1.2.2.2.2.2.2.1.1" xref="A3.Ex14.m1.2.2.2.2.2.2.1.1.cmml">></mo><msup id="A3.Ex14.m1.2.2.2.2.2.2.1.3" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.cmml"><mi id="A3.Ex14.m1.2.2.2.2.2.2.1.3.2" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.2.cmml">D</mi><mrow id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.cmml"><mn id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.2" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.2.cmml">1</mn><mo id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.1" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.1.cmml">/</mo><mi id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.3" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.3.cmml">β</mi></mrow></msup></mrow></munder></mstyle><msup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.3.2"><mi id="A3.Ex14.m1.3.3.3.3.3.3" xref="A3.Ex14.m1.3.3.3.3.3.3.cmml">k</mi><mrow id="A3.Ex14.m1.4.4.4.4.4.4.1" xref="A3.Ex14.m1.4.4.4.4.4.4.1.cmml"><mo id="A3.Ex14.m1.4.4.4.4.4.4.1a" xref="A3.Ex14.m1.4.4.4.4.4.4.1.cmml">−</mo><mrow id="A3.Ex14.m1.4.4.4.4.4.4.1.2" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.cmml"><mi id="A3.Ex14.m1.4.4.4.4.4.4.1.2.2" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.2.cmml">n</mi><mo id="A3.Ex14.m1.4.4.4.4.4.4.1.2.1" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.1.cmml">⁢</mo><mi id="A3.Ex14.m1.4.4.4.4.4.4.1.2.3" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.3.cmml">β</mi></mrow></mrow></msup></mrow><mo id="A3.Ex14.m1.5.5.5.5.5.5" xref="A3.Ex14.m1.5.5.5.5.5.5.cmml">≍</mo><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4"><mstyle displaystyle="true" id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.1"><msubsup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.1a"><mo id="A3.Ex14.m1.6.6.6.6.6.6" xref="A3.Ex14.m1.6.6.6.6.6.6.cmml">∫</mo><msup id="A3.Ex14.m1.7.7.7.7.7.7.1" xref="A3.Ex14.m1.7.7.7.7.7.7.1.cmml"><mi id="A3.Ex14.m1.7.7.7.7.7.7.1.2" xref="A3.Ex14.m1.7.7.7.7.7.7.1.2.cmml">D</mi><mrow id="A3.Ex14.m1.7.7.7.7.7.7.1.3" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.cmml"><mn id="A3.Ex14.m1.7.7.7.7.7.7.1.3.2" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.2.cmml">1</mn><mo id="A3.Ex14.m1.7.7.7.7.7.7.1.3.1" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.1.cmml">/</mo><mi id="A3.Ex14.m1.7.7.7.7.7.7.1.3.3" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.3.cmml">β</mi></mrow></msup><mi id="A3.Ex14.m1.8.8.8.8.8.8.1" mathvariant="normal" xref="A3.Ex14.m1.8.8.8.8.8.8.1.cmml">∞</mi></msubsup></mstyle><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2"><msup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.2"><mi id="A3.Ex14.m1.9.9.9.9.9.9" xref="A3.Ex14.m1.9.9.9.9.9.9.cmml">u</mi><mrow id="A3.Ex14.m1.10.10.10.10.10.10.1" xref="A3.Ex14.m1.10.10.10.10.10.10.1.cmml"><mo id="A3.Ex14.m1.10.10.10.10.10.10.1a" xref="A3.Ex14.m1.10.10.10.10.10.10.1.cmml">−</mo><mrow id="A3.Ex14.m1.10.10.10.10.10.10.1.2" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.cmml"><mi id="A3.Ex14.m1.10.10.10.10.10.10.1.2.2" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.2.cmml">n</mi><mo id="A3.Ex14.m1.10.10.10.10.10.10.1.2.1" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.1.cmml">⁢</mo><mi id="A3.Ex14.m1.10.10.10.10.10.10.1.2.3" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.3.cmml">β</mi></mrow></mrow></msup><mo id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1" lspace="0em" xref="A3.Ex14.m1.23.23.1.1.1.cmml">⁢</mo><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.3"><mo id="A3.Ex14.m1.11.11.11.11.11.11" rspace="0em" xref="A3.Ex14.m1.11.11.11.11.11.11.cmml">d</mo><mi id="A3.Ex14.m1.12.12.12.12.12.12" xref="A3.Ex14.m1.12.12.12.12.12.12.cmml">u</mi></mrow></mrow></mrow><mo id="A3.Ex14.m1.13.13.13.13.13.13" xref="A3.Ex14.m1.13.13.13.13.13.13.cmml">≍</mo><msup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.1"><mrow id="A3.Ex14.m1.24.24.2.23.23.23.23.1.1.1.1"><mo id="A3.Ex14.m1.14.14.14.14.14.14" stretchy="false" xref="A3.Ex14.m1.23.23.1.1.1.cmml">(</mo><msup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.1.1.1.1"><mi id="A3.Ex14.m1.15.15.15.15.15.15" xref="A3.Ex14.m1.15.15.15.15.15.15.cmml">D</mi><mrow id="A3.Ex14.m1.16.16.16.16.16.16.1" xref="A3.Ex14.m1.16.16.16.16.16.16.1.cmml"><mn id="A3.Ex14.m1.16.16.16.16.16.16.1.2" xref="A3.Ex14.m1.16.16.16.16.16.16.1.2.cmml">1</mn><mo id="A3.Ex14.m1.16.16.16.16.16.16.1.1" xref="A3.Ex14.m1.16.16.16.16.16.16.1.1.cmml">/</mo><mi id="A3.Ex14.m1.16.16.16.16.16.16.1.3" xref="A3.Ex14.m1.16.16.16.16.16.16.1.3.cmml">β</mi></mrow></msup><mo id="A3.Ex14.m1.17.17.17.17.17.17" stretchy="false" xref="A3.Ex14.m1.23.23.1.1.1.cmml">)</mo></mrow><mrow id="A3.Ex14.m1.18.18.18.18.18.18.1" xref="A3.Ex14.m1.18.18.18.18.18.18.1.cmml"><mn id="A3.Ex14.m1.18.18.18.18.18.18.1.2" xref="A3.Ex14.m1.18.18.18.18.18.18.1.2.cmml">1</mn><mo id="A3.Ex14.m1.18.18.18.18.18.18.1.1" xref="A3.Ex14.m1.18.18.18.18.18.18.1.1.cmml">−</mo><mrow id="A3.Ex14.m1.18.18.18.18.18.18.1.3" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.cmml"><mi id="A3.Ex14.m1.18.18.18.18.18.18.1.3.2" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.2.cmml">n</mi><mo id="A3.Ex14.m1.18.18.18.18.18.18.1.3.1" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.1.cmml">⁢</mo><mi id="A3.Ex14.m1.18.18.18.18.18.18.1.3.3" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.3.cmml">β</mi></mrow></mrow></msup><mo id="A3.Ex14.m1.19.19.19.19.19.19" xref="A3.Ex14.m1.19.19.19.19.19.19.cmml">=</mo><msup id="A3.Ex14.m1.24.24.2.23.23.23.23.1.5"><mi id="A3.Ex14.m1.20.20.20.20.20.20" xref="A3.Ex14.m1.20.20.20.20.20.20.cmml">D</mi><mrow id="A3.Ex14.m1.21.21.21.21.21.21.1" xref="A3.Ex14.m1.21.21.21.21.21.21.1.cmml"><mo id="A3.Ex14.m1.21.21.21.21.21.21.1a" xref="A3.Ex14.m1.21.21.21.21.21.21.1.cmml">−</mo><mrow id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.cmml"><mo id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.2" stretchy="false" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.cmml">(</mo><mrow id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.cmml"><mi id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.2" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.2.cmml">n</mi><mo id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.1" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.1.cmml">−</mo><mrow id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.cmml"><mn id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.2" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.2.cmml">1</mn><mo id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.1" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.1.cmml">/</mo><mi id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.3" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.3.cmml">β</mi></mrow></mrow><mo id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.3" stretchy="false" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.cmml">)</mo></mrow></mrow></msup></mrow><mo id="A3.Ex14.m1.22.22.22.22.22.22" xref="A3.Ex14.m1.23.23.1.1.1.cmml">,</mo></mrow></mtd></mtr></mtable><annotation-xml encoding="MathML-Content" id="A3.Ex14.m1.24b"><apply id="A3.Ex14.m1.23.23.1.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><and id="A3.Ex14.m1.23.23.1.1.1a.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"></and><apply id="A3.Ex14.m1.23.23.1.1.1b.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="latexml" id="A3.Ex14.m1.5.5.5.5.5.5.cmml" xref="A3.Ex14.m1.5.5.5.5.5.5">asymptotically-equals</csymbol><apply id="A3.Ex14.m1.23.23.1.1.1.3.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><apply id="A3.Ex14.m1.23.23.1.1.1.3.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.3.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">subscript</csymbol><sum id="A3.Ex14.m1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m1.1.1.1.1.1.1"></sum><apply id="A3.Ex14.m1.2.2.2.2.2.2.1.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1"><gt id="A3.Ex14.m1.2.2.2.2.2.2.1.1.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.1"></gt><ci id="A3.Ex14.m1.2.2.2.2.2.2.1.2.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.2">𝑘</ci><apply id="A3.Ex14.m1.2.2.2.2.2.2.1.3.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3"><csymbol cd="ambiguous" id="A3.Ex14.m1.2.2.2.2.2.2.1.3.1.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3">superscript</csymbol><ci id="A3.Ex14.m1.2.2.2.2.2.2.1.3.2.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.2">𝐷</ci><apply id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3"><divide id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.1.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.1"></divide><cn id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.2.cmml" type="integer" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.2">1</cn><ci id="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.3.cmml" xref="A3.Ex14.m1.2.2.2.2.2.2.1.3.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex14.m1.23.23.1.1.1.3.2.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.3.2.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><ci id="A3.Ex14.m1.3.3.3.3.3.3.cmml" xref="A3.Ex14.m1.3.3.3.3.3.3">𝑘</ci><apply id="A3.Ex14.m1.4.4.4.4.4.4.1.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1"><minus id="A3.Ex14.m1.4.4.4.4.4.4.1.1.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1"></minus><apply id="A3.Ex14.m1.4.4.4.4.4.4.1.2.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2"><times id="A3.Ex14.m1.4.4.4.4.4.4.1.2.1.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.1"></times><ci id="A3.Ex14.m1.4.4.4.4.4.4.1.2.2.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.2">𝑛</ci><ci id="A3.Ex14.m1.4.4.4.4.4.4.1.2.3.cmml" xref="A3.Ex14.m1.4.4.4.4.4.4.1.2.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex14.m1.23.23.1.1.1.5.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><apply id="A3.Ex14.m1.23.23.1.1.1.5.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.5.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><apply id="A3.Ex14.m1.23.23.1.1.1.5.1.2.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.5.1.2.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">subscript</csymbol><int id="A3.Ex14.m1.6.6.6.6.6.6.cmml" xref="A3.Ex14.m1.6.6.6.6.6.6"></int><apply id="A3.Ex14.m1.7.7.7.7.7.7.1.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.7.7.7.7.7.7.1.1.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1">superscript</csymbol><ci id="A3.Ex14.m1.7.7.7.7.7.7.1.2.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1.2">𝐷</ci><apply id="A3.Ex14.m1.7.7.7.7.7.7.1.3.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3"><divide id="A3.Ex14.m1.7.7.7.7.7.7.1.3.1.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.1"></divide><cn id="A3.Ex14.m1.7.7.7.7.7.7.1.3.2.cmml" type="integer" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.2">1</cn><ci id="A3.Ex14.m1.7.7.7.7.7.7.1.3.3.cmml" xref="A3.Ex14.m1.7.7.7.7.7.7.1.3.3">𝛽</ci></apply></apply></apply><infinity id="A3.Ex14.m1.8.8.8.8.8.8.1.cmml" xref="A3.Ex14.m1.8.8.8.8.8.8.1"></infinity></apply><apply id="A3.Ex14.m1.23.23.1.1.1.5.2.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><times id="A3.Ex14.m1.23.23.1.1.1.5.2.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"></times><apply id="A3.Ex14.m1.23.23.1.1.1.5.2.2.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.5.2.2.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><ci id="A3.Ex14.m1.9.9.9.9.9.9.cmml" xref="A3.Ex14.m1.9.9.9.9.9.9">𝑢</ci><apply id="A3.Ex14.m1.10.10.10.10.10.10.1.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1"><minus id="A3.Ex14.m1.10.10.10.10.10.10.1.1.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1"></minus><apply id="A3.Ex14.m1.10.10.10.10.10.10.1.2.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2"><times id="A3.Ex14.m1.10.10.10.10.10.10.1.2.1.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.1"></times><ci id="A3.Ex14.m1.10.10.10.10.10.10.1.2.2.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.2">𝑛</ci><ci id="A3.Ex14.m1.10.10.10.10.10.10.1.2.3.cmml" xref="A3.Ex14.m1.10.10.10.10.10.10.1.2.3">𝛽</ci></apply></apply></apply><apply id="A3.Ex14.m1.23.23.1.1.1.5.2.3.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="latexml" id="A3.Ex14.m1.11.11.11.11.11.11.cmml" xref="A3.Ex14.m1.11.11.11.11.11.11">differential-d</csymbol><ci id="A3.Ex14.m1.12.12.12.12.12.12.cmml" xref="A3.Ex14.m1.12.12.12.12.12.12">𝑢</ci></apply></apply></apply></apply><apply id="A3.Ex14.m1.23.23.1.1.1c.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="latexml" id="A3.Ex14.m1.13.13.13.13.13.13.cmml" xref="A3.Ex14.m1.13.13.13.13.13.13">asymptotically-equals</csymbol><share href="#A3.Ex14.m1.23.23.1.1.1.5.cmml" id="A3.Ex14.m1.23.23.1.1.1d.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"></share><apply id="A3.Ex14.m1.23.23.1.1.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.1.2.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><apply id="A3.Ex14.m1.23.23.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><ci id="A3.Ex14.m1.15.15.15.15.15.15.cmml" xref="A3.Ex14.m1.15.15.15.15.15.15">𝐷</ci><apply id="A3.Ex14.m1.16.16.16.16.16.16.1.cmml" xref="A3.Ex14.m1.16.16.16.16.16.16.1"><divide id="A3.Ex14.m1.16.16.16.16.16.16.1.1.cmml" xref="A3.Ex14.m1.16.16.16.16.16.16.1.1"></divide><cn id="A3.Ex14.m1.16.16.16.16.16.16.1.2.cmml" type="integer" xref="A3.Ex14.m1.16.16.16.16.16.16.1.2">1</cn><ci id="A3.Ex14.m1.16.16.16.16.16.16.1.3.cmml" xref="A3.Ex14.m1.16.16.16.16.16.16.1.3">𝛽</ci></apply></apply><apply id="A3.Ex14.m1.18.18.18.18.18.18.1.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1"><minus id="A3.Ex14.m1.18.18.18.18.18.18.1.1.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1.1"></minus><cn id="A3.Ex14.m1.18.18.18.18.18.18.1.2.cmml" type="integer" xref="A3.Ex14.m1.18.18.18.18.18.18.1.2">1</cn><apply id="A3.Ex14.m1.18.18.18.18.18.18.1.3.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3"><times id="A3.Ex14.m1.18.18.18.18.18.18.1.3.1.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.1"></times><ci id="A3.Ex14.m1.18.18.18.18.18.18.1.3.2.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.2">𝑛</ci><ci id="A3.Ex14.m1.18.18.18.18.18.18.1.3.3.cmml" xref="A3.Ex14.m1.18.18.18.18.18.18.1.3.3">𝛽</ci></apply></apply></apply></apply><apply id="A3.Ex14.m1.23.23.1.1.1e.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><eq id="A3.Ex14.m1.19.19.19.19.19.19.cmml" xref="A3.Ex14.m1.19.19.19.19.19.19"></eq><share href="#A3.Ex14.m1.23.23.1.1.1.1.cmml" id="A3.Ex14.m1.23.23.1.1.1f.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"></share><apply id="A3.Ex14.m1.23.23.1.1.1.8.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1"><csymbol cd="ambiguous" id="A3.Ex14.m1.23.23.1.1.1.8.1.cmml" xref="A3.Ex14.m1.24.24.2.23.23.23.23.1.4.2.1">superscript</csymbol><ci id="A3.Ex14.m1.20.20.20.20.20.20.cmml" xref="A3.Ex14.m1.20.20.20.20.20.20">𝐷</ci><apply id="A3.Ex14.m1.21.21.21.21.21.21.1.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1"><minus id="A3.Ex14.m1.21.21.21.21.21.21.1.2.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1"></minus><apply id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1"><minus id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.1.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.1"></minus><ci id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.2.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.2">𝑛</ci><apply id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3"><divide id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.1.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.1"></divide><cn id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.2.cmml" type="integer" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.2">1</cn><ci id="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.3.cmml" xref="A3.Ex14.m1.21.21.21.21.21.21.1.1.1.1.3.3">𝛽</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex14.m1.24c">\displaystyle\begin{split}\sum_{k>D^{1/\beta}}k^{-n\beta}\asymp\int_{D^{1/% \beta}}^{\infty}u^{-n\beta}\mathrm{d}u\asymp(D^{1/\beta})^{1-n\beta}=D^{-(n-1/% \beta)},\end{split}</annotation><annotation encoding="application/x-llamapun" id="A3.Ex14.m1.24d">start_ROW start_CELL ∑ start_POSTSUBSCRIPT italic_k > italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUBSCRIPT italic_k start_POSTSUPERSCRIPT - italic_n italic_β end_POSTSUPERSCRIPT ≍ ∫ start_POSTSUBSCRIPT italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ∞ end_POSTSUPERSCRIPT italic_u start_POSTSUPERSCRIPT - italic_n italic_β end_POSTSUPERSCRIPT roman_d italic_u ≍ ( italic_D start_POSTSUPERSCRIPT 1 / italic_β end_POSTSUPERSCRIPT ) start_POSTSUPERSCRIPT 1 - italic_n italic_β end_POSTSUPERSCRIPT = italic_D start_POSTSUPERSCRIPT - ( italic_n - 1 / italic_β ) end_POSTSUPERSCRIPT , end_CELL end_ROW</annotation></semantics></math></td> <td class="ltx_eqn_cell ltx_eqn_center_padright"></td> </tr></tbody> </table> <p class="ltx_p" id="A3.2.p2.2">and the result follows upon putting things together. ∎</p> </div> </div> <div class="ltx_pagination ltx_role_newpage"></div> </section> </article> </div> <footer class="ltx_page_footer"> <div class="ltx_page_logo">Generated on Mon Feb 12 15:28:51 2024 by <a class="ltx_LaTeXML_logo" href="http://dlmf.nist.gov/LaTeXML/"><span style="letter-spacing:-0.2em; margin-right:0.1em;">L<span style="font-size:70%;position:relative; bottom:2.2pt;">A</span>T<span style="position:relative; bottom:-0.4ex;">E</span></span><span class="ltx_font_smallcaps">xml</span><img alt="[LOGO]" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAsAAAAOCAYAAAD5YeaVAAAAAXNSR0IArs4c6QAAAAZiS0dEAP8A/wD/oL2nkwAAAAlwSFlzAAALEwAACxMBAJqcGAAAAAd0SU1FB9wKExQZLWTEaOUAAAAddEVYdENvbW1lbnQAQ3JlYXRlZCB3aXRoIFRoZSBHSU1Q72QlbgAAAdpJREFUKM9tkL+L2nAARz9fPZNCKFapUn8kyI0e4iRHSR1Kb8ng0lJw6FYHFwv2LwhOpcWxTjeUunYqOmqd6hEoRDhtDWdA8ApRYsSUCDHNt5ul13vz4w0vWCgUnnEc975arX6ORqN3VqtVZbfbTQC4uEHANM3jSqXymFI6yWazP2KxWAXAL9zCUa1Wy2tXVxheKA9YNoR8Pt+aTqe4FVVVvz05O6MBhqUIBGk8Hn8HAOVy+T+XLJfLS4ZhTiRJgqIoVBRFIoric47jPnmeB1mW/9rr9ZpSSn3Lsmir1fJZlqWlUonKsvwWwD8ymc/nXwVBeLjf7xEKhdBut9Hr9WgmkyGEkJwsy5eHG5vN5g0AKIoCAEgkEkin0wQAfN9/cXPdheu6P33fBwB4ngcAcByHJpPJl+fn54mD3Gg0NrquXxeLRQAAwzAYj8cwTZPwPH9/sVg8PXweDAauqqr2cDjEer1GJBLBZDJBs9mE4zjwfZ85lAGg2+06hmGgXq+j3+/DsixYlgVN03a9Xu8jgCNCyIegIAgx13Vfd7vdu+FweG8YRkjXdWy329+dTgeSJD3ieZ7RNO0VAXAPwDEAO5VKndi2fWrb9jWl9Esul6PZbDY9Go1OZ7PZ9z/lyuD3OozU2wAAAABJRU5ErkJggg=="/></a> </div></footer> </div> </body> </html>