<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

</head>

<body>

<div style="font-family: Tahoma, Geneva, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof ContentPasted0">

<span style="font-size: 14pt;"><b><i>"Smoothing-based gradient descent for high-dimensional nonconvex optimization"</i></b></span>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0"><span style="font-size: 14pt;"><b>Dr. Clayton Webster</b></span></div>

<div class="ContentPasted0"><span style="font-size: 10pt;">Oden Institute for Engineering & Computational Sciences,</span></div>

<div class="ContentPasted0"><span style="font-size: 10pt;">The University of Texas at Austin, Austin, TX</span></div>

<div class="ContentPasted0"><span style="font-size: 10pt;">Lirio AI Research & Behavioral Reinforcement and Learning Lab (BReLL),</span></div>

<div class="ContentPasted0"><span style="font-size: 10pt;">Lirio, LLC., Knoxville, TN</span></div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0">NOTES:</div>

<div class="ContentPasted0">

<ul data-editing-info="{"orderedStyleType":1,"unorderedStyleType":1}">

<li style="list-style-type: disc;"><span>Please feel free to forward/share this invitation with other groups/disciplines that might be interested in this talk/topic.

<b style="font-family: inherit; font-size: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit;">

All are welcome to attend.</b><br>

</span></li></ul>

</div>

<div>

<ul data-editing-info="{"orderedStyleType":1,"unorderedStyleType":1}">

<li style="font-size: inherit; font-family: inherit; list-style-type: disc;"><span><b style="font-family: inherit; font-size: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit;">IN-PERSON ATTENDANCE IS REQUESTED.</b></span></li><ul style="list-style-type: circle;">

<li style="font-size: inherit; font-family: inherit;"><b style="font-family: inherit; font-size: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit;">499 DSL SEMINAR ROOM</b></li></ul>

</ul>

</div>

<div>

<ul data-editing-info="{"orderedStyleType":1,"unorderedStyleType":1}">

<li style="list-style-type: disc;"><span>Zoom access is intended for external participants only.  <br>

</span></li></ul>

</div>

<div><b style="font-family: inherit; font-size: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit;"><br>

</b></div>

<div><b style="font-family: inherit; font-size: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit;">https://fsu.zoom.us/j/94273595552</b><br>

</div>

<div class="ContentPasted0">Meeting # <b>942 7359 5552 </b></div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0">🎦 Colloquium recordings will be made available here,

<a href="https://www.sc.fsu.edu/colloquium">https://www.sc.fsu.edu/colloquium</a>  </div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0"><b>Tuesday, Nov 7</b>, 2023, Schedule:  </div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0">* <b>3:00 </b>to 3:30 PM Eastern Time (US and Canada)

</div>

<div class="ContentPasted0">☕ <b>Nespresso & Teatime</b> - 417 DSL Commons </div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0">* <b>3:30</b> to 4:30 PM Eastern Time (US and Canada)

</div>

<div class="ContentPasted0"><b>🕟 Colloquium - 499 DSL Seminar Room </b></div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0"><b>Abstract: </b></div>

<div class="ContentPasted0">This talk is focused on a class of smoothing-based gradient descent methods when applied to high-dimensional non-convex optimization problems. In particular, Gaussian smoothing is employed to define a nonlocal gradient that reduces

 high-frequency noise, small variations, and rapid fluctuations in the computation of the descent directions and additionally preserves the structure or features of the loss landscape. The amount of smoothing is controlled by the standard deviation of the Gaussian

 distribution, with larger values resulting in broader and more pronounced smoothing effects, while smaller values preserve more details of the function. The resulting Gaussian smoothing gradient descent (GSmoothGD) approach can facilitate gradient descent

 in navigating away from and/or avoiding local minima with increased ease, thereby substantially enhancing their overall performance when applied to non-convex optimization problems. As such, this work also provides rigorous theoretical error estimates on the

 GSmoothGD iterates rate of convergence, that exemplify the impact of underlying function convexity, smoothness, and input dimension, as well as the smoothing radius. We also present several strategies to combat the curse of dimensionality as well as updating

 the smoothing parameter, aimed at diminishing the impact of local minima, and therefore, rendering the attainment of global minima more achievable. Computational evidence complements the present theory and shows the eﬀectiveness of the GSmoothGD method compared

 to other smoothing-based algorithms, momentum-based approaches, backpropagation-based techniques, and classical gradient-based algorithms from numerical optimization. Finally, applications to various personalization tasks using MNIST, CIFAR10, and Spotify

 datasets demonstrate the advantage of GSmoothGD when used to solve reinforcement learning problems.</div>

<div><br class="ContentPasted0">

</div>

<div class="ContentPasted0">Additional colloquium details can be found here, </div>

<div class="ContentPasted0"><a href="https://www.sc.fsu.edu/news-and-events/colloquium/1761-seminar-with-clayton-webster-2023-11-07">https://www.sc.fsu.edu/news-and-events/colloquium/1761-seminar-with-clayton-webster-2023-11-07</a> </div>

</div>

</body>

</html>