arXiv:2402.06535v5 Announce Type: replace-cross 
Abstract: Bandit convex optimisation is a fundamental framework for studying zeroth-order convex optimisation. This book covers the many tools used for this problem, including cutting plane methods, interior point methods, continuous exponential weights, gradient descent and online Newton step. The nuances between the many assumptions and setups are explained. Although there is not much truly new here, some existing tools are applied in novel ways to obtain new algorithms. A few bounds are improved in minor ways.

يتناول المقال تحسين التقنيات المقعرة من نوع Bandit، وهو مجال أساسي في تحسين التقنيات المقعرة من الدرجة صفر. يقدم عدة طرق مثل طرق القطع وطرق النقاط الداخلية، ويسلط الضوء على التطبيقات الجديدة للأدوات الموجودة لتطوير خوارزميات جديدة. على الرغم من أن النتائج ليست ثورية، إلا أنها تتضمن تحسينات طفيفة على الحدود الحالية، مما يجعلها ذات صلة بالبحث المستمر في هذا المجال.

El artículo aborda la optimización convexa tipo bandit, un área clave en la optimización convexa de orden cero. Presenta varios métodos como los métodos de corte y los métodos de puntos interiores, y destaca aplicaciones novedosas de herramientas existentes para desarrollar nuevos algoritmos. Aunque los hallazgos no son revolucionarios, incluyen mejoras menores en los límites existentes, lo que los hace relevantes para la investigación en curso en el campo.

L'article traite de l'optimisation convexe de type bandit, un domaine clé de l'optimisation convexe de zeroth-order. Il présente diverses méthodes telles que les méthodes de coupe et les méthodes de points intérieurs, et met en lumière des applications novatrices d'outils existants pour développer de nouveaux algorithmes. Bien que les résultats ne soient pas révolutionnaires, ils incluent des améliorations mineures des bornes existantes, ce qui les rend pertinents pour la recherche en cours dans ce domaine.

The article discusses bandit convex optimisation, a key area in zeroth-order convex optimisation. It presents various methods such as cutting plane and interior point methods, and highlights novel applications of existing tools to develop new algorithms. While the findings are not groundbreaking, they include minor improvements to existing bounds, making it relevant for ongoing research in the field.

Bandit Convex Optimisation

Although Black Friday is still two weeks away, you can find great Nintendo Switch and Switch 2 deals now. I've collected the best from Walmart, Best Buy, and more.

مع اقتراب يوم الجمعة السوداء بعد أسبوعين، تتوفر بالفعل عروض مبكرة على أجهزة نينتندو سويتش وسويتش 2. تقدم متاجر كبيرة مثل وول مارت وبيست باي أكثر من 20 عرضًا، مما يوفر للمستهلكين فرصة لتوفير المال على منتجات الألعاب الشهيرة قبل موسم التسوق للعطلات.

A medida que se acerca el Black Friday en dos semanas, ya están disponibles ofertas anticipadas en las consolas Nintendo Switch y Switch 2. Grandes minoristas como Walmart y Best Buy están ofreciendo más de 20 ventas, brindando a los consumidores la oportunidad de ahorrar en productos de videojuegos populares antes de la locura de compras navideñas.

À l'approche de Black Friday dans deux semaines, des offres anticipées sur les consoles Nintendo Switch et Switch 2 sont déjà disponibles. Des détaillants majeurs comme Walmart et Best Buy proposent plus de 20 ventes, offrant aux consommateurs l'occasion d'économiser sur des produits de jeu populaires avant la ruée des achats de vacances.

As Black Friday approaches in two weeks, early deals on Nintendo Switch and Switch 2 consoles are already available. Major retailers like Walmart and Best Buy are offering over 20 sales, providing consumers with an opportunity to save on popular gaming products ahead of the holiday shopping rush.

Best early Black Friday Nintendo Switch deals 2025: 20+ sales out early

ZDNET sat down with Andrew Ng at AI Dev 25 in New York to talk about developer futures, responsible AI, and why AGI is overhyped.

You should still learn to code, says top Google AI exec - here's why

Black Friday is just over one week away, but you can get a jump on your holiday shopping list with great deals on gaming desktop PCs, monitors, SSDs, and more.

Best early Black Friday gaming PC deals 2025: My favorite sales out early

Although Black Friday is still two weeks away, you can find great PlayStation deals now from across the internet. I've collected some of the best.

على الرغم من أن يوم الجمعة السوداء لا يزال بعيدًا لمدة أسبوعين، إلا أن هناك بالفعل عروض رائعة على بلاي ستيشن متاحة عبر الإنترنت. يبرز المقال أكثر من 20 عرضًا يمكن العثور عليها عبر منصات مختلفة، مما يوفر فرصة مبكرة للمتسوقين للاستفادة من الخصومات قبل التاريخ الرسمي ليوم الجمعة السوداء.

Aunque el Black Friday aún está a dos semanas de distancia, ya hay excelentes ofertas de PlayStation disponibles en línea. El artículo destaca más de 20 ventas que se pueden encontrar en varias plataformas, brindando una oportunidad anticipada para que los compradores aprovechen los descuentos antes de la fecha oficial del Black Friday.

Bien que le Black Friday soit encore dans deux semaines, il existe déjà d'excellentes offres PlayStation disponibles en ligne. L'article met en avant plus de 20 ventes que l'on peut trouver sur diverses plateformes, offrant ainsi une occasion précoce aux acheteurs de profiter des réductions avant la date officielle du Black Friday.

Although Black Friday is still two weeks away, there are already great PlayStation deals available online. The article highlights over 20 sales that can be found across various platforms, providing an early opportunity for shoppers to take advantage of discounts ahead of the official Black Friday date.

Best early Black Friday PlayStation deals 2025: 20+ sales out now

Black Friday is just over a week away, and you can already find great deals on TVs and home theater equipment from Samsung, Sony, and more.

Best early Black Friday TV deals 2025: Save on Samsung, TCL, and more

This new AI coding environment looks like a real winner. Here's why.

Google's Antigravity puts coding productivity before AI hype - and the result is astonishing

arXiv:2511.10796v1 Announce Type: new 
Abstract: The Neural Tangent Kernel (NTK) characterizes how a model's state evolves over Gradient Descent. Computing the full NTK matrix is often infeasible, especially for recurrent architectures. Here, we introduce a matrix-free perspective, using trace estimation to rapidly analyze the empirical, finite-width NTK. This enables fast computation of the NTK's trace, Frobenius norm, effective rank, and alignment. We provide numerical recipes based on the Hutch++ trace estimator with provably fast convergence guarantees. In addition, we show that, due to the structure of the NTK, one can compute the trace using only forward- or reverse-mode automatic differentiation, not requiring both modes. We show these so-called one-sided estimators can outperform Hutch++ in the low-sample regime, especially when the gap between the model state and parameter count is large. In total, our results demonstrate that matrix-free randomized approaches can yield speedups of many orders of magnitude, leading to faster analysis and applications of the NTK.

يقدم المقال نهجًا جديدًا لتحليل نواة الشبكة العصبية (NTK) من خلال منظور خالٍ من المصفوفات، باستخدام تقنيات تقدير الأثر. تتيح هذه الطريقة حسابًا سريعًا لأثر NTK، ومعيار فربينيوس، والترتيب الفعال، والمحاذاة، مما يكون مفيدًا بشكل خاص للهياكل المتكررة. يُظهر المؤلفون أن المقدرات ذات الجانب الواحد يمكن أن تتفوق على الطرق التقليدية في السيناريوهات ذات العينة المنخفضة، مما يبرز إمكانية تحقيق تسريع كبير في الكفاءة الحسابية.

El artículo presenta un nuevo enfoque para analizar el Neural Tangent Kernel (NTK) a través de una perspectiva sin matriz, utilizando técnicas de estimación de traza. Este método permite un cálculo rápido de la traza del NTK, la norma de Frobenius, el rango efectivo y la alineación, siendo especialmente beneficioso para arquitecturas recurrentes. Los autores demuestran que los estimadores unilaterales pueden superar a los métodos tradicionales en escenarios de bajo muestreo, destacando el potencial de aceleraciones significativas en la eficiencia computacional.

L'article présente une nouvelle approche pour analyser le Neural Tangent Kernel (NTK) à travers une perspective sans matrice, utilisant des techniques d'estimation de trace. Cette méthode permet un calcul rapide de la trace du NTK, de la norme de Frobenius, du rang effectif et de l'alignement, particulièrement bénéfique pour les architectures récurrentes. Les auteurs montrent que les estimateurs unilatéraux peuvent surpasser les méthodes traditionnelles dans des scénarios à faible échantillon, soulignant le potentiel d'accélérations significatives en efficacité computationnelle.

The article presents a new approach to analyzing the Neural Tangent Kernel (NTK) through a matrix-free perspective, utilizing trace estimation techniques. This method allows for rapid computation of the NTK's trace, Frobenius norm, effective rank, and alignment, particularly beneficial for recurrent architectures. The authors demonstrate that one-sided estimators can outperform traditional methods in low-sample scenarios, highlighting the potential for significant speedups in computational efficiency.

Fast Neural Tangent Kernel Alignment, Norm and Effective Rank via Trace Estimation

arXiv:2511.06854v2 Announce Type: replace-cross 
Abstract: Irregularly sampled time series (ISTS), characterized by non-uniform time intervals with natural missingness, are prevalent in real-world applications. Existing approaches for ISTS modeling primarily rely on observed values to impute unobserved ones or infer latent dynamics. However, these methods overlook a critical source of learning signal: the reconstruction error inherently produced during model training. Such error implicitly reflects how well a model captures the underlying data structure and can serve as an informative proxy for unobserved values. To exploit this insight, we propose iTimER, a simple yet effective self-supervised pre-training framework for ISTS representation learning. iTimER models the distribution of reconstruction errors over observed values and generates pseudo-observations for unobserved timestamps through a mixup strategy between sampled errors and the last available observations. This transforms unobserved timestamps into noise-aware training targets, enabling meaningful reconstruction signals. A Wasserstein metric aligns reconstruction error distributions between observed and pseudo-observed regions, while a contrastive learning objective enhances the discriminability of learned representations. Extensive experiments on classification, interpolation, and forecasting tasks demonstrate that iTimER consistently outperforms state-of-the-art methods under the ISTS setting.

تُعتبر السلاسل الزمنية المأخوذة بشكل غير منتظم (ISTS) شائعة في التطبيقات الواقعية، حيث تتميز بفترات زمنية غير متساوية وغيابات طبيعية. تعتمد الأساليب الحالية لنمذجة ISTS بشكل أساسي على القيم المرصودة لاستنتاج القيم غير المرصودة، متجاهلة إشارة التعلم الناتجة عن خطأ إعادة البناء الذي يتم إنتاجه أثناء تدريب النموذج. يقترح الإطار المقترح iTimER استغلال هذا الخطأ في إعادة البناء لتحسين تعلم التمثيل من خلال توليد ملاحظات زائفة للعلامات الزمنية غير المرصودة، مما يحسن نمذجة ISTS.

Las series temporales muestreadas de manera irregular (ISTS) son comunes en aplicaciones del mundo real, caracterizadas por intervalos de tiempo no uniformes y ausencias naturales. Los métodos existentes para la modelización de ISTS suelen depender de valores observados para inferir los no observados, ignorando la señal de aprendizaje proveniente del error de reconstrucción generado durante el entrenamiento del modelo. El marco propuesto iTimER aprovecha este error de reconstrucción para mejorar el aprendizaje de la representación generando pseudo-observaciones para marcas de tiempo no observa…

Les séries temporelles échantillonnées de manière irrégulière (ISTS) sont courantes dans les applications réelles, caractérisées par des intervalles de temps non uniformes et des absences naturelles. Les méthodes traditionnelles de modélisation des ISTS s'appuient souvent sur des valeurs observées pour inférer celles non observées, négligeant le signal d'apprentissage provenant de l'erreur de reconstruction produite lors de l'entraînement du modèle. Le cadre proposé iTimER exploite cette erreur de reconstruction pour améliorer l'apprentissage de la représentation en générant des pseudo-observa…

Irregularly sampled time series (ISTS) are common in real-world applications, characterized by non-uniform time intervals and natural missingness. Traditional ISTS modeling methods often rely on observed values to infer unobserved ones, neglecting the learning signal from reconstruction error produced during model training. The proposed iTimER framework leverages this reconstruction error to enhance representation learning by generating pseudo-observations for unobserved timestamps, thus improving the modeling of ISTS.

Beyond Observations: Reconstruction Error-Guided Irregularly Sampled Time Series Representation Learning

arXiv:2503.09887v2 Announce Type: replace-cross 
Abstract: We develop a novel semigroup stability analysis based on Lyapunov techniques and contraction coefficients to prove exponential convergence of Sinkhorn equations on weighted Banach spaces. This operator-theoretic framework yields exponential decays of Sinkhorn iterates towards Schr\"odinger bridges with respect to general classes of $\phi$-divergences and Kantorovich-type criteria, including the relative entropy, squared Hellinger integrals, $\alpha$-divergences as well as weighted total variation norms and Wasserstein distances. To the best of our knowledge, these contraction inequalities are the first results of this type in the literature on entropic transport and the Sinkhorn algorithm.
  We also provide Lyapunov contractions principles under minimal regularity conditions that allow to provide quantitative exponential stability estimates for a large class of Sinkhorn semigroups. We apply this novel framework in a variety of situations, ranging from polynomial growth potentials and heavy tailed marginals on general normed spaces to more sophisticated boundary state space models, including semi-circle transitions, Beta, Weibull, exponential marginals as well as semi-compact models. Last but not least, our approach also allows to consider statistical finite mixture of the above models, including kernel-type density estimators of complex data distributions arising in generative modeling.

On the contraction properties of Sinkhorn semigroups

arXiv:2511.13049v1 Announce Type: cross 
Abstract: We study a matrix completion problem where both the ground truth $R$ matrix and the unknown sampling distribution $P$ over observed entries are low-rank matrices, and \textit{share a common subspace}. We assume that a large amount $M$ of \textit{unlabeled} data drawn from the sampling distribution $P$ is available, together with a small amount $N$ of labeled data drawn from the same distribution and noisy estimates of the corresponding ground truth entries. This setting is inspired by recommender systems scenarios where the unlabeled data corresponds to `implicit feedback' (consisting in interactions such as purchase, click, etc. ) and the labeled data corresponds to the `explicit feedback', consisting of interactions where the user has given an explicit rating to the item. Leveraging powerful results from the theory of low-rank subspace recovery, together with classic generalization bounds for matrix completion models, we show error bounds consisting of a sum of two error terms scaling as $\widetilde{O}\left(\sqrt{\frac{nd}{M}}\right)$ and $\widetilde{O}\left(\sqrt{\frac{dr}{N}}\right)$ respectively, where $d$ is the rank of $P$ and $r$ is the rank of $M$. In synthetic experiments, we confirm that the true generalization error naturally splits into independent error terms corresponding to the estimations of $P$ and and the ground truth matrix $\ground$ respectively. In real-life experiments on Douban and MovieLens with most explicit ratings removed, we demonstrate that the method can outperform baselines relying only on the explicit ratings, demonstrating that our assumptions provide a valid toy theoretical setting to study the interaction between explicit and implicit feedbacks in recommender systems.

يتناول المقال مشكلة إكمال المصفوفات حيث تكون كل من مصفوفة الحقيقة الأساسية وتوزيع العينة غير المعروف مصفوفات منخفضة الرتبة تشترك في فضاء فرعي مشترك. يُفترض أن هناك كمية كبيرة من البيانات غير المعلّمة المتاحة، جنبًا إلى جنب مع كمية صغيرة من البيانات المعلّمة، مستلهمة من أنظمة التوصية. تستفيد الدراسة من نتائج استرداد الفضاءات الفرعية منخفضة الرتبة وحدود التعميم الكلاسيكية لإظهار حدود الخطأ، مما يساهم في التقدم في تقنيات التعلم شبه المراقب.

El artículo aborda un problema de completación de matrices donde tanto la matriz de verdad subyacente como la distribución de muestreo desconocida son matrices de bajo rango que comparten un subespacio común. Se asume que hay una gran cantidad de datos no etiquetados disponibles, junto con una pequeña cantidad de datos etiquetados, inspirado en sistemas de recomendación. El estudio aprovecha resultados de recuperación de subespacios de bajo rango y límites de generalización clásicos para demostrar límites de error, contribuyendo a los avances en técnicas de aprendizaje semi-supervisado.

L'article traite d'un problème de complétion de matrice où à la fois la matrice de vérité de base et la distribution d'échantillonnage inconnue sont des matrices de faible rang partageant un sous-espace commun. Il suppose qu'une grande quantité de données non étiquetées provenant de la distribution d'échantillonnage est disponible, ainsi qu'une petite quantité de données étiquetées, inspirée par les systèmes de recommandation. L'étude utilise des résultats de récupération de sous-espace de faible rang et des bornes de généralisation classiques pour démontrer des bornes d'erreur, contribuant au…

The article discusses a matrix completion problem where both the ground truth matrix and the unknown sampling distribution are low-rank matrices sharing a common subspace. It assumes a large amount of unlabeled data from the sampling distribution is available alongside a small amount of labeled data, inspired by recommender systems. The study leverages low-rank subspace recovery results and classic generalization bounds for matrix completion models to demonstrate error bounds, contributing to advancements in semi-supervised learning techniques.

Bandit Convex Optimisation

Was this article worth reading? Share it