arXiv:2602.11760v2 Announce Type: replace 
Abstract: Feature-importance methods show promise in transforming machine learning models from predictive engines into tools for scientific discovery. However, due to data sampling and algorithmic stochasticity, expressive models can be unstable, leading to inaccurate variable importance estimates and undermining their utility in critical biomedical applications. Although ensembling offers a solution, deciding whether to explain a single ensemble model or aggregate individual model explanations is difficult due to the nonlinearity of importance measures and remains largely understudied. Our theoretical analysis, developed under assumptions accommodating complex state-of-the-art ML models, reveals that this choice is primarily driven by the model's excess risk. In contrast to prior literature, we show that ensembling at the model level provides more accurate variable-importance estimates, particularly for expressive models, by reducing this leading error term. We validate these findings on classical benchmarks and a large-scale proteomic study from the UK Biobank.

تسلط دراسة حديثة نُشرت على arXiv الضوء على التحديات المتعلقة بتقدير أهمية الميزات في التعلم الآلي، خاصة في التطبيقات الطبية الحيوية. تؤكد الأبحاث أن النماذج التعبيرية يمكن أن تؤدي إلى تقديرات غير مستقرة لأهمية المتغيرات بسبب أخذ عينات البيانات والعشوائية الخوارزمية، مما يشير إلى أن التجميع قد يحسن الدقة من خلال تجميع تفسيرات النماذج بدلاً من الاعتماد على نموذج واحد.

Un estudio reciente publicado en arXiv destaca los desafíos de la estimación de la importancia de las características en el aprendizaje automático, especialmente en aplicaciones biomédicas. La investigación enfatiza que los modelos expresivos pueden generar estimaciones de importancia variable inestables debido al muestreo de datos y la estocasticidad algorítmica, sugiriendo que el ensamblaje podría mejorar la precisión al agregar explicaciones de modelos en lugar de depender de modelos individuales.

Une étude récente publiée sur arXiv met en lumière les défis de l'estimation de l'importance des caractéristiques dans l'apprentissage automatique, en particulier dans les applications biomédicales. La recherche souligne que les modèles expressifs peuvent donner des estimations d'importance des variables instables en raison de l'échantillonnage des données et de la stochasticité algorithmique, suggérant que l'ensemblage pourrait améliorer la précision en agrégeant les explications des modèles plutôt qu'en s'appuyant sur des modèles uniques.

A recent study published on arXiv highlights the challenges of feature-importance estimation in machine learning, particularly in biomedical applications. The research emphasizes that expressive models can yield unstable variable importance estimates due to data sampling and algorithmic stochasticity, suggesting that ensembling could enhance accuracy by aggregating model explanations rather than relying on single models.