Desintox : une étude est censée montrer que les applications iOS plantent deux fois plus que les applications Android ; c'est du moins sous ce prisme que certains la rapportent ce matin. Et pas seulement des trolls, mais aussi quelques médias supposés sérieux. Il s'agit d'une étude menée par Crittercism, et présentée par système d'exploitation et par version de ceux-ci. Voici les résultats publiés concernant les deux plate-formes observées, iOS et Android. iOs 7.1 présente un taux de plantage de 1,6 %, KitKat (Android 4.4) de 0,7 %
Peut-on, à partir de ces éléments, dire que les apps Android plantent moins qu'iOS ? Non, voici pourquoi :
• L'étude de Crittercism - qui est une société vendant une solution d'optimisation des performances d'applications - ne porte que sur les applications utilisant ladite solution.Les applications non optimisées devraient présenter des résultats plus mauvais, note Crittercism. On ne parle donc pas ici de toutes les applications, mais d'un volant nettement plus réduit.
• Conduire une étude statistique sur les plantages d'applications est une gageure : le nombre de paramètres à prendre en considération est tellement considérable - appareil concerné, application concernée, actions dans l'application concernée, actions avant de lancer l'application concernée... - qu'il est très difficile de trouver une méthodologie satisfaisante pour cela. Pour illustrer le propos, on peut prendre l'exemple des benchmarks : un même logiciel de bench, lancé sur une même machine à deux instants différents retournera un résultat différent. Pas de beaucoup, bien sûr, mais différent tout de même.
• Présenter des résultats aussi faibles que des taux de plantages de l'ordre de 1 à 2 % alors même qu'il existe de nombreux paramètres de variabilité, est une aberration. En clair, si votre marge d'erreur statistique est supérieure au différentiel que vous observez dans vos résultats, vous n'avez aucun résultat. Tout au plus une tambouille que vous pouvez tenter de servir si vos invités ne sont pas trop regardant sur la qualité.
Soyons clairs : il est fort possible que les Apps iOS plantent plus que les Apps Android. Mais pour pouvoir le dire un brin scientifiquement, il faudrait une autre méthodologie, autrement rigoureuse. Et il faudrait que le différentiel soit autrement significatif que quelques dixièmes de point.
