Indépendamment les uns des autres, de nombreux facteurs ont un impact sur l'expérience en ligne des utilisateurs. Le débit de la connexion Internet, la fiabilité du réseau d'accès, la disponibilité et les caractéristiques de chargement des serveurs d'applications et, dans certains cas, la configuration du réseau domestique de l'utilisateur sont autant de facteurs possibles. Les mesures individuelles et isolées, telles que la vitesse d'accès ou la capacité des serveurs, ne reflètent pas l'expérience réelle de l'utilisateur. Pour évaluer et quantifier l'expérience réelle de l'utilisateur sur Internet, il faut mesurer les performances de l'application du début à la fin, en prenant en compte tous les facteurs qui ont un impact.
La méthodologie présentée ici permet d'évaluer les fournisseurs d'accès Internet (FAI) en fonction de leur capacité à diffuser les vidéos YouTube. Ces classifications sont le résultat des mesures effectuées sur les performances continues de l'application. L'objectif est de proposer une classification à la fois simple et significative, qui corresponde exactement à l'expérience en ligne des utilisateurs.
D'une façon générale, la lecture d'une vidéo YouTube se passe de la manière suivante : un client (lecteur) YouTube récupère des octets de vidéo par streaming sur un serveur YouTube (CDN). Pour ce faire, il effectue au moins une demande (du type HTTP GET, par exemple). Pour classer un FAI, la première étape consiste à mesurer la vitesse continue du transfert de ces octets de vidéo entre le serveur et le client. Afin de mesurer le débit atteint au niveau de l'application (c'est-à-dire le débit utile, ou "goodput"), les éléments suivants sont enregistrés pour chaque demande :
Sur la base de ces mesures, la formule suivante permet de calculer le débit utile (goodput) pour une demande "R" donnée. Chaque demande mesurée correspond à un échantillon de goodput.
Pour déterminer la classification d'un FAI, nous regroupons tous les échantillons pertinents de goodput enregistrés au cours de la phase de mesure. La méthodologie appliquée permet d'évaluer les classifications à différents niveaux de précision, en fonction des variables sélectionnées. Par exemple, il est possible de calculer la classification d'un FAI sur différentes périodes (par heure, jour, semaine ou par mois, par exemple) et/ou à des échelles géographiques différentes (par pays, région, agglomération ou ville, par exemple).
Pour une période "T" donnée (les 30 derniers jours, par exemple) et un lieu "L" (Paris, Île-de-France, France, par exemple), la classification d'un FAI "P" (Orange, par exemple) est calculée de la manière suivante :
| Segment GAT | Seuil de goodput | Raisonnement |
|---|---|---|
| HD (haute définition) | > 2,5 Mbits/s | Goodput minimal requis pour assurer de façon constante la lecture d'une vidéo HD YouTube moyenne à une résolution de 720p |
| DS (définition standard) | 0,7 à 2,5 Mbits/s | Goodput minimal requis pour assurer de façon constante la lecture d'une vidéo DS YouTube moyenne à une résolution de 360p |
| BD (basse définition) | < 0,7 Mbits/s | Goodput trop faible pour assurer de façon constante la lecture d'une vidéo DS YouTube à une résolution de 360p |
3) Définition des critères de classification : les critères de classification des FAI sont définis en fonction du niveau du volume de GAT minimal requis pour chaque niveau de classification. Cette mesure sert à révéler la constance et la fiabilité du réseau du FAI. Il faut donc définir des niveaux de classification qui correspondent à des performances continues plutôt qu'à des performances générales (moyennes). C'est pourquoi nous avons défini trois échelles de classification : GAT-90 (90 % des demandes dépassent ce seuil), GAT-95 (95 % des demandes dépassent ce seuil) et GAT-99 (99 % des demandes dépassent ce seuil).
Le tableau suivant définit les critères utilisés pour déterminer la classification finale d'un FAI selon notre méthodologie avec l'échelle de classification GAT-90. L'échelle de classification de 90 % a été choisie après avoir étudié attentivement les performances pratiques du réseau sur le terrain. Cette échelle suivra de près l'évolution des capacités du réseau au fil du temps.
| Classification | Critères (GAT-90) | Raisonnement |
|---|---|---|
| HD (haute définition) |
Plus de 90 % des échantillons ont le statut HD |
Les performances vidéo YouTube HD (720p) de ce réseau sont constantes et fiables. |
| DS (définition standard) |
Plus de 90 % des échantillons ont au moins le statut DS |
Les performances vidéo YouTube DS (360p) de ce réseau sont constantes et fiables. |
| BD (basse définition) | Aucune des options ci-dessus | Les performances vidéo YouTube de ce réseau ne sont pas fiables. |
Les classifications sont fondées sur les réseaux et non sur les utilisateurs. Tous les échantillons de goodput sont totalement anonymes. Aucune information sur les internautes (par exemple, les cookies de navigation et l'adresse IP) n'est conservée ni utilisée directement dans l'algorithme de classification. En outre, si le volume des échantillons regroupés pour l'emplacement géographique et la période sélectionnés est inférieur à un certain seuil, l'algorithme utilise des variables plus étendues (par exemple, en regroupant les échantillons d'un emplacement géographique plus vaste ou d'une période plus longue) jusqu'à atteindre le seuil minimal permettant de calculer la classification.