Netflix : la latence Cassandra passe à la milliseconde

L’équipe IA de Netflix a réussi à réduire considérablement la latence de lecture des partitions en utilisant Apache Cassandra. Grâce à une stratégie de partitionnement dynamique, la latence de lecture est passée de plusieurs secondes à seulement quelques millisecondes pour les partitions larges. Cette amélioration concerne principalement la gestion des TimeSeries Abstraction.

Avant l’optimisation, les partitions larges posaient un problème de latence élevé chez Netflix. Le re-partitionnement en tranches de temps pour ajuster les futures partitions au niveau de la table coexistait avec une détection dynamique des partitions surdimensionnées, qui sont divisées par identifiant de TimeSeries lors de la lecture.

Le processus utilise le comptage de bytes et des technologies comme Kafka pour détecter les partitions surdimensionnées. Les partitions sont ensuite divisées et validées par checksum, permettant aux filtres Bloom de diriger les lectures vers des partitions enfants exécutées en parallèle. Cette approche maintient les partitions de plus de 500 Mo disponibles pour lecture.

Selon Netflix, l’application de cette méthode a réduit la latence de lecture moyenne à de faibles millisecondes. Cela améliore l’efficacité globale du système et régule la gestion des partitions excessivement grandes dans le cadre de leurs activités impliquant Apache Cassandra.

Pour plus d’informations, consultez l’article original sur MarkTechPost.