Как опробовать экспериментальные функции Netflix

Есть много причин, по которым Netflix является одним из лучших потоковых сервисов, если не лучшим. Он предлагает множество изобретательных программ, имеет простой в использовании интерфейс и редко страдает от технических заминок. Но как Netflix делает это так правильно?

Ответ — тщательное тестирование. Каждое отдельное изменение в Netflix, от небольших настроек приложения до серьезных изменений алгоритма, проходит несколько раундов подробного тестирования. Мы собираемся изучить, как и почему компания это делает, и как вы можете подписаться на тестирование функций Netflix.

Как подписаться на тесты Netflix

Если вы хотите, чтобы у вас всегда была передовая версия Netflix, вам нужно подписаться на получение тестов и предварительных просмотров. По умолчанию все включены в это, но вот как проверить, что вы не отказались ранее:

1. На веб-сайте Netflix наведите курсор ваше фото профиля в правом верхнем углу.
2. Нажмите Счет.
3. Рядом с Настройки, нажмите Участие в тестировании.
4. Перемена Включить меня в тесты и предварительные просмотры и нажмите Готово.

Netflix отмечает, что «эта настройка не применяется к тестам, касающимся безопасности, борьбы с мошенничеством или соблюдения Условий использования Netflix». По сути, вы не можете согласиться или отказаться от изменений, внесенных в эти элементы.

Важно отметить, что при отказе от этой программы участия в тестировании вы не сможете видеть новые пробные функции, это не означает, что вы не будете подвергаться A/B-тестированию существующих функций — подробнее об этом потом.

Почему Netflix экспериментирует и как это работает?

Нетфликс тестирует все: регистрацию, воспроизведение, рекомендации, поиск... Вы называете это, это проверено. Причина этого в том, что Netflix хочет проверить свои предположения. Неважно, насколько усердно сотрудник Netflix продвигает идею — данные формируют решения, а не мнения. В противном случае изменение может резко провалиться, потому что оно было основано на догадке.

Компания делает это с помощью A/B-тестирования. По своей сути A/B-тестирование — это способ сравнения двух версий чего-либо, чтобы определить, какая из них наиболее успешна. Мера успеха не всегда одинакова; это зависит от смены. Эксперимент может быть направлен на то, чтобы увидеть, какая версия привлекает больше людей для регистрации или открыть для себя новые шоу Netflix, или смотреть как можно дольше.

Однако Netflix не просто тестирует две версии. У него такая обширная пользовательская база не только с точки зрения необработанных цифр, но и с точки зрения демографии и поведения. Это означает, что Netflix может разделить своих пользователей на множество экспериментальных групп, пробуя слегка измененные версии, чтобы увидеть, какая из них действительно оптимальна.

Как подробно описано на Блог о технологиях Netflix, Netflix распределяет своих пользователей по этим группам посредством пакетного распределения и распределения в реальном времени. Пакетная обработка назначает фиксированный набор участников для эксперимента, о которых известно, что они соответствуют критериям испытания. Режим реального времени является более гибким, позволяя пользователям входить и выходить из тестов по мере того, как они больше взаимодействуют с платформой.

В любой момент вы можете принять участие во многих испытаниях. У Netflix есть внутренний инструмент, который позволяет отделу отслеживать, какие эксперименты проводят другие команды, чтобы гарантировать пользователю не назначено несколько конфликтующих тестов (например, два теста, которые меняют расположение одного и того же кнопка). Эти тесты могут длиться дни, недели или месяцы.

В другом посте на Блог о технологиях Netflix, компания признает, что тестирует сотни изменений каждый год, но только небольшой процент из них внедряется по всему миру. Причина этого в том, что A/B-тесты показывают, что большинство экспериментов не улучшают платформу.

Но Netflix не считает это неудачей. Как написано в блоге:

Когда наши участники голосуют против новых продуктов своими действиями, мы все равно многое узнаем об их предпочтениях, что работает (и не работает!) для разных когорт участников, и где могут быть, а могут и не быть возможности для инноваций.

Это приводит к новым гипотезам и тестам; некоторые из них могут быть успешными. Кроме того, по мере роста числа участников и изменения их ожиданий и предпочтений Netflix пересматривает старые эксперименты, чтобы посмотреть, приносят ли они пользу.

В конечном счете, хотя общий опыт одинаков, это означает, что Netflix, который вы используете, не обязательно идентичен вашим друзьям или семье. На вашей домашней странице могут быть другие строки, кнопки воспроизведения могут выглядеть по-другому, у вас может быть другой алгоритм рекомендаций и т. д.

Какие функции протестировал Netflix?

Netflix всегда тестирует изменения и новые функции. Некоторые из них никогда не выходят на свет, в то время как другие теперь являются любимыми компонентами платформы. Примеры прошлых экспериментов Netflix включают:

• Изменение размера плиток на главной странице, чтобы увидеть, что побуждает пользователей смотреть.
• Изменение тона кнопки призыва к действию на главной странице, чтобы увидеть, что побудило пользователей щелкнуть мышью, чтобы зарегистрироваться.
• Представление коллекций контента, созданных креативщиками Netflix, а не алгоритмом, чтобы увидеть, побуждает ли это пользователей смотреть что-то, выходящее за рамки их обычных рекомендаций.
• Взимание платы с подписчиков, которые используют свою учетную запись Netflix за пределами своей семьи, чтобы увидеть, увеличился ли доход за счет существующих клиентов.
• Представляем кнопку, которая отображает что-то псевдослучайно для просмотра кем-то (в зависимости от их история просмотра и рекомендации), чтобы узнать, увеличилось ли время просмотра и уменьшилось ли потраченное время. прокрутка. Позже это стало кнопка Netflix «Воспроизвести что-нибудь».

Как упоминалось ранее, у вас есть возможность пройти некоторые из этих более крупных тестов (новые функции, такие как кнопка перемешивания), приняв участие в тестировании через свою учетную запись Netflix. Однако вы всегда будете получать A/B-тесты для небольших корректировок, независимо от ваших настроек.

Например, вы могли заметить, что плитка изображения, используемая для представления фильма или шоу на вашей домашней странице, меняется. периодически или выглядит иначе, чем у вашего друга — это потому, что Netflix показывает изображение, которое, по его мнению, вы, скорее всего, найти привлекательным.

Однако тесты не всегда ориентированы на пользователя. Например, Netflix постоянно совершенствует технологию, которую использует для потоковой передачи, чтобы обеспечить идеальный баланс между качеством и согласованностью. Нет ничего хуже, чем медленный стриминговый сервис.

Нетфликс постоянно совершенствуется

Netflix — это развивающаяся платформа, которая постоянно меняется, чтобы поддерживать удовлетворенность существующих подписчиков и привлекать новых клиентов. Это не означает, что Netflix идеален — это далеко не так, поскольку в Netflix отсутствуют многие полезные функции, — но ваше поведение должно в конечном итоге привести к улучшениям.

8 новых функций, которые мы хотели бы видеть в Netflix

Читать дальше

Об авторе