Трудновыполнимые задачи

2. Усовершенствуйте алгоритм

В контексте обработки и анализа данных алгоритм не только определяет последовательность операций, которые система выполнит с набором данных, но и отражает вашу модель потенциальных взаимоотношений между элементами данных.

Иногда для создания правильного алгоритма или изменения уже существующего для определенного сценария требуется множество вариантов. (Машинное обучение имеет потенциал для автоматизации процессов совершенствования алгоритмов; за развитием этой сферы стоит пристально следить.)

Иногда добавление нового набора данных может привести к новым возможностям для прогнозирования.

Как узнать, что алгоритм не работает? К примеру, если вы увеличили производительность своего компьютера, скажем, в пять раз, а уровень сокращения времени обработки никак не соответствует добавленным ресурсам.

Другой способ проверить алгоритм — изменение его параметров. Любое незначительное изменение алгоритма должно привести лишь к небольшому отличию в результатах анализа. Если же результаты отличаются намного, есть вероятность, что вам нужен другой алгоритм.

Иногда такой исход свидетельствует о выборе алгоритма неверного типа. Зачастую выбор модели зависит от предположений о данных. Например, если предполагалось, что отношения между двумя элементами будут иметь вид линейной прогрессии, но более точное их выражение может быть представлено деревом решений.

Существует множество общедоступных библиотек алгоритмов с открытым исходным кодом. Вряд ли вам придется начинать создание алгоритма с нуля.

3. Очистите данные

Это традиционная задача для ИТ-специалистов. Если исходные данные содержат лишние элементы, результат будет соответствующий. В идеале эту задачу необходимо решить до начала любого аналитического проекта, однако причины проблем при обработке и анализе набора данных зачастую неясны, пока вы не приступите к анализу

4. Используйте другие данные

Это несколько более сложная вариация предыдущего шага. Чтобы получить больше данных, иногда достаточно обновить метаданные. Иногда для сбора нужных данных может потребоваться изменить некоторые процессы.

Большая часть компаний уже извлекла всю возможную бизнес-ценность из данных в традиционных хранилищах. Иногда при добавлении новых наборов данных эффективность прогнозов возрастает. Особенно это касается добавления неструктурированных данных, например историй болезни, которые ведутся врачами, или записей разговоров сотрудников колл-центра с клиентами.

Как правило, чем больше данных, тем точнее результаты. Во время тестирования аналитического проекта попробуйте последовательно добавлять новые данные, и вы увидите, как будут изменяться результаты. Если качество анализа продолжает улучшаться, вы, скорее всего, не достигли той точки, когда у проблем нет решения.

Если же рост качества замедляется, оцените издержки, связанные с использованием различных подходов, по отношению к возможному доходу. Стоит также помнить, попытки с максимальной точностью спрогнозировать поведение потребителя могут завести все усилия в тупик.