Шумы в данных могут приводить к серьезным погрешностям в контроле топлива. Чтобы оценить влияние шумов, причины их появления и минимизировать риск неточных данных, в Navixy исследовали выборку из нескольких тысяч датчиков уровня топлива и разработали адаптивный алгоритм оценки.
Результатом работы стал новый инструмент в отчетах по топливу — индекс качества топливных данных. Он позволит автопаркам провести автоматическую оценку, а наша статья опишет, как улучшить качество показаний и на что обратить внимание в первую очередь.
Причины появления шумов при контроле уровня топлива
Шум — это нежелательные или случайные вариации, ошибки и искажения, которые могут возникать в данных. Они влияют на результаты мониторинга топлива и качество получаемых данных.
В рамках исследований в Navixy мы выявили, что шумы в поступающих данных от ДУТ и флуктуации в показаниях — распространенное явление. 70%, то есть 366 из 545 датчиков уровня топлива, которые мы взяли для первого анализа, имеют заметный шум на графике. Это позволило подтвердить нашу гипотезу об актуальности проблемы.
Для подробного анализа мы использовали выборку из 8 тысяч устройств. Как показали результаты, возникновение шума может зависеть от типа ДУТ. Например, такая проблема в большинстве случаев не возникает с датчиками, подключенными к GPS-трекеру через цифровой интерфейс и должным образом настроенными. А при использовании низкокачественных штатных датчиков, установленных на устаревших автомобилях, наоборот могут возникать значительные помехи. Кроме того, есть группа устройств со средним уровнем шума: обычно это происходит, если ДУТ не были должным образом настроены или имеют дефекты, возникшие в ходе эксплуатации.
Для разрешения этой проблемы и улучшения точности измерений уровня топлива необходимо понять причины появления шума в ДУТ.
- Некачественный датчик. Исследования показывают, что наиболее шумными типами являются штатные датчики уровня топлива, установленные в автомобиле по умолчанию. Обычно такие ДУТ относятся к поплавковому типу, где основными элементами являются поплавок и переменный резистор. Со стороны GPS-трекеров это данные, поступающие по CAN и OBD. Для качественных расчетов мы рекомендуем использовать отдельно встраиваемый датчик уровня топлива вместо штатного.
- Неправильная установка или повреждение датчика. В большинстве случаев это приводит к получению неточных показаний и «шумным» данным. Важно следовать инструкциям производителя по установке и регулярно проверять датчик. Мы рекомендуем обращаться к высококвалифицированным специалистам для установки.
- Коррозия и загрязнение. Эти проблемы характерны для датчиков уровня топлива, эксплуатируемых в суровых климатических условиях или с использованием некачественного топлива. Корродированные или загрязненные компоненты датчика могут повлиять на точность измерений. Регулярная проверка и чистка датчика не реже раза в год помогут предотвратить эти проблемы.
- Электромагнитные помехи. Не самая распространенная причина, но о ней тоже важно упомянуть. В этом случае источником шумов является электромагнитная интерференция. Она может быть вызвана наводками от различных электрических и электронных компонент в автомобиле: систем зажигания, кабелей или радиопередатчиков. Если вы заметили аномалии в работе датчика, необходимо проверить его подключение к GPS-трекеру и расположение относительно электрических/электронных компонент транспортного средства.
- Физические факторы: вибрация и движение автомобиля. Во время эксплуатации транспорта на датчик и топливо может влиять физическое воздействие, чаще всего это бывает при движении по бездорожью. Отметим, что внешние факторы зачастую имеют временный характер и порождают шум только при непосредственном воздействии.
Существует множество причин возникновения шумов в датчиках уровня топлива. От низкого качества заводских устройств до неправильной установки или настройки — каждый фактор может привести к погрешностям в измерениях. Далее мы проведем анализ данных и шумов для разных типов ДУТ. Полученная информация поможет лучше понять качество данных, чтобы рекомендовать дальнейшие действия.
Методы выявления шумов и их анализ
Существует множество различных методов, которые позволяют выявлять шумы, анализировать и классифицировать их по уровню. Ниже мы рассмотрим несколько методов и выберем наиболее подходящий для оценки качества.
Вейвлет-анализ
В первую очередь рассмотрим вейвлет-анализ (wavelet analysis) — математический метод оценки сигналов. Вейвлеты представляют собой специальные математические функции, которые позволяют разбить сигнал на различные частотные компоненты. В результате можно разграничить шумовые компоненты сигнала и важные данные.
На изображении ниже показан пример вейвлет-анализа для определения уровня шума: сверху данные сенсора, снизу — визуализация частотного спектра. Как видно на графике, событие заправки определено как сильный уровень шума, что некорректно. Такие отклонения можно фильтровать, но это накладывает дополнительные трудности в реализации алгоритма.
Метод вычисления скользящего средне-квадратичного отклонения
Далее обратимся к методу вычисления скользящего средне-квадратичного отклонения — еще один достаточно распространенный вариант оценки уровня шума. На основе полученных от сенсора данных выбирается скользящее окно, которое перемещается по временной шкале. На каждом шаге вычисляется среднее значение данных внутри окна, то есть ожидаемая основная составляющая данных. Стандартное отклонение показывает диапазон значений относительно среднего и служит мерой шума.
Основной сложностью в этом методе является выбор продолжительности временного окна. Эмпирическим путем можно выявить наиболее подходящие временные рамки, но здесь возникает ограничение при использовании различных типов сенсоров и GPS-трекеров с разными настройками передачи данных. В этом случае в утвержденное окно будут попадать различные по сути события, например парковка и заправка, что в конечном итоге может привести к аномалиям в определении уровня шума.
Проанализировав несколько стандартных методов мы выявили основную проблему — использование одного подхода для разных по сути событий: слив, потребление, заправка. С высокой долей вероятности это может приводить к серьезным погрешностям в анализе уровня шума. Поэтому мы приняли решение использовать собственный подход — адаптивный метод выявления и классификации шумов, который будет учитывать различные сегменты графика, и в зависимости от них использовать определенный алгоритм для расчетов.
Адаптивный метод
Адаптивный метод классификации шумов состоит из нескольких этапов. Первым шагом является разделение графика на сегменты в зависимости от возникающих событий: потребление, заправка, слив, стоянка. Далее для определенных сегментов применяются алгоритмы сглаживания, чтобы сформировать эталонный график.
Более пристальное внимание уделяется участкам графика, где происходит движение транспортного средства: в тех моментах, где шум намного больше, чем при стоянках или заправках. После того, как мы получили идеальный сигнал, алгоритм сравнивает его с исходными данными с помощью методов статистического анализа. Эта информация позволяет производить пороговую классификацию сигнала по уровню шума.
Наши исследования показали, что адаптивный метод выявления и классификации шумов является наиболее гибким и применимым для различных ДУТ по уровню шума, что обеспечивает точное определение искажений в данных. При сегментации набора данных и периодическом обновлении статистических метрик, алгоритм может адаптироваться к изменяющимся условиям и динамически вычислять пороговые значения для классификации шума.
Классификация качества показателей датчиков уровня топлива
Классификация качества показаний ДУТ позволяет определить, насколько точно и надежно устройства могут измерять и передавать данные в систему для последующих вычислений. Главные цели такого анализа:
- Определить качество исходных данных. Понять, насколько точны и достоверны показания, собранные датчиками.
- Выбрать наиболее подходящие датчики для конкретных задач.
- Оптимизировать затраты. Датчики с высоким уровнем качества данных могут быть более дорогими, но они обеспечивают более точные измерения, что может сократить расходы на дополнительные проверки.
На основе адаптивного метода оценки и классификации шума мы можем разделить все датчики уровня топлива на 3 группы по степени качества передаваемых показаний:
Качество показаний датчика уровня топлива: низкое. Данный результат чаще всего наблюдается на штатных ДУТ, либо указывает на низкую точность показаний. Возможным объяснением этого могут быть высокий уровень шума сигнала от датчика или его неисправность. Это может значительно повлиять на точность данных, отраженных в отчете.
Качество показаний датчика уровня топлива: среднее. Данная оценка указывает на приемлемую точность показаний датчика уровня топлива. Такая точность может быть обусловлена различными факторами: повышенным уровнем шума сигнала от датчика или особенностями эксплуатации.
Качество показаний датчика уровня топлива: высокое. Отчеты, основанные на таких показаниях, являются наиболее достоверными и предоставляют детальную информацию об уровне топлива.
Далее рассмотрим, каким образом данная классификация реализована в Navixy.
Индекс качества показаний ДУТ на платформе Navixy
Значение индекса качества зависит от конкретного датчика уровня топлива. Результат оценки отображается в отчете по топливу. Для этого перейдите в нижнюю часть отчета, в секцию под названием «Качество показаний датчика топлива (LAB)». Информация с результатами оценки качества показателей датчика топлива будет также дублироваться в скачанном PDF/Excel отчете.
Если данных для расчета оценки качества показателей датчика достаточно, алгоритм выведет количественный и качественный результат. Он будет представлен в виде оценки с баллами от 1.0 до 10.0, которые соответствуют одному из трех уровней:
- от 1.0 до 3.9 – низкий,
- от 4.0 до 7.9 – средний,
- от 8.0 до 10.0 – высокий.
Кроме количественного и качественного результата, в отчете описаны возможные причины такой оценки и рекомендации для улучшения работоспособности оборудования.
Если данных для расчета недостаточно, платформа Navixy предупредит об этом. Среди наиболее вероятных причин можно назвать:
- Недостаточное количество поездок за выбранный период. Минимально рекомендуемый период для оценки — от 14 дней активной эксплуатации автомобиля.
- Слишком редкий интервал получения топливных данных.
- Некачественная тарировка датчика на платформе.
Индекс качества топливных датчиков доступен всем пользователям при формировании отчета. Результаты позволяют самостоятельно определить точность данных о топливе и скорректировать процессы на основе рекомендаций платформы Navixy для получения надежных показаний.
Использование API для получения индекса качества датчика топлива
Кроме отчета по топливу, индекс качества показаний датчика уровня топлива можно получить с использованием API запроса. Такой способ дает возможность автоматизировать сбор информации и использовать ее в сторонних приложениях и информационных системах. Это позволяет своевременно обнаруживать аномалии и принимать решения по их устранению.
Пример запроса
curl -X GET 'https://api.navixy.com/eco_fleet/v1/trackers/123/sensors/321/quality?interval=P7D/2020-12-31T00:00Z' \
-H 'Authorization: NVX 22eac1c27af4be7b9d04da2ce1af111b'Ответ
{
"smoothness": 8.29
}Для получения данных необходимы дополнительные параметры на основе данных кабинета пользователя, включая идентификационный номер трекера и датчика. Результатом запроса будет десятичное число. Если платформа возвращает значение NULL, это говорит о том, что для оценки качества не хватает данных. Дополнительную информацию о API запросах вы можете найти в разделе для разработчиков.
Следующие этапы для контроля топлива в Navixy
Команда Navixy продолжает развивать мониторинг топлива: в начале года мы улучшили механизм определения заправок и сливов. Новые возможности на базе адаптивного алгоритма позволят пользователям понимать качество получаемых данных от датчиков уровня топлива и принимать решения, основываясь на индивидуальных рекомендациях.
В дальнейших планах команды Navixy использовать результаты классификации для создания графиков высокого качества с автоматическим сглаживанием данных, что будет визуально привлекательно и понятно для пользователей. Кроме того, в продвинутом режиме будет реализована возможность точно настраивать параметры сглаживания, чтобы они соответствовали конкретным потребностям пользователя. Если у вас остались вопросы, вы можете связаться с нами удобным способом.
