Описание проекта
С момента основания компании, основной системой обработки данных и предоставление аналитических данных, было зарубежное решение Qlik Sense – платформа для анализа данных с широкими возможностями на базе AI. В связи с уходом вендора с IT-рынка России, перед клиентом встала задача найти альтернативное решение и произвести полноценный переход на систему, которая по функциональным возможностям не будет уступать Qlik Sense.Представители компании обратились в Первый Бит в офис Новосибирск.Гагаринская, с запросом на подбор и внедрение альтернативной системы, которая не только заменит Qlik Sense, но и предоставит полный комплекс услуг, как методической поддержки, так и рекомендаций по адаптации бизнес-процессов в компании.
Специалистами Первый Бит был проведен аудит текущей платформы Qlik Sense, который показал, что:
- У клиента большой массива данных – более 1 млрд строк.
- Загрузка данных происходит постепенно небольшими объемами, раз месяц одним файлом.
- Загрузка данных занимает длительный процесс времени, около 1-2 часов.
- Использовать российский программный продут PIX BI, для обработки готовых массивов данных в аналитические дашборды.
- Для получения данных использовать Clickhouse – систему, позволяющую выполнять аналитические запросы в режиме реального времени на структурированных больших данных.
- Для загрузки данных из формата Exсel в PIX BI использовать микро-сервис с универсальным скриптом загрузки, который позволяет оптимизировать процесс загрузки и обработки данных.
- Для успешной реализации проекта, провести полноценную работу по развертыванию сервера, где будет установлена платформа.
- Подготовка и установка серверного обеспечения.
- Приобретение основной поставки PIX BI и 4-х дополнительных лицензий.
- Развертывание системы Clickhouse.
- Написание микро-сервиса для загрузки данных из Excel.
- Написание универсального скрипта по обработке данных из Excel.
- Подготовка моделей данных.
- Перенос дашбордов из Qlik Sense в PIX BI.
- Проброс 80 и 443 порта на proxy-сервер под управлением windows.
- Установить гипервизорную OS Linux.
- Установить VMOS Linux для PIX BI и СУБД.
- Установить OpenSource приложение RadminVPN, для создания закрытых сетей VPN.
- Настройка proxy для перенаправления входящего запроса на сервер с PIX BI.
- Настройка брандмауэра Windows.
Третьем шагом потребовалась настройка системы базы данных Clickhouse.
Четвертым шагом произвели установку сервиса Nextcloud, который использовали как хранилище данных, загружаемых из Excel.
Пятым шагом написали на языке Python сканер, который раз в минуту проверяет изменения в директории Nextcloud, куда пользователь загружает файлы с данными Excel.
Шестым шагом создали универсальный загрузчик на языке C#, который создает новую таблицу в базе данных Clickhouse в зависимости от имени файла, помещенного в директории Nextcloud. Структура таблицы основана на первой строке, первого листа Excel файла.
Седьмым шагом произвели настройку получения данных из Clickhouse в PIX BI, после чего произвели совместно с заказчиком модели данных для визуализации дашбодов.
Завершающим шагом стал перенос дашбордов из Qlik Sense в платформу PIX BI.
Совместно с заказчиком проведены работы по проверке функциональности мини-сервисов и скрипта загрузки данных, а также проведено обучение по использованию данных сервисов и платформы PIX BI.
После выполнения всех операций по переносу дашбордов из Qlik Sense в платформу PIX BI, произведен тестовый период на 10 рабочих дней, где сотрудниками зафиксированы новые пожелание к развитию системы. Эти требования будут выделены в отдельную очередь после заключения договора сопровождения. Тестовые испытания закончились успехом, система передана компании в работу.