Конструктор отчётов

Этот раздел предназначен для создания форм и наполнения отчётов. Чтобы работать в конструкторе, пользователь должен обладать необходимыми правами доступа и достаточной квалификацией, а именно:

• глубокими теоретическими знаниями различных стандартов и технологий мобильной связи,
• пониманием ключевых показателей качества сети подвижной связи.
• знанием SQL (не ниже базового, или среднего уровня)

Кроме того, важно четко представлять, какие данные и в какой форме должны быть представлены в отчёте.

Все отчёты на платформе создаются в формате электронной таблицы (xlsx), которая может включать как числовые, так и графические данные.

Конструктор отчётов позволяет задать источник данных, определить методы их обработки, выбрать формат отображения и порядок размещения в таблице. По сути, это инструмент для создания таблиц с конкретным набором данных и/или изображений.

Разделы конструктора отчётов

Последовательность работы конструктора отчётов (разделы конструктора:

• KPI - (значение) извлечение и обработка определенного поля данных из источника (базы). В этом разделе пользователь определяет источник данных, ключевой параметр, методы статистической обработки, фильтр по заданным критериям (фильтр) и т.д.;
• Задачи - определяется ячейка таблицы для размещения ранее определённого KPI (значения) или верхнего левого угла изображения а также некоторые другие параметры. Подробнее см.в разделе "Задачи".
• Секции - производится компоновка задач на листе таблицы Excel. Здесь же определяется тип секции (графическое изображение или таблица) и ряд других параметров (подробнее - см. раздел "Секции")
• Шаблоны отчётов - компоновка секций (листов таблицы) в отчёте.
• Отчёты - в этом разделе определяется окончательный вид отчёта, построенного по заданному ранее шаблону, подключаются необходимые log-файлы (файлы результатов измерений), задаётся географическая область и временной период.

KPI (метрики)

В разделе KPI выводится список (таблица) ранее созданных метрик (рис.7.1.). Метрики можно редактировать (1), копировать (2) удалять (3). Для удаления нескольких метрик или всего списка следует пометить их, кликнув в соответствующем поле (4). В таблице метрик предусмотрен быстрый поиск по названию метрики или имени автора, создавшему метрику, а также сортировка таблицы по дате создания.
Для создания метрики и перехода в режим редактора нажмите кнопку "Создать" в правой верхней части экрана (рис.7.2).

Редактор метрик (KPI)

Последовательность получения данных KPI (метрики) отображается в области редактирования в виде блок-схемы, где каждый блок - это этап процесса обработки данных. Каждый блок имеет один вход и один выход (см. рис.7.2)

Все блоки организованы в функциональные группы: Sources (Источники первичных данных), Outputs (выходные форматы), Processors (Обработчики данных), Filters (Фильтры), Aggregators (Статистические функции), Binners (Функции пространственной обработки).

Источники данных (Sources)

• DBSource - источник данных на основе таблицы из базы данных измерений.

• CSVSource - источник данных на основе таблицы из текстового файла пользователя.

• Splitter - специальный блок-разветвитель, предназначенный для соединения выходного узла какого-либо блока с входами нескольких других блоков, например, для параллельной обработки.

Вывод данных (Outputs)

• Output - простой вывод в консоль. Блок предназначен для технологических отладочных процедур и в пользовательских KPI не используется;

• CSV Output - выходная форма для вывода данных (финальных или промежуточных) в текстовую таблицу формата CSV;

• Redis Output - выход для хранения агрегированных данных на время работы программы расчетов. Блок предназначен для технологических отладочных процедур и в пользовательских KPI не используется.

Процессоры (Processors)

Блок процессоров предназначен для специализированной обработки входных данных, которая не может быть сведена к простой фильтрации и/или агрегации.

Для работы с данными радиочастотного сканирования предназначены следующие процессоры:

• BestGSM - для GSM-900/1800;
• BestUMTS для технологии UMTS(3G);
• BestLTE - для технологии LTE (4G).

Особенность работы сканеров заключается в том, что измерения по всем настроенным частотам проводятся в разные моменты времени. Это означает, что нельзя выбрать наилучшее измеренное значение с помощью стандартной группировки по дате и времени (поле date_time).

Указанные выше блоки обработки автоматически определяют границы цикла измерений и корректно вычисляют наилучшее значение уровня сигнала для различных технологий: 2G, 3G и 4G.

В разных регионах страны и у разных операторов связи действуют свои разрешённые для использования частоты. Указанные выше процессоры имеют возможность гибко настраивать списки доступных частот для реализации функционала отбора наилучших значений, полученных со сканера. Настройки списков частот возможно устанавливать либо непосредственно в блок-схеме KPI, либо (что практически более предпочтительно в реальных отчетах) устанавливать их на иерархически более высоком уровне из раздела «Секции»

Индивидуальные настройки блоков имеют приоритет над глобальными настройками. Для редактирования списка разрешенных каналов нужно дважды кликнуть по блоку процессора, чтобы открыть всплывающее окно, и в нём отредактировать номера каналов (рис.7.3). Поддерживается следующий синтаксис:

• через запятую - будут включены все перечисленные через запятую номера каналов, например: "1,20, 34, 88, 550");
• через тире - например, 1 - 20 (все каналы с 1 по 20);
• комбинация, например 1-20, 34 - 88, 92, 95, 98.

В данном примере в метрику включены каналы GSM с 1 по 20, 25, 28 и с 80 по 94.

StateMachine (конечный автомат)

State Machine — это блок, который можно сравнить с мини-компьютером, обработчиком с памятью или конечным автоматом. Он позволяет осуществлять "умную" фильтрацию данных, учитывая текущее состояние автомата.

В теории алгоритмов конечный автомат (КА) представляет собой математическую абстракцию, модель дискретного устройства, которое имеет один вход, один выход и в каждый момент времени находится в одном из множества возможных состояний. В платформе механизм конечного автомата используется для маркировки данных, удовлетворяющих определённым условиям. Такая маркировка называется состоянием (State), которое может принимать два возможных значения:

• разрешённое - данные попадают в выборку;
• запрещённое - данные отбрасываются..

В данном примере анализируется скорость передачи в направлении "вниз" (DL) в кбит/с на уровне приложения. Определено три состояния:

• Normal, - нормальное состояние (скорость передачи >=15 000 кбит/с
• Fall (падение) - скорость передачи \<=10 000 кбит/с,
• Stall (зависание) \<=6000 кбит/с в течение 5 с.;

При соблюдении заданных пользователем условий, КА переходит из одного состояния в другое. Для предотвращения т.н. "осциллирующих" переходов предусмотрен защитный интервал "Trigger time"по истечению которого происходит срабатывание события.
Условия перехода между состояниями (Condition) описаны в правой части экрана (рис.7.5). В данном примере в качестве параметра перехода используется скорость передачи "вниз" (DL) в кбит/с:

• При скорости передачи \<10 000 кбит/с автомат переходит в состояние "Fall". Вывод данных разрешён. Переход из этого состояния в нормальное происходит при достижении скорости >15 000 кбит/с;
• При заданном продолжительном (>=5000 мс) снижении скорости передачи ниже 6000 кбит/с автомат переходит в состояние "Stall". Вывод данных заблокирован. Переход из этого состояния в нормальное происходит при достижении скорости >15 000 кбит/с.

Таким образом в результате работы описанного автомата в отчёт будут включены данные (точки) с различными (в том числе и временно низкими скоростями), но исключены непрерывные участки маршрута, где скорости длительное время ниже заданного порога.

Moving Average (скользящее среднее)

Moving Average (скользящее среднее) — это функция, которая преобразует значения ключевого поля, усредняя их за определённый период, указанный в конфигурации блока.

Filters (фильтры)

Filter представляет собой простой фильтр, который отбирает и направляет на выход только те данные, которые соответствуют заданным условиям. Остальные данные не проходят через фильтр и не достигают его выхода.

В представленном примере на выход блока попадают данные только из сети LTE. (обновить иллюстрацию с новым Filter)

Area — это пространственный фильтр, который позволяет выводить только те данные, координаты которых попадают в заданную географическую область, определяемую с помощью UDP (User Defined Polygon). Полигоны предварительно импортируются в базу данных с помощью встроенного конвертера

В конфигурации блока нет необходимости указывать географическую область (полигон), так как её имя задаётся на уровне конкретного экземпляра отчета. Это позволяет применять один и тот же KPI к разным географическим областям в шаблонах и отдельных отчетах.

Aggregators

Группа блоков Агрегаторы предназначена для расчета скалярной величины, характеризующей всю поступившую на обработку последовательность данных. Таким образом, в результате работы агрегатора таблица будет преобразована в единственное значение ключевого параметра:

• Min - вычисляет минимальное значение ключевого параметра;

• Max - вычисляет максимальное значение ключевого параметра;

Для данного агрегатора предусмотрена комбинированная логика - максимум вычисляется по задаваемому ключевому полю, а выводимое значение при этом может быть представлено другим параметром.

Пример:

• KeyField: Application Throughput Downlink (скорость передачи на уровне приложений),

• OutField: Extended Serving System with Carrier Aggregation (тип обслуживающей системы с учетом агрегации частот).

• Avg - арифметическое среднее значение ключевого параметра с учетом опционально задаваемого условия (Condition);

• Sum - сумма значений ключевого параметра;

• Функция Count используется для подсчета количества уникальных значений ключевого параметра. Вы можете выбрать несколько полей из набора данных в качестве ключевых. Например, можно подсчитать количество уникальных пар «канал-PCI» или «канал-код скремблирования».

• Threshold - расчет доли записей из входного набора, удовлетворяющих заданному в блоке критерию (Condition);

• RouteLength - Этот специализированный блок предназначен для расчёта общей протяжённости драйв-теста в километрах. Он принимает во внимание возможность разделения входящего потока данных драйв-теста (ДТ) в результате применения пространственных и других фильтров, таких как Filter, Area, State Machine. Это может произойти, если какой-либо участок ДТ не попадает в пределы рассматриваемой территории или модифицируется в результате фильтрации. Однако накопленная дистанция, записанная в логе измерений, не отражает этот аспект. RouteLength учитывает отсеченную часть маршрута и исключает ее из общего километража.

Binners

В процессе обработки данных часто возникает необходимость их пространственной агрегации. Это может быть связано с разными целями: например, чтобы устранить неоднозначность измерений, когда по одной и той же дороге были получены разные значения на прямом и обратном пути, или чтобы избежать смещения статистики из-за неравномерной скорости движения транспортного средства во время проведения драйв-теста.

Например, длительная остановка на светофоре или в пробке значительно увеличивает статистический вес измерений, относящихся к этому участку дороги. Это не всегда приемлемо, поэтому для решения проблемы используется метод усреднения или взятия максимальных значений для измерений, относящихся к определённому участку пространства. Обычно размеры этого участка составляют 30x30, 50x50 или 100x100 метров.

Однако, стоит отметить, что при такой агрегации исходный набор данных необратимо преобразуется. В частности, теряются данные о времени измерений, а также возможные причинно-следственные связи между соседними измерениями, так как временная шкала становится размытой.

Визуально набор данных также сильно меняется, поскольку исходные координаты точек драйв-теста заменяются на координаты центров агрегирующих ячеек (Bins).

Одним из возможных решений является метод обратного восстановления информации о времени и координатах. Этот метод предполагает создание таблицы с агрегированными данными (называемой бинирующей таблицей), а затем подмену фактических измерений целевого параметра в исходном наборе данных на значения из бинирующей таблицы. При этом сохраняются исходные временные метки и координаты точек.

Для решения указанных задач используются следующие блоки:

• Binner - Пространственный агрегатор данных, который использует функцию максимума для объединения информации. Размер ячейки пространственной агрегации определяется параметром данного блока. Ячейка представляет собой квадрат с заданной стороной, измеряемой в метрах.

• Unbinner - выполняет операцию сопоставления данных исходного потока данных с таблицей бинирования Панель настроек аналогична Binner;
• Reprojector — это вспомогательный блок, который преобразует исходные координаты, выраженные в градусах, в прямоугольные (метровые) координаты. Этот блок необходим для работы блоков Binner и Unbinner. Он не имеет параметров.

Настройки KPI (метрики)

Чтобы создать простую блок-схему (рис.), достаточно указать источник данных (Source), например, файл базы данных (DBSource) или текстовый файл (CSVSource).

Чтобы добавить блок на блок-схему, нужно выбрать его из списка, который появляется в левой части экрана. После этого в поле для редактирования (рис. ) появится графическое изображение выбранного блока.

Логическая связь между блоками отображается в виде линии. Чтобы установить эту связь, нужно выбрать точку входа или выхода (1) с помощью мыши, нажать на неё левой кнопкой и, не отпуская её, провести линию к соответствующей точке другого блока.

Чтобы выбрать несколько блоков, нажмите и удерживайте левую кнопку мыши, удерживая клавишу «Shift». Выбранные блоки можно выровнять по горизонтали и вертикали (см. рисунок).

Чтобы удалить размещённые блоки, достаточно выделить удаляемый блок левой кнопкой мыши (ЛКМ) и воспользоваться клавишей Backspace. В левом нижнем углу области редактирования (см. рис. 6.10) расположены иконки управления, позволяющие масштабировать блок-схему, увеличивать или уменьшать её, а также блокировать отдельные элементы.
В правом верхнем углу расположены иконки, выхода из редактора, очистки области редактирования, выравнивания элементов по вертикали и горизонтали, а также сохранения результатов работы.
В поле «Название KPI» укажите имя, под которым будет храниться полученное значение. Рекомендуем разработать систему именования элементов, чтобы было легко понять, какой тип данных вы получаете.
Для выбора поля из источника следует дважды кликнуть на блоке DBSource:

Выбранная метрика отображается в блоке DBSource:

Название KPI

Рекомендуется выбирать название, которое не только точно отражает суть метрики (ключевого показателя эффективности), но и включает дополнительную информацию. Например, можно использовать мнемонический идентификатор сети, название региона или населенного пункта, информацию о технологии и/или частотном диапазоне. В названии можно применять любые сочетания букв, цифр и символов, включая пробелы.

Ключевое поле

Для каждой метрики (ключевого показателя эффективности, KPI) предусмотрен набор полей, которые можно выбрать в качестве ключевых. Ключевые поля играют важную роль в наполнении отчета:

• их можно использовать для тематической раскраски в картографических отчётах;
• они служат основой для расчёта статистики, выступая в качестве агрегируемого параметра.

Чтобы выбрать ключевое поле, необходимо воспользоваться выпадающим списком.

Задачи (Tasks)

В разделе «Задачи» можно настроить, как будет отображаться метрика в итоговом отчёте: в виде статистического значения или изображения. Задачи, которые были созданы ранее, представлены в виде списка (см. рис.7.16).

Существующие задачи можно редактировать, копировать или удалять из списка, используя соответствующие пиктограммы в правой части таблицы.

Кнопка "Умная фильтрация" позволяет легко находить и выбирать задачи, которые используются в разделах "Секции", "Шаблоны отчётов" и "Отчёты", расположенных выше.

Для создания новой задачи и определения её параметров воспользуйтесь кнопкой "Создать" (см. рис.7.16).

Параметры задачи

Список параметров для определения задачи (рис.7.18):

• «KPI процессор» (обязательно) — с помощью выпадающего меню можно выбрать нужный показатель из списка ключевых показателей эффективности (KPI). Название выбранного KPI автоматически используется в качестве названия задачи.
• Расширение. В этом поле через запятую указываются номера терминалов измерительного комплекса. По умолчанию будут задействованы все терминалы, которые используются для проведения измерений.
• "Ячейка Excel" (обязательный параметр) — это ячейка в файле Excel, в которую будет помещён результат выполнения задачи. Если результатом является графическое изображение, то в указанной ячейке будет находиться его верхний левый угол.

• Название изображения. Этот параметр заполняется, если результатом выполнения задачи является графическое изображение, например, карта. Если же задача сводится к вычислению числового значения, то данное поле остаётся пустым.

• Стиль (выпадающий список)- способ графического представления результатов:
• точка (point) - используется для данных, имеющих преимущественно дискретный характер. Например, точками разных цветов могут быть отмечены участки с Pilot pollution, различные значения MOS, длительность голосового вызов (Call setup time) и т.д. Точками также удобно отмечать события (handover, call drop и т.д.)

• линия (line) - используется для отображения непрерывных данных, например, изменение уровня принимаемого сигнала или скорости передачи данных на участках автомобильных дорог (улицах);

• символ (icon) - вариант точечного отображения, но в этом случае для каждого типа события может быть назначен свой символ (иконка).

• цветовая гамма - выбор набора цветов из предустановленного списка для отображения данных ;

Отметка "Включено" активирует задачу, т.е. делает её доступной для использования в разделе "Секции".

В ряде случаев (для независимого контроля данных в табличном виде или для вывода карт в Google Earth) результат выполнения задачи можeт быть скопирован в текстовый файл (*.csv) или в файл Google Earth (*.kml), для чего надо выбрать галочкой соответствующие форматы.

Наименование задачи формируется автоматически из её указанных параметров и имеет формат:

Если не определены необязательные параметры, то они не включаются в наименование задачи. В этом случае имя задачи имеет вид:

Секции

Определённые ранее задачи (ячейки) группируются в секции (таблицы). Секция может включать в себя только однотипные задачи, т.е. либо статистического, либо графического типа и по сути является макетом таблицы.

Созданные ранее секции можно редактировать, копировать и удалять, используя соответствующие пиктограммы (рис 7.20).

Под заголовками таблицы располагаются поля фильтра, по которому можно отобрать записи из списка по определённым критериям или их набору: (контекстный поиск по названию, оператор, разрешение, протокол, BTS файл, используемые каналы (ARFCN) и пользователь, создавший секцию).

Для создания новой секции и определения её параметров используйте кнопку "+ Создать".

Параметры секции

Размещение данных (задач) на листе таблицы Excel, а также ряд других параметров определяется в разделе "Секции (рис.7.21). Для сложных отчётов, состоящих из нескольких листов (Worksheet) таблицы Excel, должны быть созданы несколько секций, как минимум, по одной секции на каждый лист (Worksheet).

Параметры секции:

• Название секции(обязательный) - под этим именем секция будет доступна для использования в шаблонах отчётов. Рекомендуется использовать названия, облегчающие поиск (например, начинающиеся с префикса региона) и описывающие содержание секции (как в приведённом примере: Statistic voice);
• Оператор - название оператора связи. Выбор из выпадающего списка
• Тип - Statistic/Picture - табличные данные либо графическое изображение;
• BTS файл (выбор из выпадающего списка). Параметр, определяющий отображение базовых станций (секторов) на карте. Используется только для секций типа Picture. Если это поле не заполнено, то базовые станции (сектора) отображаться не будут;
• Разрешение - (используется только для типа Picture). Разрешение в пикселях в формате (Ширина х Высота).
• Протокол - (необязательный) - фильтр, который используется для оценки сервисов передачи данных в процессе соединения. Например, можно выделить только данные, переданные по протоколу http, все остальные будут отброшены;
• Excel file (обязательный)- имя файла-макета Excel, в который будут помещаться данные из секции;
• Worksheet (обязательный) - имя листа в файле-макете Excel, куда будут помещаться данные секции;
• Get channels from Section (необязательный)- получить номера каналов (ARFCN) из другой секции. Если это поле не заполнено, то номера каналов будут получены из KPI. Применение этого поля позволяет один раз определить набор ARFCN в "пустой" секции и использовать этот набор для разных секций задач (KPI)

• 2G/3G/4G - номера каналов (ARFCN) для различных технологий. Будут использованы данные только для определённых в этих полях радиоканалов;
• Tasks (задачи) - список задач (ячеек), включённых в данную секцию. Должна быть определена как минимум, одна задача, в противном случае результатом будет пустое множество

В данном примере данные размещаются в колонке "C" в строках с 14 по 24. Данные получены от терминалов №№ 1 и 2.

• В ячейке C14 размещается значение CSFB (Circuit Switched FallBack) в %;
• Ячейки таблицы C15-C23 содержат средние значения MOS (Mean Opinion Score)- оценка качества голосовых сервисов для разных технологий и диапазонов частот;
• Ячейка C24 содержит среднее значение времени установления голосового соединения (Call setup time)

Шаблоны отчётов

В этом разделе производится компоновка секций с задачами в шаблон, который в дальнейшем может использоваться при создании отчётов, доступных для всех пользователей.

Ранее созданные шаблоны можно редактировать, копировать и удалять, используя соответствующие пиктограммы (см. рис.7.23)

Выбрав несколько шаблонов из списка можно производить с ними групповые операции: фильтр по категории, редактирование, удаление, экспорт (в формате JSON).

Параметры шаблона отчёта

Для конфигурации шаблона отчёта необходимо задать его имя и выбрать необходимые секции из списка. Для работы шаблона должна быть выбрана как минимум, одна секция, в противном случае шаблон будет пустым.
Набор секций созданного шаблона может быть впоследствии изменён в режиме редактирования.

Отчёты

В разделе "Отчёты" находится список отчётов (рис.7.26), созданных на основе подготовленных в Конструкторе шаблонов. Пользователь может запустить отчёт на исполнение, создать новый отчёт, отредактировать, скопировать или удалить существующий, и выгрузить результаты работы в Excel файл.

Верхняя строка таблицы предназначена для контекстного поиска отчёта по полю/группе полей. Индикатор в поле "Progress" отображает процесс выполнения отчёта (сложный отчёт, содержащий большой объём данных, может потребовать значительного времени на выполнение). Индикатор в поле "Информация" отображает исполнение каждой входящей в шаблон отчета задачи, например:

S:A1(SDT_Data) - задача типа Statistics, результат будет помещен в ячейку A1 в форме SDT_Data.
или
collecting - все входящие в шаблон задачи завершены, в данный момент производится перенос результатов из временного хранилища в финальную форму отчета.

Для запуска отчёта на исполнение надо переключить флажок рядом с названием отчёта. Об окончании выполнения сигнализирует зелёный индикатор (статус - complete), при этом становится доступной для выбора пиктограмма выгрузки файла:

Параметры отчёта

Для создания отчёта нажмите кнопку "Создать" (в правом верхнем углу экрана.

Параметры при создании/редактировании отчёта (см.рис.7.27):

• Название является обязательным параметром. Выберите название в соответствии с принятой в вашей компании системой наименований, если таковая имеется. Вы также можете использовать собственное название, но в любом случае убедитесь, что в дальнейшем нужный отчёт будет легко найти в списке.
• UDR (User Defined Area) — это заранее определённая географическая зона. Выберите нужную из списка доступных UDR. Важно помнить, что результаты измерений должны соответствовать этой географической области, в противном случае сгенерированный отчёт будет пустым;
• Шаблоны отчётов. Из выпадающего списка следует выбрать нужный шаблон.
• Период. Задайте временной период, в пределах которого будет выполнен поиск релевантных лог-файлов.
• Log File - выпадающий список имеющихся в хранилище log-файлов с измерениями. Отметьте нужные файлы галочкой.

В поле Search можно ввести строку поиска, с помощью которой будет легче отобрать нужные лог-файлы.

• Подготовка сложных отчётов может занять больше времени. Отметьте галочкой поле с вашим адресом электронной почты, если вы хотите получать уведомления о готовности отчёта..