Показатели качества информации. Информация и данные

2017 FD.ru

Управление данными как активом предприятия: качество данных и бизнес-результат

Данные давно уже принято считать важным активом предприятия, к ним нередко применяют такие эпитеты как «новая нефть» или «золотоносная жила». Причем это очень быстро растущий актив. Объем только структурированных данных ежегодно увеличивается на 40%. Если же рассматривать все данные, включая неструктурированные (данные социальных сетей, интернет-источников, а также данные сгенерированные автоматически), то их ежегодный рост оценивается примерно в 80%.

Но всегда ли этот актив эффективно используется? Какую цену предприятия платят за ошибки в данных? Как корректно оценить качество данных и выстроить эффективную систему управления качеством данных? Существуют ли удачные примеры реализации такой системы в российской практике?

Немного статистики

В 2015 году компания Experian, провела масштабное исследование, охватившее 1239 предприятий США, Франции, Австралии, Германии, Испании и Нидерландов.Исследование показало, что более 97% организаций страдают от частых ошибок в контактных клиентских данных. 83% признают, что недополучают доходы из-за низкого качества и неполноты данных, и, если качество данных было на высшем уровне, бизнес смог бы увеличить доход в среднем на 15%.

О невысоком уровне зрелости процессов управления данными свидетельствует и тот факт, что только 35% компаний управляют данными централизованно, а более половины (57%) выявляют ошибки в данных пост-фактум, после того как об этом сообщили сотрудники или клиенты. И хотя большинство организаций используют какое-либо технологическое решение для контроля, подготовки и очистки, почти треть компаний (29%) до сих пор проверяют и очищают свои данные «вручную». 77% CIO справедливо рассматривают данные в качестве стратегического актива, который не до конца используется в организации.

Аналитики Гартнер установили, что плохое качество данных является основной причиной провала 40% бизнес-инициатив. Качество данных также влияет на операционную эффективность, способность управлять рисками и гибко реагировать на внешние факторы, ошибки в данных снижают производительность труда в среднем на 20%.

Более того, по мере перехода к автоматизированным процессам именно качество данных становится фактором, лимитирующим качество всего процесса. Показано, что ошибки в данных на 10% снижают эффективность ИТ.

Как трактовать и измерить качество данных?

Качество данных – это свойство данных удовлетворять предъявляемым к ним требованиям. Причем в соответствии с базовыми принципами качества данных (определяется стандартами серии ISO/TS 8000, ГОСТ Р 56214–2014/ISO/TS 8000-1:2011) понятие качества данных затрагивает только те данные, которые участвуют в принятии какого-либо управленческого решения. Качественные данные предотвращают повторение дефектов и сокращают избыточные расходы.

Традиционные определения качества данных фокусируется на каких свойствах данных как:

Полнота
Точность
Своевременность предоставления
Происхождение

Стандарт ISO/IEC25012:2008 существенно расширил перечень характеристик качества данных, включив в него характеристики, зависящие от компьютерной системы (эффективность, доступность, переносимость, восстанавливаемость, конфиденциальность и др.). Десять из пятнадцати характеристик качества данных являются системно зависимыми, что подчеркивает важность выбора правильного инструмента для управления качеством данных.

Для объективной оценки качества данных используются метрики. Это могут быть как непосредственно измеряемые по определенным правилам базовые показатели, так и более сложные комбинированные метрики, рассчитываемые на основании средневзвешенных значений базовых показателей.

Примерами таких метрик могут являться показатели доступности данных, показатели корректности данных, показатели стоимости обеспечения качества, показатели стоимости исправления ошибок.

Для применения метрик должны существовать правила проверки, формализующие порядок измерения и расчета показателей. Но одних метрик и правил недостаточно, для получения ощутимого эффекта, влияющего на финансовые показатели организации, необходим системный подход к управлению качеством данных.

Системное управление качеством данных

Управление качеством данных опирается на три элемента: организационная структура, процессы и инструменты управления качеством данных.

Организационная структура обеспечивает распределение ролей и ответственных за процессы работы с данными. Крупные компании все чаще говорят о выделении роли информационного директора CDO (Chief Data Officer) и организации подчиненной ему службы CDO. Информационный директор управляет распределенной структурой данных на предприятии, служба CDO обеспечивает оперативный оборот данных, ведет мониторинг любых действий с данными, а также контролирует использование информационных активов компании.

Процессы управления качеством данных (в соответствии с ГОСТ Р 56215-2014 и ISO/TS 8000-150:2011) делят на три группы:

процессы выполнения операций над данными,
процессы непрерывного контроля качества данных
процессы повышения качества данных.

Процессы выполнения операций над данными включают управление структурой данных в рамках организации в том числе с учетом применения данных в распределенных системах, разработку и конструирование схемы данных, выполнение операций над данными (создание, поиск, удаление, обновление).

Процессы непрерывного контроля качества нацелены на идентификацию ошибок данных и включают планирование качества, определение метрик качества и правил проверки, регламентацию процессов оценки данных по заданным критериям.

Процессы повышения качества данных должны обеспечить исправление ошибок в данных и устранение причин их возникновения.

И наконец, третий элемент – это инструменты управления качеством данных. На рынке представлен широкий арсенал инструментальных систем для работы с данными. Это и продукты класса Data Quality, системы управления мастер-данными, специализированные решения для работы с клиентской аналитикой, многочисленные интеграционные платформы с богатым арсеналом ETL-инструментов, отраслевые решения.

Контроль качества данных традиционно выполняется после извлечения данных из источника перед размещением их в хранилище данных в ходе так называемого ETL-процесса . Этот процесс, как правило, предполагает, как выполнение ряда системных проверок данных (контроль целостности, непротиворечивости, корректности заполнения атрибутов), так и выполнения дополнительных бизнес-проверок (контроль сходимости остатков и оборотов, соответствие лицевых счетов балансовым и т.п.). В ходе ETL-процесса могут выполняться также операции по обогащению и классификации данных, что увеличивает ценность данных для последующего анализа. Результаты выполнения ETL-процедур протоколируются, проблемы с данными анализируются и исправляются. Использование специализированных решений класса Data Quality упрощает настройку процедур контроля, облегчает контроль за результатами процесса. Как правило, такие решения предоставляют специальные графические средства, которые отражают такие характеристики качества данных, как полнота, согласованность, связность, точность, целостность и отсутствие дубликатов. Такие решения поставляют как зарубежные, так и отечественные ИТ-компании. В отличие от западных поставщиков, российские вендоры все чаще предлагают более бюджетные решения для управления качеством данных. Так компания Intersoft Lab разработала специальный модуль оценки качества данных в составе платформы хранилищ данных « ». Модуль обеспечивает сбор информации о показателях качества данных, накапливаемых в ХД, а также информации о фактах устранения дефектов в данных. Пользователям предлагаются инструменты для анализа показателей качества данных в различных аналитических разрезах, в том числе анализ динамики изменения качества данных, а также анализа трудозатрат на устранение дефектов в данных ранжированных по типам ошибок, филиалам, исполнителям, периодам и другим аналитическим разрезам.

Пример из отечественной практики управления качеством данных

На сегодняшний день большинство проектов, в которых затрагиваются вопросы контроля качества данных, связаны с (ХД) или с внедрением аналитических приложений, в том числе приложений для управления рисками, взаимоотношениями с клиентами, получения отчетности. Наиболее показательным в этом смысле является пример финансовой отрасли, в которой исключительно высоки требования к качеству клиентской аналитики и требования к качеству отчетности, предоставляемой регулятору.

Более того, ЦБР законодательно определил требования к качеству данных информационных систем, применяемых для расчёта величины кредитного риска на основе внутренних рейтингов.

Заместитель председателя Правления ПАО «Банк «Санкт-Петербург» Павел Филимоненок поделился опытом решения проблемы качества данных в Банке «Санкт-Петербург» в комментарии, опубликованном на сайте Ассоциации Российских Банков: «Мы прекрасно понимали, что стоимость обеспечения качества всегда ниже стоимости исправления ошибок. Мероприятия по обеспечению качества данных были инициированы в рамках проекта построения корпоративного ХД и завершились созданием пока еще редкой в российской практике службы качества данных. Сегодня эта служба успешно функционирует в составе департамента информационных технологий. Отлажены регламентные процедуры отслеживания и исправления ошибок. Обеспечен полный и регулярный контроль данных во всех ИС, поставляющих данные в ХД. Эксперимент по развертыванию службы качества данных завершился успешно во многом благодаря организационно-технологической помощи поставщика ХД - компании Intersoft Lab, обеспечившей технологическую поддержку процессов проверки и обогащения данных. Что мы получили в итоге? Существенно снизилось количество ошибок в данных. Показательно, что в одном только кредитном портфеле количество видов ошибок снизилось в 15 раз. Полностью исключены серьезные ошибки, влияющие на финансовые показатели. Возросло доверие пользователей к данным ХД, а вместе с ним и качество управленческих решений. Т.е. выстроена эффективная система управления качеством данных, работающая в интересах всех подразделений.»

Таким образом, внедрение на предприятии увеличивает ценность корпоративных данных, как актива, пригодного для поддержки достижения бизнес-целей.

Для того чтобы в дальнейшем достаточно эффективно работать с информацией (использовать ее), нужно на начальном этапе понять достаточно простые вещи: полезна для вас изложенная информация или нет, можно ли ей доверять, требуется ли дополнительная информация и т.п. Так вот, процесс и есть не что иное, как оценка поступившей к вам информации.

Критерии оценки информации - (важность, точность, значимость)

По каждому эпизоду (текстовому блоку, сообщению и т.п.) необходимо принять решение о нужности, хранении и дальнейшем использовании. Собирать всю окружающую информацию, прямо скажем, весьма затруднительно: для этого требуются колоссальные ресурсы.

Сам процесс выбраковки должен иметь четкие критерии. Для принятия решения о нужности информации осуществляется первичная ее оценка. Критерии первичной оценки должны быть немного загрублены для исключения потери важной информации, но незначительно, иначе поток превратится в неконтролируемый. Минимальный набор критериев для первичной оценки - это один признак - релевантность данной информации нашим . Иначе говоря, если информация хоть как-то касается нашей темы ил потенциально может помочь в работе над нашим проектом, значит, она представляет для нас интерес. Значит, мы ее оставляем у себя и пускаем в дальнейшую работу.

Результатом такой оценки информации должен стать вывод о ее релевантности нашей проблеме.

Ранее мы обсудили свойства информации, которые по своей сути и есть критерии ее оценки:
объективность - субъективность
достоверность - недостоверность
Полнота - неполнота
Актуальность - неактуальность
Ценность - бесполезность
Понятность - непонятность

Это академический подход. На практике обычно поступают следующим образом. Изначально поступившую информацию оценивают с точки зрения релевантности. Если информация релевантна - вопрос в ее достоверности. Затем - в ее актуальности. А после этого при необходимости осуществляется оценка по иным критериям. Часто для ускорения процесса оценки используют упрощенный набор критериев. Кроме того, в зависимости от задачи меняется важность того или иного свойства информации вплоть до полного отказа от какого то свойства. Также практикуется объединение нескольких свойств в один синтетический параметр. Например, объективность и достоверность, или полнота и ценность. Либо для оценки используют одно свойство. Так можно поступать при первичном сборе информации по ранее неизвестой проблеме. Собирается все - главное, чтобы информация как-то помогала в понимании проблемы.

Критерии упрощенной оценки информации
РЕЛЕВАНТНОСТЬ информации - наличие связи с проблемой (соответствие нашим интересам) и способность информации внести вклад в процесс понимания проблемы. Иными словами, необходимо сопоставить данную информацию с вашими информационными потребностями и ответить на вопрос: сможет ли помочь она вам чем-то сейчас или в ближайшем будущем? Если да - переходите к следующему этапу, если нет - в корзину (если только она вам не пригодится в другом деле).

ДОСТОВЕРНОСТЬ информации - насколько представленное описание соответствует действительности. Можно ли верить информации или требуется дополнительное исследование, или нельзя доверять в принципе.

ЗНАЧИМОСТЬ информации:
- понимание самой информации,
- полнота освещения предмета интереса,
- своевременность информации и ее достаточность для принятия решения.

Принятие решения о релевантности информации некой проблеме осуществляется по нескольким признакам. Первый признак - это наличие явного указания на сферу интересов. Такое указание выявляется через наличие ключевых слов (названий, имен, дат, специфических терминов и т.п.). Второй признак более сложен, это наличие косвенного, смыслового указания. Здесь прямо назвать признаки не получится - в каждой ситуации они свои.

Второй критерий - это достоверность. Она проверяется по следующим параметрам:
- наличие подтверждения из других источников;
- стыкование с другой информацией;
- знание источника и его ;
- авторитет или длительная положительная история работы с источником;
- свойства канала передачи информации.

Как видно, важнейшее место здесь занимает знание об источнике информации. Поэтому важно вести работу по изучению источников, постоянному сбору информации о них. С кем аффилированы, насколько объективно освещают проблемы, с кем сотрудничают, чьи интересы лоббируют и т.д. Для выявления дезинформации необходимо:
- четко разделять факты и мнения о них;
- понимать, может ли источник иметь доступ к присланной информации;
- учитывать отношение источника к описанным объектам или событиям;
- учитывать личностные характеристики источника (автора) - заинтересованность, фантазийность, зависимость, самомнение;
- помнить, что легче всего воспринимается желаемая информация.

Также необходимо брать во , что информация искажается и ненамеренно. Это происходит по следующим причинам:
- передача части сообщения;
- пересказ услышанного своими словами и внесение в содержание своего отношения, своего мнения;
- сообщения, циркулирующие по горизонтальным и неформальным каналам, менее подвержены искажениям, а информация, предоставляемая «наверх», - более, поскольку у лица, передающего данные, есть желане угодить, получить вознаграждение, избежать наказания.

При намеренной дезинформации используют следующие приемы:
- сокрытие фактов;
- тенденциозный подбор (изложение) фактов;
- нарушение логических или временных связей;
- подача достоверной информации в такой форме или контексте, чтобы она воспринималась как дезинформация;
- краткое изложение важной информации на фоне ярких, отвлекающих внимание данных;
- использование в изложении многозначных слов, которые можно толковать по-разному;
- замалчивание ключевых деталей.

В процессе работы с информацией (на любом этапе) возможно возникновение ситуации, когда для понимания происходящего не хватает данных. В этом случае можно воспользоваться приемом восстановления информации.

Суть его в том, что любому событию что-то предшествует, какая-то подготовка, какие-то события и везде остается след. Какие-то процессы сопутствуют основному событию, что-то становится следствием этого события. Нужно уметь восстанавливать последовательность событий и выявлять места, где может остаться информация о событии. Но начинать нужно с обработки уже имеющейся информации. И в этом плане очень важным является процесс аттестации источника информации.

Оценка количества информации очень не простая вещь, так как она зависит от многих факторов, зачастую трудно формализуемых. Одни и те же сведения для разных людей могут нести совершенно разное количество информации. То, что одному давно известно, для другого может быть совершенно новым. Простая концентрация внимания позволяет получать больше информации.

Существуют разные аспекты оценки количества информации .

Возможна оценка информации по смысловому содержанию (ценности). При этом, естественно, надо определить критерий ценности. Например, для измерения смыслового содержания информации можно использовать тезаурусную меру , отражающую способность получателя информации воспринимать поступающее сообщение . Тогда количество получаемой информации есть некоторая функция J=f(S * ,S п), где S * - смысловое содержание информации в сообщении, S п - тезаурус пользователя, измеряемый количеством информации им воспринимаемой.

Если информация используется для управления решением некоторой задачи, то ценность информации можно оценить по разности эффекта, например экономического, без учета и с учетом информации в поступившем сообщении.

Впервые основательно исследовали вопросы оценки количества информации Р.Хартли и К.Э.Шеннон.

Допустим, что в школе восемь классов (1, 2, …, 8) и нам надо узнать, в каком учится Саша Иванов, задавая вопросы о номере класса и получая ответы типа «да» или «нет». Нетрудно показать, что минимальное число вопросов равно трем. Например, сначала можно спросить: номер класс больше 4? При ответе «нет», надо спросить: номер класса больше 2? После ответа достаточно задать еще один вопрос и задача будет решена. Можно предложить оценить объем информации о номере класса, в котором учится Саша Иванов, по минимальному числу заданных вопросов. В данном случае получим значение 3.

Подобную идею использовал американский инженер Р. Хартли, который в 1928 году предложил оценивать количество информации по формуле

где J – количество информации в одном из N равновероятных сообщений. Нетрудно заметить, что при подстановке в формулу Хартли N=8 (N - число классов) мы получим значение 3. Фактически в данном случае количество информации равно числу бит, необходимых для кодирования двоичным числом максимального номера класса (т.е. значения N).

При работе с информационными системами часто получаемая информация измеряется по объему памяти ЭВМ, необходимой для ее хранения. В этом случае находит применение формула Хартли.

Более общую и строгую теорию количественной оценки информации дал американский ученый Клод Элвуд Шеннон в 1948 г.

Он предложил оценивать количество информации числовой характеристикой, отражающей ту ступень неопределенности (неполноту знаний), которая исчезает после получения сообщения. Меру неопределенности, которая снижается при передаче информации, Шеннон предложил называть энтропией (этот термин первоначально появился в термодинамике; в статистической физике энтропия рассматривается в качестве меры вероятности пребывания системы в данном состоянии). Очевидно, количество информации зависит от вероятности получения сообщения о том или ином событии. Так, если бы мы знали возраст Саши Иванова, то вполне возможно потребовалось бы меньше вопросов для определения класса.

Если в результате получения сообщения достигается полная ясность об объекте, то энтропия становится равной нулю.

Допустим, передается сообщение со сведениями о некоторой системе Х . Пусть неопределенность знаний получателя о системе Х (до получения сообщения) определяется энтропией Н(Х ). После получения сообщения энтропия стала Н * (Х ). Количество полученной при этом информации J(X ) = H(X ) – Н * (Х ). Если же после получения сообщения достигнута полная ясность о системе Х , то Н*(Х ) = 0 и, соответственно, J(X ) = H(X ).

Передачу дискретных сообщений всегда можно свести к передаче соответствующих чисел. Даже если информация отражает качественно разные состояния (явления), то, пронумеровав их, можно передачу сообщений свести к передаче соответствующих чисел. Так, при передаче текста можно пронумеровать буквы алфавита и передавать числа. Любая информация, находящаяся в памяти компьютера, также представляет собой набор двоичных чисел.

При выводе формул для оценки количества информации и меры неопределенности Шеннон исходил из следующих соображений.

Пусть источник дискретных сообщений выдает последовательность элементарных сообщений-чисел {х 1 , х 2 , … ,х m }, каждое из которых соответствует одному из возможных состояний системы Х . Тогда совокупность этих элементарных сообщений можно назвать алфавитом, а число m – объемом алфавита. При передаче текста элементарное сообщение – это буква обычного алфавита; при передаче команд - алфавитом будет перечень возможных команд; при передаче сообщения о состоянии системы – перечень возможных состояний системы и т.п.

Допустим, что при получении символа х i однозначно определяется состояние источника сообщения (системы Х) в момент передачи. Чем меньше вероятность P i состояния x i , тем больше информации мы получим при приеме символа x i (S P i = 1, P i £ 1). Если ранее уже было известно состояние источника, то получение символа x i не дает никакой дополнительной информации (т.е. полученная информация равна нулю). Иными словами, количество информации, которую несет символ x i должно быть функцией от априорной (уже имеющейся до передачи) информации о вероятности P i того, что источник в момент его передачи находился в состоянии х i .

Изменение энтропии при получении символа х i К. Шеннон предложил вычислять по формуле

J(х i) = - К 0 ×log а P i ,

где коэффициент К 0 и основание логарифма (а) определяют единицу измерения количества информации. Чтобы энтропия была положительной, перед формулой проставлен знак «-» (логарифм отрицателен для чисел <1).

В общем случае символы имеют разную вероятность. Тогда теория вероятностей предлагает для оценок использовать усредненное значение, которое определяется как сумма произведений значений отдельных параметров на их вероятность. Поэтому итоговая формула К. Шеннона для энтропии источника сообщений имеет вид

H(Х) = - К 0 åP i log а P i .

Если принять все состояния системы Х равновероятными (т.е. Р i = 1/m), то энтропия m

H(Х) = - К 0 å[(1/m)∙log а 1/m] = К 0 log а m.

Нетрудно показать, что в формуле Шеннона всегда величина Н(Х) £ log а m. Она равна log a m только в том случае, когда все вероятности P i одинаковы (т.е. P i =1/m). С точки зрения теории вероятностей последнее утверждение объясняется тем, что знание вероятностей дает нам некоторые дополнительные априорные знания об информации, получаемой с символом. Незнание вероятностей заставляет нас предположить, что все символы равновероятны, т.е. максимальная энтропия (максимальное незнание) имеет место при P i =1/m.

Формулы для оценки количества информации и энтропии вводились аксиоматически в предположении следующих допущений:

1) энтропия Н непрерывна относительно своих аргументов;

2) при P i = 1 значение J(х i) = 0;

3) если все события равновероятны, то энтропия максимальна и определяется по формуле H макс = log n, где n – число возможных исходов (событий);

4) если выбор распадается на два последовательных этапа, то исходное значение энтропии H будет взвешенной суммой отдельных значений. Это означает, что при последовательной передаче символов х i и х k количество информации, вносимое этой парой символов, равно сумме количеств информации, вносимой х i и добавляемой х k .

Примем за единицу количество информации, содержащееся в сообщении о том, что произошло одно из двух равновероятных независимых событий. Тогда, очевидно, P i = ½ (i=1, 2) и достаточно одного сообщения, чтобы иметь полную информацию о состоянии объекта. Причем при поступлении сообщения x i энтропия станет равной нулю, т.е. количество поступившей информации J(x i) = H(X).

Будем считать, что при представленных выше условиях поступившее сообщение приносит единицу информации. Тогда J(x i) = H(X) = - К 0 ∙(½× log a ½ + ½× log a ½)= К 0 ∙log а 2 = 1. Вышеприведенное равенство выполняется при а=2 и К 0 =1. Если же система будет иметь m равновероятных состояний, то получим J(X) = log 2 m = Н макс. Последний частный результат есть не что иное, как формула Р. Хартли.

Формула J=log 2 m фактически позволяет оценить максимально возможное количество информации, полученной при передаче одного символа (одного сообщения).

Если известна энтропия H max и от источника сообщений получено N символов, то максимально возможное количество информации, переданное с сообщениями, равно N×H max .

При передаче цифровой информации в качестве единицы измерения энтропии используют двоичную единицу – бит .

Пусть с помощь двоичного кода передаются буквы алфавита, содержащего n = 32 символов, и при приеме сообщения мы однозначно определяем букву. Если вероятности появления символов одинаковы, то максимум энтропии при передаче-приеме одного символа

H max = log 2 32 = 5 (бит).

Эта средняя информация на символ получена в предположении «абсолютно хаотического текста», когда порядок следования букв при передаче независим.

Допустим, в алфавите из А символов пересылаются сообщения в виде слов длиной L (обычно данные пересылаются с помощью равномерных цифровых кодов, т.е. кодов одинаковой длины). При этом возможно N = A L разных слов. Тогда при передаче одного слова получатель будет иметь информацию в объеме

J = log 2 N = L log 2 A (бит).

Если вероятности появления двоичных символов различны, то среднее изменение энтропии при получении одного символа:

H ср = -(P 1 log P 1 + P 2 log P 2 + … + P m log P m) = -å P i log а P i .

При этом энтропия на один символ H ср £ H max . Разность (H max – H ср) называют избыточной информацией, а величину R = 1–H ср /H max -коэффициентомизбыточности . Фактически избыточность показывает, на сколько удлиняется сообщение из символов данного алфавита по сравнению с минимально возможной длиной. Например, для нормальной русской речи H ср = 1,5 бит. Следовательно, источник сообщений на основе русского алфавита имеет коэффициент избыточности

R ≈1–1,5/5 = 0,7.

Заметим, что в общем случае для обеспечения достоверной передачи данных по каналам связи избыточность необходима, так как в процессе передачи сообщения могут искажаться. Наличие избыточности позволяет даже при наличии искажений понимать смысл сообщения.

В жизни очень часто последующая информация зависит от предыдущей, т.е. существует определенная вероятность появления символа x k после символа x i . Тогда при получении очередной буквы некоторого текста возможно предугадать последующие.

Рассмотрим определение энтропии в случае, если символы имеют не только разные вероятности P(x i), но и зависят один от другого. Обозначим P(x k /x i) условную вероятность появления символа x k , если предшествующим был х i . Тогда количество информации, получаемой с символом х i , определится как условная энтропия

J(x k /x i) = -S.

В общем случае символы имеют разную вероятность. Тогда, среднее количество информации или энтропия источника с взаимозависимыми и неравновероятными символами, равно

H(X) = -S P(x i) ×S.

Наконец, для равновероятных, но взаимозависимых символов получим

H(Х) = - 1 / m S ×S.

Энтропия источника и объем информации, получаемой с одним символом, достигает максимума, если символы независимы и равновероятны.

При передаче данных на канал связи воздействуют помехи. Под их воздействием символ x i может измениться на ложный символ x j . Обозначим вероятность такой замены через P(x i / x j), а энтропию ложных символов – H(X/X*).

Тогда количество получаемой информации с учетом ошибок передачи определяется формулой

J(X/X*) =H(X) – H(X/X*).

Значение H(X/X*) определяется по аналогии с источником сообщений, выдающего взаимозависимые и неравновероятные символы.

При сильных помехах вероятность ошибки, определяемая переходными вероятностями P(x i / x j), может достигать значений Р ош = 0,5 , что равнозначно обрыву канала.

Выше рассматривались формулы вычисления количества информации для случая, когда идет передача сообщений в дискретной форме. Существуют особые формулы для источников непрерывных сообщений, которые характеризуются тем, что в каждый момент времени t сообщение x(t) может принимать бесконечное множество значений с бесконечно малой вероятностью каждого из них.

Надо сказать, что количественная оценка информации до сих пор до конца не решенная проблема, хотя уже имеющиеся способы широко применяются для оценки пропускной способности сетей передачи данных, вычислительных сетей, оценке помехозащищенности сетей связи, расчете характеристик баз данных и методов кодирования, и т.д.

Термин “информация” происходит от латинского informatio, что означает разъяснение, осведомление, изложение. В широком смысле информация – это общенаучное понятие, включающее в себя обмен сведениями между другими людьми, обмен сигналами между живой и неживой природой, людьми и устройствами.

Информация – сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.

1.2. Количественные характеристики информации. 1) Синтаксическая мера информации. Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.2) Объём данных (V Д) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

3) Семантическая мера информации. Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя .

Тезаурус - это совокупность сведений, которыми располагает пользователь или система.

4) Прагматическая мера информации. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.

1.3. Качественные характеристики информации.

Возможность и эффективность использования информации обусловливаются такими основными ее потребительскими показателями качества , как репрезентативность, содержательность, достаточность, доступность, актуальность, своевременность, точность, достоверность, устойчивость.

1)Репрезентативность информации связана с правильностью ее отбора и формирования в целях адекватного отражения свойств объекта. Важнейшее значение здесь имеют:

Правильность концепции, на базе которой сформулировано исходное понятие;

Обоснованность отбора существенных признаков и связей отображаемого явления.

С увеличением содержательности информации растет семантическая пропускная способность информационной системы, так как для получения одних и тех же сведений требуется преобразовать меньший объем данных.

Достаточность (полнота) информации означает, что она содержит минимальный, но достаточный для принятия правильного решения состав (набор показателей). Понятие полноты информации связано с ее смысловым содержанием (семантикой) и прагматикой. Как неполная, т.е. недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений.

Доступность информации восприятию пользователя обеспечивается выполнением соответствующих процедур ее получения и преобразования. Например, в информационной системе информация преобразовывается к доступной и удобной для восприятия пользователя форме. Это достигается, в частности, и путем согласования ее семантической формы с тезаурусом пользователя.

Актуальность информации определяется степенью сохранения ценности информации для управления в момент ее использования и зависит от динамики изменения ее характеристик и от интервала времени, прошедшего с момента возникновения данной информации.

Своевременность информации означает ее поступление не позже заранее назначенного момента времени, согласованного с временем решения поставленной задачи.

Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта, процесса, явления и т.п.

Достоверность информации определяется ее свойством отражать реально существующие объекты с необходимой точностью. Измеряется достоверность информации доверительной вероятностью необходимой точности, т. е. вероятностью того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.

Устойчивость информации отражает ее способность реагировать на изменения исходных данных без нарушения необходимой точности. Устойчивость информации, как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.

Адекватность информации может выражаться в трех формах: семантической, синтаксической, прагматической.

Синтаксическая адекватность . Она отображает формально-структурные характеристики информации и не затрагивает ее смыслового содержания. Эта форма способствует восприятию внешних структурных характеристик, т.е. синтаксической стороны информации.
Семантическая (смысловая) адекватность . Эта форма определяет степень соответствия образа объекта и самого объекта. Семантический аспект предполагает учет смыслового содержания информации.
Прагматическая (потребительская) адекватность . Она отражает отношение информации и ее потребителя, соответствие информации цели управления, которая на ее основе реализуется. Эта форма адекватности непосредственно связана с практическим использованием информации, с соответствием ее целевой функции деятельности системы.

Качество информации определяется такими показателями, как:

репрезентативность,
содержательность,
достаточность,
доступность,
актуальность,
своевременность,
точность,
достоверность,
устойчивость.

Репрезентативность информации связана с правильностью ее отбора и формирования в целях адекватного отражения свойств объекта.
Важнейшее значение здесь имеют:

правильность концепции, на базе которой сформулировано исходное понятие;
обоснованность отбора существенных признаков и связей отображаемого явления.

Нарушение репрезентативности информации приводит нередко к существенным ее погрешностям.
Содержательность информации отражает семантическую емкость, равную отношению количества семантической информации в сообщении к объему обрабатываемых данных.

С увеличением содержательности информации растет семантическая пропускная способность информационной системы, так как для получения одних и тех же сведений требуется преобразовать меньший объем данных.

Наряду с коэффициентом содержательности С, отражающим семантический аспект, можно использовать и коэффициент информативности, характеризующийся отношением
Достаточность (полнота) информации означает, что она содержит минимальный, но достаточный для принятия правильного решения состав (набор показателей). Понятие полноты информации связано с ее смысловым содержанием (семантикой) и праг-матикой. Как неполная, т.е. недостаточная для принятия правильного решения, так и избыточная информация снижает эффективность принимаемых пользователем решений.

Доступность информации восприятию пользователя обеспечивается выполнением соответствующих процедур ее получения и преобразования. Например, в информационной системе информация преобразовывается к доступной и удобной для восприятия пользователя форме. Это достигается, в частности, и путем согласования ее семантической формы с тезаурусом пользователя.

Актуальность информации определяется степенью сохранения ценности информации для управления в момент ее использования и зависит от динамики изменения ее характеристик и от интервала времени, прошедшего с момента возникновения данной информации.

Своевременность информации означает ее поступление не позже заранее назначенного момента времени, согласованного с временем решения поставленной задачи.

Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта, процесса, явления и т.п. Для информации, отображаемой цифровым кодом, известны четыре классификационных понятия точности:

формальная точность, измеряемая значением единицы младшего разряда числа;
реальная точность, определяемая значением единицы последнего разряда числа, верность которого гарантируется;
максимальная точность, которую можно получить в конкретных условиях функционирования системы;
необходимая точность, определяемая функциональным назначением показателя.

Достоверность информации определяется ее свойством отражать реально существующие объекты с необходимой точностью. Измеряется достоверность информации доверительной вероятностью необходимой точности, т.е. вероятностью того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности.
Устойчивость информации отражает ее способность реагировать на изменения исходных данных без нарушения необходимой точности. Устойчивость информации, как и репрезентативность, обусловлена выбранной методикой ее отбора и формирования.

В заключение следует отметить, что такие параметры качества информации, как репрезентативность, содержательность, достаточность, доступность, устойчивость, целиком определяются на методическом уровне разработки информационных систем .

Параметры актуальности, своевременности, точности и достоверности обусловливаются в большей степени также на методическом уровне, однако на их величину существенно влияет и характер функционирования системы, в первую очередь ее надежность .

При этом параметры актуальности и точности жестко связаны соответственно с параметрами своевременности и достоверности .