Добрый день, уважаемые читатели!

Перед Вами двадцать четвертый выпуск рассылки Прикладной менеджмент сегодня, завтра, всегда!

Настоящая рассылка выпускается в рамах деятельности Некоммерческого партнерства "The Next Business Generation". Подробная информация о Партнерстве может быть выслана по Вашему запросу авторами рассылки

Если же Вы не имели возможности получать нашу рассылку раньше, то все интересующие Вас выпуски можете найти в Архиве.

Сегодня мы совместно с компанией Мегапьютер Интеллидженс начинаем серию выпусков, которые посвящены новому активно развивающемуся направлению проблеме обнаружения нового знания в хранилищах - knowledge discovery in databases (KDD, дословно - "обнаружение знаний в базах данных") - и основному этапу этого процесса - data mining (исследование данных или, дословно, "разработка данных").

Методы KDD, являющиеся, по сути, усилителем человеческой мысли, переводят процесс поиска нового знания на качественно иной уровень и могут облегчить и дополнить традиционные методы анализа человеком.

Knowledge discovery in databases (дословно, "обнаружение знаний в базах данных") - аналитический процесс исследования человеком большого объема информации с привлечением средств автоматизированного исследования данных с целью обнаружения скрытых в данных структур или зависимостей. Предполагается полное или частичное отсутствие априорных представлений о характере скрытых структур и зависимостей. KDD включает предварительное осмысление и неполную формулировку задачи (в терминах целевых переменных), преобразование данных к доступному для автоматизированного анализа формату и их предварительную обработку, обнаружение средствами автоматического исследования данных (data mining) скрытых структур или зависимостей, апробация обнаруженных моделей на новых, не использовавшихся для построения моделей данных и интерпретация человеком обнаруженных моделей.

Data mining (дословно, "разработка данных") - исследование и обнаружение "машиной" (алгоритмами, средствами искусственного интеллекта) в сырых данных скрытых структур или зависимостей, которые:

• ранее не были известны,
• нетривиальны,
• практически полезны,
• доступны для интерпретации человеком.

Использование KDD позволяет получить качественно новые результаты, способные обеспечить существенно более высокий уровень бизнес - процессов.

KDD - это синтетическая область, впитавшая в себя последние достижения искусственного интеллекта, численных математических методов, статистики и эвристических подходов.

Цель технологии - нахождение моделей и отношений, скрытых в базе данных, таких моделей, которые не могут быть найдены обычными методами.

В технологии KDD вычислительная машина осуществляет не только "рутинные" операции (например, проверку статистической значимости гипотезы), но и операции, существенно более сложные, такие, как, например, выработка новой гипотезы.

Технология KDD позволяет сфокусировать внимание потребителя (менеджера, аналитика) на таких "взаимоотношениях" между данными, которые прежде без использования этой технологии не были бы обнаружены, но применение которых способствует увеличению эффективности его работы.

В бизнесе под оптимальным решением всегда понимается выбор, адекватный временным и ресурсным ограничениям. Реальность же такова, что люди обычно стремятся сделать что-либо лучше по сравнению с другими людьми. Поэтому, если мы хотим использовать методы KDD для поиска оптимальных решений, в наибольшей степени соответствующих представлениям человека, то необходимо признать, что достижение "идеального" оптимума в сложных системах (например, в организациях) зачастую может оказаться менее значимо по сравнению с процессом постоянного улучшения, выявляемого и познаваемого путем сопоставления с другими системами.

Хотя инструментарий KDD, как правило, скрыт от пользователя и ограждает его от явного знания сложностей и нюансов в применении используемых методов, он все-таки требует от пользователя понимания основ работы инструментария и алгоритмов, на которых он базируется.

Имея целью сформировать такое понимание у наших читателей, мы начинаем данный цикл специальных выпусков, посвященных KDD.

Технология KDD не заменяет аналитиков или менеджеров, а дает им современный, мощный инструмент для улучшения качества работы, которую они выполняют. И, конечно, технология нахождения нового знания в базе данных не может дать ответы на те вопросы, которые не были заданы исследователем.

Самый часто задаваемый вопрос, который возникает у людей, знакомых с обработкой данных, - это вопрос о разнице между средствами data mining и средствами OLAP (On-Line Analytical Processing), т.е. средствами оперативной аналитической обработки.

OLAP - это часть технологий направленных на поддержку принятия решения. Обычные средства формирования запросов и отчетов описывают саму базу данных. Технология OLAP используется для ответа на вопрос, почему некоторые вещи являются такими, какими они есть на самом деле. При этом пользователь сам формирует модель - гипотезу о данных или отношениях между данными - и только после этого использует серию запросов к базе данных для подтверждения или отклонения этих гипотез.

Средства data mining отличаются от средств OLAP тем, что вместо проверки предполагаемых пользователем взаимозависимостей, они на основе имеющихся данных сами могут производить модели, позволяющие количественно оценить степень влияния различных исследуемых факторов на заданное свойство. Кроме того, средства data mining позволяют производить новые гипотезы о характере неизвестных, но реально существующих отношений в данных.

Средства OLAP обычно применяются на ранних стадиях процесса KDD потому, что они помогают понять данные, фокусируя внимание на наиболее важных переменных, определяя исключения или интересные значения переменных. Использование OLAP приводит к лучшему пониманию данных, что в свою очередь ведет к более эффективному результату процесса KDD.

В настоящее время имеется уже много крупных исследовательских центров и коллективов, занимающихся разработкой методов и созданием систем KDD. Большинство из этих центров стали организовываться в 90-х годах (1992-93 гг.). Рост числа исследовательских групп сейчас, в 1996-2002 гг. является очень быстрым, практически экспоненциальным. Поэтому в ближайшем будущем исследовательских центров, занимающихся технологией KDD, станет очень и очень много.

Из крупных компаний, интенсивно занимающихся этой проблематикой, можно назвать таких гигантов как IBM и Microsoft. Фирма IBM полностью перепрофилировала свой крупнейший исследовательский центр в области технологий программного обеспечения в городе Альмаден на разработку алгоритмов KDD и на построение работающих систем KDD. Результатом этой работы явилось целое семейство систем KDD, как общего назначения, так и специализированных, предназначенных, в основном, для мэйнфреймов и мощных рабочих станций.

Фирма Microsoft создала центр KDD, находящийся непосредственно в здании штаб-квартиры фирмы в г. Редмонд, и пригласила работать известных специалистов, ранее занимавшихся этой проблематикой в университетах и академических научных центрах. Этот центр возглавляет профессор Усама Файадд, получивший в 1996 году одну из наиболее почетных американских премий за развитие науки, раньше работавший в лаборатории реактивного движения НАСА.

Пример Microsoft показывает, что самые крупные компьютерные компании придают большое значение этой новой технологии, а это не может не проявится в выпуске ими новых мощных продуктов для интеллектуального анализа данных.

С другой стороны, существует также значительное количество небольших фирм, занимающихся продвижением технологий KDD. Их особенно много в США, но они есть и в Европе, в Англии, Франции. Одна из наиболее давно существующих таких фирм - это компания IntelligenceWare, которая производит одну из самых старых и известных коммерческих систем KDD - программу IDIS. Можно также назвать фирму Acknosoft (Франция), Integral Solutions (Англия) и много других.

В настоящее время можно приобрести уже достаточно большое число отдельных систем и сопряженных с хранилищем данных аппаратно-технических комплексов, поддерживающих технологии KDD. Практически все коммерческие системы поддерживают архитектуру клиент-сервер, предоставляя пользователям возможность выполнять наиболее трудоемкие процедуры обработки данных на высокопроизводительном сервере. Следует отметить, что в основном это разработки западных компаний, главным образом, из США.

Приятно отметить, что Российская компания "Мегапьютер Интеллидженс" прорвалась на этот сегмент рынка, во многом благодаря поддержке нетрадиционного для коммерческих систем метода data mining - эволюционного программирования, предоставляющего аналитику уникальные возможности. PolyAnalyst является одной из самых мощных систем data mining в мире, разработанных для Intel платформ и операционных систем Microsoft Windows NT, 95. Аналогичные системы data mining таких ведущих производителей, как IBM (Intelligent Miner, Data Miner), Silicon Graphics (SGI Miner), Integral Solutions (Clementine), SAS Institute (SAS) работают на средних и больших машинах и стоят от десятков до сотен тысяч долларов.

Благодаря уникальной технологии эволюционного программирования, PolyAnalyst сочетает в себе высочайшую производительность "больших систем" с относительно низкой стоимостью, присущей программам для Windows. В дальнейшем основное внимание мы будем уделять именно программе PolyAnalyst, ее уникальным возможностям.

Область применения PolyAnalyst весьма обширна. В частности:

• для Database marketers - это рыночная сегментация, идентификация целевых групп, построение профиля клиента;
• для банковского дела - это анализ кредитных рисков, привлечение и удержание клиентов, управление ресурсами;
• для кредитных компаний - это детекция подлогов, формирование "поведения" обладателя кредитной карты, анализ достоверности клиентских счетов, cross-selling программы;
• для страховых компаний - это привлечение и удержание клиентов, прогнозирование финансовых показателей;
• для розничной торговли - это анализ деятельности торговых точек, построение профиля покупателя, управление ресурсами;
• для биржевых трейдеров - это выработка оптимальной торговой стратегии, контроль рисков;
• для компаний в области телекоммуникаций и энергетики - это привлечение клиентов, ценовая политика, анализ отказов, предсказание пиковых нагрузок, прогнозирование поступления средств;
• для налоговых служб и аудиторов - это детекция подлогов, прогнозирование поступлений в бюджет;
• для фармацевтических компаний - это предсказание результатов будущего тестирования препаратов, программы испытания;
• для медицинских учреждений - это диагностика, выбор лечебных воздействий, прогнозирование исхода хирургического вмешательства;
• для управления производством - это контроль качества, материально -техническое обеспечение, оптимизация технологического процесса;

Этот список применений может быть продолжен.

Программу PolyAnalyst успешно и эффективно используют в частности такие компании как: 3M, США, AllState Insurance (страхование), (Потребительские товары) ACATIS Anlageberatung fur Investmentfonds GmbH, Германия (Инвестиции),France Telecom (телекоммуникации), ALKA forsirking A/S Дания (Страхование), Boeing company США (Аэрокосмическая индустрия), Carlson Marketing Group США (Маркетинг), Центральный Банк Российской Федерации, (Финансы), Pioneer Securities Россия (Финансы), Nanjing University Китай (Образование) Graal Consulatoria Бразилия (Консалтинг), Sloboshan Enterprises Канада (Финансы), Научный Центр Хирургии РАМН Россия (Здравоохранение), Pittsburgh University Hospital США (Здравоохранение), МосЭнерго Россия (Энергетика), Ulm University Hospital Германия (Здравоохранение), Indian Institute of Technology Индия (Образование), University of Otago Новая Зеландия (Образование), Clontech США (Биомедицина).

Мегапьютер Интеллидженс - российская компания. Она специализируется на разработке и производстве аналитических систем для углубленного анализа числовых и текстовых баз данных Компания основана в 1993 году и прошла путь от небольшой исследовательской группы ученых-энтузиастов до высокопрофессиональной фирмы, прочно вошедшей в элиту мировых производителей систем Data mining. Продуты семейства PolyAnalyst известны и используются не только в России, но и в странах Европы, США, Канаде, Австралии, Бразилии, Новой Зеландии, Китае.

Мегапьютер также предлагает своим Заказчикам решения по корпоративным и локальным хранилищам данных, системам оперативного анализа OLAP c интеграцией в них Data и Text Mining.

Некоммерческое партнерство представления интересов, защиты и содействия деятельности субъектов бизнеса "The Next Business Generation" рекомендует:

1. предложение действительно уникально, т. к. в мире стандартизации и конвейерного производства - это Ваш индивидуальный гороскоп.
2. один месяц прогнозирования - бесплатно
3. количество астро информации на 12 месяцев... около 10 000 слов
4. качество на уровне мировых стандартов (проект представлен в Гарварде).
5. цена астро услуг минимальная, не астрономическая - что приятно удивит Вас
6. уникальное моделирование бизнес-процессов, экспертиза управленческих решений.
7. сопровождение Вашего бизнеса все 12 месяцев, а если пожелаете, и дальше...

Более подробная информация на astrolog.com.ru.

Рекомендуем рассылку Управление 3000. Проект "Управление 3000" направлен на поддержку российских предприятий в освоении современных методов и технологий управления. Сайт содержит всестороннюю информацию о методах и технологиях управления, применяемых в отечественной и зарубежной практике, аналитические исследования, советы специалистов в области управления, "истории успеха" российских предприятий, рекомендации по выбору и применению информационных систем и аналитических программных продуктов, обзоры рынков, маркетинговые исследования.

Мы рекомендуем посмотреть сайт Школы своего Дела. Этот проект полезен не только тем, кто хотел бы создать Свое Дело, причем с нуля, без начального капитала, но и опытным предпринимателям.

Мы рекомендуем рассылку Помощь в решении проблем управления от Контур-ТМ.

Владельцам и Генеральным директорам компаний, менеджерам по персоналу - всем, для кого вопросы повышения эффективности управления компанией и ее персоналом стоят на первом месте.

Более подробную информацию о деятельности компании Вы можете получить на сайте компании Контур-ТМ www.konturtm.ru

На сегодня это все.

В данном выпуске использованы авторские материалы, любезно предоставленные нам Сергеем Арсеньевым, директором компании Мегапьютер Интеллидженс.

В следующем выпуске мы продолжим рассмотрение систем KDD и их практическое использование.

Мы предлагаем Вам поделиться своими проблемами, которые могли бы быть решены с помощью систем KDD и программой PolyAnalyst в частности. Вы можете приобрести эту программу. При этом Вам будет оказано содействие в ее внедрении и использовании. Более того, заказав эту программу и сославшись на данную рассылку, как источник информации, Вы получите дополнительные преференции. Мы будем Вам очень признательны, если Вы напишите нам, какие материалы по KDD Вы хотели бы прочитать в нашей рассылке.

До новых встреч и новых выпусков.

С уважением,

Людмила Григорьева
ru-wst-l@beep.ru