Технологии рабочих процессов в интеграции приложений

Об авторе

Кевин Фрэнсиз
(Kevin Francis) — ИТ-специалист с 19-летним стажем. За это время успел поработать
на таких должностях, как руководитель ИТ-отдела в одной из промышленных компаний,
консультант по безопасности и архитектор. Владелец собственной компании,
успешно разрабатывающей программные продукты. Как архитектор и менеджер
участвовал в передовых проектах, относящихся к электронной коммерции (еще в те
времена, когда эта отрасль только-только зарождалась). В качестве ведущего
архитектора внес большой вклад в успехи Infosys. Часто консультирует крупные
организации, сотрудничает с архитекторами, группами разработчиков Infosys и ее заказчиками,
является членом The Infosys Australia Technology Council. В июле 2005 года был
отмечен Microsoft наградой Most Valuable Professional (MVP) за свои познания и
опыт в области Visual Developer — Solutions Architect.

ОригиналСтатьи: The
Archtecture Journal

Преимущества инструментов интеграции данных

В условиях огромного притока информации из множества исходных систем компаниям необходимо активно обрабатывать пять V данных: ценность, разнообразие, скорость, достоверность и объем. Вот некоторые преимущества инструментов интеграции данных для бизнеса:

Улучшенное принятие решений

Программное обеспечение для интеграции данных помогает получить SSOT с точной и актуальной информацией, что значительно улучшает процесс принятия бизнес-решений.

Более того, платформы интеграции данных позволяют предприятиям извлекать и анализировать конкретные данные, такие как предпочтения клиентов, что приводит к более целенаправленным маркетинговым кампаниям и персонализированным стратегиям продаж.

Автоматизированные бизнес-процессы

Инструменты интеграции данных автоматизируют различные бизнес-процессы, включая привлечение клиентов и выполнение заказов. Пользователи могут использовать эти инструменты для автоматизации передачи данных из нескольких источников, например, маркетинговых платформ, в центральное место. Это интегрированное хранилище данных гарантирует, что сведения о клиентах постоянно обновляются во всех соответствующих системах. В результате, когда новый клиент регистрируется или взаимодействует с компанией, платформа интеграции данных автоматически распространяет и синхронизирует его информацию во всех системах в режиме реального времени.

Снижение затрат

Когда в организации имеется несколько систем данных, ее данные, скорее всего, разбросаны по различным платформам и отделам. Это приводит к неэффективности и дублированию усилий, неоправданному увеличению затрат. Инструменты интеграции данных могут помочь предприятиям сократить эти расходы за счет устранения необходимости поддерживать избыточные системы данных, такие как отдельные базы данных, приложения или программное обеспечение, которые часто возникают из-за практики разрозненных данных.

Кроме того, предприятия также могут сократить прямые и косвенные затраты, связанные с:

Труд, работа
Инфраструктура
Ошибки в данных
Неэффективное принятие решений
Приобретение и удержание клиентов

Улучшенное обслуживание клиентов

Централизованное хранилище данных позволяет предприятиям лучше понимать потребности и предпочтения отдельных клиентов. Оперативная аналитика на основе данных обеспечивает индивидуальное взаимодействие с клиентами, что приводит к улучшению обслуживания клиентов. Например, представитель службы поддержки клиентов может получить доступ ко всей истории взаимодействия клиента с компанией, что позволяет ему отвечать на запросы с учетом контекста и сочувствия.

Улучшенное соответствие требованиям и безопасность

Централизация данных позволяет предприятиям внедрять более надежные методы управления данными. Это также позволяет им соблюдать такие правила, как Общий регламент по защите данных (GDPR) или Закон о переносимости и подотчетности медицинского страхования (HIPAA).

Предприятия могут удовлетворить требования соответствия с помощью инструментов интеграции данных, которые поддерживают всестороннее происхождение и историю данных. Эти инструменты могут создавать подробные отчеты, описывающие весь путь данных от источника до конечного пункта назначения. Сюда входит информация о преобразованиях данных, передаче данных между системами и любых изменениях, внесенных на этом пути.

Более того, инструменты интеграции данных часто имеют функции, обеспечивающие контроль доступа, шифрование данных и возможности аудита. Эти функции позволяют предприятиям обеспечить дополнительную защиту конфиденциальных данных. Поддержание централизованного центра данных облегчает последовательное отслеживание данных, что имеет решающее значение для демонстрации соответствия во время проверок и аудитов регулирующих органов.

Повышенная гибкость и сотрудничество

Объединение данных из различных источников в единое представление значительно улучшает доступность данных во всей организации, что позволяет заинтересованным сторонам отслеживать рыночные показатели и оперативно реагировать на изменения рынка.

Инструменты интеграции данных также служат мостом для беспрепятственного обмен данными и сотрудничество, устраняя разрозненность информации в разных отделах.

Управление бизнес-процессами

Существенная доля интеграционных сценариев подразумевает, что в информационный обмен вовлекаются не только приложения, выступающие в роли источников или приемников информации, но и люди — сотрудники организации, выполняющие различные задания или принимающие решения. В этом случае мы можем говорить о выходе за рамки «чистой» интеграции и появлении в фокусе нашего внимания новой сущности — бизнес-процессов, а в требованиях к интеграционной платформе — новой функциональности по управлению бизнес-процессами (Business Process Management, BPM). При наличии BPM-требований интеграционная платформа должна предоставить в распоряжение разработчика:

средство визуального проектирования бизнес-процессов — оптимально, чтобы этими средствами могли воспользоваться люди, далекие от ИТ, — например бизнес-аналитики или методологи. Кроме того, чрезвычайно полезным является возможность переноса моделей бизнес-процессов из специализированных средств моделирования в среду разработки. Это же средство должно давать возможность проектировать формы заданий для участников процессов, причем максимально ограждая разработчиков от программирования;
среду исполнения бизнес-процессов — специальный движок, обеспечивающий обработку бизнес-правил, передачу заданий между пользователями и информационными системами в соответствии с разработанными моделями бизнес-процессов, а также обработку исключительных ситуаций (например, превышения исполнителем времени, отведенного для выполнения задания);
портал участников бизнес-процессов — специализированный портал, позволяющий пользователям запускать процессы, участвовать в них, контролировать ход запущенных процессов и осуществлять административные воздействия в соответствии с установленными для них правами;
средства мониторинга и контроллинга. Возможность оперативного и ретроспективного анализа протекания бизнес-процессов — важная часть любой платформы BPM.

На данный момент многие производители ПО склонны объединять BPM-среду и интеграционную шину в единую платформу промежуточного ПО, убирая существовавшее несколько лет строгое разделение между BPM-системами и средствами для интеграции приложений. Такой подход очень прогрессивен. Некоторые вендоры идут еще дальше и присоединяют к платформе профессиональные средства для моделирования бизнес-процессов. Пионером в этом является компания Software AG, предлагающая решение, объединяющее в себе известное средство моделирования ARIS Platform и интеграционную/BPM среду webMethods.

Комплексное использование интеграционной платформы

Единая сервисная шина

Пережив несколько поколений различных подходов к интеграции приложений, мировая индустрия программного обеспечения пришла к концепции единой сервисной шины предприятия (Enterprise Service Bus, ESB). С точки зрения архитектуры, ESB — это программное решение, обеспечивающее взаимодействие всех интегрируемых приложений через единую точку, единообразно, предоставляя разработчикам и администраторам унифицированные и централизованные средства разработки, тестирования и контроля протекания всех интеграционных сценариев.

Основными компонентами, составляющими современную сервисную шину, являются:

брокер сообщений — это высокопроизводительная магистраль для обмена сообщениями в унифицированном формате между приложениями в режиме реального времени;
адаптеры — технологические адаптеры и адаптеры к бизнес-системам обеспечивают взаимодействие с приложениями в том формате, который для них приемлем, представляя информацию из этих сообщений в унифицированном формате, воспринимаемом брокером — чем больше различных адаптеров предоставляет та или иная интеграционная платформа, тем больше шансов, что для ее внедрения в вашей организации не потребуется дополнительных работ по созданию адаптеров, специфичных для ваших систем;
среда разработки интеграционных сценариев — чем проще и быстрее происходит разработка сценариев интеграции, тем меньше вложения средств в эту разработку, а следовательно, быстрее возврат от вложенных средств. Современная интеграционная шина предоставляет в распоряжение разработчика визуальные средства конструирования интеграционных сценариев, позволяющих в большинстве случаев обходиться без низкоуровневого кодирования;
SOA-средства — следование принципам сервис-ориентированной архитектуры является безусловным стандартом для всех интеграционных решений типа «единая сервисная шина» (что понятно по его названию). Информационные системы рассматриваются здесь как поставщики и потребители сервисов, все опубликованные в шине сервисы помещаются в единый реестр с возможностью повторного использования и управления политиками, связанными с сервисами;
различные инструменты контроля и управления (аудиты, протоколирование, централизованный мониторинг, контроль соблюдения соглашения об уровне услуг и т.д.).

Преимуществами использования единой сервисной шины можно назвать:

масштабирование — возможность строить решения любого размера и нагруженности;
гибкость — возможность реализовывать и изменять интеграционные сценарии без существенного вовлечения разработчиков;
безопасность — встроенные средства аутентификации и авторизации обеспечивают контроль доступа к сервисам на уровне самой шины, избавляя разработчиков интеграционных сценариев от задач по реализации этих механизмов;
использование открытых стандартов — позволяет уменьшить вовлеченность дорогостоящих специалистов по проприетарным технологиям;
централизация средств контроля и администрирования — позволяет избежать «размытия» точки ответственности за интеграционные сценарии, обеспечить оперативное наблюдение и раннее оповещение в случае сбоев.

Еще одним важным требованием к функционалу ESB-среды является возможность реализации интеграции с внешними организациями — бизнес-партнерами, поставщиками, корпоративными клиентами, удаленными филиалами. Особенностями такой интеграции является непредсказуемое качество каналов, отсутствие гарантий доставки информации и слабая готовность к интеграции как таковой — как правило, организация-партнер предоставляет очень ограниченный спектр форматов обмена данными. На этот случай в составе интеграционной шины должно присутствовать средство построения B2B-взаимодействия, позволяющее осуществлять информационный обмен по открытым, в том числе отраслевым, стандартам, обеспечивать гарантированную доставку, обладать средствами настройки информационного обмена в разрезе конкретного бизнес-партнера и, конечно же, работать в полном соответствии с принципами самой интеграционной платформы, изолируя разработчика интеграционных сценариев от технических деталей взаимодействия с партнером.

Enterprise Service Bus

Корпоративная сервисная шина данных DATAREON ESB

7октября2022

Корпоративная сервисная шина данных DATAREON ESB
Шина DATAREON ESB предназначена для построения распределённого информационного ландшафта предприятия. Программный продукт обеспечивает взаимодействие всех интегрируемых приложений в одном центре, объединяя существующие источники информации и предоставляя централизованный обмен данными между разными информационными системами. Является эффективным средством обеспечения стабильности и полноты информационного обмена, повышения общей производительности информационной системы и сокращения трудозатрат на ее администрирование.Задачи, решаемые с помощью корпоративной сервисной шины данных:
• Передача данных между различными информационными системами (с маршрутизацией или «точка-точка»)
• Формирование единого информационного пространства в гетерогенных средах
• Построение распределённой системы на основании событийной модели в следующих вариантах:
— построение приложений со сквозными бизнес-процессами на основании событийной модели;
— создание системы с синхронизацией бизнес-приложений в различных информационных системах
• Получение масштабируемой архитектуры управления уровня предприятия/холдинга
• Развертывание системы обмена данными на транспортном уровне и на уровне бизнес-логики
• Делегирование задачи построения информационных потоков аналитическим отделам
• Уменьшение общей сложности интеграционной схемы и снижение требования к пропускной способности каналов
• Увеличение общей стабильности транспортного уровня передачи данных
• Снижение транзакционных издержек при обмене данными между различными подразделениями
• Снижение общих затрат на обслуживание и сопровождение информационной системы.Информационные системы Академии, подключенные к Datareon ESB:
• 1С КАС
• СЭД Директум
• Электронный реестр регистрации договоров
• 1С Холдинг
• 1С Бухгалтерия
• 1С ЗКГУ
• Личный кабинет (Bitrix)
• Система мониторинга и управления проектами
• 1С MDMНалаженные процессы в Академии с помощью шины данных:
• Интеграция системы МДМ (централизованное управление справочными данными) к системам подписчикам
• Передача личных дел слушателей из 1С КАС в СЭД Директум
• Просмотр и подписание документов, сформированных в СЭД Директум, в личном кабинете
• Получение данных в дашборд (Система мониторинга и управления проектами) из 1С КАС

Реализация работы с шиной данных

Основой работы ШД является сущность интеграции, которая определяет движение и обработку информации внутри ЕСД. Конфигурация интеграции зависит от контура информационного обмена, у каждой интеграции может существовать своя настройка маршрута для каждого контура. Источники и получатели информации представлены не конкретными информационными ресурсами, а сущностями, которые для каждого контура могут иметь отдельные настройки подключения.

Представление информации внутри ЕСД сохраняется на всем маршруте движения в формате XML, соответствующем XDTO схеме, построенной на основе текущей модели данных.

Простейшими сервисными блоками любой интеграции являются:

Адаптеры получения информации — получают информацию из ИС, конвертируют ее во внутренний формат ЕСД. Адаптеры разделяются на активные (постоянно ожидающие поступление информации из внешней системы) и пассивные (с заданной периодичностью выполняющие запрос для получения информации)
Адаптеры отправки информации — передают полученный пакет данных ИС, при необходимости конвертируя его из внутреннего формата ЕСД
Адаптер запроса дополнительной информации — выполняет запрос данных из ИС с целью получения дополнительной информации, необходимой для обработки исходного запроса
Связи — определяют направление движения, условие передачи и правила преобразования информации между сервисными блоками ШД
Объединение — объединение данных из нескольких источников
Получение данных из ХД — выполняет запрос данных из ХД
Запись данных в ХД — выполняет запрос записи данных и формирования версии данных

Выполнение RPC вызовов возможно только с источниками, поддерживающими формирование ответа с разрывом исходного соединения.

Все операции с данными внутри ШД записываются в лог интеграции, для каждого лога определяется степень успешности прохождения информации. Время хранения логов интеграций задается на уровне общей политики хранения логов или может быть уточнено для конкретной интеграции.

Простейшая схема интеграции передачи информации через ШД

Данные, полученные ЕДС передаются без изменений получателю информации.

Последнее изменение 20 июля 2023 г.Опубликовано 11 июля 2023 г.
Предыдущая — Онтологическая модель данных
Следующая — Хранилище данных

Интеграция по типу «точкаточка»

Задача интеграции «точкаточка» относительно проста. Нужно понять, каким образом каждая из двух взаимодействующих систем готова передавать и получать данные, создать соответствующие технические решения для обращения к этим интерфейсам, а также реализовать механизм преобразования данных из формата системыисточника в формат системыприемника. В лучшем случае информационные системы предоставляют для интеграции специальный программный интерфейс (API), а в худшем — чтение и запись информации приходится производить непосредственно в базу данных приложения. В результате возникает локальное интеграционное решение — некий обособленный программный модуль собственной разработки со всеми вытекающими требованиями к его обслуживанию и поддержанию актуальности.

Это не составляет большую проблему до тех пор, пока интеграций «точкаточка» мало — одна-две. Однако практика показывает, что количество интеграций «точкаточка» имеет склонность возрастать, а качество управления этими интеграциями — наоборот, стремительно падать. Причин тому много: возрастает число модулей интеграции, из организации уходят разработчики, делавшие тот или иной модуль, изменяются форматы данных в интегрируемых системах и т.д. Печальным итогом эволюционного развития интеграций «точкаточка» является сложнейший «фарш» интеграционных взаимодействий между приложениями предприятия, отношение к которому сотрудников ИТ-подразделения проще всего выразить в нескольких словах: «Пока работает — лучше не трогать». Однако такая ситуация не устраивает ни само ИТ-подразделение, ни бизнес-заказчиков.

Предложения на рынке

Первая группа — предложения от фирм, чьи продукты лидируют в исследованиях аналитических агентств по всем обозначенным в статье категориям (ESB, SOA Governance, BPM, B2B). В эту группу входят:

IBM с линейкой продуктов WebSphere;
Software AG c интеграционной платформой webMethods;
Oracle с целой серией предложений;
Tibco с линейкой Business Integration.

В принципе, тем, кто не любит компромиссы, можно выбирать любого из этих производителей — все перечисленные компании предлагают полноценные линейки продуктов (правда, в случае с Oracle не всегда понятно, о каком именно продукте идет речь, поскольку после покупки ряда компаний Oracle предлагает сразу несколько продуктов, не всегда в достаточной степени интегрированных между собой). Немного особняком стоит Tibco, так как размер этой компании гораздо меньше размера остальных участников данной четверки, что может вызвать некоторые сомнения в ее стабильности. Software AG — пока не очень известный на российском рынке производитель, но у платформы webMethods, которая является сегодня ключевым предложением этой компании, большой потенциал. IBM и ее продукты знают и используют уже очень многие предприятия, но у некоторых из них возникают претензии по стоимости самого внедрения и обслуживания системы.

Вторая группа предложений — это компании, сконцентрированные в основном на «чистом» ESB-функционале и достигшие здесь успеха. В эту группу попадают: Sun (Glassfish), Progress (Sonic) и Fujitsu.

Предложения от этих компаний хороши, если вы не собираетесь расширять сферу применения своей платформы в сторону BPM и/или B2B. В противном случае вы рискуете оказаться наедине с недостаточно проработанной функциональностью и существенно увеличить свои расходы на ее доработку до соответствия своим потребностям.

Третья группа наиболее многочисленна и включает все предложения, не вошедшие в предыдущие две группы. Перечисление всех предложений на тему ESB в данной статье бессмысленно, вы можете получить такой список в любом поисковике. Если ваш бюджет на интеграцию ограничен, а сами вы склонны к экспериментам — вы вполне можете попытать счастья с любым из них. Однако риски, касающиеся как недостаточно проработанной функциональности, так и возможных проблем с надежностью, технической поддержки и перспектив развития продуктов, вы принимаете на себя.

О проекте

По нашему проекту внедрения:

Пилотный проект мы выполнили в 2024 году на одном из дочерних подразделений компании. Суть сводилась к тому, что мы переключили существующие обмены на тестовой среде (порядка 25-ти потоков) на нашу централизующую систему. Произошло все это быстро и безболезненно – были только мелкие ошибки в прикладных решениях из-за невозможности установки COM-соединения, которые решались оптимизацией правил. Я хочу сказать, что этот кейс работает для большого количества компаний. Когда к нам обращаются с желанием упорядочить обмены между множеством баз, мы отправляем в ответ опросник в Excel, где нужно расписать: систему-источник, систему-приемник, правила, план обмена, расписания, проблемы. Сначала люди удивляются, что для пяти конфигураций используются более пятидесяти правил обмена, но когда они создают этот список, им становится понятно, сколько стоит все это сопровождать, обслуживать и обновлять. Поэтому один из кейсов – это просто переключение существующих обменов на единую систему, которая будет управлять запуском заданий, контролировать ошибки, присылать уведомления и т.д.
Основная цель проекта, обозначенная в договоре – это обеспечение централизации управления.

Но фактической целью на этом проекте было – снизить стоимость интеграции, поддержки, сопровождения этих потоков, уменьшить количество людей сервисной поддержки, убрать «изобретение велосипедов» и разобраться в «зоопарке».

Поэтому мы приступили к разработке единых стандартов и методик:

по подключению новых систем к шине;
по модификации существующих обменов;
по формализации описаний форматов для всех систем в единый.

Когда мы начинали работать с разными разработчиками разных систем – все делали кто во что горазд: кто-то перечень полей пришлет в тексте на двенадцать страниц, кто-то – в HTML, кто-то – в Excel. В результате мы привели все к стандарту – Excel-форма плюс XML-схема (XSD). Других стандартов нет. Это дисциплинирует и упрощает работу.

В нашем пилотном проекте заказчик специально выбрал такой интересный набор – это несколько целевых систем (в том числе не 1С):

«1С:УПП Битумные материалы»;
«1С:ERP Смазочные материалы»;
Самописная система диспетчеризации автотранспорта;
3 самописные базы на Firebird SQL для организации АРМ «ОТСД» (расшифровывается как «Оформление товаросопроводительных документов»). Что касается Firebird SQL, то эта СУБД приятно порадовала – бесплатная, легкая, быстро работает.
И, конечно, главная система заказчика – это SAP. Она подключалась к шине, причем не сама, а через свою шину, брокер сообщений SAP PO. Надо сказать, что порадовала дисциплина и проработка всех подключений у SAP. Есть чему поучиться 1С консультантам – люди не усложняют себе жизнь на ровном месте.

По передаваемым данным в этих системах фигурировало около 100 типов для всех систем. Понятно, если там есть одна разгрузочная разнарядка, значит, для нее будет у каждой системы свой формат, свой тип.

Интеграционные компоненты

Подробнее об интеграционных компонентах:

Для подключения к конфигурациям 1С была разработана встраиваемая подсистема «Агент подключения к шине», которую можно объединить с любой конфигурацией в пять шагов – любой 1С-ник за десять минут справится со встраиванием этой подсистемы. В дальнейшем мы планируем ее сделать в виде расширения – ждем версию 8.3.11, где обещают готовую механику. В подсистеме есть:
- Справочник по настройке узлов обмена – узлы можно привязать к любым планам обмена и к любым уже существующим узлам, т.е. переключить на шину. Допустим, был какой-то обмен по плану обмена, взяли на шину – переключили узел.
- Журнал регистрации событий по обмену – отдельный по каждой системе. У заказчика было требование, чтобы система обладала информацией о том, как у нее проходят обмены, длительность, успешно или нет, есть ли ошибки.
- Было много дебатов с заказчиком по поводу хранения в подсистеме правил обмена. По-хорошему, правила должны храниться в единой базе, в центре, версионироваться, предоставлять доступ под определенными ролями и учетками в шине, обновляться по понятному регламенту, чтобы один набор правил мог использоваться для большого количества баз и систем. Но нам не удалось убедить отдел безопасности, и заказчик все-таки захотел хранить правила на стороне каждой системы. Это другой взгляд на вещи, когда каждая система – это свой мирок, в который нельзя давать никому вмешиваться извне. Поэтому по согласованию с заказчиком правила обмена для каждой системы тоже хранятся во встраиваемой в нее подсистеме.

Для подключения к не 1С-системам в шине использовался WSDL веб-сервис, содержащий две универсальные операции:

PostData (поместить данные);
И GetData (получить данные).

Заключение

Благодаря углубленному изучению служб интеграции Интернета вещей мы изучили их роль в соединении, координации и обогащении нашего цифрового мира.

От понимания того, что представляют собой услуги интеграции Интернета вещей, до признания их значимости для разных отраслей, эти услуги играют ключевую роль в раскрытии истинного потенциала Интернета вещей.

Завершая наш путь, крайне важно признать, что услуги по интеграции IoT будут продолжать иметь далеко идущие последствия, выходящие за рамки нашего непосредственного опыта. Скорое появление сетей 5G и объединение технологий искусственного интеллекта с технологией блокчейна открывают безграничные возможности для Интернета вещей

Услуги по интеграции технологий Интернета вещей совершают революцию в умных городах, точном земледелии, здравоохранении и производстве, создавая реальные и эффективные приложения в нашей повседневной жизни.

Услуги по интеграции Интернета вещей откроют вам путь к раскрытию его полного потенциала.

Независимо от того, являетесь ли вы бизнес-лидером, стремящимся оптимизировать операции, домовладельцем, ищущим способы создать более разумную среду обитания, или сторонником устойчивого развития — эти услуги могут помочь вам реализовать ваши цели.

Будущее взаимосвязано, и в его центре находятся услуги по интеграции Интернета вещей. Присоединяйтесь к этому пути трансформации! Сейчас прекрасное время, чтобы стать частью такого постоянно развивающегося цифрового ландшафта!

Готовы ли вы воспользоваться услугами интеграции Интернета вещей и открыть для себя возможности в этом динамичном мире?

Присоединяйтесь к революции Интернета вещей прямо сейчас и позвольте ей формировать будущее вашего мира! Позвольте службам интеграции Интернета вещей определять направление развития.