Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Отказоустойчивая распределённая архитектура для UX-аналитики

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров108

UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени, чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.

Читать далее

Новости

IPsecHub+. Отказоустойчивость и динамическая маршрутизация

Уровень сложностиСложный
Время на прочтение5 мин
Количество просмотров168

Всем привет! На связи Николай Едомский, руководитель группы сетевых инженеров в ЕДИНОМ ЦУПИС.

Представляю вашему вниманию пятую статью из цикла «IPsecHub+».

В этой статье цикла мы поднимем один из самых важных вопросов построения любой топологии - вопрос отказоустойчивости. Предлагаю вам рассмотреть, как мы можем сделать наш концентратор отказоустойчивым.

Читать далее

Выбор индексов в базах данных для highload-систем

Уровень сложностиСложный
Время на прочтение27 мин
Количество просмотров850

Индексы – это «ускорители» доступа к данным в базах данных. Правильно выбранные индексы могут многократно ускорить запросы, что особенно критично в highload-системах с большими объёмами данных и большим числом запросов. Однако за ускорение чтения приходится платить усложнением записи и дополнительным расходом памяти. В этой статье мы подробно рассмотрим, как работают разные типы индексов в реляционных СУБД, как выбирать индекс под конкретный запрос, обсудим подводные камни (например, блоат, переиндексация, избыточные индексы) и затронем индексацию в NoSQL (MongoDB, Cassandra). Завершим чеклистом, который поможет выбрать оптимальный индекс под вашу задачу.

Читать далее

Современные подходы к созданию автоматизированных систем прогнозируемого обслуживания в промышленности

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров202

Палюх Борис Васильевич

д.т.н., профессор, заведующий кафедрой «Информационные системы» ТвГТУ, г. Тверь

Чесалов Александр Юрьевич

  к.т.н., генеральный директор ООО «Программные системы Атлансис», г. Тверь

В настоящей статье исследуются современные подходы к созданию автоматизированных систем прогнозируемого обслуживания многостадийных технологических процессов. На сегодняшний день, данные системы играют важнейшую роль в процессах автоматизации промышленных предприятий различных отраслей экономики. В статье делается основной акцент на  необходимость применения технологий искусственного интеллекта для создания, эксплуатации и развития автоматизированных систем прогнозируемого обслуживания. Указывается необходимость совместного применения методов нейронных сетей и теории свидетельств, в части уменьшения уровня неопределенности и увеличения уровня доверия к выходным данным для принятия решений. В результате исследования предложены два варианта архитектуры. Представлены данные эффективности применения автоматизированных систем прогнозируемого обслуживания в промышленности.

КЛЮЧЕВЫЕ СЛОВА: прогнозируемое обслуживание, промышленный Интернет вещей, периферийный искусственный интеллект, теория свидетельств, компьютеризированная система управления техническим обслуживанием.

Прогнозируемое обслуживание в промышленности (англ. Predictive Maintenance, PdM) – это стратегия проактивного обслуживания, которая использует современные инструменты и методы анализа данных для обнаружения аномалий в работе оборудования и потенциальных дефектов в производственных процессах, которая включает [1]:

Читать далее

Истории

Применение прорывных технологий искусственного интеллекта в промышленных экосистемах Индустрии 4.0

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров155

В текущих экономических условиях, когда концепция развития цифровой экономики сменяется новым трендом развития – «экономикой данных»,  внедрение цифровых инноваций  и прорывных технологий искусственного интеллекта (ИИ) в промышленных экосистемах Индустрии 4.0  является приоритетным направлением в формировании и развитии технологического суверенитета Российской Федерации.

В основе всех процессов формировании и развития технологического суверенитета нашей страны находится цифровая трансформация производителей и потребителей продуктов и услуг.

Цель цифровой трансформации продуктов и услуг промышленных предприятий Российской Федерации должна заключаться в реализации ряда комплексных мероприятий и проектов основывающихся на прорывных и перспективных технологиях «Индустрии 4.0», включающие в себя технологии искусственного интеллекта в промышленных экосистемах, которые позволяют создать на первом этапе цифровую инфраструктуру промышленности, а в последствии экосистему, способную не только объединить разрозненные цифровые решения, платформы, системы и миллионы «умных» устройств промышленного Интернета вещей в рамках одного информационного поля, но и дать толчок к созданию и развитию новых конкурентных продуктов и услуг в Российской Федерации и за ее пределами [Галкин и др., 2023, c. 167; Палюх и др., 2023, c. 256].

Важным аспектом проектирования, разработки, производства и развития новых промышленных ИТ-решений является применение передовых технологий четвертой промышленной революции, к которым можно отнести: технологии работы с большими данными, машинное обучение и искусственный интеллект, а также создание цифровых платформ и сервизов, функционирующих в рамках вышеупомянутой цифровой экосистемы.

Читать далее

Методологический подход к цифровой трансформации предприятий отрасли производителей оборудования неразрушающего контроля

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров126

В настоящей статье предложен методологический подход к цифровой трансформации продуктов и услуг производителей оборудования неразрушающего контроля на основе реализации комплекса мероприятий, основывающихся на прорывных и перспективных технологиях «Индустрии 4.0», которые позволят создать на первом этапе цифровую инфраструктуру предприятий производителей, а в последствии экосистему неразрушающего контроля, способную объединить разрозненные цифровые решения, платформы, системы и десятки тысяч «умных» устройств в рамках одного информационного поля, а также дать толчок к созданию и развитию новых конкурентных продуктов и услуг в Российской Федерации.

КЛЮЧЕВЫЕ СЛОВА: неразрушающий контроль; стандартизация; цифровая трансформация; цифровая платформа; машинное обучение; сверточная нейронная сеть; алгоритм распознавания образов дефектов; алгоритм синтеза 3D-изображений; алгоритм классификации изображений.

 Введение. В текущих экономических условиях, когда идея импортозамещения изжила себя полностью,  внедрение новых отечественных информационных технологий в производстве приборов неразрушающего контроля, а также цифровых инноваций в промышленной безопасности в большинстве отраслей экономики, созданных ведущими научными организациями, является приоритетным направлением в формировании и развитии технологического суверенитета Российской Федерации.

Основная часть. В основе всех процессов формировании и развития технологического суверенитета нашей страны находится Цифровая трансформация производителей и потребителей продуктов и услуг.

Читать далее

Нейросетевой подход для классификации событий отслеживаемых сверхширокополосным радаром

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров627

В данной статье речь пойдёт о том, как используя разные архитектуры нейронных сетей классифицировать данные полученные со сверхширокополосного радара " XETHRU by NOVELDA X4M02 290056-010 ". Моя работа основана на публикации " UWB-gestures, a public dataset of dynamic hand gestures acquired using impulse radar sensors " в которой подробно рассмотрена задача классификации человеческих жестов заснятых на сверхширокополосный радар при помощи свёрточной нейронной сети. Авторы оригинальной статьи выложили весь датасет собранный ими в открытый доступ, благодаря чему у меня появилась возможность воспроизвести их результат, а так же превзойти его применив архитектуры рекуррентных нейронных сетей и трансформеров.

Оригинальная статья:
https://www.researchgate.net/publication/350811193_UWB-gestures_a_public_dataset_of_dynamic_hand_gestures_acquired_using_impulse_radar_sensors https://www.nature.com/articles/s41597-021-00876-0
Данные:
https://figshare.com/articles/dataset/A_Public_Dataset_of_Dynamic_Hand-gestures_Acquired_using_Impulse-radar_sensors_/12652592
Мой GitHub с кодом:
https://github.com/DenissStepanjuk/UWB-Gestures-classification-with-Neural-Networks

Ознакомиться.

Руководство для начинающих по настройке SSH и CI CD для проекта с использованием Docker и GitLab (GitHub)

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров3.7K

В этой статье я, насколько могу, подробно расскажу вам, как настроить SSH для подключения к виртуальной машине (VM) и интегрировать процесс CI/CD для вашего проекта с использованием Docker и GitLab/GitHub. Мы пройдем через все необходимые шаги, чтобы вы могли легко развернуть ваше приложение.

Стоит сказать, что сама я новичок и вообще бэкенд разработчик, которому неожиданно пришлось развернуть проект на виртуальной машине, так что, если сюда забрел такой же новичок, то, дружище, я может и не достаточно хорошо, но постараюсь тебе все объяснить.

Читать далее

Умный дом. Как соединить разные технологии? Реальный опыт

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров6.5K

Умным домом в наше время уже никого не удивишь, а если говорить об элементах умного дома, то они распространены практически повсеместно, а новые экосистемы появляются с завидной регулярностью. И тут встает вопрос, а как быть обычному рядовому пользователю? Покупать оборудование и быть привязанным к конкретной экосистеме? А если случилось так, что используются элементы нескольких разных производителей/экосистем? Куча приложений в смартфоне для управления всем этим хозяйством выглядит удручающее. Перспектива, при отключении интернета, остаться без управления или вообще неожиданно получить в своем хозяйстве неработающее устройство, которое по каким-то причинам перестали поддерживать в новой версии экосистемы, удручает еще больше. А это я еще не касаюсь вопросов безопасности.

Читать далее

ИИ агенты способны к саморепликации

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров2.2K

Что??? Уже? Вот черт.

Коротко 

Группа ученых из Шанхая показала [arXiv:2503.17378v2], что ИИ агенты на базе большинства современных открытых LLM моделей способны самостоятельно реплицировать и запустить полную копию себя на другом девайсе. Это супер важно и беспокоящее, такая способность являлась одной из “красных” линий ведущих к серьезным рискам ИИ. Cаморепликация колоссально усложняет возможности удерживания мисалаймент ИИ (действующие не согласно замыслу запустившего) или ИИ запущенных злоумышленниками.

Читать далее

Что будет, если не использовать TCP или UDP?

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров19K

Однажды мне стало интересно: а что будет, если отправить пакет с несуществующим транспортным протоколом? Не TCP, не UDP, не ICMP — вообще что-то выдуманное. Пропустит ли его ОС? Дойдет ли он хотя бы до сетевого интерфейса? Не зарежет ли его какой-нибудь промежуточный маршрутизатор? А вдруг он еще и быстрее обычного дойдет, потому что никто не знает, что с ним делать?

Ответа у меня не было. Так что я решил проверить.

Эксперимент и его результаты

Безопасность корпоративных сетей: что такое IVA SBC и как это решение защищает ваши коммуникации

Время на прочтение4 мин
Количество просмотров237

В современных условиях информационная безопасность становится одним из ключевых факторов успешного ведения бизнеса. Компании стремятся защищать свои внутренние сети и данные, минимизируя риски кибератак и несанкционированного доступа. Особенно это актуально в свете увеличения числа удаленных сотрудников и необходимости строить сложные сетевые инфраструктуры, которые требуют дополнительного уровня защиты. 

В нашей статье рассмотрим, как использование пограничного контроллера сессий (SBC) помогает компаниям обеспечить безопасность коммуникаций и сохранить конфиденциальность данных. А еще — чем IVA SBC, российское решение от IVA Technologies, может вам в этом помочь.

Читать далее

Zero-shot и Few-shot Learning в NLP

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров239

Zero-shot Learning (ZSL) - это способность модели выполнять задачи без каких-либо примеров обучения. Она делает это за счёт обобщённых знаний, полученных во время предобучения.

Few-shot Learning (FSL) - это метод, при котором модели предоставляется всего несколько примеров (обычно от 1 до 5), чтобы лучше понять структуру задачи.

Читать далее

Ближайшие события

4 – 5 апреля
Геймтон «DatsCity»
Онлайн
8 апреля
Конференция TEAMLY WORK MANAGEMENT 2025
МоскваОнлайн
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань
20 – 22 июня
Летняя айти-тусовка Summer Merge
Ульяновская область

Linux: кастомные ярлыки и иконки

Время на прочтение7 мин
Количество просмотров1.8K

Наблюдая разницу подхода к юзабилити в Manjaro (KDE) и МСВСфере (Gnome) более чётко зафиксировал для себя общие способы создания ярлыков в linux. Заодно решил посмотреть как в Сфере будут смотреться дефолтные папки, если убрать с них градиент, или, допустим, перенести туда визуал папок из Manjaro.

Читать далее

Хардкорный NAS: как собрать хранилище на OmniOS и не сойти с ума

Время на прочтение6 мин
Количество просмотров5.9K

Привет, Хабр! Сегодня расскажу, как я собрал сетевое хранилище NAS. Недавно оно понадобилось мне для дома, и я решил не покупать, а сделать свое. Тут не все так просто: есть разные варианты — «железный» и софтовый. В первом случае просто берем готовый NAS-сервер вроде Synology или QNAP, набиваем в него дисков — и все. Недешево, хотя в большинстве случаев это оправдано бесперебойной работой.

Но я не хотел тратиться, поэтому выбрал второй вариант — самостоятельную сборку на базе ПК. Выбор огромен — от Raspberry Pi до относительно недорогих HP ProLiant MicroServer. Я собрал на «железе», которое у меня было в запасе: HP ProLiant MicroServer Gen8, CPU Intel Celeron G1610T, 16 ГБ DDR3, 4 x 4 ТБ HDD. После сборки задумался о программном обеспечении. Его много — от готовых решений вроде TrueNAS, XigmaNAS, OpenMediaVault до самостоятельной настройки сервера с нуля на базе Linux или FreeBSD.

Я не искал легких путей (ведь я инженер!) и решил поэкспериментировать. Выбрал довольно экзотический вариант создания NAS при помощи операционной системы OmniOS. ZFS в ней поддерживается нативно, а сама она продолжает славные традиции своего предка — illumos. Это стабильность, поддержка ZFS, предсказуемое поведение в продакшене, а также простая, но гибкая модель управления сервисами (SMF). Плюс четкая структура пакетов и ориентация на безопасность и прозрачность исходного кода. Подробнее обо всем этом — дальше.

Читать далее

Как мы реализовали отказоустойчивый WireGuard в трёх зонах Yandex Cloud

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров3.7K

Расскажем, как мы сделали отказоустойчивый WireGuard-сервер в Yandex Cloud, раскинув его на три зоны доступности. Получилось просто, надёжно и без сложных кластеров.

Мы не рассматриваем настройку самого WireGuard, конфигурацию групп безопасности, настройку VPC, NLB и прочее. Вся логика сосредоточена на том, чтобы обеспечить автоматическое переключение между зонами при сбоях. Сеть VPN-клиентов — 172.28.90.0/24 — должны быть доступна с любой из трёх зон.

Читать далее

Как ESM разрушает корпоративные бункеры: 5 примеров взаимодействия подразделений

Время на прочтение12 мин
Количество просмотров259

Разрозненность корпоративных систем и закрытость отделов увеличивают время реакции на запросы внутренних клиентов и мешают бизнесу работать эффективно. Тем не менее согласно исследованию 67,6% организаций в мире уже применяют стратегии подхода Enterprise Service Management (Управление оказанием услуг в масштабе предприятия), чтобы объединить процессы разных подразделений в единый поток создания ценности и избавиться от разделённости отделов.

На примере пяти сценариев взаимодействия департаментов — от управления оборудованием до юридических согласований — рассмотрим, как внедрение единой ESM-платформы трансформирует рабочие процессы, ликвидирует дублирование задач и объединяет сотрудников разных отделов для достижения общих целей компании.

Читать далее

Они взломали пылесос, принтер и даже зубную щетку: пять реальных кейсов

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров5.1K

Ваш дом полон шпионов, и это не сценарий бондианы. Когда мы покупаем умный робот-пылесос или принтер с Wi-Fi, мы думаем о комфорте. Но что если ночью, пока вы спите, эти IoT-устройства начинают работать против вас? Стиральная машина майнит криптовалюту, принтер тайно перегружает сеть, а пылесос картографирует квартиру и передает планы незнакомцам. Звучит как сюжет дешевого сериала, но это реальные кейсы, с которыми столкнулись пользователи по всему миру.

Как хакеры превращают обычную технику в цифровых шпионов? И почему даже ваш умный чайник может стать звеном в цепи глобальной кибератаки? Добро пожаловать в эру бытового хакинга, где каждая розетка — потенциальная ловушка.
Читать дальше →

Kubernetes в изоляции: когда ваш кластер не должен знать о существовании интернета

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров1.7K

Вы думаете, что развернуть Kubernetes без интернета — это просто kubeadm init плюс пара манифестов? Посмотрим, как скрипты решают проблемы, о которых вы даже не задумывались. Спойлер: здесь есть чему удивиться.

Всем пример, меня зовут Даниил Миронюк, DevOps в команде Polymatica EPM. Сегодняшняя статья для тех, кто считает, что оффлайн‑установка Kubernetes — это скучно.

Читать далее

Инновационные технические решения и баги в исходном коде PowerShell

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.3K

PowerShell — известный инструмент от Microsoft. Но какие секреты сможет найти статический анализатор в его исходном коде? Посмотрим в этой статье.

Читать далее
1
23 ...