Тестирование IT-систем *

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_17

🔠 Можете ли вы объяснить, как работает Prophet для прогнозирования временных рядов ? (Часть_1)

1. Декомпозиция временного ряда: Prophet автоматически декомпозирует временной ряд на несколько компонентов:

   • Тренд: Prophet моделирует гибкий нелинейный тренд, который может быть линейным или логистическим, в зависимости от данных.

   • Сезонность: Prophet обнаруживает и моделирует периодические сезонные компоненты, такие как ежедневные, еженедельные или ежегодные сезонности.

   • Праздники: Prophet позволяет включить информацию о праздниках и других событиях, которые могут влиять на временной ряд.

2. Оценка компонентов: Prophet использует метод максимального правдоподобия для оценки параметров тренда, сезонности и праздников в данных. Он оптимизирует функцию потерь, которая учитывает как среднеквадратичную ошибку (MSE) для тренда, так и MSE для сезонности.

• 🔥 Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

• 🎢Чат в телеграмм: t.me/DenoseLABChat (Если вы хотите задать вопрос и получить на него ответ по анализу даных)

• 💎Profi.ru: profi.ru/profile/MironovVO8/ (Если вам нужна долгосрочная консультация или помощь)

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_15

🔠Приведите пример библиотеки для автоматического выбора и подгонки моделей ARIMA и SARIMA ? (Часть_1)

👉Ответ: pmdarima (Python AutoRegressive Integrated Moving Average) - это библиотека Python, которая предоставляет удобные инструменты для автоматического выбора и подгонки моделей ARIMA и SARIMA. Она основана на библиотеке statsmodels.

Основные возможности pmdarima включают:

1. Автоматический выбор модели: pmdarima предлагает функции для автоматического выбора оптимальных значений параметров модели ARIMA и SARIMA. Она использует информационные критерии, такие как AIC (Akaike Information Criterion) и BIC (Bayesian Information Criterion), чтобы выбрать модель с наименьшим значением критерия.

2. Подгонка модели: pmdarima позволяет легко подгонять модели ARIMA и SARIMA к временным рядам. Она предоставляет функции, которые автоматически определяют оптимальные значения параметров модели и выполняют подгонку с использованием этих значений.

- 🔥 Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

- 🎢Чат в телеграмм: t.me/DenoseLABChat (Если вы хотите задать вопрос и получить на него ответ по анализу даных)

- 💎Profi.ru: profi.ru/profile/MironovVO8/ (Если вам нужна долгосрочная консультация или помощь)

Angara Security проанализировала более 200 реализованных проектов и конкурсных процедур в сфере анализа защищенности данных за 2022-2023 годы и выяснила:

• около 60% проектов по анализу защищенности реализуется в рамках
  двух ценовых сегментов: от 500 тыс. рублей до 1 млн рублей (23,7%) и от
  1 млн до 2 млн рублей (37%);

• по сравнению с 2022 годом доля проектов в отмеченных ценовых сегментах выросла в среднем на 65%;

• услуги анализа защищенности наиболее востребованы среди финансовых организаций и страховых компаний (около 40% проектов и конкурсных процедур), телеком- и IT-компаний (28,8%).

ИБ-эксперты отметили спрос на решения для мониторинга эффективности средств защиты информации на внешнем периметре, поэтому на рынке также востребованы услуги комплексной симуляции кибератак (red team) с проверкой реакции сотрудников внутренних SOC-центров и ИБ-подразделений в филиалах крупных компаний. Также растет спрос на анализ защищенности в режиме «белого ящика». Такие пентесты выявляют практически все уязвимости приложений и имеют наибольшую эффективность.

Среди перспективных направлений в сфере анализа защищенности аналитики Angara Security также отмечают автоматизацию проверок, которые могут проводиться без привлечения экспертов, а также объединение в комплексные услуги пентестов инструментов OSINT и анализа фишинговых атак, управление поверхностью атаки внешнего периметра, сопоставление актуальных для отрасли техник и атак.

25 декабря в онлайн и оффлайн форматах состоится предновогодний «RSHB QA Meetup: От беты до экзотики», посвященный теме тестирования и экзотическим багам. Участие в митапе бесплатное, регистрация на мероприятие уже открыта на сайте РСХБ в цифре.

Вторым на митапе выступит Андрей Ахметов, ведущий инженер РСХБ-Интех, с докладом «Экзотические баги и их устранение. Выступление Андрея Ахметова». Андрей расскажет о самых нетривиальных дефектах, которые ловили в его команде. Что помогло их локализовать — заранее выстроенные процессы или фантазия тестировщиков?

Места на оффлайн закончились, билеты на онлайн-трансляцию не ограничены. Регистрируйся на сайте РСХБ в цифре.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_14 (Часть_1)

Какие подходы могут помочь модели сохранить стабильность популяции при изменении данных?

1. Кросс-валидация (Cross-Validation): Кросс-валидация позволяет оценить производительность модели на разных подмножествах данных. Например, метод k-fold cross-validation разбивает данные на k подмножеств, называемых фолдами. Модель обучается на k-1 фолдах и оценивается на оставшемся фолде. Этот процесс повторяется k раз, каждый раз используя разные фолды. Таким образом, модель оценивается на различных подмножествах данных, что помогает выявить ее стабильность популяции.

2. Стратифицированная выборка (Stratified Sampling): При формировании обучающей и тестовой выборок можно использовать стратифицированный подход. Это означает, что при разделении данных на выборки будут сохранены пропорции классов или распределений признаков. Такой подход помогает уменьшить возможное искажение данных при изменении популяции.

   t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

25 декабря в онлайн и оффлайн форматах состоится предновогодний «RSHB QA Meetup: От беты до экзотики», посвященный теме тестирования и экзотическим багам. Участие в митапе бесплатное, регистрация на мероприятие уже открыта на сайте РСХБ в цифре.

🔥 Первой на митапе выступит Софья Селезнева, ведущий инженер-тестировщик в «Гранч», с докладом «О чем вы должны помнить при тестировании проектов с компьютерным зрением». Софья расскажет, что такое компьютерное зрение, для каких задач оно используется и о чем нужно помнить, чтобы тестировать такие проекты.

Среди оффлайн-участников митапа мы проведем лотерею с различными крутыми призами.

Количество мест на оффлайн ограничено, успей зарегистрироваться.

25 декабря в онлайн и оффлайн форматах состоится «RSHB QA Meetup: От беты до экзотики», посвященный теме тестирования и экзотическим багам. Участие в митапе бесплатное, регистрация на мероприятие уже открыта на сайте РСХБ в цифре.

В рамках митапа выступит Михаил Кошкин, руководитель команды VK Testers, с докладом «Бета‑тестирование и места, где оно обитает».

Михаил расскажет о пути бета-тестирования команды VK Testers: от конкурса на лучшего тестировщика до платформы бета-тестирования с десятками тысяч участников. Спикер покажет, как лучше проводить «бету» и повысить собираемость багов.

Количество мест на оффлайн ограничено, успей зарегистрироваться.

Приглашаем всех на «RSHB QA Meetup: От беты до экзотики» — бесплатный митап, посвященный теме тестирования и экзотическим багам, который пройдет 25 декабря. В своих докладах спикеры расскажут, как тестировать большой проект руками сообщества, под каким углом смотреть на тесты компьютерного зрения и как ловить экзотические баги.

Можно прослушать доклады онлайн или зарегистрироваться на офлайн-участие.

В программе:

❄️ Доклад Михаила Кошкина, руководителя команды VK Testers, — «Бета‑тестирование и места, где оно обитает»
❄️ Доклад Софьи Селезневой, ведущего инженера тестировщика в «Гранч» — «О чем вы должны помнить при тестировании проектов с компьютерным зрением»
❄️ Доклад Андрея Ахметова, ведущего инженера РСХБ‑Интех — «Экзотические баги и их устранение»

Офлайн-часть митапа пройдет в офисе РСХБ-Интех на Теплом Стане (Москва, ул. Профсоюзная 125а). Успейте зарегистрироваться на офлайн-участие на сайте РСХБ в цифре.

В рамках митапа пройдет розыгрыш призов за лучшие вопросы спикерам и розыгрыш призов среди тех, кто пройдет опрос и оставит отзыв о мероприятии.

Общаться и следить за ходом митапа можно в Telegram-чате.

Приходите на круглый стол QA Guru, чтобы узнать, как проходит обучение и развитие тестировщика внутри компаний.

Сегодня в 20:00 по Москве за круглым столом, организованным QA Guru, сильнейшие специалисты по тестированию поделятся своим опытом и обсудят вопросы обучения и развития тестировщиков внутри компании, стоит ли отправлять специалистов на внешние курсы, плюсы и минусы разных форматов обучения и не только. Слушатели смогут задавать экспертам вопросы в чате мероприятия.

В рамках круглого стола выступит Ян Акмеев — главный инженер Блока качества РСХБ-Интех.

Ссылка на трансляцию появится в 19:55 МСК в чате QA Guru.

Исследователи из Амстердамского свободного университета представили технику атаки SLAM (Spectre Linear Address Masking), предлагающую новый способ эксплуатации микроархитектурных уязвимостей класса Spectre, в котором утечка данных происходит при трансляции неканонических адресов, а для обхода проверок каноничности привлекаются предоставляемые в новых процессорах расширения для маскировки линейных адресов.

Экспертами опубликован инструментарий с реализацией метода и предложена демонстрация, показывающая, как можно извлечь из памяти ядра данные, соответствующие определённой маске (показано, как за несколько десятков секунд в Ubuntu выделить из памяти ядра строку с хэшем пароля пользователя root).

Атака может быть совершена на системах с процессорами Intel, поддерживающими расширение LAM (Linear Address Masking), процессорами AMD с расширением UAI (Upper Address Ignore) и процессорами ARM с расширением TBI (Top Byte Ignore). Указанные расширения позволяют использовать часть битов 64-разрядных указателей для хранения не связанных с адресацией метаданных (для обычных программ не требуется столько памяти, что могут адресовать 64-разрядные указатели, поэтому верхние биты могут быть задействованы, например, для проверок, связанных с обеспечением безопасности). Интересно, что процессоры Intel, AMD и ARM с поддержкой LAM, UAI и TBI ещё только анонсированы, но массово не производятся, что делает SLAM первой спекулятивной атакой на будущие CPU.

Источник: OpenNET.

Разработчики дистрибутива Arch Linux объявили о завершении миграции системы отслеживания ошибок на платформу GitLab и включении на обслуживающем проект сервере GitLab поддержки запросов на слияние (merge request). Модернизация системы отслеживания ошибок стала следующим шагом после перевода инфраструктуры для разработки пакетов с Subversion на Git и GitLab.

Старый интерфейс отслеживания ошибок в Arch Linux, основанный на платформе Flyspray, будет через какое-то время отключён, но доступ к старым записям планируют сохранить через размещение статической архивной копии сайта bugs.archlinux.org, в которой записи будут доступны по старым ссылкам.

В сообщениях об ошибках, разбиравшихся в процессе миграции, добавлены финальные комментарии, указывающие на новый адрес обсуждения в GitLab. Кнопки уведомления о проблемах, присутствующие на страницах пакетов, перенаправлены на новую систему. Процесс разбора сообщений о проблемах в Arch Linux останется прежним — первичный разбор сообщений осуществляют участники команды Bug Wranglers, после чего проблема перенаправляется для исправления соответствующим сопровождающим.

Источник: OpenNET.

Именование юнит тестов

Мне всегда нравятся “информативные” названия тестов вроде “TestLogin”. 

Смотришь и из названивая в принципе не понятно, что именно мы тестируем.

В книге “Искусство автономного тестирования (The Art of Unit Testing)” предлагается следующий способ именования тестов: [UnitOfWorkName]_[ScenarioUnderTest]_[ExpectedBehavior]

• UnitOfWorkName — имя тестируемого метода либо группы методов или классов

• Scenario – условия, при которых тестируется автономная единица

• ExpectedBehavior – что должен делать метод при заданных условиях

Например, если мы тестируем вход пользователя с неверным паролем и ожидаем, что произойдёт ошибка, то названия теста может выглядеть так: TestLogin_InvalidPassword_ThrowsException.

Несмотря на то, что на тестирование продукта приходится 40-50% рабочего времени проекта, студенты CS программ становиться тестировщиками не спешат. Для будущих специалистов тестирование кажется скучным, монотонным, напряженным и совсем не творческим процессом.  При этом тестировщики со стажем уверены в обратном. Четверть опрошенных в исследовании специалистов видят в QA интересный профессиональный вызов, а еще четверть привлекает количество вакансий на рынке.

Среди минусов, с точки зрения профессионалов, - низкая заработная плата, отсутствие видимости результатов и признания со стороны коллег. Расхождения в представлениях студентов и профессионалов могут привести к проблеме на рынке труда. 

Выборка в работе небольшая, но результаты весьма интересные.

Myths and Facts about a Career in Software Testing: A Comparison between Students' Beliefs and Professionals' Experience

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_6

🔠Вопрос_6: Всегда ли PCA спасает от проблеммы "проклятие размерности" и если нет, то что можно использовать вместо него ?

✔️Ответ:
РСА не всегда спасает от проклятия размерности, однако существует несколько продвинутых алгоримов для решения данной проблеммы:

• t-SNE (t-Distributed Stochastic Neighbor Embedding): Этот алгоритм позволяет визуализировать данные высокой размерности в двух или трех измерениях, сохраняя при этом их локальную и глобальную структуру. Он основан на вероятностной модели, которая пытается сохранить близость между объектами в исходном пространстве и их представлением в пространстве меньшей размерности.

• LLE (Locally Linear Embedding): LLE ищет линейные зависимости между соседними точками данных и пытается сохранить эти зависимости при снижении размерности. Алгоритм строит локальные линейные модели для каждой точки данных и затем находит низкоразмерное представление, которое наилучшим образом воспроизводит эти локальные модели.

• UMAP (Uniform Manifold Approximation and Projection): UMAP является относительно новым алгоритмом снижения размерности, который сочетает в себе методы локальной связности и глобальной структуры данных. Он строит граф связности между точками данных и затем находит низкоразмерное представление, которое сохраняет геометрическую структуру данных.

  Кроме того, в ряде задач применяются: Isomap, MDS, Random Projection, Sparse Coding, NMF.

  https://t.me/DenoiseLAB
  

Поговорим про автоматизацию?

Я Юля, разработчик в команде IDM — комплекса систем, управляющих доступами сотрудников к внутренним ресурсам. Поделюсь мыслями на тему автоматизации.

Мне, как айтишнику, хочется делать жизнь людей проще и интереснее. Бывает, что процессы без участия людей приводят к негодованию пользователей. Например, роботы-автоответчики, в которых нет опции связи с оператором, — не самая дружелюбная вещь.

А вот другой пример: вместе с командой мобильного оператора мы улучшили тестирование систем, завязанное на абонентах и сим-картах. Раньше создание тестовых данных для проверки абонента с набором услуг и тарифом требовало много ручных шагов. Теперь можно продумывать сценарии и проверять предлагаемые пользователям возможности, не отвлекаясь на рутину.

Плюс такой автоматизации в легковесности. Простые настройки абонентов выполняешь автоматизацией, и часто этого достаточно. А если необходим экзотический случай, то у тестировщика развязаны руки: создавай сам или меняй автоматизацию.

Недавно на ретро фронтендер рассказал, как они с коллегой реализовали pipeline-процесс для автоматизации выпуска фронтовых задач. Скрипты умели лишь собирать информацию для лога изменений, обновлять версию и навешивать тег релиза. Но и эти небольшие изменения сделали работу комфортнее.

Для меня это еще один пример, когда автоматизация уместна, не отбирает возможность принимать решения, влиять на процессы и результат.

А какие вам встречались примеры автоматизации — дружелюбной и не очень?

21 сентября Артур Кашбуллин, Исполнительный директор блока качества РСХБ‑Интех, выступит на Testify — новом формате онлайн‑митапов от Test IT об особенностях тестирования ПО в разных сферах бизнеса.

В рамках доклада «Как отчетность нам жить помогает» Артур поделится опытом использования управленческой и оперативной отчетности, расскажет, какие метрики в них используются, затронет вопросы текущих задач подразделения и не только.

Вместе с Артуром в рамках первого Testify выступят:

• Карим Аминов из Test IT с докладом, как «дирижировать оркестром» релизной команды в крупных банках.

• Анастасия Шевченко из «Винвестора» с докладом об основных моментах оптимизации процесса разработки нового модуля для личного кабинета юридических лиц в рамках поддержки действующего проекта.

Для регистрации на бесплатный онлайн‑митап необходимо пройти по ссылке.