Все потоки

Ладно, не заливай! Ни разу не был на берегах Data Lake?! Пойми, в IT только и говорят, что о Data Lake! Как оно бесконечно прекрасно. О бигдате и графах, которые они видели. О том, как дата-сайентист, погружаясь в море данных, преисполнился знания. Мы не хотим, чтобы Хабр там наверху окрестили как-нибудь не так, а потому ещё с начала года мощно прокачиваем ИИ-ландшафт самыми хардкорными и глубокими текстами: уже отгремел сезон ML, закончилась неделя нейроарта, а теперь совместно с Газпромбанком стартует сезон Big Data. 

Команда «ХОСТКЕЙ» добавила новую платформу для хранения и управления данными — TrueNAS. Мы хотим рассказать об этом интересном дистрибутиве тем клиентам, которые ищут простое и удобное решение для управления данными при аренде серверов.

TrueNAS — это быстрое и надежное решение для хранения и управления данными, которое позволяет значительно улучшить качество предоставляемых услуг. TrueNAS предлагает широкий спектр возможностей: создание датасетов, виртуальных машин и контейнеров, использование Windows Shares, Unix Shares, Block Shares, WebDAV Shares. Одно из главных преимуществ TrueNAS — возможность простой установки нескольких десятков полезных приложений: Minio, Nextcloud, Plex, Syncthing, WG Easy и т. д. С полным списком приложений, доступных пользователям TrueNAS SCALE, можно ознакомиться на сайте TrueNAS. Использование TrueNAS SCALE позволит увеличить масштабирование проектов и гарантировать быстрый доступ к данным.

Большие языковые модели (Large Language Model, LLM) сейчас у всех на слуху. Они привлекают внимание общественности своей, казалось бы, впечатляющей возможностью — составлять осмысленные тексты в ответ на запрос пользователя (иногда такие запросы называют «приглашениями», а так же — «промптами» или «промтами» — от английского «prompt»). Эти системы представляют собой тщательно сконструированные комбинации из исключительно простых алгоритмов, огромных объёмов данных и грандиозных вычислительных мощностей. LLM учатся, бесчисленное множество раз играя сами с собой в игру «угадай следующее слово». В каждом раунде такой игры модель смотрит на часть предложения и пытается угадать, или предсказать, следующее слово. Если слово угадано — модель обновляет параметры для того чтобы подкрепить свою уверенность; в противном случае модель учится на своей ошибке для того чтобы в следующий раз её догадка была бы точнее.

Хотя базовый алгоритм обучения LLM, по большому счёту, уже давно не меняется, недавнее увеличение размеров моделей и данных наделило эти модели качественно новыми возможностями. Среди них — написание простого программного кода и решение логических задач.

Как эти модели достигли таких результатов? Они всего лишь запоминают обучающие данные и потом их воспроизводят, или они схватывают правила английской грамматики и усваивают синтаксис языка C? Создают ли они нечто вроде внутренней модели мира — доступной для понимания модели процесса, выдающего некие последовательности данных?

Илон Маск вливает деньги в разработку корабля, способного доставлять людей на Красную планету. Starship должен стать первой многоразовой транспортной системой, способной доставлять на Марс до 100 человек за раз. По оценкам Маска, разработка этого корабля стоила ему до $10 млрд. Зато каждый отдельный транспортник потом обойдется в $30 млн — уникально дешево. Собственно, это и позволит запустить их в массовое производство.

Учитывая, что один запуск будет стоить всего $2 млн, цена килограмма, доставленного Starship на низкую околоземную орбиту, составит всего 10 долларов. Для некоторых доставка с «Амазона» обходится дороже! Можно сравнить это с 65 400 долларами для килограмма на космическом корабле "Колумбия", дебютировавшем в 1981 году.

В пятницу Федеральное авиационное управление США (FAA) выдало долгожданную лицензию для SpaceX на первый орбитальный запуск массивной ракетной системы.

Этот запуск состоится сегодня в 15:00 по МСК.

Я решил написать, чего от этого всего можно ждать.

Привет, Хабр! Меня зовут Игорь Сак-Саковский, и я уже семь лет занимаюсь безопасностью веб-приложений в команде PT SWARM в компании Positive Technologies. В этой статье расскажу о моем недавнем исследовании, которое вошло в топ-10 методов веб-хакинга 2021 года по версии PortSwigger.

При общении в сети мы постоянно используем смайлики и выделяем текст в сообщениях. В Телеграме, Википедии, на GitHub и форумах это реализовано при помощи BBCode, MediaWiki и других языков разметки, использующих парсеры. Парсеры находят в сообщениях специальный код, тег или символ и преобразуют его в красивый текст с помощью HTML. А как известно, везде, где есть HTML, могут быть и XSS-атаки.

Я поделюсь методикой поиска проблем очистки передаваемых пользователями данных, которые могут привести к XSS-уязвимостям, покажу, как фаззить и находить проблемы при генерации HTML в сообщениях, а также проблемы парсеров, возникающие при их накладывании. Этот метод позволяет обнаруживать в популярных продуктах множество уязвимостей, которых раньше никто не замечал.

В статье вас ждет:

· вводная теория о том, что такое XSS и чем он опасен;

· советы, как искать XSS при отправке красивых сообщений;

· способы тестирования сообщений: перечислю уже известные техники, а еще поделюсь свежей идеей;

· список уязвимостей, которые я обнаружил в продуктах известных вендоров в процессе исследований, и чем они грозили;

· способы защиты приложений при разработке и как, по моему мнению, следует правильно защищаться: объясню наглядно, почему способ, которым пользуется большинство, — неверный.

Привет, Хабр! Меня зовут Александр, я ведущий специалист аналитического отдела компании «ИнфоТеКС». Сегодня речь пойдет о процедуре оценки влияния среды функционирования.

Статья будет интересна разработчикам ПО, которым необходимо обеспечить защиту информации в своем продукте с использованием средств криптографической защиты информации (СКЗИ).

Статья поможет разобраться, что такое оценка влияния, как понять, что она вам нужна, каковы примерные сроки проведения такой процедуры и можно ли использовать в своем продукте несертифицированное СКЗИ.

По данным аналитической компании IDC, в 2020 году в мире было произведено более 64 зеттабайт данных (для справки: 1 зеттабайт равен 10²¹ байтов). По прогнозам, к 2025 году объем всех данных в мире составит 175 зеттабайт. Важно подчеркнуть, что эта тенденция растет, и правильное использование данных может сыграть решающую роль в развитии многих отраслей.  Глобальный рост объема информации еще раз подчеркивает незаменимость и актуальность профессий по работе с анализом данных.

Привет, Хабр! Меня зовут Алексей. И вот уже около 2 лет я работаю в компании Мегапьютер аналитиком данных. А есть еще одна профессия, связанная с обработкой данных – это Data Scientist.

В 50% статей в интернете написано, что аналитик данных и Data Scientist (датасаентист), это одно и тоже, а другие 50% за абсолютную разницу данных профессий. Одной из ключевых задач аналитика является обработка данных, такая же задач стоит и перед Data Scientist. Я решил понять к какой профессии я больше отношусь и почему.

Разбираемся. Big Data Analyst переводится как аналитик больших данных кем я работаю, а Data Scientist  переводиться как специалист по изучению или обработки данных. Яндекс Дзен дает такую формулировку и разбивает способности на такие критерии. Отличия аналитика данных от data scientist: в чем разница между специальностями (yandex.ru)

Пять дней до DUMP 2023! Мы много раз рассказывали о докладах и отдельных секциях. Сегодня хотим подвести итог большим текстом про программу DUMP в этом году. Если коротко, то огонь-программа получилась у нас. 

Админы и программные комитеты каждой секции сделали все, чтобы вы услышали самые актуальные, полезные и новые доклады. С болью в сердце нам приходилось отказывать тем, кто хотел выступить с классным, но уже известным докладом. Извините, ребята, но мы очень топим за уникальность. 

А теперь, что именно вас ждет:

В одном из предыдущих постов мой коллега Юрий рассказывал об устройстве нашего мониторинга.

А сегодня я хочу поведать о том, как мы потребляем данные из мониторинга, как используем их в нашей повседневной работе и как изменилась наша жизнь за последнее время. Меня зовут Андрей, советую вам заварить чаек и желаю хорошего прочтения. 

Для ленивых или занятых — переходите сразу на последний раздел: там краткая выжимка.

Настройка шлагбаума со  смартфона –  сегодня один из главных трендов рынка дорожной автоматики. Конфигурация шлагбаума с помощью мобильного приложения позволяет осуществлять настройку устройства без использования ПК  – прямо со смартфона, что удобно при работе на объекте. В этой статье рассматриваются возможности настройки шлагбаума со смартфона на примере приложений ZKBarrier от ZKTeco, PERCo.Конфигурация от PERCo и CONNECT SETUP от CAME, а также сравниваются их технические параметры. 

В очередном выпуске нашего Compliance-дайджеста подборка новостей законодательства в области ИБ. Какие изменения в порядке размещения биометрических персональных данных в ЕБС? Как ГИС будут переходить на «ГосТех»? Какие новые понятия планируется ввести в законе о гостайне? Какие требования к обеспечению защиты информации при переводах денег планирует ввести ЦБ РФ? Об этом и других изменениях читайте в этом посте.

Apple представила совершенно новый фреймворк CoreTransferable и ShareLink вью в SwiftUI, позволив нам совместно использовать контент и экспортировать его из наших приложений весьма декларативно. На этой неделе мы узнаем, как сделать данные передаваемыми (* переносимыми) и как использовать новое вью ShareLink в SwiftUI.

Подборка мероприятий на неделю.

Big Monitoring Meetup 9

• 20 апреля (четверг)
• пр. Медиков 3, лит. А, Конгресс-центр Ленполиграфмаш, лифт №2, этаж Н, зал «Микеланджело»
• бесплатно
• Big Monitoring Meetup — техническая конференция, собирающая вместе специалистов разных областей мониторинга. Это инженеры, эксплуатирующие системы мониторинга, разработчики, создающие системы мониторинга, интеграторы, использующие системы мониторинга в своих решениях.
  На конференции затрагиваются следующие темы:
  
  • мониторинг инфраструктуры/сети/приложений;
  • метрики и алертинг;
  • решения для отраслей;
  • концепции и подходы реализации мониторинга;
  • взаимодействие бизнеса и мониторинга.

Подборка мероприятий на неделю.

Как вывести бизнес, карьеру и доход на новый уровень сегодня?

• 19 апреля (среда)
• бизнес-клуб Kelia (ул. Воздвиженка, 7/6 стр 1)
• бесплатно
• Только новые знания, актуальное образование и постоянный нетворкинг создают лидеров настоящего – а значит, снова пора учиться.

19 апреля Школа управления СКОЛКОВО организует презентацию программы Executive MBA. Эксперты и выпускники без купюр расскажут о переменах в бизнес-образовании в России: какие сейчас подходы, как погружение в образовательный процесс на 18 месяцев полностью способно изменить жизнь, и почему созданный в Школе СКОЛКОВО образовательный трек Executive MBA – уникальный.

Спикеры:
– Вячеслав Григорьев, Директор программы Executive MBA
– Сергей Зеленкин, предприниматель и владелец косметических брендов

Приветствую, читатели. Время идет, и все больше и больше новых вирусов и потенциально опасных приложений появляется в сети. Казалось бы, мир уже давным-давно познал целые интернет-эпидемии и не является таким беззащитным, как во времена первых сетевых червей. Code Red тому в пример. Но так уж пошло, что чем сложнее защита или система, тем больше в ней может находиться уязвимых мест. Парадокс, не правда ли? 

Каждый день специалисты из разных компаний обнаруживают десятки критических уязвимостей. Стоит отметить, что эти обнаружения зачастую связаны с вирусной активностью, тот или иной зловред начинает использовать до сих пор неизвестную прореху, а только потом аналитики обнаруживают, в чем же здесь дело. Но бывает и наоборот.

Что ж, в этой статье пойдет речь как раз таки о вирусе, который в своей кампании использует критические уязвимости нулевого дня и сейчас нацелился на пользователей сети Европы и стран СНГ — Magniber.

Скорее всего, вы и так его знаете. Но в этой статье мы хотим поделиться нашими критериями оценки кандидатов на должности Middle- и Senior-аналитиков. Если вы хотели прийти к нам работать — то сможете проанализировать свой опыт и понять, какому уровню вы соответствуете. А ещё подготовитесь к интервью.

Ну а если не хотели — всё равно заходите оценить свои компетенции :)

Kubernetes – это платформа для оркестрации контейнеров, однако ее настройка и управление может быть сложным и трудоемким процессом. К счастью, есть более легкие альтернативы полноценному дистрибутиву Kubernetes, такие как k3s, которые предоставляют более простой и упрощенный опыт установки и эксплуатации. В этой статье мы расскажем, как настроить кластер Kubernetes с помощью k3s.

В своей статье я хочу обсудить плюсы и минусы разных вариантов хранения вашего цифрового семейного архива, описать что использую я, и надеюсь в комментариях узнать новые для себя варианты хранения.

Итак, у вас, как и у меня есть огромное количество фоток на компьютере и телефоне за последние десяток, а то и пару десятков лет. Их как‑то нужно хранить, а еще и желательно иметь быстрый доступ к ним. И для оценки разных вариантов хранения, я выделил 4 параметра: