Разработка

«Вначале было слово и это слово было два байта»
Старая шутка программистов

В практике работы отдела тестирования редко, но всё же возникают разногласия между участниками проекта, не являющимися тестировщиками, в неверной трактовке терминов вплоть до не совсем полного понимания что же такое «тестирование». Почему то, что существует на проекте не относится не только к «обеспечению качества» но и даже к «контролю качества». Я постараюсь объяснить разницу между этими терминами на примере очень условного «проекта», который зарождается не в большой корпорации с несколькими участниками, а буквально «на коленках» энтузиаста-Разработчика.

Чем больше данных, тем лучше, но слишком большое число признаков может оказаться неэффективным в плане повышения интерпретируемости или производительности. Материалом о возможном решении от доктора Роберта Кюблера делимся к старту флагманского курса по Data Science.

В июне прошлого года вышла первая версия программы Organic Maps - бесплатных мобильных карт для Android и iOS с открытым исходным кодом. Об этом событии я опубликовал небольшую заметку на Хабре. Весь год шла интенсивная разработка, а число установок превысило 100 тысяч. Я решил взять небольшое интервью у разработчиков Organic Maps и обсудить с ними итоги года работы и планы на будущее.

Привет, Хабр!

Меня зовут Марк Порошин, я занимаюсь DataScience в DV Group. Недавно я уже рассказывал про то, как начать трансформировать данные с помощью dbt. Сегодня я решил поделиться, как мы в DV Group поженили dbt, Greenplum и DataVault, собрали все грабли, что могли; немного поконтрибьютили в open-source, но по итогу остались очень довольны результатом.

Расскажу сначала пару слов о том, что такое DataVault. DataVault - методология построения хранилища, предполагающая высокую нормализацию данных (3ая нормальная форма). Основными ее компонентами являются:

Это история о том, как я писал код на Python 3, который собирает и систематизирует данные по избирательным комиссиям в моём родном городе Санкт-Петербурге. Ну, и про то, что я там накопал в извлечённых данных.

Я новичок в программировании, первый раз столкнулся с такой задачей и понятия не имел, как это делается, но стоило только начать...

Вот мы и вернулись! С "небольшим" опозданием, но нам есть чем оправдаться ;) В прошлом году мы строили и запускали самодельные стратостаты с целью привезти видео в 4k с высоты 30+ километров. В этом году мы, наконец-то, достигли всех поставленных целей и привезли бескомпромисный результат. Получилось опять "длинно", но я сокращал как мог. Будет много фоток, пару видео и даже гифки.

Продолжаем готовить asyncio

Теперь мы уже знаем достаточно, чтобы написать модный асинхронный микросервис, реализующий паттерн "API-шлюз". И попутно познакомимся с асинхронным логгированием и доступом к базе данных.

Это Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ при Европейском университете в Санкт-Петербурге, и в этом тексте мы подробно расскажем о регламентных работах в единой информационной системе «Закупки» и о том, как они связаны со сверхурочной работой специалистов по госзакупкам.

Единая информационная система «Закупки» (ЕИС) — цифровая среда, где в России осуществляются государственные закупки. В ЕИС есть две части: открытая и закрытая. Данные из открытой части доступны для анализа: их можно использовать as is или взять обработанными с сайта «Госзатраты». Нам довелось поработать с ЕИС в ходе проекта про сверхурочную работу специалистов по госзакупкам. Наше исследование было посвящено сверхурочной работе «закупщиков». Мы оценивали долю закупок, опубликованных в ЕИС в нерабочее время (в будни с 19:00:01 до 07:59:59 и в выходные) в разных регионах и у разных организаций. Мы обнаружили, что открытыми данными из ЕИС не так-то легко воспользоваться. Но это было не единственное открытие.

В какой-то момент мы увидели, что в отдельные рабочие дни доля неурочных закупок могла достигать 100%.

Можно ли ускорить обученную сверточную нейросеть? Можно ли заметно сократить ее веса, не снижая точности? Можно ли найти и «обезвредить» узкие места в модели, препятствующие достижению максимальной точности? Можно ли радикально изменить архитектуру готовой сетки, не прибегая к обучению с нуля?

Эмулятор – это приложение, способное имитировать запуск программы, предназначенной для одной платформы, на другой. Примером эмулятора является GPCS4, предназначенный для запуска игр для PS4 на PC. Недавно состоялся первый релиз GPCS4, и мы решили проверить этот проект. Давайте посмотрим, какие ошибки удалось найти PVS-Studio в исходном коде этого эмулятора.

Привет, Хабр.

Мы — Анастасия Карасева и Елена Веретённик, научные сотрудники Прикладного Центра МАСТ Европейского университета в Санкт-Петербурге, а этот текст — о боли работы с открытыми неагрегированными данными госзакупок. Мы сделали свой первый самостоятельный дата-проект на данных из xml контрактов по 44-ФЗ, которые доступны в российской единой информационной системе «Закупки». Эта история — о страданиях, возрождении и ряде небольших открытий, которые помогут начинающим дата-сайентистам легче и увереннее пройти похожий путь в открытых хранилищах данных.

ЕИС «Закупки» — база открытых данных, в которой размещается различная документация о закупках начиная с 2011 года: извещения, контракты и пр. Данные, как правило, хранятся в зазипованных xml на ftp сервере. Структура папок и документов строго регламентирована справочниками, альбомами и схемами. Но не всё так однозначно…

(Помимо ЕИС, открытые данные о госзакупках — уже структурированные и обработанные — можно найти на сайтах «Госзатраты» и «Госрасходы», но там представлены не все тэги из оригинальных xml-файлов. Далее мы будем использовать для сравнения обработанные версии контрактов с «Госзатрат».) 

Целью нашего проекта было исследование сверхурочной работы в госзакупках в разных регионах России, и нам лучше подходили открытые и необработанные данные: там была метка о времени (таймстамп). Эта метка создаётся автоматически и отражает действие специалиста по закупкам в режиме реального времени, а значит, может служить надёжным цифровым следом его работы. 

Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.

Ученые немного в шоке, потому что не понимают механизма происходящего. И опасаются, что практически любой ИИ может так же использовать свои тайные знания о расе людей при принятии других решений.

Приветствую, коллеги! Предлагаю Вам окунуться в мир теории формальных языков, в частности, в парадигму конечных автоматов.

Цель данной статьи: познакомить Вас с алгоритмом построения детерминированного конечного автомата из недетерминированного конечного автомата. И сразу куча вопросов: зачем понадобилось данное преобразование, что такое конечный автомат, что такое ДКА и НКА и зачем мне это знать? Начнём с мотивации.

Этот материал для тех, к кому когда-то подошли и сказали: «Некогда объяснять, ты теперь тимлид (или начальник отдела)». Может быть, теперь вы уже профессионал своего дела, знаете кучу различных инструментов для решения своих задачи. Но давайте посмотрим чуть-чуть с другой стороны и разберем, как вы управляете потоком своих задач. Как справляетесь с работой, которая к вам приходит. Возможно, это поможет немного ее пересмотреть.

Меня зовут Алексей Пименов, я сертифицированный инструктор альянса  ICAgile, аккредитованный тренер и консультант Kanban University. Пионер Kanban-метода в России.  Моя цель — развить и поднять уровень менеджмента. Kanban многие сопоставляют с DevOps-культурой и практиками DevOps, но это всего лишь один из инструментов, который должен быть в вашем менеджерском ящике.

Владельцы компаний знают: перед тем как подписывать договор, контрагента хорошо бы проверить. Иначе рискуешь отдать деньги мошеннику или банкроту. Только времени и сил на проверку часто не хватает. Рассказываем, что с этим делать.

Мы в М.Видео-Эльдорадо довольно много и часто обсуждаем новые технологии, различные тренды их влияние на повседневную жизнь. Но насколько то, о чем мы читаем и говорим соотносится с реальной жизнью? Под катом очередной взгляд на мифы и реальность из жизни западных программистов. Энжойте новый переводной текст.

В данной статье рассмотрены в общих чертах процесс создания резервных копий кластера Kubernetes и более детально процесс создания копий PV с помощью Velero.

В дальнейшем резервные копии могут быть использованы для миграции, восстановления кластера на определенную дату, а также клонирования стендов.

Меня зовут Якупов Азат, я дата-архитектор Quadcode. В индустрии я больше 20 лет, из них больше 6 лет — в архитектуре. Эта статья — немного сокращенный пересказ моего выступления на митапе по теме «Heap Table в PostgreSQL». 

Речь в тексте пойдет об обычных таблицах, с которых начинается вся дата-инженерия. Посмотрим на то, как метаданные располагаются в Postgres, разберемся, что такое table page и fillfactor, а также поближе познакомимся с TOAST-таблицами.

Про электронные ценники ЭЦ (в английской аббревиатуре ESL – electronic shelf labels) для розничных магазинов пишут и говорят уже с начала 2000-х годов. За четверть века технология удешевилась, усовершенствовалась и сейчас это зрелое решение, которое предлагают несколько поставщиков на рынке.