Как стать автором
Обновить

Все потоки

Сначала показывать
Порог рейтинга

Как писать программы с математическим совершенством

Блог компании FirstVDS Программирование *Математика *Интервью
Перевод

Имя Лесли Лэмпорта, возможно, не является узнаваемым, но он стоит за несколькими великими проектами: программой для набора текста LaTeX и работой, которая сделала возможной облачную инфраструктуру в Google и Amazon. Он также уделил много внимания нескольким проблемам, дав им отличительные названия, такие как алгоритм пекарни и задача византийских генералов. Это не случайно. 81-летний учёный необычайно внимательно относится к тому, как люди используют программное обеспечение.

В 2013 году он выиграл Премию Тьюринга, считающуюся Нобелевской премией в сфере вычислительной техники, за его работу над распределенными системами, в которых несколько компонент в разных сетях координируются для достижения общей цели. Интернет-поиск, облачные вычисления и искусственный интеллект – все это требует совместной работы легионов мощных вычислительных машин. Конечно, такого рода координация создает много проблем.

«Распределенная система — это система, где сбой компьютера, о существовании которого вы даже не подозревали, может сделать ваш собственный компьютер непригодным для использования», — сказал однажды Лэмпорт.

Одним из самых больших источников проблем являются «параллельные системы», в которых несколько вычислительных операций выполняются в течение перекрывающихся отрезков времени, что приводит к двусмысленности: часы какого компьютера являются правильными? В основополагающей статье 1978 года Лэмпорт ввел понятие «причинности» для решения этой проблемы, используя идеи специальной теории относительности. Два наблюдателя могут не согласиться с порядком событий, но если одно событие вызывает другое, это устраняет двусмысленность. А отправка или получение сообщения может установить причинно-следственную связь между несколькими процессами. Логические часы – теперь также называемые часами Лэмпорта – давали стандартный способ рассуждать о параллельных системах.

Читать далее
Рейтинг 0
Просмотры 5
Комментарии 0

Новости

Как настроить и запустить систему отслеживания измененных данных PostgreSQL

Блог компании FirstVDS Системное администрирование *PostgreSQL *
Перевод

PostgreSQL предлагает метод логического декодирования и делает возможным сбор данных об изменениях на основе логирования. Вы сможете настроить и запустить CDC в несколько шагов.

Архитектура современных веб-приложений состоит из нескольких программных компонентов, таких как информационные панели (дашборды), аналитические системы, базы данных, озёра данных (Data Lakes), кэшевые хранилища, функции поиска и т.д.

База данных обычно является основной частью любого приложения. Обновление данных в режиме реального времени позволяет поддерживать разрозненные системы данных в непрерывной синхронизации и быстро реагировать на появление новой информации. Как же поддерживать экосистему приложений в синхронном состоянии? Как эти компоненты получают информацию об изменениях в базе данных? Термин отслеживание изменённых данных, или сокращённо CDC, — относится к любому решению, которое идентифицирует новые или изменённые данные.

Статья посвящена отслеживанию изменённых данных (CDC) в PostgreSQL и способам достижения этой цели.
Отслеживание изменённых данных (CDC) — это метод интеграции данных для обнаружения, захвата и передачи изменений, внесённых в источники данных базы данных.
Как правило, интеграция данных на основе CDC состоит из следующих шагов:

  1. Захват изменённых данных в исходной базе данных.
  2. Преобразование изменённых данных в формат, который могут принять ваши потребители (консьюмеры).
  3. Публикация данных для консьюмеров или целевой базы данных.

PostgreSQL предлагает два встроенных способа сделать CDC возможным:

  • Из журналов транзакций, PostgreSQL WALs (они же Write Ahead Logs).
  • С помощью триггеров базы данных.

Давайте кратко обсудим плюсы и минусы использования журналов транзакций (WALs) и триггеров для отслеживания изменения данных.
Читать дальше →
Рейтинг 0
Просмотры 3
Комментарии 0

Майские сливы: в даркнете выросло количество утекших баз данных российских компаний

Блог компании Group-IB Информационная безопасность *

В мае и в начале июня в даркнете было выложено рекордное количество баз данных российских компаний — более 50. Для сравнения в апреле было 32, а в марте всего —16.Среди жертв, чьи базы были выложены в публичный доступ, оказались компании, относящиеся к интернет-сервисам доставки, медицине,  телекому, интернет-ритейлу, онлайн-образованию, строительству и др Большинство баз данных популярных компаний были выложены в публичный доступ для бесплатного скачивания — злоумышленники стремятся не заработать, а нанести максимальный ущерб компаниям и их клиентам.

Общее количество строк 19 наиболее крупных утечек в мае — начале июня, по оценкам экспертов Group-IB Threat Intelligence, составляет 616,6 млн строк. Практически все базы включают имена клиентов, их телефоны, адреса, даты рождения, а некоторые хеш-пароли, паспортные данные, подробности заказов или результаты медицинских анализов. Актуальность большинства баз — весна этого года. 

«Раньше многие крупные утечки баз данных, выставленных на продажу, оказывались компиляцией старых баз или агрегацией нескольких баз из открытых источников. Однако в последнее время мы видим на хакерских форумах актуальные и весьма информативные базы данных популярных сервисов, которые бесплатно выкладываются в паблик — мотив у злоумышленников не столько заработать, сколько нанести как можно более серьезный ущерб компаниям, — считает Олег Деров, руководитель отдела исследования киберпреступности Threat Intelligence, Group-IB. — Риск в том, что эти данные могут быть использованы в дальнейших кибератаках и в мошеннических схемах».

Читать далее
Рейтинг 0
Просмотры 370
Комментарии 0

Яблоко с сюрпризом: наноразмерный датчик пестицидов

Блог компании ua-hosting.company Здоровье Научно-популярное Физика Химия


С наступлением лета приходит сезон свежих ягод, фруктов и овощей. Яркие и сочные они привлекают внимание потенциальных покупателей после длительного зимнего авитаминоза. Но, как любят говорить наши мамы и бабушки, нельзя покупать их сразу, как только они появляются на прилавке, так как в них полно пестицидов и другой гадости, которую фермеры используют для борьбы с паразитами и для ускорения созревания. Некоторые химические соединения, неминуемо используемые в сельском хозяйстве, вполне приемлемы. Но есть и такие, которые могут нести вред здоровью человека. Выявить наличие/отсутствие пестицидов на фруктах или овощах помогают различного рода датчики, купить которые может любой желающий. Но, как и в компьютерных технологиях, тут также происходит постоянный прогресс. Ученые из Каролинского института (Швеция) разработали нано-датчик, способный выявить пестициды за считанные минуты. Каков принцип работы нано-датчика и насколько он эффективен? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Читать дальше →
Рейтинг 0
Просмотры 112
Комментарии 0

Американский стартап Brown Foods создал искусственное молоко из культивируемых клеток

Развитие стартапа

Издание TechCrunch сообщает, что стартап Brown Foods представил искусственное молоко, изготовленное по технологии культивирования клеток. Основатели стартапа утверждают, что полученный продукт схож по свойствам и текстуре с коровьим молоком.

Читать далее
Рейтинг 0
Просмотры 127
Комментарии 1

Как проходить собеседования с клиентом. Практика ИТ-аутстаффа

Управление персоналом *Карьера в IT-индустрии

Сотрудник аутстафф-компании, которая предлагает клиентам выделенные команды разработчиков, проходит собеседование не только в момент трудоустройства. Смена проекта случается в среднем раз в полгода-год, и каждый раз приходится заново знакомиться с клиентом и презентовать себя. Вне зависимости от опыта и уверенности в себе это стресс. Но есть лайфхаки, которые позволяют преодолеть этот рубеж быстро и без лишней нервотрепки.

Читать далее
Рейтинг 0
Просмотры 285
Комментарии 0

[API как продукт] Взаимодействие с разработчиками и бизнес-аудиторией

API *Управление продуктом *

Управление продуктом API требует выстраивания отношений и с бизнес-партнёрами, и с разработчиками. (В идеале и с конечными пользователями, но эта опция для провайдеров API крайне редко доступна.)

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 188
Комментарии 0

Как автодеплой ускорил разработку нашей системы управления производственными процессами

Блог компании Северсталь Анализ и проектирование систем *IT-инфраструктура *Управление разработкой *DevOps *

Помните, недавно мы рассказывали, как несколько лет создавали нашу систему управления производственными процессами (MES)? Мы бы ее еще дольше создавали (и тому были объективные причины, включая переоценку своих сил подрядчиками), если бы не он. Автодеплой нам в помощь! 
Я, Куликов Алексей, являюсь техническим архитектором MES-системы, хочу рассказать о том, как мы пришли к развертыванию MES-приложения при помощи автоматизированных решений и как это оптимизировало нашу работу.

DEPLOY!
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 381
Комментарии 0

Пусть программирует Серёжа

Программирование *Кодобред Управление разработкой *Карьера в IT-индустрии Читальный зал

У каждого клиента – свои предпочтения. Не только в выборе автомобиля, блюда на обед или корпоративной информационной системы. Клиенты любят выбирать программистов.

Ну, что программисты разные – ежу понятно. Считается, что клиенты предпочитают профессионалов. Мы тоже так думали, и искренне стремились сделать каждого своего программиста этим самым профессионалом.

Однако, несколько клиентов, ставя нам задачи, упорно твердили: пусть программирует Серёжа. Хотя Серёжа – лютейший говнокодер, объект всеобщей жалости и главный поставщик материалов для конференций на тему «Как не надо программировать».

Читать далее
Всего голосов 32: ↑26 и ↓6 +20
Просмотры 6.4K
Комментарии 21

Банки вводят штрафы за безналичный доллар: что делать с валютой, и стоит ли метнуться кабанчиком к иностранным брокерам

Финансы в IT

Проводим ревизию актуальных мемов по теме, а также пытаемся разобраться, куда теперь девать эти ваши баксы. Попутно обсуждаем – что там по зарубежным брокерам, кто из них еще открывает счета россиянам, и что с ними может пойти не так.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Просмотры 6.9K
Комментарии 19

10 распространенных ошибок в пользовательских интерфейсах

Блог компании Productivity Inside Дизайн мобильных приложений *Графический дизайн *
Перевод
Все мы учимся на ошибках, и это правило работает и у веб-дизайнеров тоже. В этой статье мы расскажем вам, какие ошибки многие из них допускают при создании дизайна пользовательских интерфейсов.

В творческой работе веб-дизайнера бывает непросто следовать каким-то общепринятым правилам. На самом деле, гораздо удобнее знать, «как не надо делать», и ориентироваться на это. По этой причине мы решили составить список грубых ошибок в дизайне интерфейсов. Хотите знать, какие серьезные оплошности допускают даже опытные дизайнеры? Тогда добро пожаловать в наш хит-парад.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 1.2K
Комментарии 0

Российский GameDev в 2022 году. Проблемы и трудности первого полугодия

Разработка игр *

Острая фаза ухода из России западных разработчиков игр и софта прошла, когда весной этого года большинство компаний одна за другой встали и вышли. Но это далеко не все проблемы российского геймдева в этом году.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 868
Комментарии 2

Юбилей Apple II – 45 лет легендарному компьютеру

Блог компании Timeweb Cloud История IT Старое железо Читальный зал


10 июня 1977 года в розничную продажу поступил, пожалуй, самый легендарный компьютер XX века: Apple II. В различных модификациях эта машина выпускалась вплоть до начала девяностых, поставив тем самым своеобразный рекорд долгожительства. О том, какой была эта удивительная персоналка, хочется вспомнить сегодня, в 45-ю годовщину ее появления на прилавках магазинов.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 966
Комментарии 2

Ретроспектива. Мини фреймворк внутри фреймворка

Управление проектами *Управление продуктом *

Ретроспектива – это регулярные собрания команды для обзора событий и полученного опыта за прошедший рабочий период (спринт) для увеличения эффективности работы через корректировку процессов и поведения.

Часто один из самых главных эвентов управления командой и увеличения эффективности разработки игнорируется или сводится к формальности. Например, это происходит от оставшихся в команде устаревших типов мышления “Я - начальник, ты - дурак” или “Ненавижу встречи, дайте мне просто кодить”. 

Читать далее
Рейтинг 0
Просмотры 345
Комментарии 0

Астрономический словарик: гидростатическое равновесие, горизонт событий, гравитационное линзирование

Астрономия Научно-популярное Физика

Гидростатическое равновесие




Впервые термин ввели физики для описания состояния жидкостей, в котором действующие на неё силы уравновешиваются. В таком случае жидкость находится в состоянии покоя. На поверхности Земли, например, это может быть равновесие силы тяжести, действующей на жидкость, и силы давления самой жидкости, возникающей из-за межмолекулярных взаимодействий.

Однако в подобных терминах можно описывать не только жидкости. Например, взаимодействие молекул газов, составляющих воздух, препятствует гравитации Земли, стремящейся сплюснуть атмосферу. А гравитация не даёт этому взаимодействию выбросить нашу атмосферу в открытый космос.
Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 1.1K
Комментарии 0

Анализ аудиоданных (часть 2)

Python *Программирование *Визуализация данных Машинное обучение *Звук
Tutorial

В первой части анализа аудиоданных мы рассмотрели характеристики, которые есть у каждого аудиосигнала.

Анализ аудиоданных (часть1) - https://habr.com/ru/post/668518/

Характеристики аудиофайлов для разных аудио записей.

В наборе аудиоданных есть Human files - 10322 файла ( записи “живого” голоса (класс 1)) и Spoof files - 39678 файлов ( записи синтетического/конвертированного/перезаписанного голоса (класс 2)) . В одном аудиофайле (3 - 6 сек) голос мужской или женский что-то говорит на каком-то языке (английском, русском, немецком, китайском)

Вот так выглядят характеристики аудиофайлов для разных аудио записей:

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 895
Комментарии 1

Автоматизация поиска гипер-параметров для алгоритма муравьиной колонии

Искусственный интеллект

К задачам на поиск кратчайшего пути я вернулся спустя год после первого не совсем успешного опыта. По воле случая пришлось углубиться в современные методы решения подобных задач и я обнаружил целый удивительный мир эвристических, не точных, методов решения логистических задач, о которых год назад и не подозревал. Исследуя эту тематику появились некоторые идеи по улучшению и развитию данных методов. Этим и хочу поделиться в данной статье.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 531
Комментарии 2

Автогенерация ETL-кода

Блог компании Сбер Программирование *SQL *Data Engineering *

С развитием информационных технологий у их пользователей все сильнее и сильнее появляется желание автоматизации рутинных операций, в том числе и автоматической генерации кода. Где это уже возможно?

Я расскажу об автоматической генерации ETL-кода, которая реализована в Сбере на примере одной из использующихся платформ. Поток трансформаций данных в нашем решении называется графом. Этот граф является ориентированным ациклическим графом (DAG, directed acyclic graph). Автоматическую генерацию графов оказалось возможно реализовать благодаря наличию специального инструмента spec-to-graph, который как раз для этого и предназначен. Он позволяет формировать трансформации графа согласно написанному коду, служащему шаблоном. В этом шаблоне указывается, какие трансформации с какими параметрами следует использовать и в каком порядке нужно их соединить. Мы используем подход по генерации графов из базовых субграфов (стандартизированных маленьких графов). Т.е. мы разбиваем ETL-процесс на элементарные операции, каждую из которых реализует некоторый базовый субграф. А из субграфов формируется итоговый граф, осуществляющий загрузку данных. Данные мы грузим из Hive в Hive, дополнительно используя промежуточные индексные структуры в HBase.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 650
Комментарии 5