Открытые данные *

После анализа модели Танцующие горы Ирана по данным спутниковой интерферометрии мне захотелось проверить набор гипотез и улучшить качество результатов. Как оказалось, ни один из существующих интерферометрических пакетов не позволяет этого сделать так, как мне нужно. Оценив фронт работ, я решил, что за месяц фулл-тайм работы я смогу написать свою систему спутниковой интерферометрии для радарных снимков Sentinel-1 на основе открытого продукта GMTSAR, реализовав собственные алгоритмы обработки данных и обеспечив удобную работу в среде Jupyter Python. По образованию я радиофизик и мой диплом магистра по моделированию голограмм в оптически нелинейных средах (равно моделированию интерференции) в свое время был признан победителем во всероссийском конкурсе, так что мне удалось уложиться в поставленные сроки и реализовать все запланированное — больше свободного времени на этот проект у меня просто нет. Итак, встречайте PyGMTSAR (Python GMTSAR) — по ссылке вы найдете готовые ноутбуки, которые в один клик можно запустить на Google Colab и прямо в браузере увидеть результаты и, при желании, тут же поработать с ними. Для Debian Linux я сделал скрипт инициализации облачного инстанса GMTSAR.install.debian10.sh, а на Google Colab ноутбуки автоматически установят все необходимые зависимости, что позволяет легко запускать их в "облаках".

Статистика 377 участковых избирательных комиссий Королёва, Пушкино, Сергиева Посада, входящих 125 ОИК по голосованию 19 сентября 2021 года по выборам депутатов Государственной Думы РФ. Диаграммы явки и результативности партий, поиск критерия определения "предполагаемых" фальсификаций. Расчет скорректированного результата.

Три частично перекрывающихся кластера УИК.

Первый: явка 20-45% при доле Единой России 20-40%, условно его обозначим “гладкое голосование”.

Второй: явка 40-65% при доле Единой России 35-65%, условно его обозначим “административная мобилизация”.

Третий: явка более 65% при доле Единой России более 60%, условно его обозначим “предполагаемые грубые фальсификации”.

В результате выборов, которые завершились 19 сентября был сформирован большой массив данных, которые могут рассказать исследователям интресные истории. В статье представлен проект и прототип веб приложения для анализа и визуализации данных выборов в Государственную Думу 2021. В проекте используется фреймворк Django и набор библиотек : Pandas, Matplotlib. 

Если у вас есть учетные системы, которые работают на ФИАСе и не понимают ГАР, вы можете бесплатно получать обновления у нас. Ссылка внутри поста.

В данной статье представлен способ максимально быстро получить результат используя Google Colab в качестве платформы для обучения модели HTR.

Данная публикация написана по мотивам поста «Что же не так с ДЭГ в Москве?». Его автор описывает, как можно выгрузить и расшифровать данные по электронному голосованию, а также приводит целый список замечаний к его текущей системе.

Статья хорошая, её выводы и замечания я полностью поддерживаю, но мне захотелось дополнить её в обеих частях. Первая — с анализом того, как в процессе голосования менялись отданные за различных кандидатов голоса (и обнаруженные в этом аномалии); вторая — моя позиция о фундаментальных недостатках любого электронного голосования, которые неустранимы на практике (особенно в современной России).

UPD: Добавил также графики по партийным спискам + отметил некоторые странности в соотношении выданных/полученных транзакций в самом начале (возможно, это объяснимо техническими проблемами).

Геоаналитика с помощью Python: GeoPandas, folium, Uber H3, OSM + примеры как можно определять лучшие локации для поиска помещений под открытие кофейни (и не только).

В 2021 году Центризбирком РФ обфусцировал статистические данные выборов на своем сайте. Несколько дней назад я сделал и выложил в комментариях к новости на хабре деобфускатор, чтобы помочь исследователям обнаружить статистические аномалии в результатах. Сегодня взял день отпуска, написать этот пост и поделиться очищенными данными в формате sqlite по федеральному избирательному округу, которыми поделился @illusionofchaos в посте Получаем данные результатов выборов с сайта Центризбиркома РФ

Под катом я предлагаю еще раз посмотреть, какими техническими методами затрудняли анализ программисты сайта ЦИК-а. Новых идей там нет, решения примитивные , даже обидно что кто-то за них квартиру получил[*]. Вся работа по написанию деобфускатора заняла меньше рабочего дня (точнее вечера + полночи). Основная цель этой статьи не в описании методов, а дополнительный анонс деобфускатора для исследователей. Обсуждать решение применить методики запутывания на государственном сайте куда интереснее, но этим бессмысленно заниматься в интернете.

Итак, они реализовали четыре метода:

Прочитав новость о том, что Центризбирком РФ выложил результаты выборов на своем сайте в обфусцированном виде, многие начали публиковать в комментариях свои варианты деобфускаторов, как с использованием OCR, так и без него. Но я подумал, что есть более первостепенная задача — а именно выгрузка и сохранение данных с сайта ЦИК, так как они могут в любой момент измениться, и никто этого не заметит.

Кому интересны только сырые обфусцированные данные, архив с ними можно скачать здесь (внимание: в распакованном виде файлы занимают 11 ГБ). А кому интересно как я их получил, и какие методы обфускации в них применяются — добро пожаловать под кат.

Меня зовут Даниил Охлопков, и я расскажу про свой подход к написанию скриптов, извлекающих данные из интернета: с чего начать, куда смотреть и что использовать.

Написав тонну парсеров, я придумал алгоритм действий, который не только минимизирует затраченное время на разработку, но и увеличивает их живучесть, робастность и масштабируемость.

Рассказываю, как в Android получить доступ к местоположению устройства без использования GPS или службы определения местоположения. Для этого понадобится лишь... сим-карта.

И, да, даже если вы параноик, это совсем не значит, что за вами не следят.

Украина - первое в мире государство, приравнявшее электронные паспорта к физическим документам

Е-паспорт отныне имеет одинаковую юридическую силу с бумажным и ID-картой. Пока украинцы отдыхали, наслаждаясь выходными, и праздновали День Независимости (24 августа) - за день до этого, 23 августа вступил в силу новый закон № 1368-ІХ, что закрепляет на наивысшем законодательном уровне определение е-паспортов и полностью приравнивает их к физическим аналогам. Отныне е-паспорта в разработанном правительством мобильном приложении «Дия» можно использовать при путешествиях наземным и авиа транспортом в пределах Украины, в банках, медицинских учреждениях, для получения административных услуг и прочего.

Недавно созданное Министерство цифровой трансформации громко и с гордостью заявляет, что «Украина стала первым государством в мире с цифровыми паспортами, которые имеют такую ​​же юридическую силу, что и бумажные документы.» Но что может скрываться за этой инновацией? Вспомним некоторые из них новостей в недалёком прошлом.

Частично данные темы были рассмотрены в одном из спецвыпусков "IT Guild Ukraine", - часть информации будет приведена далее.

Сбылась мечта вашего детства—вы присмотрели себе домик в деревне​! Домик в отличном состоянии, из окна прекрасный вид, под самым окном тихо журчит речка Переплюйка, жизнь прекрасна! Вы совсем было собрались его купить, но вдруг достали телефон и зачем-то решили почитать новости. А там—изменения климата, очередное наводнение неважно где, с разрушениями и жертвами. И вдруг вы с беспокойством смотрите на речку Переплюйку прямо перед вами, и думаете, а не превратится ли она в случае чего в бурный поток, смывающий всё нажитое непосильным трудом? Давайте посмотрим, чем технологии ГИС (геоинформационных систем) могут вам помочь, и почему свободный доступ граждан к географическим данным полезен для принятия решений.

На сегодняшний день применяется не менее четырёх способов классификации вариантов SARS-CoV-2 (или hCoV-19). Проще всего с непривычки запутаться в ветвях филогенетического дерева (кладах), по-разному обозначаемых двумя конкурирующими организациями – GISAID (gisaid.org) и Nextstrain (nextstrain.org). Лавинообразное нарастание количества вариантов вируса усложняет восприятие и понимание подобных обозначений, поэтому деление на клады постепенно вытесняется делением на линии, обозначенным как PANGOLIN (Phylogenetic Assignment of Named Global Outbreak LINeages). Для такого деления используется секвенирование вирусных геномов и построение их полного филогенетического дерева.

Территория северо-западного Ирана на границе с Каспийским морем выделяется своей сейсмической необузданностью, как во времена молодости нашей планеты. В недрах этого района и сегодня продолжаются процессы нефтегазообразования, например, поблизости от вулкана Дамаванд, геологическую модель которого я показывал ранее. Недавно я занимался вопросом устойчивости плотины Ямчи в провинции Ардебиль и полученные результаты оказались настолько удивительными, что я хочу ими здесь поделиться. Пусть в предыдущих статьях я уже показывал, как растут горы, но чтобы горы еще и танцевали — это мало где удастся увидеть! Как обычно, все данные доступны в GitHub репозитории Yamchi Dam, Ardabil, North Iran.

Плотина выделена красным кольцом, далее от нее в направлении к правому верхнему краю картинки течет река, питающая город Ардебиль. Озеро и плотина растут вверх со коростью около 10 см в год, а сам город с такой же скоростью погружается вниз. Но самое интересное в том, как именно происходит это движение — хотя значение вертикального смещения за год велико, это лишь малая часть общей картины.

Последние 10 лет я занимаюсь открытыми данными, в основном финансовыми, веду общественный проект АНО “Инфокультура” “Госзатраты” (clearspending.ru) и веду телеграм-канал “Ах, Минфин” о том, как публикуются финансовые данные в России и как в них разобраться обычным гражданам. Последние три года я также была членом Общественного совета при Федеральном казначействе (ОС ФК), о котором и пойдет речь в данном посте.

На днях был выбран новый состав Общественного совета, поэтому пришло время подвести итоги моей работы в рамках ОС ФК. В первую очередь, хотела бы поблагодарить коллег по Совету и отдельно его председателя, а также сотрудников Федерального казначейства, которые старались сделать Казначейство более открытым, а работу Совета осмысленной и полезной.

Сформулирую несколько тезисов о работе в Общественном совете.

Может быть, не все знают. В интернете работает Консорциум Всемирной паутины (World Wide Web Consortium или W3C). Именно он разрабатывает принципы и стандарты, которые потом внедряют производители браузеров, аппаратуры и ПО. Так достигается совместимость между продуктами разных компаний. Интернет становится удобным и универсальным. Не приходится волноваться, что браузер или смартфон не сможет открывать какой-то сайт.

Форум W3C — один из самых увлекательных уголков интернета. Это онлайн-сообщество, где собираются люди, которые управляют Всемирной паутиной. Создатели крупнейших сайтов, разработчики браузеров, рекламщики, защитники конфиденциальности пользователей, ученые и так далее. Именно здесь главные разработчики таких компаний как Google и Apple представляют предложения по новым техническим стандартам. Остальная часть сообщества их обсуждает, и, если все пойдет хорошо, консорциум в конечном счете принимает новые правила, и они постепенно расходятся по всему интернету.

Члены W3C принимают решения на основе консенсуса на публичных форумах, в GitHub и встречах Zoom с тщательно задокументированными протоколами. Постепенно создается редкий архив разговоров между некоторыми из самых секретных компаний мира, поскольку они открыто работают над новыми правилами для интернета.

Но в последнее время этот дух всеобщего сотрудничества упал. W3C стал ключевым полем битвы в войне за конфиденциальность в Сети. Последний год, вдали от внимания обычного потребителя или законодателей, люди, которые на самом деле управляют интернетом, собрались в этом небольшом сообществе инженеров и спорят о том, что такое конфиденциальность, как управлять данными пользователей, и какие стандарты нам нужно принять для будущего.

1.    Истоки правового регулирования персональных данных на западе и России;

2.    Виды персональных данных и основные понятия ФЗ № 152;

3.    Ответственность за нарушение персональных данных;

4.    Судебная практика.

В последние десятилетия мы часто слышим в новостной ленте о том, как слили персональные данные, о так называемом «пробиве» информации о человеке. Роскомнадзор постоянно объясняет: как не стать жертвой мошенников, а эксперты дают нам рекомендации по цифровой  гигиене.

Вроде как все понимают, что такое персональные данные и многие даже с уверенностью скажут, что к ним относятся паспортные данные, пароли, личная и семейная тайна. Однако, кто знает точные перечень персональных данных? Откуда вообще пошло правовое регулирование этих данных? Какую ответственность несут нарушители права на защиту персональных данных? Как воспринимают персональные данные суды?

Сегодня поговорим обо всём этом и попытаемся конкретизировать эту текучую субстанцию – персональные данные.

DoorDash предлагал своим клиентам пиццу за $16 из ресторана, где она стоит $24. Сервис проката самокатов Bird терял $27 на каждые заработанные $10. Примеров компаний, предоставляющих субсидируемый инвесторами сервис масса: Uber, Lyft, Lime, WeWork, AirBnB и другие. Весь их «дисрапшн» заключался в продаже доллара за полцены. Сейчас они резко поднимают стоимость своих услуг, но по-прежнему несут миллиарды убытков.