Машинный перевод может улучшить существующие вопросно‑ответные системы (англ. Question Answering — QA), которые имеют ограниченные языковые возможности, позволяя им поддерживать несколько языков. Однако у машинного перевода есть один основной недостаток: часто такие системы не справляются с переводом именованных сущностей, которые нельзя перевести дословно. Например, немецкое название фильма «The Pope Must Die» переводится как «Ein Papst zum Küssen», что дословно означает «Папа для поцелуев». На Русском языке название фильма звучит так: «Папа должен похудеть». Поскольку правильность именованных сущностей критична для вопросно‑ответных систем, необходимо как можно лучше обеспечить правильность их перевода. В данной статье я представляю наш метод машинного перевода, учитывающий именованные сущности, под названием «Lingua Franca». Он использует графы знаний для использования хранящейся там символьной информации с целью обеспечения правильности перевода именованных сущностей. И да, это работает!
Python *
Высокоуровневый язык программирования
Новости
Python для gambling'a. Часть 1 — Сбор данных
Предисловие
Простой python-cкрипт для парсинга спортивной статистики по баскетболу с популярного сайта
Подделка ssh сервера на Python
В этом посте я расскажу, как игрался и создавал на python сокеты, к которым можно подключаться через ssh клиенты, а так же покажу рабочий (но это не точно) пример.
На скриншоте виден пример с сервером, на котором можно оставить свою роспись.
Python и Excel глазами НСИ
Всем привет! Меня зовут Алмаз. Я специалист по НСИ (нормативно-справочной информации) в компании Bimeister.
Хотел бы поделиться своим небольшим опытом автоматизации некоторых рутинных задач при работе с различными файлами и Excel- базами данных.
Python
Предыстория
Сейчас довольно много материала по данному языку программирования. Порой новичку очень сложно понять с чего начать и в какую сторону двигаться. По крайней мере для работы в инженерной области, найти что-то полезное для меня было не очень просто. Я начал изучать основы языка Python на Freecodecamp.org.
Истории
Компьютерное зрение сквозь года
Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей отвественностью: проверить несколько подходов, определить их примущества, недостатки и выбрать наиболее подходящий для конкретной задачи. По итогу это мини-исследование вылилось в данную обзорную статью. Здесь я хочу привести примеры нейросетевых моделей, характерных для различных этапов становления области компьютерного зрения (далее - CV) в том виде, в котором мы его знаем сейчас.
Разворачиваем Telegram бота на Raspberry Pi Zero 2W с автозапуском: шаг за шагом
Развертывание Telegram бота на Raspberry Pi Zero 2W: установка, автозапуск, и GitHub репозиторий с эхо-ботом.
Первым шагом является установка «Raspbian os lite» на ваш Raspberry Pi Zero 2W. Это легковесная версия операционной системы, которая идеально подходит для использования в качестве сервера. Следуйте инструкциям для установки через официальную утилиту. Скачать официально здесь.
Serverless-телеграм-бот с s3 на Python или как я научился играть в пинг-понг
Настольный теннис - самый популярный рекреационный вид спорта на сегодняшний день. Минимум экипировки, короткие партии, все “как-то давно не играли”. Возможно здесь есть какая-то связь, но во всех 6 командах, где я работал с с 2012-го года, в перерывах, мы с коллегами играли именно в настольный теннис. Иногда стол стоял прямо у нас в офисе, иногда мы выходили к ближайшему уличному столу, иногда даже устраивали небольшие тимбилдинги на арендованных столах.
У меня сформировалось устойчивое мнение, что любовь к настольному теннису - повсеместное явление в этой нашей IT-сфере. Товарищи, кто в юношестве посещали математические и программистские сборы, это только подтверждали. А в какой-то момент наличие стола даже заняло место в списке преимуществ работы “именно у нас” где-то между белой зарплатой и дружным коллективом. И вообще, это индикатор финансовой успешности вашей корпорации.
Задачки для начинающих автоматизаторов тестирования
Привет, друзья! В этой статье предлагаем вам решить десяток задач по автоматизации на Python + pytest. К каждой задаче приложили наш вариант решения.
Напиши в ЛС «томат» или же что за «Клан томатов»
Расскажу о игре "Клан томатов", которая уже гуляет по сети >10 лет, чем нарушу её правила.
И том, как я написал бота, что бы попытаться вывести эту игру на новый уровень!
Как я создаю себе колоды Anki для немецких слов
Я захотел продолжить некогда заброшенное изучение немецкого языка. Долгое время на просторах интернета слышал мнение, что карточки Anki – чуть ли не самый лучший способ изучение языка, и решил, собственно, посмотреть что к чему. Рекомендации YouTube привели меня к интересному видео, где автор рассказывает о своем шаблоне карточек с немецкими словами. Автор не желал публиковать свою колоду, и не найдя аналогов среди публичных колод, я принялся делать свое. Конечно же не вручную.
Как мы делали уведомление о коммитах
Не знаю как у других, но мне с другом очень нравится видеть всю активность друг друга, логи и статистику своих проектов. Обычно для этого используем телеграм чат с топиками.
Ресурсы для поиска работы Python разработчикам
В 2024 году рынок труда для Python разработчиков остается динамичным и перспективным. С постоянным увеличением спроса на специалистов в области разработки программного обеспечения, Python остается одним из наиболее востребованных языков программирования.
В среднем ежемесячно в РФ компании публикуют более 9 тысяч вакансий для разработчиков, 11% из них приходятся на Python.
Такие области как искусственный интеллект, анализ данных и машинное обучение, также способствует росту востребованности Python разработчиков.
В этой статье мы рассмотрим ресурсы, где можно найти работу в сфере разработки на Python в 2024 году.
Нейропанорамы для любой точки Земли: как «осмотреться» на спутниковом снимке
Как получить изображение местности, если единственным источником знаний о ней является спутниковый снимок. Сколько нейронных сетей для этого потребуется, легко ли собрать набор данных для обучения и зачем вообще это может быть кому-то нужно — в небольшой статье.
Ближайшие события
Ускоряем анализ данных в 170 000 раз с помощью Python
В статье «Ускоряем анализ данных в 180 000 раз с помощью Rust» показано, как неоптимизированный код на Python, после переписывания и оптимизации на Rust, ускоряется в 180 000 раз. Автор отмечает: «есть множество способов сделать код на Python быстрее, но смысл этого поста не в том, чтобы сравнить высокооптимизированный Python с высокооптимизированным Rust. Смысл в том, чтобы сравнить "стандартный-Jupyter-notebook" Python с высокооптимизированным Rust».
Возникает вопрос: какого ускорения мы могли бы достичь, если бы остановились на Python?
Под катом разработчик Сидни Рэдклифф* проходит путь профилирования и итеративного ускорения кода на Python, чтобы выяснить это.
*Обращаем ваше внимание, что позиция автора может не всегда совпадать с мнением МойОфис.
Настройка C++ проекта c OpenMP. Обертывание С++ для Python с помощью pybind11 и CMake
В статье описан практический пример настройки проекта на языке C++ с использованием, в качестве примера, библиотеки для многопоточных вычислений OpenMP , а также дальнейшее обёртывание для использования в проектах написанных на Python при помощи библиотеки Pybind11. В качестве системы сборки используется CMake. Основное внимание уделено именно сборке проекта. В качестве инструмента обёртывания используется библиотека pybind11, в качестве системы сборки CMake.
Шаг за шагом: Реализация автоматического резервного копирования PostgreSQL в Kubernetes и его синхронная отправка на S3
Привет! У каждого из нас бывает что после какой-то задачи, ты хочешь чем-то поделиться. Но зачастую мотивации хватает только на поделиться в рамках внутреннего Confluence. Сейчас, я реализовал решение которое объявлено в названии статьи. Сразу хотелось бы сказать, что я не претендую на истину в последней инстанции со своим решением, оно просто отражает путь который пройден мной. Более того, СУБД в кластере здесь тоже не предмет для обсуждения.
Повторяем Bad apple на языке Python ASCII-графикой
Повторяем Bad Apple в Python ASCII-графикой.
Доброго времени суток, уважаемые читатели хабра, в этой статье я расскажу Вам о том, как я повторил клип Bad Apple ASCII-графикой.
ASCII-арты на python
Здравствуйте уважаемые читатели, в этой статье я расскажу Вам как делать ASCII-арты при помощи языка python, на примере моего кода.
Расширяем тестовый фреймворк с помощью Pytest-плагинов. Часть 1: теория
Всем привет! Меня зовут Александр Волков, я занимаюсь интеграционным и компонентным тестированием в YADRO. В числе продуктов компании есть системы хранения данных и, говоря о тестировании, я буду иметь в виду в первую очередь работу с СХД. Однако описанные подходы пригодятся всем, кто ищет инструменты для создания тестового фреймворка и расширения его возможностей под свои задачи.
Я расскажу, как можно разрабатывать свои плагины для тестового фреймворка, построенного поверх Pytest. Для удобства чтения статья разделена на две части. В первой рассмотрю минимально необходимую теорию: фазы работы Pytest, а также пользу фикстур, маркеров и хуков. Во второй части перейду к практике: разберу два примера реализации плагинов из нашего фреймворка и затрону вопрос о том, когда стоит выносить код в отдельный плагин.
Книга «Грокаем машинное обучение»
Машинное обучение — это набор методов анализа данных, основанных на алгоритмах, которые дают все более точные результаты по мере поступления новых данных. Машинное обучение лежит в основе систем рекомендаций, программ распознавания лиц, «умных» колонок и даже беспилотных автомобилей. Эта уникальная книга объясняет основные понятия машинного обучения на простых и доступных примерах, увлекательных упражнениях и запоминающихся иллюстрациях.
Здесь нет зубодробительного академического жаргона, для понимания объяснений достаточно знаний основ алгебры. По мере чтения вы будете создавать модели для идентификации спама и распознавания изображений и другие интересные проекты на языке Python.
Откройте для себя мощные методы машинного обучения, для понимания и применения которых достаточно знаний математики на уровне средней школы!
Для читателей, знающих основы языка Python. Знаний в области машинного обучения не требуется.
В качестве обзора книги мы предлагаем вам ознакомится с переводом статьи автора Luis Serrano.