Как стать автором
Обновить

Gmail и Yahoo ужесточают правила для входящих писем: теперь DKM и DMARC обязательны

Время на прочтение 3 мин
Количество просмотров 9.8K
Всего голосов 22: ↑19 и ↓3 +16
Комментарии 41

Комментарии 41

Как-то отписался от одной рассылки и через пару месяцев они мне прислали этот "шедевр":

${firstName} ${lastName}, недавно вы отписались от рассылки. Не могли бы рассказать почему?

Facepalm.jpeg

Надеюсь, я не один такой, кто жалуется на спам в таких случаях.

А когда уже прекратится попадание огромного количества реально важных мейлов в спам-папку?

Наверное, когда использующих SPF+DKIM+DMARC станет больше 44%.

Собственно это никак не связано, а может и наоборот:

  • DKIM не понимает что такое MIME - гарантировано без проблем работает только с чисто текстовыми мейлами. С MIME-кодированными письмами нужно сильно напрягаться по всей цепочке MX/MTA (википедия пишет 10% потерь)

  • SPF решил проигнорировать форварды и 20-30 истории SMTP до него. Без SRS или открытой политики (?all) все накрывается медным тазом

В результате нормальные мейлы попадают в спам из-за " SPF+DKIM+DMARC " : только-что вытащил один из спама GMail (битый DKIM)

И как объяснить что мейл с одного ящика на gmail-е в другой ящик на gmail-е летит в спам? Чего из всех этих аббревиатур там не хватало?

Эти все аббревиатуры, по большому счету, со спамом никак не связаны. С тех пор как Google купил Postini - GMail в целом решил проблему спама. По-этому есть 2 отдельных вопроса:

  • Зачем GMail хочет DKIM+DMARC ? Спойлер: скорее всего чтобы удобно "послать в рощу" (на postmaster портал) маркетологов чья почта падает в спам

  • Почему " мейл с одного ящика на gmail-е в другой ящик на gmail-е летит в спам " ?

Ответ на второй вопрос, если разговор не о массовой рассылке и оба адреса находятся в одном домене -> @gmail.com, прост: ваш адрес, ваши письма (такие письма) - получатели регулярно помечают как "спам"

Для гугла спам - это то что получатель считает спамом.

Соглашусь, что SPF+DKIM (и примкнувший к ним DMARC) скорее про фишинг, чем про спам. Но вот насчёт подхода к спаму гугла - тут всё не совсем так. Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам. И в этом как раз проблема - отсутствие чётких критериев, что надо делать и чего не надо, чтобы туда не попадать.

Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам

У Spamhaus это называется Zero Reputation Domain зона. Довольно эффективна - рекомендую.

И вообще, СПАМ это на 99% вопрос репутации: не торопитесь, делайте как для себя и все будет работать...

ZRD - это первые 24 часа, как я понял, это прекрасно, но речь про более длительный период.

А я и делаю только для себя :) Открываю новый бизнес, завожу новый домен. На первых порах с него писем на сторону может уходить одно в несколько дней, а на какой-нибудь конкретный mail.ru так и вообще одно в месяц. Но, в общем-то, рассчитываешь, что они будут доходить сразу. Делать какие-то фейковые рассылки на левые адреса, чтобы наработать репутацию - ну это ж абсурд, я-то как раз почту использую по назначению, а мне предлагается воспользоваться инструментами спамеров, чтобы она начала адекватно работать.

Проблема "меньшего зла":

  • ваш IP возможно не в RBL, но был там

  • у вашей сети и сервис провайдера уже есть репутация (он сам и другие клиенты)

  • спамеры регистрируют домены сотнями ежедневно

При "обычном" новом бизнесе, ожидается что поток писем идет к вам, а не от вас: клиент написал в суппорт, клиент попросил уточнить цены, и т.д. - письма идут к вам, а вы отвечаете и все будет работать (большинство крупных "анти-спамов" понимают разницу между перепиской и просто письмом). Со временем накапливается репутация и все просто работает

Чтоб такого избежать, предварительно изучите вопрос. Даже у мейл.ру есть статья про "прогрев домена", и о том, почему так происходит.

Только вот это всё для рассылок актуально. А я в своей практике ни разу рассылок не делал и не планировал. А для обычного домена, с которого несколько пользователей маленькой организации отправляют единичные письма, (а) то количество писем, которое позволяет набрать репутацию и хоть что-то показать в постмастере, можно набирать месяцами и (б) пользователями ожидается, что их письма доходить начнут до получателей сразу, а не через полгода... Так и получается, что нормальное использование почты, ради которого её изобрели, принесено в жертву из-за ненормального.

В статье написано, что эти меры будут применяться для тех, кто шлет более 5 тыс писем в день на ящики gmail. Для доменов с единичными письмами ничего не меняется.

Так речь уже не про эти новые меры, а про и так давно существующую практику рандомного помещения в спам абсолютно безобидных писем.

Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам. 

У меня совершенно другой опыт. За последние полгода завел три домена на self hosted - со всех все успешно начало ходить на ms/gmail с первого тестового письма.

Раз на раз не приходится. У меня почта на 5 доменах, из них 3 добавлены в последние пару лет. Так где-то всё сразу ОК, а где-то упорно в спам отправлялись. Причём иногда Гуглу ОК, а у Яндекса оказался в спаме, а иногда наоборот. Хотя настроено всё совершенно одинаково и с одного сервера, письма тоже все в стиле "пара вложений и сопроводительная фраза, мол направляем вам то-то и то-то". В чём и есть моя главная претензия - непонятно, что именно надо соблюсти, чтобы получить гарантию 100% непопадания в спам. Ну кроме того, что реально не слать спам :) и соблюдать стандарты. Делали бы какую-то верификацию что ли, да хоть даже платную.

Я думаю, есть еще такой вариант парного ответа:

  1. Чтобы все затрахались к моменту получения благой вести: оформите подписку всего за 99,99 на сервис Х и ваши письма перестанут улетать в спам. Сервис X, разумеется, будет принадлежать корпорации лучезарного бобра.

  2. Потому что куда вы денетесь с подводной лодки?

Не сработает (было уже несколько попыток):

  1. Зачем создавать конкурента даже за 99999.99 если в результате вы быстро растеряете клиентскую базу

  2. " Потому что куда вы денетесь с подводной лодки? " : на почту вашего интернет провайдера. Я знаю что местами с этим есть проблемы, но в целом в мире это нормальная альтернатива

Кстати, это не только к администраторам собственных почтовых серверов относится. Как показывает опыт (со стороны получателя, который честно пытается проверять SPF/DKIM), всякие мелкие конторы, размещающие почту со своим доменом у Яндекса/Мэйла, косячат в SPF/DKIM записях только в путь. Моё любимое - две разных SPF записи для домена, что прямо запрещено RFC. Ну а что - Яндекс попросил добавить одну, сервис рассылок - другую, а как их объединить - никто не рассказал...

Да, да, от спамеров. Верю, верю.

Спамеры как раз соберут письмо тебе согласно всех стандартов, а вот реально важные письма с банка (или государства) живут по принципу "клиенту это нужнее"

Про иные ресурсы или сервисы выставления счетов вообше молчу.

Лучше бы сделали фильтацию по генерированым именам (для обхода спам-фильтра) из за чего письма с отправителем формата {UUID}@domain.com проходят все спам кордоны и успешно "доходят" до почтового ящика.

Банк не в состоянии DKIM SPF настроить? Бежать из такого банка надо.

На приведенном вами скриншоте DKIM валиден.
Можно не бежать? Или вы хотели донести что-то другое?

DKIM валиден, но заголовки по какой-то причине не подписаны, только тело письма. В зависимости от того, как реализована проверка у получателя, уже может отправиться в спам. Вот даже расширение для Thunderbird для проверки DKIM уже подсвечивает жёлтым как подозрительное.

Ну вот ещё нашёл. От Сбера, конечно, бежать надо, не буду спорить, но по совсем другим причинам :) А забивание на DKIM - массовая практика, увы.

(сорри, что двумя комментами, редактор Хабра никак не загружает вторую картинку в один комментарий...)

Банк-то ладно, а ведь есть ещё куча мелких нерыночных шарашкиных контор типа школ, или домовых управляющих компаний, у них нет ни ресурсов, ни желания этим всем заниматься.

Ээээ, они тоже по 5000 писем в день рассылают?

TL;DR: Мы, триллионые транснациональные корпорации с многомиллиардными бюджетами на лучших в мире специалистов, с многоэтапными литкодсобесами как мерилом типа профессионализма этих специалистов, признаём что в очередной раз обосрались в нашей битве с какими-то ноунеймами из интернетов. И в очередной раз просто перекладываем решение проблемы на плечи честных отправителей почтовых сообщений.

А с другой стороны, если они решат эту проблему, зачем часть из них тогда будет нужна? Бизнес, ничего личного.

Теперь письма из адресной книги с того же gmail будут улетать в спам в 2 раза чаще?

Пользуюсь ящиком от эппл, их генерация ящиков для регистрации меня избавил от спама. Более того в период взлома, сразу стало понятно кого взломали

Конечно, спам приходит. Но после первого же сообщения, я либо перенаправляю на папку спам, либо просто стираю ящик

Кстати, вопрос в тему (ибо на бывшем Тостере получить полезный ответ стало почти невозможно, умные люди туда, видимо, перестали ходить)

Аналог Outlook с Mail Merge под линукс?

Нужно разослать несколько десятков мейлов вида
Здравствуйте <имя>! Есть ли у вас в продаже серобуромалиновые сепульки длиной 123 см и массой 4.5 кг, сколько будет стоить партия из 67 штук?
Под винду есть вот это - https://support.microsoft.com/en-gb/office/use-mail-merge-to-send-bulk-email-messages-0f123521-20ce-4aa8-8b62-ac211dedefa4
А что есть под линукс?

P.S. Советчикам про скрипт на питоне c smtplib. Почти все современные почтовые сервера отличают почтовые клиенты от скиптов и не дают скриптам коннектиться по SMTP. Такая вот борьба со спамом, дошедшая до маразма.

Почти все современные почтовые сервера отличают почтовые клиенты от скиптов и не дают скриптам коннектиться по SMTP.

SMTP - очень простой протокол, там не по чему особо отличать, кроме заголовков письма. Ну так посмотрите, какие заголовки Outlook ставит и включите в своё письмо такие же.

А тот вопрос, на который ссылка, он вообще про другое, там credentials не принимает, по ходу, проблема с PLAIN vs CRAM-MD5 или что-то подобное.

Ну или отправляйте со своего сервера, а не через сторонний релей. Или используйте сторонний сервис рассылок, у которых функционал генерации писем по шаблону встроенный и deliverability обеспечивать - их хлеб, так что по-любому лучше получится, чем самому.

Насколько я понимаю письма дойдут, но попадут в спам
Чудно, мне как раз лень настраивать DKIM и совершенно все-равно куда они попадут

Почтовый домен на яндексе - яндекс сообщил, что письмо было отклонено почтовым сервером получателя. This mail has been blocked because the sender is unauthenticated.Gmail requires all senders to authenticate with either SPF or DKIM.

До адресата соответственно не дошло ни в каком виде

Чудно, мне как раз лень настраивать DKIM и совершенно все-равно куда они попадут

Держите в курсе!

Не дойдут:

550-5.7.26 This mail has been blocked because the sender is unauthenticated.
550-5.7.26 Gmail requires all senders to authenticate with either SPF or DKIM.
550-5.7.26 Authentication results:
550-5.7.26 DKIM = did not pass
550-5.7.26 SPF [...] with ip: [...] = did not pass
550-5.7.26 550-5.7.26 For instructions on setting up authentication, go to
550 5.7.26 https://support.google.com/mail/answer/81126#authentication ... - gsmtp

Кто в теме, подскажите пожалуйста мануал по настройке всего этого добра на своём сервере.

Прекрасно. Технологии давно созданы, но игроки не стремились их внедрять, особенно малые. Доходило, что подменить отправителя стало тривиальной задачей. Поднимал тикет в mailbox в том числе, потому что на своём домене у них всё настроено, но они не проверяют dkim, spf, dmarc - сейчас хотя бы такие умные админы начнут бегать и приводить свои детища в безопасный вид.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.