![](https://webcf.waybackmachine.org/web/20230926150518/https://habrastorage.org/webt/s-/bj/vr/s-bjvrnseo6t9u3gjpjp7xvjm_e.png)
Как-то давно я просматривал опции для команды ping и обратил внимание, что можно задавать размер ICMP пакета. "Хм", — подумал я: "Можно же сложить в сам пакет какую-то полезную нагрузку". Эта идея время от времени всплывала у меня в голове, но что именно можно хранить в пакете ICMP придумать не удавалось. Однако, недавно пришло понимание, что если хранить данные в ICMP пакете, то они не будут занимать место в оперативной памяти! То есть можно сделать key-value хранилище, где все данные будут храниться внутри сети.
Схема работы хранилища
Key-value хранилище слушает порт 4242.
- Записи создаются для POST запросов по адресу
/<key>
где в body находятся данные для хранения; - Записи считываются для GET запросов по адресу
/<key>
.
Под капотом приложение после чтения POST запроса отправляет ICMP пакет с данными. Когда пакет возвращается, то снова отправляется в сеть и тд. Когда у приложения появляется какой-то запрос на чтение пакета, то приложение ждёт некоторое время, пока из сети не вернётся нужный пакет, затем возвращает данные.
Реализация на nodejs
Я решил реализовать задачу на Nodejs, но думаю что для реального применения нужно использовать какой-то низкоуровневый язык.
Сначала я хотел сделать возможность использовать любые строки в качестве ключей, но потом решил ограничиться просто цифрами, которые одновременно являются уникальным идентификатором ICMP пакета. Если же использовать строки, то нужно помещать их в начале данных пакета и обработку писать несколько по-другому.
Создание записей
Приложение запускается и слушает запросы на порту 4242
. Новые записи ключ-значение создаются для обработанных POST
запросов.
app.post('/:key', (req, res) => {
const key = req.params.key;
const payload = req.body;
// <...>
sendToHost(key, payload, res); // <-- создаём запись
});
Основная хранилища находится в callback функции pingHost
. Эта функция исполняется, когда отправленный пинг уже вернулся. Аргументы resKey
— это идентификатор ICMP пакета, то есть наш ключ. А resValue
— это значение, которое мы передавали. То есть как только мы получаем ответ от хоста, то сразу же отправляет данные обратно на хост.
const sendToHost = (key, value, creationResponse) => {
session.pingHost(HOST_IP, key, value, function (error, HOST_IP, _a1, _a2, resKey, resValue) {
creationResponse?.status(201).send('Stored successfully');
// <...>
sendToHost(resKey, resValue); // <-- повторная отправка запроса
});
}
Чтение записей
Все запросы на чтение мы складываем в reqStore
и еще добавляем туда timeoutID
, чтобы по истечении 2 секунд мы могли отправить сообщение о том, что ключ не был найден. pingHost
app.get('/:key', (req, res) => {
const key = req.params.key;
reqStore[key] = {
response: res,
timeoutID: setTimeout(() => res.status(404).send('Not Found'), 2000)
};
});
Проверка сохраненных в reqStore
запросов происходит уже внутри колбэка функции pingHost
. Если искомый ключ найден, то значение отправляется в ответе на запрос, таймаут очищается, а ключ удаляется из reqStore
// внутри колбэка pingHost
if (reqStore[resKey]) {
reqStore[resKey].response.send(resValue);
clearTimeout(reqStore[resKey].timeoutID);
delete reqStore[resKey];
}
Удаление записей
Удаление организовано примерно так же, как и чтение. Запросы на удаление записываются в keysToDelete
.
app.delete('/:key', (req, res) => {
const key = req.params.key;
keysToDelete[key] = res;
});
Проверка сохраненных в keysToDelete
запросов происходит так же внутри колбэка функции pingHost
. И если ключ вернувшегося ICMP пакета найден, то отправляется ответ об успешном удалении, в противном случае продолжается цикл отправки запросов на целевой хост.
if (keysToDelete[resKey]) {
keysToDelete[resKey].status(200).send('Key deleted')
delete keysToDelete[resKey];
} else {
sendToHost(resKey, resValue);
}
Вот собственно и вся логика.
const express = require('express');
const bodyParser = require('body-parser');
const ping = require("net-ping");
// enrichment of ping functionality
const netPingPlus = require('./net-ping-plus');
netPingPlus.run();
const HOST_IP = '213.59.253.7';
const DEBUG_DELAY_ON = false; // pause before sending each ping
const DEBUG_DELAY = 300; // milliseconds
const FIND_KEY_TIME = 2000; // milliseconds
const session = ping.createSession();
const reqStore = {};
const keysToDelete = {};
const app = express();
const port = 4242;
app.use(bodyParser.text());
const sendToHost = (key, value, creationResponse) => {
session.pingHost(HOST_IP, key, value, function (error, HOST_IP, _a1, _a2, resKey, resValue) {
if (error) {
console.log(HOST_IP + ": " + error.toString());
return;
}
creationResponse?.status(201).send('Stored successfully');
if (reqStore[resKey]) {
reqStore[resKey].responses.forEach(r => r.send(resValue));
clearTimeout(reqStore[resKey].timeoutID);
delete reqStore[resKey];
}
if (keysToDelete[resKey]) {
keysToDelete[resKey].responses.forEach(r => r.status(200).send('Key deleted'));
clearTimeout(keysToDelete[resKey].timeoutID);
delete keysToDelete[resKey];
} else {
if (DEBUG_DELAY_ON) {
setTimeout(() => sendToHost(resKey, resValue), DEBUG_DELAY);
} else {
sendToHost(resKey, resValue);
}
}
});
}
app.post('/:key', (req, res) => {
const key = req.params.key;
const payload = req.body;
if (!key || !payload) {
return res.status(400).send('Bad Request');
}
sendToHost(key, payload, res);
});
app.get('/:key', (req, res) => {
const key = req.params.key;
// console.log('!GET', key);
if (!key) {
return res.status(400).send('Bad Request');
}
if (!reqStore[key]) {
reqStore[key] = {
responses: [res],
timeoutID: setTimeout(() => {
res.status(404).send('Not Found');
}, FIND_KEY_TIME)
};
} else {
reqStore[key].responses.push(res);
}
});
app.delete('/:key', (req, res) => {
const key = req.params.key;
if (!key) {
return res.status(400).send('Bad Request');
}
if (!keysToDelete[key]) {
keysToDelete[key] = {
responses: [res],
timeoutID: setTimeout(() => {
res.status(404).send('Not Found');
}, FIND_KEY_TIME)
};
} else {
keysToDelete[key].responses.push(res);
}
});
// Запуск сервера
app.listen(port, () => {
console.log(`Server is listening on port ${port}`);
});
Рабочий репозиторий можно найти на Гитхабе.
Проверяем работу
Запускать приложение нужно командой sudo nodejs serv.js
, потому что приложению необходимы разрешения для работы с сокетами. Я потестировал создание, получение и удаление записей. Всё работает.
Прикладываю скриншоты из Wireshark, по которым видно, что отправляемые и получаемые пинги содержат нужные данные.
Отправленный ICMP пакет:
Принятый ICMP пакет:
В приложении я использую только один IP адрес для пинга, который я выбрал совершенно случайно. Но вообще нужно использовать целый пул адресов и неплохо бы дублировать запросы на разные IP, чтобы избежать потери данных.
Заключение
У меня нет идей о том как именно использовать такое хранилище и где это может быть полезно. Возможно какой-то исполняемый код можно будет прятать в сети, чтобы в час X собрать и запустить.