Дома у меня круглосуточно работают три небольших компьютера — сервера. На них живут фотографии и видео моей семьи, пароли, всяческие документы, файлы проектов, заметки, записи с камер видеонаблюдения, фильмы и музыка, а ещё несколько сервисов, которыми я пользуюсь каждый день. По сути, вся моя цифровая жизнь. Ничего из этого не лежит в чужом облаке — с этой цели всё и начиналось. Но со временем это, конечно, переросло в моё домашнее хобби.
Эта статья — общий обзор. Главная цель — рассказать, зачем всё это, из чего оно собрано, как части связаны между собой и почему устроено именно так.
А с чего всё начиналось и как я к этому пришёл — в предыстории.
Дальше в серии статей мы разберём каждую часть по отдельности — от гипервизора и дисков до настроек безопасности.
С чего всё начинается
Почти у всех дома одинаковая картина. Обычный роутер из магазина — Keenetic, TP-Link, ASUS или тот, что выдал провайдер. К нему подключены телефоны, ноутбуки, телевизор, робот-пылесос, умная колонка и, может быть, пара камер. А самое ценное — пароли, фотографии, документы — разложено как придётся.
Пароли
Большинство людей живут с одним из двух вариантов. Первый — один-два пароля, которые держатся в голове и используются везде. Второй — браузер, который сам предлагает запомнить пароль, и через пару лет в нём оказываются сотни записей.
Оба варианта работают ровно до первого неудобного момента. Один пароль на все сайты означает, что утечка из любого из них открывает доступ ко всем остальным. А пароли в браузере привязаны к этому браузеру и этому компьютеру: купили новый ноутбук, переустановили систему, перешли с Chrome на Firefox — и начинается вечер кнопок «Забыли пароль?», писем для сброса и кодов из СМС.
Облачные менеджеры паролей эту проблему решают, но за подписку. И самое главное: самое секретное и ценное, что у вас есть, хранится на серверах «дяди Васи», которого вы в глаза не видели.
Фотографии и видео
С фотографиями ещё хуже, потому что их много и они копятся годами. Часть — на телефоне. Часть — на старом телефоне в ящике стола. Часть — на ноутбуке в папке «Разобрать», часть — на внешнем диске, часть — в переписке в мессенджере. Что-то в бесплатном облаке. А что-то — на компьютере у родителей в другом городе, куда вы когда-то всё скинули «на всякий случай».
Проблема проявляется в момент, когда что-то понадобилось. Нужно найти видео с утренника пятилетней давности или фотографию документа, которую вы точно делали. И начинается: где это может быть? На каком устройстве, в какой папке, в каком году? Папки называются «Новая папка (3)» и «Фото с телефона», сортировки нет, поиска нет. А фотографии на родительском компьютере вы, скорее всего, не откроете уже никогда: вы просто о них забудете.
Облачные фотосервисы наводят порядок, но опять же, скорее всего, за подписку. И ваши семейные фотографии снова лежат у чужой компании, которая завтра может поменять свои условия или, того хуже, перестать работать в России — судя по последним трендам, это вполне реально.
Что даёт свой сервер
Главное, что я получил от своего сервера, — это удобство и порядок.
Всё в одном месте и всегда известно, где. Фотографии и видео — в фотоархиве Immich. Пароли — в менеджере паролей Vaultwarden. Документы — в общих папках на сервере. Не нужно вспоминать, на каком устройстве что лежит: у каждого типа данных одно место, и оно всегда одно и то же. А пользоваться этими данными, можно с любого своего устройства. Нет такого, что что-то на одном ПК, что-то на телефоне, что-то еще где-то. Ты знаешь что любой файл или фотография, которая тебе нужна — лежит на сервере и ты точно знаешь как ее найти.
Всё накапливается само. Каждое фото с каждого телефона в семье автоматически загружается в архив в фоне. Новый пароль, сохранённый на ноутбуке, почти сразу появляется на телефоне. Ничего не нужно переносить, разбирать и сортировать вручную — архив растёт сам, год за годом.
Всё структурировано и находится за секунды. Фотоархив сам раскладывает снимки по датам, узнаёт лица и понимает, что на фото. Нужно видео с утренника — пишу в поиск «утренник» или выбираю лицо ребёнка и нужный год. Нужен паспорт — пишу «паспорт». Никаких «Новая папка (3)».
Новое устройство — пять минут. Купил новый ноутбук — поставил расширение менеджера паролей, вошёл, и все пароли на месте. Новый телефон — установил приложение фотоархива, и вся история снимков семьи снова под рукой. Никаких восстановлений и сбросов.
Всё под моим полным контролем. Данные лежат у меня дома, доступны мне отовсюду и не зависят от чужих тарифов и правил. Кроме того, всё это регулярно и автоматизированно копируется на отдельный сервер. Таким образом вся информация лежит, образно говоря, минимум в двух экземплярах на физически разных дисках.
Сегментация локальной сети
Когда вся цифровая жизнь семьи собрана на одном сервере, появляется вопрос, о котором раньше не задумываешься: а кто ещё в домашней сети может до него дотянуться?
В обычной домашней сети ответ — все. Дешёвая китайская камера, которую я поставил на балкон, находилась в одной подсети с моим рабочим ноутбуком и с сервером. Она видела их, они — её. И если в прошивке камеры окажется дыра — а в дешёвых камерах она есть почти всегда, — злоумышленник попадёт не «в камеру», а сразу во всю домашнюю сеть, вместе с фотоархивом и паролями.
Поэтому замутить себе сервер — только половина дела. Вторая половина — разделить сеть на изолированные сегменты, VLAN, где каждое устройство видит ровно то, что ему положено. Про неё — отдельный раздел ниже и целый блок статей.
Что это такое на самом деле
Слово «сервер» звучит внушительно, но на деле это обычный компьютер без монитора, который никогда не выключается и выполняет в фоне всю возложенную на него работу.
Главный приём, на котором держится вся конструкция моего сервера, — виртуализация. Один физический компьютер делится на десяток независимых: у каждого сервиса своя виртуальная машина или контейнер, со своей операционной системой, своей памятью и своим IP-адресом. Для меня каждый из них выглядит как отдельный сервер, который можно включить, выключить, сломать и восстановить из копии, не задев соседей.
Зачем такие сложности? Затем, что программы конфликтуют. Одной нужна свежая версия библиотеки, другой — старая. Одна упала и потянула за собой остальные. Одну взломали — и через неё добрались до всех. Когда каждый сервис изолирован, эти проблемы исчезают: сломался один контейнер, остальные даже не заметили.
В качестве гипервизора — системы, которая всем этим управляет, — у меня Proxmox VE. Он бесплатный, ставится на обычный компьютер и имеет возможность создавать два вида гостей: полноценные виртуальные машины (VM) и лёгкие контейнеры LXC. Чем они отличаются и когда что выбирать, будет отдельная статья.
Уровень первый: железо
Физически у меня три машины.
Мини-ПК для сети размером с бутерброд: экономичный процессор Intel N150 и два сетевых порта. Его задача — сеть и только она. На нём работают четыре гостя: роутер OPNsense, контроллер управляемого коммутатора, VPN-сервер для подключения к дому снаружи и прокси-сервер. Всё, что связано с движением трафика, происходит здесь.
Основной сервер — посерьёзнее: 62 ГБ оперативной памяти и девять дисков разного назначения. На нём около двадцати пяти виртуальных машин и контейнеров со всеми прикладными сервисами. Это рабочая лошадь.
Сервер резервных копий на Proxmox Backup Server. Он делает одно: каждую ночь забирает копии всех гостей с обоих гипервизоров. Про него будет отдельный блок статей, потому что о резервном копировании стоит рассказать подробно.
Почему гипервизоров два, а не один, — тема следующей части. Если коротко: роутер, который раздает интернет на весь дом, не должен зависеть от работоспособности основного сервера.
Диски на основном сервере разложены по задачам. Все они работают под ZFS — файловой системой, которая сама проверяет целостность данных:
- NVMe на 1 ТБ — системный диск и диски всех гостей, чтобы всё работало быстро;
- четыре HDD по 4 ТБ в RAIDZ1 — основной массив, который переживает смерть любого одного диска. Здесь всё ценное: фотоархив, документы, общие папки;
- HDD на 12 ТБ — фильмы и сериалы, то есть то, что можно скачать заново;
- HDD на 500 ГБ — записи с камер, которые перезаписываются по кругу;
- два небольших SSD — вспомогательный массив для разных задач отдельных сервисов.
Смысл разделения простой: данные разной ценности не должны лежать в одной куче. Семейные фотографии и скачанный сериал — принципиально разные вещи по важности, и хранить их одинаково это глупость. Фотографии защищены от смерти диска и вдобавок к этому бекапируются в резервную копию. Сериал — нет, и это мое осознанное решение.
Всё вместе подключено к ИБП. Когда пропадает свет, он держит три машины на батарее, а если света долго нет — через NUT (Network UPS Tools) корректно их выключает: сначала прикладные сервисы, в последнюю очередь роутер. Внезапное отключение питания для сервера с работающими дисками — это очень плохо. Поэтому эту проблему лучше закрыть сразу.
Уровень второй: сеть, разделённая на VLAN
Здесь начинается самое интересное — и самое непривычное, если дома у вас до сих пор была одна сеть на всё.
Обычного роутера у меня нет. Его роль выполняет OPNsense — открытый роутер и файрвол, который работает виртуальной машиной на мини-ПК. Кабель от провайдера заходит прямо в мини-ПК. OPNsense раздаёт адреса по DHCP, работает DNS-сервером для всей сети и решает, какой трафик куда пропускать. Это единственная дверь между домом и интернетом, и через неё проходит весь трафик без исключения.
Дальше сеть разделена на восемь VLAN — виртуальных сетей, изолированных друг от друга. Физически устройства могут быть подключены к одному коммутатору, но логически находятся в разных подсетях и без разрешения роутера друг друга не видят.
| VLAN | Что внутри |
|---|---|
| MGMT | Управление: гипервизоры, коммутатор, точки доступа |
| INFRA | Служебные сервисы: VPN, прокси |
| TRUSTED | Доверенные устройства: мои ноутбуки, компьютеры, телефоны домашних |
| DMZ | Единственная машина, которая принимает трафик из интернета |
| SERVICES | Все прикладные сервисы: фото, пароли, кино, документы |
| IOT | Умный дом: телевизоры, колонки, лампочки, розетки |
| CCTV | Камеры видеонаблюдения, и только они |
| GUEST | Гостевой Wi-Fi |
Правила между сегментами я задаю вручную, и по умолчанию запрещено всё, что не разрешено явно. Камеры не видят ни одной домашней сети: сервер видеонаблюдения сам забирает с них видео. Телевизор не видит мой ноутбук. Гостевой Wi-Fi не видит ничего, кроме интернета. Веб-интерфейс Proxmox доступен только из MGMT или через VPN — с телефона в гостевой сети до него просто не достучаться.
Физически все восемь VLAN идут по одному кабелю до управляемого коммутатора, а он уже раскладывает их по портам. Два роутера Keenetic работают в режиме точек доступа и раздают Wi-Fi, причём каждая беспроводная сеть (SSID) привязана к своему VLAN: подключился к гостевой сети — попал в GUEST, и никакие настройки на телефоне этого не изменят.
Отдельная деталь, которую дома делают редко, — собственный DNS. Все устройства получают ответы на DNS-запросы от моего роутера (там работает резолвер Unbound), а не от серверов провайдера. Это даёт три вещи:
- Запросы к моим сервисам не выходят в интернет. Внутри дома домены вида
*.kvasok.xyzрезолвятся сразу в локальный адрес192.168.XX.XX, и трафик идёт только внутри локальной сети. Такая схема называется split-horizon DNS: снаружи и изнутри одно и то же доменное имя указывает на разные адреса. - Запросы наружу зашифрованы. Unbound отправляет их по DNS-over-TLS, и провайдер не видит, какие сайты я открываю.
- Устройства не могут это обойти. Любой DNS-запрос к чужому серверу, например к
8.8.8.8, роутер молча перехватывает и отвечает сам. Умные телевизоры очень любят ходить в свой DNS в обход настроек сети.
Уровень третий: доступ снаружи
Самый деликатный вопрос во всей конструкции. Хочется пользоваться своими сервисами из кафе, из поездки, с мобильного интернета. Но открыть порт на домашнем роутере — значит выставить свою локальную сеть на всеобщее обозрение: боты начинают сканировать новый открытый порт через несколько минут.
Поэтому у меня два независимых пути, и ни один из них не открывает сервисы наружу напрямую.
Путь первый — для сервисов. Я арендую самый дешёвый VPS. Он ничего не хранит и ничего не умеет, кроме одного: все мои домены указывают на него. Домашний сервер сам, изнутри, поднимает к нему туннель WireGuard. Когда я открываю свой сервис с телефона, запрос приходит на VPS, тот передаёт его по туннелю домой, а дома его принимает Traefik — reverse-proxy, который по имени домена решает, в какой сервис отправить запрос и пускать ли его вообще. На домашнем роутере при этом не открыто ни одного порта для сервисов. Снаружи видно только VPS, на котором нет ничего ценного.
Путь второй — для меня. Когда мне нужен не отдельный сервис, а сама домашняя сеть — зайти в Proxmox, что-то починить, — я подключаюсь к дому по VPN. Это единственный порт, открытый на домашнем роутере. VPN-сервер — AmneziaWG, модификация WireGuard с обфускацией: со стороны трафик сложно распознать как VPN, поэтому его сложно и заблокировать.
Разделение принципиальное. Сервисы, которыми пользуется семья, идут по первому пути, и домашним не нужно ничего настраивать. Доступ к управлению — только по второму, и он есть только у меня.
Что в итоге работает
Если убрать техническую сторону вопроса и оставить только то, ради чего это все затевалось, получается примерно вот что.
- Фотоархив — Immich. Снимки с телефонов загружаются автоматически, ищутся по лицам и по содержимому. Как Google Photos, только дома и без ограничений по объёму.
- Менеджер паролей — Vaultwarden. Совместимый с Bitwarden сервер: все пароли семьи, синхронизация между устройствами.
- Домашний кинотеатр — Jellyfin. Фильмы и сериалы с обложками и описаниями играют на телевизоре и телефонах, а связка Sonarr, Radarr и qBittorrent автоматизированно пополняет медиатеку.
- Видеонаблюдение — Frigate. Две моих камеры пишут на диск. Одна камера настроена писать по движению (в холле), вторая камера во двор - пишет нонстопом.
- Файлы и документы. Общие папки по Samba и OnlyOffice для редактирования документов прямо в браузере.
- Умный дом — Home Assistant. Свет, розетки и датчики управляются локально, без облака производителя.
- Уведомления — Gotify. Уведомления на телефон о любой проблеме на сервере. Например: нехватка диска, или не прошла резервная копия по какой-то причине.
- Мониторинг — Prometheus и Grafana. Разные графики по всем машинам. Расход CPU, памяти, количество траффика и т.п.
- И немного для себя. Свой Git-сервер Forgejo, свой ИИ-агент, среда разработки, пара экспериментов и т.п.
А также, разные вспомогательные сервисы: ночные резервные копии всех машин, регулярная проверка дисков, корректное выключение при отключении света.
Чего мне это стоило
Деньги. Железо покупается один раз, и собирать его можно постепенно: я начинал с одного компьютера. Ну и электричество в доме: три устройства, работающих круглосуточно, заметны в счёте, хотя и меньше, чем многие думают.
Время. Главное что необходимо. Первая настройка — это недели вечеров. Поддержка — несколько часов в месяц: обновления, проверка копий, разбор того, что внезапно отвалилось. Кое-что ломается само по себе, без всякого участия. Изучение нового материала, ведь прогресс не стоит на месте.
Ответственность. Самое неприятное. Если сломается облачный сервис — виноват кто-то другой, и он же чинит. Если сломается у меня — виноват я, и чинить тоже мне. А если я потеряю фотографии, объяснять это придётся не поддержке, а жене. Поэтому резервным копиям посвящено несколько статей.
Кому это точно не нужно: если задача — только хранить фотографии и ни в чём не хочется разбираться, место в облаке будет дешевле и надёжнее.
Если хочется своего хранилища, но без погружения в сети и гипервизоры, — начните с готового NAS вроде Synology. Для семейных фотографий и документов его более чем достаточно, и я сам начинал именно с него. Как я прошёл путь от NAS до нынешней схемы и чем они отличаются — в предыстории.
Что будет дальше
Дальше разберём всё то же самое, но подробно и по порядку. С настройкой, чтобы вы могли повторить за мной.
Все части по порядку, с разбивкой по темам — от фундамента и сети до резервного копирования и автоматизации, — собраны в гайде. Там же видно, какие части уже вышли.
Начнём со следующей статьи: разберёмся, зачем вообще держать сервер дома, если есть облачные сервисы, и во сколько это обходится на самом деле.