Added Google AI, Google Play, Hetzner ASN, OVH ASN

.github/workflows/create-lists.yml

@@ -31,7 +31,7 @@ jobs:
         -v ${{ github.workspace }}/Services:/app/Services \
         -v ${{ github.workspace }}/SRS:/app/SRS \
         -v ${{ github.workspace }}/DAT:/app/DAT \
-        itdoginfo/compilesrs:0.1.15
+        itdoginfo/compilesrs:0.1.16
 
     - name: Check Russia/inside-dnsmasq-ipset
       uses: itdoginfo/dnsmasq-action@0.1

README.md

@@ -1,70 +1,240 @@
-Поможем провайдерам в эпоху дефицита сетевого оборудования, заблокируем самостоятельно ресурсы на своих роутерах и, таким образом, снизим нагрузку на их оборудование!
+Поможем провайдерам в эпоху дефицита сетевого оборудования: самостоятельно заблокируем ресурсы на своих роутерах и, таким образом, снизим нагрузку на их оборудование!
 
 Зарубежные сервисы пусть знают, что их ресурсы никому не нужны и мы сами у себя их блокируем!
 
-# Списки заблокированных ресурсов
-Списки доступны в нескольких форматах:
-- RAW - это список доменов и субдоменов
-- Dnsmasq-ipset - список для Dnsmasq в формате ipset (OpenWrt <= 21.02)
-- Dnsmasq-nfset - список для Dnsmasq в формате nftables set (OpenWrt >=23.05)
+# Форматы списков
+- Dnsmasq nfset. Для Dnsmasq в формате nftables set (OpenWrt >=23.05) `nftset=/showip.net/4#inet#fw4#vpn_domains`
+- Dnsmasq ipset. Для Dnsmasq в формате ipset (OpenWrt <= 21.02) `ipset=/showip.net/vpn_domains` 
+- Sing-box Source. Для Sing-box версии 1.11.0 и выше.
+- Xray Dat. Общий файл geosite.dat с разбивкой по категориям.
+- ClashX `DOMAIN-SUFFIX,showip.net`
+- Mikrotik FWD `/ip dns static add name=fast.com type=FWD...`
+- Kvas. Для Kvas 1.1.8 и новее. Просто отсортированный список доменов.
+- RAW. Список "как есть"
 
 Конфигурация для Dnsmasq добавляет все зарезолвенные IP-адреса в set `vpn-domain`. И можно оперировать этим списком. Заблокировать, конечно же, все эти IP к чертям.
 
-## Россия
-Есть два списка, один для людей, находящихся в России, второй для людей заграницей.
+# Сервисы, категории, страны
+Для удобства блокировки списки разделены по категориям, сервисам и странам.
 
-- Ресурсы, которые блокируются, в том числе и зарубежные ресурсы, которые сами блокируют российские подсети. (inside)
-- Списки российских ресурсов, которые доступны только для российских подсетей.  Для людей за границей, которым нужен доступ к российским сервисам. Использовать вместе с VPN расположенным в России. (outside)
+## Категории
+- Anime
+- Block
+- GeoBlock
+- News
+- Porn
 
-Находятся в каталоге **Russia**.
+## Сервисы
+- Cloudflare
+- Discord
+- HDRezka
+- Meta* 
+- Telegram
+- Tik-Tok
+- Twitter
+- YouTube
+
+## Страны
+### Россия
+Есть два списка: один - для пользователей в России, другой - для тех, кто находится за её пределами
+
+#### Russia inside
+Ресурсы, которые блокируются, в том числе и зарубежные ресурсы, которые сами блокируют российские подсети. Состоит из:
+- Anime
+- Block
+- GeoBlock
+- News
+- Porn
+- HDRezka
+- Meta*
+- Tik-Tok
+- Twitter
+- YouTube
+
+#### Russia outside
+Списки российских ресурсов, которые доступны только для российских подсетей. Для людей за границей, которым нужен доступ к российским сервисам.
+
+### Украина
+Список заблокированных ресурсов в Украине. Списки берутся с ресурсов https://uablacklist.net/ и https://zaborona.help/.
+
+# Прямые ссылки на списки
+Все ссылки спрятаны под спойлеры — нажмите на нужный список, чтобы раскрыть его.
+
+Общий файл для Xray [geosite.dat](https://github.com/itdoginfo/allow-domains/releases/latest/download/geosite.dat)
+
+<details>
+  <summary>Russia inside</summary>
 
-Inside:
 - [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-raw.lst)
 - [Dnsmasq nfset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-dnsmasq-nfset.lst)
 - [Dnsmasq ipset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-dnsmasq-ipset.lst)
 - [ClashX](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-clashx.lst)
-- [KVAS](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-kvas.lst)
+- [Kvas](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/inside-kvas.lst)
+- [Mikrotik](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Russia/inside-mikrotik-fwd.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/russia_inside.srs)
+- geosite:russia-inside
+
+</details>
+
+<details>
+  <summary>Russia Outside</summary>
 
-Outside:
 - [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-raw.lst)
 - [Dnsmasq nfset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-dnsmasq-nfset.lst)
 - [Dnsmasq ipset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-dnsmasq-ipset.lst)
 - [ClashX](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-clashx.lst)
-- [KVAS](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-kvas.lst)
+- [Kvas](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Russia/outside-kvas.lst)
+- [Mikrotik](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Russia/outside-mikrotik-fwd.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/russia_outside.srs)
+- geosite:russia-outside
 
-## Украина
-Список заблокированных ресурсов в Украине. Списки берутся с ресурсов https://uablacklist.net/ и https://zaborona.help/.
+</details>
 
-Преобразуются в формат Dnsmasq. При этом удаляются домены с кириллическими буквами. 
-
-Находятся в каталоге **Ukraine**.
+<details>
+  <summary>Ukraine</summary>
 
 - [Dnsmasq nfset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Ukraine/inside-dnsmasq-nfset.lst)
 - [Dnsmasq ipset](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Ukraine/inside-dnsmasq-ipset.lst)
 - [ClashX](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Ukraine/inside-clashx.lst)
-- [KVAS](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Ukraine/inside-kvas.lst)
+- [Kvas](https://raw.githubusercontent.com/itdoginfo/allow-domains/main/Ukraine/inside-kvas.lst)
+- [Mikrotik](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Ukraine/inside-mikrotik-fwd.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/ukraine_inside.srs)
+- geosite:ukraine
+
+</details>
+
+<details>
+  <summary>Anime</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/anime.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/anime.srs)
+- geosite:russia-inside@anime
+
+</details>
+
+<details>
+  <summary>Block</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/block.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/block.srs)
+- geosite:russia-inside@block
+
+</details>
+
+<details>
+  <summary>GeoBlock</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/geoblock.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/geoblock.srs)
+- geosite:russia-inside@geoblock
+
+</details>
+
+<details>
+  <summary>News</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/news.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/news.srs)
+- geosite:russia-inside@news
+
+</details>
+
+<details>
+  <summary>Porn</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/porn.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/porn.srs)
+- geosite:russia-inside@porn
+
+</details>
+
+<details>
+  <summary>Cloudflare</summary>
+
+- [Subnets](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Subnets/IPv4/cloudflare.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/cloudflare.srs)
+
+</details>
+
+<details>
+  <summary>Discord</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/discord.lst)
+- [Subnets](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Subnets/IPv4/discord.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/discord.srs)
+
+</details>
+
+<details>
+  <summary>HDRezka</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/hdrezka.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/hdrezka.srs)
+- geosite:russia-inside@hdrezka
+
+</details>
+
+<details>
+  <summary>Meta*</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/meta.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/meta.srs)
+- [Subnets](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Subnets/IPv4/meta.lst)
+- geosite:russia-inside@meta
+
+</details>
+
+<details>
+  <summary>Telegram</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Categories/telegram.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/telegram.srs)
+- [Subnets](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Subnets/IPv4/telegram.lst)
+
+</details>
+
+<details>
+  <summary>Tik-Tok</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/tiktok.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/tiktok.srs)
+- geosite:russia-inside@tiktok
+
+</details>
+
+<details>
+  <summary>Twitter</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/twitter.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/twitter.srs)
+- [Subnets](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Subnets/IPv4/twitter.lst)
+- geosite:russia-inside@twitter
+
+</details>
+
+<details>
+  <summary>YouTube</summary>
+
+- [RAW](https://raw.githubusercontent.com/itdoginfo/allow-domains/refs/heads/main/Services/youtube.lst)
+- [SRS](https://github.com/itdoginfo/allow-domains/releases/latest/download/youtube.srs)
+- geosite:russia-inside@youtube
+
+</details>
 
 # Как найти все-все домены ресурса?
 https://itdog.info/analiziruem-trafik-i-opredelyaem-domeny-kotorye-ispolzuyut-sajty-i-prilozheniya/
 
 # Как добавить домены в списки?
 Приветствуется добавление новых доменов и удаление неактуальных.
-Есть несколько вариантов:
 
-1. Для каждого списка создана тема в Discussion. Пишите туда отдельные домены или прям список доменов сервиса
-- [Россия inside](https://github.com/itdoginfo/allow-domains/discussions/1)
+Для каждого списка создана тема в Discussion. Правила оформления указаны в первом сообщении
+- [Россия inside](https://github.com/itdoginfo/allow-domains/discussions/75)
 - [Россия outside](https://github.com/itdoginfo/allow-domains/discussions/2)
 
-2. Сделать PR. Списки находятся в `src`. Если у ресурса больше двух доменов, сгруппируйте их отдельным списком и вставьте заголовок ресурса с помощью `#`. Ориентируйтесь на то, как уже сделаны другие
-
-3. Напишите в [чат](https://t.me/itdogchat)
-
-# .dat файлы для Xray
-Реализовано в стороннем репозитории
-https://github.com/unidcml/allow-domains-dat
-
 # Как заблокировать на своём роутере?
-Пример блокировки по списку доменов на роутере с OpenWrt 23.05.
+1. В Podkop выберите mode **Block**
+
+2. Пример блокировки по списку доменов на роутере с OpenWrt 23.05.
 
 Нужен dnsmasq-full. Загружаем конфиг в tmp/dnsmasq.d. Создаём ipset, все пакеты к ip-адресам из этого ipset будут дропаться.
 
@@ -92,19 +262,8 @@ uci commit
 service firewall restart && service dnsmasq restart
 ```
 
-# Как устроено?
-Список **Russia inside** формируются из списка https://community.antifilter.download/, списка `src/Russia-domains-inside.lst` и списка `Russia-domains-inside-single.lst`. Они объединяются, удаляются повторы и сортируются по алфавиту. 
-
-Список **Russia outside** формируется из списка `src/Russia-domains-outside.lst`. Также происходит сортировка по алфавиту.
-
-Dnmasq работает по wildcard. При добавлении домена `domain.com`, в списки IP-адресов будут добавляться также все поддомены `subdomain.domain.com`. Для тех ресурсов, у которым нужны только субдомены - добавляются только субдомены.
-
-Списки обновляются при каждом коммите в репозитории с помощью GitHub Actions. Также скрипт `convert.py` запускается каждые 8 часов, чтобы синхронизировать списки со сторонними сервисами.
-
-При формировании Dnsmasq списков происходит тестирование конфигов с помощью [Dnsmasq action](https://github.com/marketplace/actions/dnsmasq-configuration-check).
-
 # Можно ли добавить другие форматы и страны?
-Да, это приветствуется. Для этого создайте issue или напишите в чат.
+Да, это приветствуется. Для этого создайте issue.
 
 ## Для добавления новой страны необходимо указать
 - Название страны
@@ -116,7 +275,7 @@ Dnmasq работает по wildcard. При добавлении домена
 - Как этот формат можно использовать, с примером (Программа, конфигурация)
 - Можно ли как-то тестировать список, если да, то как. Это нужно, чтобы пользователи всегда имели рабочий конфиг
 
-Также вы можете создать PR с уже необходимыми правками. В этом случае опишите это всё в его Description.
+*Meta признана экстремистской и террористической организацией в России
 
 ---
 

Russia/inside-clashx.lst

@@ -299,6 +299,7 @@ DOMAIN-SUFFIX,hackernoon.com
 DOMAIN-SUFFIX,hackmd.io
 DOMAIN-SUFFIX,halooglasi.com
 DOMAIN-SUFFIX,hashicorp.com
+DOMAIN-SUFFIX,hd-rezka.tv
 DOMAIN-SUFFIX,hdkinoteatr.com
 DOMAIN-SUFFIX,hdrezka.ac
 DOMAIN-SUFFIX,hdrezka.ag

Russia/inside-dnsmasq-ipset.lst

@@ -299,6 +299,7 @@ ipset=/hackernoon.com/vpn_domains
 ipset=/hackmd.io/vpn_domains
 ipset=/halooglasi.com/vpn_domains
 ipset=/hashicorp.com/vpn_domains
+ipset=/hd-rezka.tv/vpn_domains
 ipset=/hdkinoteatr.com/vpn_domains
 ipset=/hdrezka.ac/vpn_domains
 ipset=/hdrezka.ag/vpn_domains

Russia/inside-dnsmasq-nfset.lst

@@ -299,6 +299,7 @@ nftset=/hackernoon.com/4#inet#fw4#vpn_domains
 nftset=/hackmd.io/4#inet#fw4#vpn_domains
 nftset=/halooglasi.com/4#inet#fw4#vpn_domains
 nftset=/hashicorp.com/4#inet#fw4#vpn_domains
+nftset=/hd-rezka.tv/4#inet#fw4#vpn_domains
 nftset=/hdkinoteatr.com/4#inet#fw4#vpn_domains
 nftset=/hdrezka.ac/4#inet#fw4#vpn_domains
 nftset=/hdrezka.ag/4#inet#fw4#vpn_domains

Russia/inside-kvas.lst

@@ -298,6 +298,7 @@ hackernoon.com
 hackmd.io
 halooglasi.com
 hashicorp.com
+hd-rezka.tv
 hdkinoteatr.com
 hdrezka.ac
 hdrezka.ag

Russia/inside-mikrotik-fwd.lst

@@ -299,6 +299,7 @@
 /ip dns static add name=hackmd.io type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
 /ip dns static add name=halooglasi.com type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
 /ip dns static add name=hashicorp.com type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
+/ip dns static add name=hd-rezka.tv type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
 /ip dns static add name=hdkinoteatr.com type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
 /ip dns static add name=hdrezka.ac type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost
 /ip dns static add name=hdrezka.ag type=FWD address-list=allow-domains match-subdomain=yes forward-to=localhost

Russia/inside-raw.lst

@@ -299,6 +299,7 @@ hackernoon.com
 hackmd.io
 halooglasi.com
 hashicorp.com
+hd-rezka.tv
 hdkinoteatr.com
 hdrezka.ac
 hdrezka.ag

Services/googleai.lst

@@ -0,0 +1,14 @@
+deepmind.com
+deepmind.google
+geller-pa.googleapis.com
+generativelanguage.googleapis.com
+proactivebackend-pa.googleapis.com
+ai.google.dev
+alkalicore-pa.clients6.google.com
+alkalimakersuite-pa.clients6.google.com
+generativeai.google
+makersuite.google.com
+aistudio.google.com
+bard.google.com
+gemini.google
+gemini.google.com

Services/googleplay.lst

@@ -0,0 +1,12 @@
+googleplay.com
+play-fe.googleapis.com
+play-games.googleusercontent.com
+play-lh.googleusercontent.com
+play.google.com
+play.googleapis.com
+lh3.googleusercontent.com
+connectivitycheck.gstatic.com
+android.clients.google.com
+prod-lt-playstoregatewayadapter-pa.googleapis.com
+beacons.gvt2.com
+gvt1.com

Services/hdrezka.lst

@@ -1,6 +1,7 @@
 hdrezka.ag
 hdrezka.ac
 hdrezka.me
+hd-rezka.tv
 voidboost.cc
 rezka.ag
 rezka.my

Services/hetzner.lst

@@ -0,0 +1 @@
+hetzner.com

Services/ovh.lst

@@ -0,0 +1 @@
+ovhcloud.com

convert.py

@@ -21,7 +21,9 @@ MetaSubnets = 'Subnets/IPv4/meta.lst'
 TwitterSubnets = 'Subnets/IPv4/twitter.lst'
 TelegramSubnets = 'Subnets/IPv4/telegram.lst'
 CloudflareSubnets = 'Subnets/IPv4/cloudflare.lst'
-ExcludeServices = {"telegram.lst", "cloudflare.lst"}
+HetznerSubnets = 'Subnets/IPv4/hetzner.lst'
+OVHSubnets = 'Subnets/IPv4/ovh.lst'
+ExcludeServices = {"telegram.lst", "cloudflare.lst", "googleai.lst", "googleplay.lst", 'hetzner.lst', 'ovh.lst'}
 
 def raw(src, out):
     domains = set()
@@ -222,7 +224,7 @@ def generate_srs_for_categories(directories, output_json_directory='JSON', compi
     os.makedirs(output_json_directory, exist_ok=True)
     os.makedirs(compiled_output_directory, exist_ok=True)
 
-    exclude = {"meta", "twitter", "discord"}
+    exclude = {"meta", "twitter", "discord", "telegram", "hetzner", "ovh"}
 
     for directory in directories:
         for filename in os.listdir(directory):
@@ -456,6 +458,8 @@ if __name__ == '__main__':
     generate_srs_combined(MetaSubnets, "Services/meta.lst")
     generate_srs_combined(TelegramSubnets, "Services/telegram.lst")
     generate_srs_combined(CloudflareSubnets, "Services/cloudflare.lst")
+    generate_srs_combined(HetznerSubnets, "Services/hetzner.lst")
+    generate_srs_combined(OVHSubnets, "Services/ovh.lst")
 
     # Xray domains
     prepare_dat_domains(directories, 'russia-inside')

get-subnets.py

@@ -13,10 +13,15 @@ IPv6_DIR = 'Subnets/IPv6'
 
 AS_META = '32934'
 AS_TWITTER = '13414'
+AS_HETZNER = '24940'
+AS_OVH = '16276'
+
 META = 'meta.lst'
 TWITTER = 'twitter.lst'
 TELEGRAM = 'telegram.lst'
 CLOUDFLARE = 'cloudflare.lst'
+HETZNER = 'hetzner.lst'
+OVH = 'ovh.lst'
 
 # From https://iplist.opencck.org/
 DISCORD_VOICE_V4='https://iplist.opencck.org/?format=text&data=cidr4&site=discord.gg&site=discord.media'
@@ -122,6 +127,16 @@ if __name__ == '__main__':
     write_subnets_to_file(ipv4_merged_twitter, f'{IPv4_DIR}/{TWITTER}')
     write_subnets_to_file(ipv6_merged_twitter, f'{IPv6_DIR}/{TWITTER}')
 
+    # Hetzner
+    ipv4_merged_hetzner, ipv6_merged_hetzner = process_subnets(subnet_list, AS_HETZNER)
+    write_subnets_to_file(ipv4_merged_hetzner, f'{IPv4_DIR}/{HETZNER}')
+    write_subnets_to_file(ipv6_merged_hetzner, f'{IPv6_DIR}/{HETZNER}')
+
+    # OVH
+    ipv4_merged_ovh, ipv6_merged_ovh = process_subnets(subnet_list, AS_OVH)
+    write_subnets_to_file(ipv4_merged_ovh, f'{IPv4_DIR}/{OVH}')
+    write_subnets_to_file(ipv6_merged_ovh, f'{IPv6_DIR}/{OVH}')
+
     # Discord voice
     ipv4_discord, ipv6_discord = download_ready_subnets(DISCORD_VOICE_V4, DISCORD_VOICE_V6)
     write_subnets_to_file(ipv4_discord, f'{IPv4_DIR}/{DISCORD}')