Update subnet

Fix discord(cloudflare) subnet regression

Subnets/IPv4/Discord.lst

@@ -7,3 +7,4 @@
 35.208.0.0/12
 5.200.14.128/25
 66.22.192.0/18
+104.16.0.0/12

Subnets/IPv4/Meta.lst

@@ -28,8 +28,8 @@
 129.134.140.0/24
 129.134.143.0/24
 129.134.144.0/24
-129.134.147.0/24
 129.134.148.0/23
+129.134.150.0/24
 129.134.154.0/23
 129.134.156.0/22
 129.134.160.0/22
@@ -37,7 +37,7 @@
 129.134.168.0/21
 129.134.176.0/20
 129.134.194.0/23
-129.134.196.0/24
+129.134.196.0/23
 157.240.0.0/17
 157.240.128.0/23
 157.240.131.0/24

Subnets/IPv4/cloudfront.lst

@@ -1,3 +1,4 @@
+23.228.249.0/24
 120.52.22.96/27
 23.228.222.0/24
 205.251.249.0/24
@@ -32,9 +33,11 @@
 205.251.208.0/20
 3.165.0.0/16
 3.168.0.0/14
+23.228.251.0/24
 65.9.128.0/18
 130.176.128.0/18
 23.228.221.0/24
+23.228.248.0/24
 58.254.138.0/25
 205.251.206.0/23
 54.230.208.0/20
@@ -73,6 +76,7 @@
 143.204.0.0/16
 144.220.0.0/16
 120.52.153.192/26
+23.228.250.0/24
 119.147.182.0/25
 120.232.236.0/25
 111.13.185.64/27
@@ -96,6 +100,7 @@
 13.35.0.0/16
 204.246.174.0/23
 3.164.128.0/17
+24.110.128.0/17
 3.172.0.0/18
 36.103.232.0/25
 119.147.182.128/26

Subnets/IPv4/digitalocean.lst

@@ -143,10 +143,9 @@
 168.144.0.0/21
 168.144.12.0/22
 168.144.16.0/20
-168.144.32.0/20
-168.144.48.0/22
+168.144.32.0/19
 168.144.64.0/18
-168.144.128.0/20
+168.144.128.0/18
 170.64.128.0/17
 174.138.0.0/17
 178.62.0.0/16

Subnets/IPv4/meta.lst

@@ -28,8 +28,8 @@
 129.134.140.0/24
 129.134.143.0/24
 129.134.144.0/24
-129.134.147.0/24
 129.134.148.0/23
+129.134.150.0/24
 129.134.154.0/23
 129.134.156.0/22
 129.134.160.0/22
@@ -37,7 +37,7 @@
 129.134.168.0/21
 129.134.176.0/20
 129.134.194.0/23
-129.134.196.0/24
+129.134.196.0/23
 157.240.0.0/17
 157.240.128.0/23
 157.240.131.0/24

Subnets/IPv4/ovh.lst

@@ -1,18 +1,14 @@
 2.26.132.0/24
 2.26.153.0/24
 2.26.166.0/24
-2.27.172.0/24
-2.27.243.0/24
+2.27.97.0/24
+2.27.117.0/24
 2.58.172.0/24
 5.39.0.0/17
-5.133.101.0/24
 5.135.0.0/16
 5.172.36.0/24
 5.175.162.0/24
-5.175.164.0/24
 5.175.168.0/24
-5.175.179.0/24
-5.175.187.0/24
 5.175.195.0/24
 5.178.106.0/24
 5.178.110.0/24
@@ -32,7 +28,6 @@
 8.33.96.0/21
 8.33.128.0/21
 8.33.136.0/23
-14.137.226.0/24
 15.204.0.0/16
 15.235.0.0/16
 23.92.224.0/19
@@ -72,12 +67,10 @@
 43.226.0.0/23
 45.39.79.0/24
 45.43.142.0/24
-45.62.167.0/24
 45.66.82.0/23
 45.92.60.0/22
 45.94.49.0/24
 45.112.195.0/24
-45.140.187.0/24
 45.149.63.0/24
 45.149.185.0/24
 45.149.243.0/24
@@ -94,6 +87,7 @@
 46.203.128.0/22
 46.203.140.0/22
 46.236.211.0/24
+46.236.217.0/24
 46.244.32.0/20
 50.114.91.0/24
 51.38.0.0/16
@@ -105,6 +99,7 @@
 51.83.0.0/16
 51.89.0.0/16
 51.91.0.0/16
+51.146.249.0/24
 51.161.0.0/16
 51.178.0.0/16
 51.195.0.0/16
@@ -118,7 +113,6 @@
 62.122.126.0/24
 62.141.62.0/24
 63.251.117.0/24
-64.81.171.0/24
 64.94.92.0/23
 64.95.150.0/23
 64.225.244.0/23
@@ -128,12 +122,14 @@
 66.92.161.0/24
 66.92.168.0/24
 66.179.218.0/23
-67.63.54.0/24
 68.65.214.0/24
 68.232.108.0/24
 69.17.37.0/24
 69.72.31.0/24
+72.244.230.0/24
 72.251.0.0/17
+74.0.7.0/24
+76.9.104.0/23
 77.73.34.0/24
 77.74.120.0/23
 77.74.122.0/24
@@ -143,12 +139,14 @@
 77.87.123.0/24
 77.107.88.0/24
 77.246.211.0/24
+79.99.146.0/24
 79.110.61.0/24
 79.137.0.0/17
 79.172.216.0/24
 80.71.226.0/24
 80.87.206.0/24
 80.240.94.0/24
+81.168.80.0/24
 82.21.139.0/24
 82.22.15.0/24
 82.22.25.0/24
@@ -174,7 +172,6 @@
 82.39.156.0/22
 82.39.176.0/21
 82.39.216.0/22
-82.39.221.0/24
 82.39.224.0/22
 82.40.0.0/20
 82.40.16.0/22
@@ -197,6 +194,8 @@
 82.41.212.0/22
 82.41.224.0/21
 82.47.36.0/23
+82.47.63.0/24
+82.47.98.0/24
 82.47.185.0/24
 82.117.230.0/23
 82.117.245.0/24
@@ -208,6 +207,7 @@
 82.152.75.0/24
 82.152.98.0/24
 82.152.109.0/24
+82.152.118.0/24
 82.152.226.0/24
 82.152.240.0/24
 82.152.243.0/24
@@ -221,24 +221,28 @@
 84.32.10.0/24
 85.217.144.0/23
 86.54.26.0/24
+87.76.137.0/24
 87.76.170.0/24
 87.98.128.0/17
+87.229.40.0/24
 87.229.51.0/24
+87.232.84.0/24
 88.216.221.0/24
 88.218.34.0/24
 89.19.44.0/24
+89.21.84.0/24
 89.125.172.0/24
 89.126.233.0/24
-89.144.22.0/24
-89.144.54.0/24
+89.144.46.0/24
 91.90.88.0/21
 91.121.0.0/16
-91.124.14.0/24
 91.124.192.0/24
 91.124.199.0/24
 91.134.0.0/16
 91.198.19.0/24
 91.199.32.0/24
+91.206.176.0/24
+91.209.58.0/24
 91.213.192.0/24
 91.224.117.0/24
 91.246.38.0/24
@@ -253,16 +257,20 @@
 93.114.69.0/24
 93.174.111.0/24
 94.23.0.0/16
+94.183.158.0/24
 95.81.72.0/22
 96.62.105.0/24
 103.5.12.0/22
 103.82.16.0/22
+103.166.228.0/24
 103.167.178.0/23
+103.168.196.0/23
 103.170.116.0/23
 103.189.191.0/24
 103.199.80.0/24
 103.206.156.0/23
 103.239.50.0/24
+103.244.227.0/24
 104.164.137.0/24
 104.167.16.0/24
 104.222.182.0/24
@@ -276,14 +284,13 @@
 108.174.65.0/24
 109.105.195.0/24
 109.110.184.0/24
-109.122.1.0/24
 109.122.15.0/24
 109.122.20.0/24
 109.122.58.0/24
-109.122.194.0/23
 109.176.40.0/21
 109.176.48.0/21
 109.176.153.0/24
+109.232.89.0/24
 114.129.44.0/24
 117.18.104.0/24
 123.100.227.0/24
@@ -293,15 +300,17 @@
 135.125.0.0/16
 135.148.0.0/16
 136.0.95.0/24
+136.143.200.0/24
 137.74.0.0/16
 137.83.50.0/24
-138.249.2.0/24
 139.99.0.0/16
 141.11.1.0/24
 141.11.18.0/24
 141.11.21.0/24
 141.11.31.0/24
+141.11.32.0/24
 141.11.39.0/24
+141.11.40.0/24
 141.11.45.0/24
 141.11.74.0/23
 141.11.107.0/24
@@ -338,6 +347,7 @@
 142.252.51.0/24
 142.252.115.0/24
 142.252.127.0/24
+143.14.59.0/24
 143.14.231.0/24
 143.20.66.0/24
 143.20.195.0/24
@@ -350,8 +360,6 @@
 144.225.178.0/24
 145.79.151.0/24
 145.239.0.0/16
-146.19.38.0/24
-146.19.48.0/24
 146.59.0.0/16
 146.103.10.0/24
 147.135.0.0/16
@@ -362,13 +370,13 @@
 148.135.192.0/24
 148.222.40.0/22
 148.222.120.0/22
+149.5.230.0/24
+149.18.101.0/24
 149.56.0.0/16
 149.202.0.0/16
 151.80.0.0/16
 151.240.1.0/24
-151.240.24.0/24
 151.241.68.0/24
-151.242.59.0/24
 151.242.103.0/24
 151.243.6.0/24
 151.243.120.0/24
@@ -380,17 +388,20 @@
 151.245.238.0/24
 151.246.177.0/24
 151.246.190.0/24
-151.247.15.0/24
 151.247.37.0/24
 151.247.192.0/24
+151.247.205.0/24
 151.247.217.0/24
 152.228.128.0/17
 155.117.5.0/24
+155.117.6.0/24
+155.117.13.0/24
 155.117.127.0/24
-155.117.210.0/24
+155.117.197.0/24
 155.117.212.0/23
 155.117.233.0/24
 155.117.234.0/24
+157.254.0.0/24
 157.254.30.0/24
 158.69.0.0/16
 158.94.170.0/24
@@ -414,7 +425,7 @@
 167.148.193.0/24
 167.234.38.0/24
 167.253.62.0/24
-168.222.23.0/24
+168.222.43.0/24
 168.222.49.0/24
 168.222.183.0/24
 168.222.243.0/24
@@ -423,20 +434,18 @@
 172.83.201.0/24
 176.31.0.0/16
 178.32.0.0/15
+178.83.45.0/24
+178.83.46.0/24
 180.131.145.0/24
 181.41.194.0/24
 184.174.96.0/23
-184.174.99.0/24
 185.2.48.0/23
 185.5.39.0/24
 185.10.200.0/22
 185.12.32.0/23
-185.15.68.0/22
-185.19.33.0/24
 185.30.212.0/23
 185.45.160.0/22
 185.68.137.0/24
-185.79.139.0/24
 185.95.157.0/24
 185.101.104.0/24
 185.113.138.0/24
@@ -459,19 +468,17 @@
 185.228.207.0/24
 185.240.238.0/24
 185.241.50.0/23
-185.244.29.0/24
-185.244.30.0/23
 185.250.41.0/24
 185.251.234.0/24
 185.255.28.0/24
 188.68.164.0/22
 188.165.0.0/16
-188.209.140.0/24
 188.255.193.0/24
-191.44.97.0/24
+191.44.92.0/24
 191.44.98.0/23
 191.96.140.0/23
 191.101.150.0/24
+191.101.218.0/24
 192.30.124.0/24
 192.70.246.0/23
 192.95.0.0/18
@@ -495,17 +502,18 @@
 193.243.147.0/24
 194.59.183.0/24
 194.61.44.0/23
+194.62.119.0/24
 194.76.36.0/23
 194.76.173.0/24
 194.87.205.0/24
 194.147.159.0/24
-194.150.165.0/24
 194.156.227.0/24
 194.164.230.0/24
 195.20.146.0/24
 195.38.19.0/24
 195.62.72.0/23
 195.66.30.0/23
+195.144.5.0/24
 198.27.64.0/18
 198.49.103.0/24
 198.50.128.0/17
@@ -530,6 +538,7 @@
 207.180.13.0/24
 207.230.127.0/24
 207.244.209.0/24
+208.64.136.0/21
 209.71.36.0/24
 209.101.164.0/24
 209.112.80.0/22
@@ -540,6 +549,7 @@
 212.74.39.0/24
 212.100.171.0/24
 212.134.90.0/24
+212.135.134.0/24
 212.135.160.0/24
 212.192.253.0/24
 213.32.0.0/17
@@ -550,7 +560,6 @@
 213.186.32.0/19
 213.218.214.0/24
 213.251.128.0/18
-216.24.221.0/24
 216.183.120.0/24
 216.203.15.0/24
 216.211.218.0/24

Subnets/IPv6/Meta.lst

@@ -7,13 +7,12 @@
 2a03:2887:ff09::/48
 2a03:2887:ff0a::/48
 2a03:2887:ff1b::/48
-2a03:2887:ff1c::/48
 2a03:2887:ff1e::/48
 2a03:2887:ff20::/48
 2a03:2887:ff22::/47
 2a03:2887:ff27::/48
 2a03:2887:ff28::/46
-2a03:2887:ff2f::/48
+2a03:2887:ff2e::/47
 2a03:2887:ff30::/48
 2a03:2887:ff33::/48
 2a03:2887:ff37::/48
@@ -32,6 +31,7 @@
 2a03:2887:ff62::/47
 2a03:2887:ff64::/46
 2a03:2887:ff68::/46
+2a03:2887:ff6f::/48
 2a03:2887:ff70::/46
 2c0f:ef78:3::/48
 2c0f:ef78:5::/48

Subnets/IPv6/cloudfront.lst

@@ -21,6 +21,7 @@
 2600:9000:5308::/45
 2600:9000:f534::/46
 2600:f0f0:601::/48
+2600:9000:6000::/36
 2600:9000:f520::/44
 2600:9000:5320::/43
 2600:9000:5310::/44

Subnets/IPv6/hetzner.lst

@@ -1,5 +1,4 @@
 2a01:4f8::/31
 2a01:4ff:ff01::/48
 2a06:be80::/29
-2a11:e980::/29
 2a12:2240::/29

Subnets/IPv6/meta.lst

@@ -7,13 +7,12 @@
 2a03:2887:ff09::/48
 2a03:2887:ff0a::/48
 2a03:2887:ff1b::/48
-2a03:2887:ff1c::/48
 2a03:2887:ff1e::/48
 2a03:2887:ff20::/48
 2a03:2887:ff22::/47
 2a03:2887:ff27::/48
 2a03:2887:ff28::/46
-2a03:2887:ff2f::/48
+2a03:2887:ff2e::/47
 2a03:2887:ff30::/48
 2a03:2887:ff33::/48
 2a03:2887:ff37::/48
@@ -32,6 +31,7 @@
 2a03:2887:ff62::/47
 2a03:2887:ff64::/46
 2a03:2887:ff68::/46
+2a03:2887:ff6f::/48
 2a03:2887:ff70::/46
 2c0f:ef78:3::/48
 2c0f:ef78:5::/48

convert.py

@@ -292,7 +292,12 @@ if __name__ == '__main__':
     # Ukraine
     Path("Ukraine").mkdir(parents=True, exist_ok=True)
 
-    urllib.request.urlretrieve("https://uablacklist.net/domains.txt", "uablacklist-domains.lst")
+    with urllib.request.urlopen("https://raw.githubusercontent.com/uablacklist/uablacklist.net/master/gen/scripts/domains.json") as resp:
+        uablacklist_data = json.loads(resp.read().decode())
+    with open("uablacklist-domains.lst", 'w') as f:
+        for domain in uablacklist_data.keys():
+            f.write(f"{domain}\n")
+
     urllib.request.urlretrieve("https://raw.githubusercontent.com/zhovner/zaborona_help/master/config/domainsdb.txt", "zaboronahelp-domains.lst")
 
     ua_lists = ['uablacklist-domains.lst', 'zaboronahelp-domains.lst', uaDomainsSrc]

get-subnets.py

@@ -36,6 +36,11 @@ DISCORD_VOICE_V6='https://iplist.opencck.org/?format=text&data=cidr6&site=discor
 
 DISCORD = 'discord.lst'
 
+# todo: parse this dynamically!
+DISCORD_CF_V4 = [
+    '104.16.0.0/12',
+]
+
 TELEGRAM_CIDR_URL = 'https://core.telegram.org/resources/cidr.txt'
 
 CLOUDFLARE_V4='https://www.cloudflare.com/ips-v4'
@@ -161,6 +166,7 @@ if __name__ == '__main__':
     # Discord voice
     print(f'Fetching {DISCORD}...')
     ipv4_discord, ipv6_discord = download_subnets(DISCORD_VOICE_V4, DISCORD_VOICE_V6)
+    ipv4_discord.extend(DISCORD_CF_V4)
     write_subnets_to_file(ipv4_discord, f'{IPv4_DIR}/{DISCORD}')
     write_subnets_to_file(ipv6_discord, f'{IPv6_DIR}/{DISCORD}')