server/RouteController.cpp

   1 /*
   2  * Copyright (C) 2014 The Android Open Source Project
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include "RouteController.h"
  18
  19 #include <arpa/inet.h>
  20 #include <errno.h>
  21 #include <fcntl.h>
  22 #include <linux/fib_rules.h>
  23 #include <net/if.h>
  24 #include <sys/stat.h>
  25
  26 #include <map>
  27
  28 #include "Fwmark.h"
  29 #include "UidRanges.h"
  30
  31 #define LOG_TAG "Netd"
  32 #include "log/log.h"
  33 #include "logwrap/logwrap.h"
  34 #include "resolv_netid.h"
  35
  36 namespace {
  37
  38 // BEGIN CONSTANTS --------------------------------------------------------------------------------
  39
  40 const uint32_t RULE_PRIORITY_VPN_OVERRIDE_SYSTEM = 10000;
  41 const uint32_t RULE_PRIORITY_VPN_OUTPUT_TO_LOCAL = 11000;
  42 const uint32_t RULE_PRIORITY_SECURE_VPN          = 12000;
  43 const uint32_t RULE_PRIORITY_EXPLICIT_NETWORK    = 13000;
  44 const uint32_t RULE_PRIORITY_OUTPUT_INTERFACE    = 14000;
  45 const uint32_t RULE_PRIORITY_LEGACY_SYSTEM       = 15000;
  46 const uint32_t RULE_PRIORITY_LEGACY_NETWORK      = 16000;
  47 const uint32_t RULE_PRIORITY_LOCAL_NETWORK       = 17000;
  48 const uint32_t RULE_PRIORITY_TETHERING           = 18000;
  49 const uint32_t RULE_PRIORITY_IMPLICIT_NETWORK    = 19000;
  50 const uint32_t RULE_PRIORITY_BYPASSABLE_VPN      = 20000;
  51 const uint32_t RULE_PRIORITY_VPN_FALLTHROUGH     = 21000;
  52 const uint32_t RULE_PRIORITY_DEFAULT_NETWORK     = 22000;
  53 const uint32_t RULE_PRIORITY_DIRECTLY_CONNECTED  = 23000;
  54 const uint32_t RULE_PRIORITY_UNREACHABLE         = 32000;
  55
  56 const uint32_t ROUTE_TABLE_LOCAL_NETWORK  = 97;
  57 const uint32_t ROUTE_TABLE_LEGACY_NETWORK = 98;
  58 const uint32_t ROUTE_TABLE_LEGACY_SYSTEM  = 99;
  59
  60 const char* const ROUTE_TABLE_NAME_LOCAL_NETWORK  = "local_network";
  61 const char* const ROUTE_TABLE_NAME_LEGACY_NETWORK = "legacy_network";
  62 const char* const ROUTE_TABLE_NAME_LEGACY_SYSTEM  = "legacy_system";
  63
  64 const char* const ROUTE_TABLE_NAME_LOCAL = "local";
  65 const char* const ROUTE_TABLE_NAME_MAIN  = "main";
  66
  67 // TODO: These values aren't defined by the Linux kernel, because our UID routing changes are not
  68 // upstream (yet?), so we can't just pick them up from kernel headers. When (if?) the changes make
  69 // it upstream, we'll remove this and rely on the kernel header values. For now, add a static assert
  70 // that will warn us if upstream has given these values some other meaning.
  71 const uint16_t FRA_UID_START = 18;
  72 const uint16_t FRA_UID_END   = 19;
  73 static_assert(FRA_UID_START > FRA_MAX,
  74              "Android-specific FRA_UID_{START,END} values also assigned in Linux uapi. "
  75              "Check that these values match what the kernel does and then update this assertion.");
  76
  77 const uint16_t NETLINK_REQUEST_FLAGS = NLM_F_REQUEST | NLM_F_ACK;
  78 const uint16_t NETLINK_CREATE_REQUEST_FLAGS = NETLINK_REQUEST_FLAGS | NLM_F_CREATE | NLM_F_EXCL;
  79
  80 const sockaddr_nl NETLINK_ADDRESS = {AF_NETLINK, 0, 0, 0};
  81
  82 const uint8_t AF_FAMILIES[] = {AF_INET, AF_INET6};
  83
  84 const char* const IP_VERSIONS[] = {"-4", "-6"};
  85
  86 const uid_t UID_ROOT = 0;
  87 const char* const IIF_NONE = NULL;
  88 const char* const OIF_NONE = NULL;
  89 const bool ACTION_ADD = true;
  90 const bool ACTION_DEL = false;
  91 const bool MODIFY_NON_UID_BASED_RULES = true;
  92
  93 const char* const RT_TABLES_PATH = "/data/misc/net/rt_tables";
  94 const int RT_TABLES_FLAGS = O_CREAT | O_TRUNC | O_WRONLY | O_NOFOLLOW | O_CLOEXEC;
  95 const mode_t RT_TABLES_MODE = S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH;  // mode 0644, rw-r--r--
  96
  97 const unsigned ROUTE_FLUSH_ATTEMPTS = 2;
  98
  99 // Avoids "non-constant-expression cannot be narrowed from type 'unsigned int' to 'unsigned short'"
 100 // warnings when using RTA_LENGTH(x) inside static initializers (even when x is already uint16_t).
 101 constexpr uint16_t U16_RTA_LENGTH(uint16_t x) {
 102     return RTA_LENGTH(x);
 103 }
 104
 105 // These are practically const, but can't be declared so, because they are used to initialize
 106 // non-const pointers ("void* iov_base") in iovec arrays.
 107 rtattr FRATTR_PRIORITY  = { U16_RTA_LENGTH(sizeof(uint32_t)), FRA_PRIORITY };
 108 rtattr FRATTR_TABLE     = { U16_RTA_LENGTH(sizeof(uint32_t)), FRA_TABLE };
 109 rtattr FRATTR_FWMARK    = { U16_RTA_LENGTH(sizeof(uint32_t)), FRA_FWMARK };
 110 rtattr FRATTR_FWMASK    = { U16_RTA_LENGTH(sizeof(uint32_t)), FRA_FWMASK };
 111 rtattr FRATTR_UID_START = { U16_RTA_LENGTH(sizeof(uid_t)),    FRA_UID_START };
 112 rtattr FRATTR_UID_END   = { U16_RTA_LENGTH(sizeof(uid_t)),    FRA_UID_END };
 113
 114 rtattr RTATTR_TABLE     = { U16_RTA_LENGTH(sizeof(uint32_t)), RTA_TABLE };
 115 rtattr RTATTR_OIF       = { U16_RTA_LENGTH(sizeof(uint32_t)), RTA_OIF };
 116
 117 uint8_t PADDING_BUFFER[RTA_ALIGNTO] = {0, 0, 0, 0};
 118
 119 // END CONSTANTS ----------------------------------------------------------------------------------
 120
 121 // No locks needed because RouteController is accessed only from one thread (in CommandListener).
 122 std::map<std::string, uint32_t> interfaceToTable;
 123
 124 uint32_t getRouteTableForInterface(const char* interface) {
 125     uint32_t index = if_nametoindex(interface);
 126     if (index) {
 127         index += RouteController::ROUTE_TABLE_OFFSET_FROM_INDEX;
 128         interfaceToTable[interface] = index;
 129         return index;
 130     }
 131     // If the interface goes away if_nametoindex() will return 0 but we still need to know
 132     // the index so we can remove the rules and routes.
 133     auto iter = interfaceToTable.find(interface);
 134     if (iter == interfaceToTable.end()) {
 135         ALOGE("cannot find interface %s", interface);
 136         return RT_TABLE_UNSPEC;
 137     }
 138     return iter->second;
 139 }
 140
 141 void addTableName(uint32_t table, const std::string& name, std::string* contents) {
 142     char tableString[UINT32_STRLEN];
 143     snprintf(tableString, sizeof(tableString), "%u", table);
 144     *contents += tableString;
 145     *contents += " ";
 146     *contents += name;
 147     *contents += "\n";
 148 }
 149
 150 // Doesn't return success/failure as the file is optional; it's okay if we fail to update it.
 151 void updateTableNamesFile() {
 152     std::string contents;
 153
 154     addTableName(RT_TABLE_LOCAL, ROUTE_TABLE_NAME_LOCAL, &contents);
 155     addTableName(RT_TABLE_MAIN,  ROUTE_TABLE_NAME_MAIN,  &contents);
 156
 157     addTableName(ROUTE_TABLE_LOCAL_NETWORK,  ROUTE_TABLE_NAME_LOCAL_NETWORK,  &contents);
 158     addTableName(ROUTE_TABLE_LEGACY_NETWORK, ROUTE_TABLE_NAME_LEGACY_NETWORK, &contents);
 159     addTableName(ROUTE_TABLE_LEGACY_SYSTEM,  ROUTE_TABLE_NAME_LEGACY_SYSTEM,  &contents);
 160
 161     for (const auto& entry : interfaceToTable) {
 162         addTableName(entry.second, entry.first, &contents);
 163     }
 164
 165     int fd = open(RT_TABLES_PATH, RT_TABLES_FLAGS, RT_TABLES_MODE);
 166     if (fd == -1) {
 167         ALOGE("failed to create %s (%s)", RT_TABLES_PATH, strerror(errno));
 168         return;
 169     }
 170     // File creation is affected by umask, so make sure the right mode bits are set.
 171     if (fchmod(fd, RT_TABLES_MODE) == -1) {
 172         ALOGE("failed to set mode 0%o on %s (%s)", RT_TABLES_MODE, RT_TABLES_PATH, strerror(errno));
 173     }
 174     ssize_t bytesWritten = write(fd, contents.data(), contents.size());
 175     if (bytesWritten != static_cast<ssize_t>(contents.size())) {
 176         ALOGE("failed to write to %s (%zd vs %zu bytes) (%s)", RT_TABLES_PATH, bytesWritten,
 177               contents.size(), strerror(errno));
 178     }
 179     close(fd);
 180 }
 181
 182 // Sends a netlink request and expects an ack.
 183 // |iov| is an array of struct iovec that contains the netlink message payload.
 184 // The netlink header is generated by this function based on |action| and |flags|.
 185 // Returns -errno if there was an error or if the kernel reported an error.
 186 WARN_UNUSED_RESULT int sendNetlinkRequest(uint16_t action, uint16_t flags, iovec* iov, int iovlen) {
 187     nlmsghdr nlmsg = {
 188         .nlmsg_type = action,
 189         .nlmsg_flags = flags,
 190     };
 191     iov[0].iov_base = &nlmsg;
 192     iov[0].iov_len = sizeof(nlmsg);
 193     for (int i = 0; i < iovlen; ++i) {
 194         nlmsg.nlmsg_len += iov[i].iov_len;
 195     }
 196
 197     int ret;
 198     struct {
 199         nlmsghdr msg;
 200         nlmsgerr err;
 201     } response;
 202
 203     int sock = socket(AF_NETLINK, SOCK_DGRAM, NETLINK_ROUTE);
 204     if (sock != -1 &&
 205             connect(sock, reinterpret_cast<const sockaddr*>(&NETLINK_ADDRESS),
 206                     sizeof(NETLINK_ADDRESS)) != -1 &&
 207             writev(sock, iov, iovlen) != -1 &&
 208             (ret = recv(sock, &response, sizeof(response), 0)) != -1) {
 209         if (ret == sizeof(response)) {
 210             ret = response.err.error;  // Netlink errors are negative errno.
 211             if (ret) {
 212                 ALOGE("netlink response contains error (%s)", strerror(-ret));
 213             }
 214         } else {
 215             ALOGE("bad netlink response message size (%d != %zu)", ret, sizeof(response));
 216             ret = -EBADMSG;
 217         }
 218     } else {
 219         ALOGE("netlink socket/connect/writev/recv failed (%s)", strerror(errno));
 220         ret = -errno;
 221     }
 222
 223     if (sock != -1) {
 224         close(sock);
 225     }
 226
 227     return ret;
 228 }
 229
 230 // Returns 0 on success or negative errno on failure.
 231 int padInterfaceName(const char* input, char* name, size_t* length, uint16_t* padding) {
 232     if (!input) {
 233         *length = 0;
 234         *padding = 0;
 235         return 0;
 236     }
 237     *length = strlcpy(name, input, IFNAMSIZ) + 1;
 238     if (*length > IFNAMSIZ) {
 239         ALOGE("interface name too long (%zu > %u)", *length, IFNAMSIZ);
 240         return -ENAMETOOLONG;
 241     }
 242     *padding = RTA_SPACE(*length) - RTA_LENGTH(*length);
 243     return 0;
 244 }
 245
 246 // Adds or removes a routing rule for IPv4 and IPv6.
 247 //
 248 // + If |table| is non-zero, the rule points at the specified routing table. Otherwise, the rule
 249 //   returns ENETUNREACH.
 250 // + If |mask| is non-zero, the rule matches the specified fwmark and mask. Otherwise, |fwmark| is
 251 //   ignored.
 252 // + If |iif| is non-NULL, the rule matches the specified incoming interface.
 253 // + If |oif| is non-NULL, the rule matches the specified outgoing interface.
 254 // + If |uidStart| and |uidEnd| are not INVALID_UID, the rule matches packets from UIDs in that
 255 //   range (inclusive). Otherwise, the rule matches packets from all UIDs.
 256 //
 257 // Returns 0 on success or negative errno on failure.
 258 WARN_UNUSED_RESULT int modifyIpRule(uint16_t action, uint32_t priority, uint32_t table,
 259                                     uint32_t fwmark, uint32_t mask, const char* iif,
 260                                     const char* oif, uid_t uidStart, uid_t uidEnd) {
 261     // Ensure that if you set a bit in the fwmark, it's not being ignored by the mask.
 262     if (fwmark & ~mask) {
 263         ALOGE("mask 0x%x does not select all the bits set in fwmark 0x%x", mask, fwmark);
 264         return -ERANGE;
 265     }
 266
 267     // Interface names must include exactly one terminating NULL and be properly padded, or older
 268     // kernels will refuse to delete rules.
 269     char iifName[IFNAMSIZ], oifName[IFNAMSIZ];
 270     size_t iifLength, oifLength;
 271     uint16_t iifPadding, oifPadding;
 272     if (int ret = padInterfaceName(iif, iifName, &iifLength, &iifPadding)) {
 273         return ret;
 274     }
 275     if (int ret = padInterfaceName(oif, oifName, &oifLength, &oifPadding)) {
 276         return ret;
 277     }
 278
 279     // Either both start and end UID must be specified, or neither.
 280     if ((uidStart == INVALID_UID) != (uidEnd == INVALID_UID)) {
 281         ALOGE("incompatible start and end UIDs (%u vs %u)", uidStart, uidEnd);
 282         return -EUSERS;
 283     }
 284     bool isUidRule = (uidStart != INVALID_UID);
 285
 286     // Assemble a rule request and put it in an array of iovec structures.
 287     fib_rule_hdr rule = {
 288         .action = static_cast<uint8_t>(table != RT_TABLE_UNSPEC ? FR_ACT_TO_TBL :
 289                                                                   FR_ACT_UNREACHABLE),
 290     };
 291
 292     rtattr fraIifName = { U16_RTA_LENGTH(iifLength), FRA_IIFNAME };
 293     rtattr fraOifName = { U16_RTA_LENGTH(oifLength), FRA_OIFNAME };
 294
 295     iovec iov[] = {
 296         { NULL,              0 },
 297         { &rule,             sizeof(rule) },
 298         { &FRATTR_PRIORITY,  sizeof(FRATTR_PRIORITY) },
 299         { &priority,         sizeof(priority) },
 300         { &FRATTR_TABLE,     table != RT_TABLE_UNSPEC ? sizeof(FRATTR_TABLE) : 0 },
 301         { &table,            table != RT_TABLE_UNSPEC ? sizeof(table) : 0 },
 302         { &FRATTR_FWMARK,    mask ? sizeof(FRATTR_FWMARK) : 0 },
 303         { &fwmark,           mask ? sizeof(fwmark) : 0 },
 304         { &FRATTR_FWMASK,    mask ? sizeof(FRATTR_FWMASK) : 0 },
 305         { &mask,             mask ? sizeof(mask) : 0 },
 306         { &FRATTR_UID_START, isUidRule ? sizeof(FRATTR_UID_START) : 0 },
 307         { &uidStart,         isUidRule ? sizeof(uidStart) : 0 },
 308         { &FRATTR_UID_END,   isUidRule ? sizeof(FRATTR_UID_END) : 0 },
 309         { &uidEnd,           isUidRule ? sizeof(uidEnd) : 0 },
 310         { &fraIifName,       iif != IIF_NONE ? sizeof(fraIifName) : 0 },
 311         { iifName,           iifLength },
 312         { PADDING_BUFFER,    iifPadding },
 313         { &fraOifName,       oif != OIF_NONE ? sizeof(fraOifName) : 0 },
 314         { oifName,           oifLength },
 315         { PADDING_BUFFER,    oifPadding },
 316     };
 317
 318     uint16_t flags = (action == RTM_NEWRULE) ? NETLINK_CREATE_REQUEST_FLAGS : NETLINK_REQUEST_FLAGS;
 319     for (size_t i = 0; i < ARRAY_SIZE(AF_FAMILIES); ++i) {
 320         rule.family = AF_FAMILIES[i];
 321         if (int ret = sendNetlinkRequest(action, flags, iov, ARRAY_SIZE(iov))) {
 322             return ret;
 323         }
 324     }
 325
 326     return 0;
 327 }
 328
 329 WARN_UNUSED_RESULT int modifyIpRule(uint16_t action, uint32_t priority, uint32_t table,
 330                                     uint32_t fwmark, uint32_t mask) {
 331     return modifyIpRule(action, priority, table, fwmark, mask, IIF_NONE, OIF_NONE, INVALID_UID,
 332                         INVALID_UID);
 333 }
 334
 335 // Adds or deletes an IPv4 or IPv6 route.
 336 // Returns 0 on success or negative errno on failure.
 337 WARN_UNUSED_RESULT int modifyIpRoute(uint16_t action, uint32_t table, const char* interface,
 338                                      const char* destination, const char* nexthop) {
 339     // At least the destination must be non-null.
 340     if (!destination) {
 341         ALOGE("null destination");
 342         return -EFAULT;
 343     }
 344
 345     // Parse the prefix.
 346     uint8_t rawAddress[sizeof(in6_addr)];
 347     uint8_t family;
 348     uint8_t prefixLength;
 349     int rawLength = parsePrefix(destination, &family, rawAddress, sizeof(rawAddress),
 350                                 &prefixLength);
 351     if (rawLength < 0) {
 352         ALOGE("parsePrefix failed for destination %s (%s)", destination, strerror(-rawLength));
 353         return rawLength;
 354     }
 355
 356     if (static_cast<size_t>(rawLength) > sizeof(rawAddress)) {
 357         ALOGE("impossible! address too long (%d vs %zu)", rawLength, sizeof(rawAddress));
 358         return -ENOBUFS;  // Cannot happen; parsePrefix only supports IPv4 and IPv6.
 359     }
 360
 361     uint8_t type = RTN_UNICAST;
 362     uint32_t ifindex;
 363     uint8_t rawNexthop[sizeof(in6_addr)];
 364
 365     if (nexthop && !strcmp(nexthop, "unreachable")) {
 366         type = RTN_UNREACHABLE;
 367         // 'interface' is likely non-NULL, as the caller (modifyRoute()) likely used it to lookup
 368         // the table number. But it's an error to specify an interface ("dev ...") or a nexthop for
 369         // unreachable routes, so nuke them. (IPv6 allows them to be specified; IPv4 doesn't.)
 370         interface = OIF_NONE;
 371         nexthop = NULL;
 372     } else if (nexthop && !strcmp(nexthop, "throw")) {
 373         type = RTN_THROW;
 374         interface = OIF_NONE;
 375         nexthop = NULL;
 376     } else {
 377         // If an interface was specified, find the ifindex.
 378         if (interface != OIF_NONE) {
 379             ifindex = if_nametoindex(interface);
 380             if (!ifindex) {
 381                 ALOGE("cannot find interface %s", interface);
 382                 return -ENODEV;
 383             }
 384         }
 385
 386         // If a nexthop was specified, parse it as the same family as the prefix.
 387         if (nexthop && inet_pton(family, nexthop, rawNexthop) <= 0) {
 388             ALOGE("inet_pton failed for nexthop %s", nexthop);
 389             return -EINVAL;
 390         }
 391     }
 392
 393     // Assemble a rtmsg and put it in an array of iovec structures.
 394     rtmsg route = {
 395         .rtm_protocol = RTPROT_STATIC,
 396         .rtm_type = type,
 397         .rtm_family = family,
 398         .rtm_dst_len = prefixLength,
 399         .rtm_scope = static_cast<uint8_t>(nexthop ? RT_SCOPE_UNIVERSE : RT_SCOPE_LINK),
 400     };
 401
 402     rtattr rtaDst     = { U16_RTA_LENGTH(rawLength), RTA_DST };
 403     rtattr rtaGateway = { U16_RTA_LENGTH(rawLength), RTA_GATEWAY };
 404
 405     iovec iov[] = {
 406         { NULL,          0 },
 407         { &route,        sizeof(route) },
 408         { &RTATTR_TABLE, sizeof(RTATTR_TABLE) },
 409         { &table,        sizeof(table) },
 410         { &rtaDst,       sizeof(rtaDst) },
 411         { rawAddress,    static_cast<size_t>(rawLength) },
 412         { &RTATTR_OIF,   interface != OIF_NONE ? sizeof(RTATTR_OIF) : 0 },
 413         { &ifindex,      interface != OIF_NONE ? sizeof(ifindex) : 0 },
 414         { &rtaGateway,   nexthop ? sizeof(rtaGateway) : 0 },
 415         { rawNexthop,    nexthop ? static_cast<size_t>(rawLength) : 0 },
 416     };
 417
 418     uint16_t flags = (action == RTM_NEWROUTE) ? NETLINK_CREATE_REQUEST_FLAGS :
 419                                                 NETLINK_REQUEST_FLAGS;
 420     return sendNetlinkRequest(action, flags, iov, ARRAY_SIZE(iov));
 421 }
 422
 423 // An iptables rule to mark incoming packets on a network with the netId of the network.
 424 //
 425 // This is so that the kernel can:
 426 // + Use the right fwmark for (and thus correctly route) replies (e.g.: TCP RST, ICMP errors, ping
 427 //   replies, SYN-ACKs, etc).
 428 // + Mark sockets that accept connections from this interface so that the connection stays on the
 429 //   same interface.
 430 WARN_UNUSED_RESULT int modifyIncomingPacketMark(unsigned netId, const char* interface,
 431                                                 Permission permission, bool add) {
 432     Fwmark fwmark;
 433
 434     fwmark.netId = netId;
 435     fwmark.explicitlySelected = true;
 436     fwmark.protectedFromVpn = true;
 437     fwmark.permission = permission;
 438
 439     char markString[UINT32_HEX_STRLEN];
 440     snprintf(markString, sizeof(markString), "0x%x", fwmark.intValue);
 441
 442     if (execIptables(V4V6, "-t", "mangle", add ? "-A" : "-D", "INPUT", "-i", interface, "-j",
 443                      "MARK", "--set-mark", markString, NULL)) {
 444         ALOGE("failed to change iptables rule that sets incoming packet mark");
 445         return -EREMOTEIO;
 446     }
 447
 448     return 0;
 449 }
 450
 451 // A rule to route responses to the local network forwarded via the VPN.
 452 //
 453 // When a VPN is in effect, packets from the local network to upstream networks are forwarded into
 454 // the VPN's tunnel interface. When the VPN forwards the responses, they emerge out of the tunnel.
 455 WARN_UNUSED_RESULT int modifyVpnOutputToLocalRule(const char* vpnInterface, bool add) {
 456     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, RULE_PRIORITY_VPN_OUTPUT_TO_LOCAL,
 457                         ROUTE_TABLE_LOCAL_NETWORK, MARK_UNSET, MARK_UNSET, vpnInterface, OIF_NONE,
 458                         INVALID_UID, INVALID_UID);
 459 }
 460
 461 // A rule to route all traffic from a given set of UIDs to go over the VPN.
 462 //
 463 // Notice that this rule doesn't use the netId. I.e., no matter what netId the user's socket may
 464 // have, if they are subject to this VPN, their traffic has to go through it. Allows the traffic to
 465 // bypass the VPN if the protectedFromVpn bit is set.
 466 WARN_UNUSED_RESULT int modifyVpnUidRangeRule(uint32_t table, uid_t uidStart, uid_t uidEnd,
 467                                              bool secure, bool add) {
 468     Fwmark fwmark;
 469     Fwmark mask;
 470
 471     fwmark.protectedFromVpn = false;
 472     mask.protectedFromVpn = true;
 473
 474     uint32_t priority;
 475
 476     if (secure) {
 477         priority = RULE_PRIORITY_SECURE_VPN;
 478     } else {
 479         priority = RULE_PRIORITY_BYPASSABLE_VPN;
 480
 481         fwmark.explicitlySelected = false;
 482         mask.explicitlySelected = true;
 483     }
 484
 485     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, priority, table, fwmark.intValue,
 486                         mask.intValue, IIF_NONE, OIF_NONE, uidStart, uidEnd);
 487 }
 488
 489 // A rule to allow system apps to send traffic over this VPN even if they are not part of the target
 490 // set of UIDs.
 491 //
 492 // This is needed for DnsProxyListener to correctly resolve a request for a user who is in the
 493 // target set, but where the DnsProxyListener itself is not.
 494 WARN_UNUSED_RESULT int modifyVpnSystemPermissionRule(unsigned netId, uint32_t table, bool secure,
 495                                                      bool add) {
 496     Fwmark fwmark;
 497     Fwmark mask;
 498
 499     fwmark.netId = netId;
 500     mask.netId = FWMARK_NET_ID_MASK;
 501
 502     fwmark.permission = PERMISSION_SYSTEM;
 503     mask.permission = PERMISSION_SYSTEM;
 504
 505     uint32_t priority = secure ? RULE_PRIORITY_SECURE_VPN : RULE_PRIORITY_BYPASSABLE_VPN;
 506
 507     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, priority, table, fwmark.intValue,
 508                         mask.intValue);
 509 }
 510
 511 // A rule to route traffic based on an explicitly chosen network.
 512 //
 513 // Supports apps that use the multinetwork APIs to restrict their traffic to a network.
 514 //
 515 // Even though we check permissions at the time we set a netId into the fwmark of a socket, we need
 516 // to check it again in the rules here, because a network's permissions may have been updated via
 517 // modifyNetworkPermission().
 518 WARN_UNUSED_RESULT int modifyExplicitNetworkRule(unsigned netId, uint32_t table,
 519                                                  Permission permission, uid_t uidStart,
 520                                                  uid_t uidEnd, bool add) {
 521     Fwmark fwmark;
 522     Fwmark mask;
 523
 524     fwmark.netId = netId;
 525     mask.netId = FWMARK_NET_ID_MASK;
 526
 527     fwmark.explicitlySelected = true;
 528     mask.explicitlySelected = true;
 529
 530     fwmark.permission = permission;
 531     mask.permission = permission;
 532
 533     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, RULE_PRIORITY_EXPLICIT_NETWORK, table,
 534                         fwmark.intValue, mask.intValue, IIF_NONE, OIF_NONE, uidStart, uidEnd);
 535 }
 536
 537 // A rule to route traffic based on a chosen outgoing interface.
 538 //
 539 // Supports apps that use SO_BINDTODEVICE or IP_PKTINFO options and the kernel that already knows
 540 // the outgoing interface (typically for link-local communications).
 541 WARN_UNUSED_RESULT int modifyOutputInterfaceRule(const char* interface, uint32_t table,
 542                                                  Permission permission, uid_t uidStart,
 543                                                  uid_t uidEnd, bool add) {
 544     Fwmark fwmark;
 545     Fwmark mask;
 546
 547     fwmark.permission = permission;
 548     mask.permission = permission;
 549
 550     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, RULE_PRIORITY_OUTPUT_INTERFACE, table,
 551                         fwmark.intValue, mask.intValue, IIF_NONE, interface, uidStart, uidEnd);
 552 }
 553
 554 // A rule to route traffic based on the chosen network.
 555 //
 556 // This is for sockets that have not explicitly requested a particular network, but have been
 557 // bound to one when they called connect(). This ensures that sockets connected on a particular
 558 // network stay on that network even if the default network changes.
 559 WARN_UNUSED_RESULT int modifyImplicitNetworkRule(unsigned netId, uint32_t table,
 560                                                  Permission permission, bool add) {
 561     Fwmark fwmark;
 562     Fwmark mask;
 563
 564     fwmark.netId = netId;
 565     mask.netId = FWMARK_NET_ID_MASK;
 566
 567     fwmark.explicitlySelected = false;
 568     mask.explicitlySelected = true;
 569
 570     fwmark.permission = permission;
 571     mask.permission = permission;
 572
 573     return modifyIpRule(add ? RTM_NEWRULE : RTM_DELRULE, RULE_PRIORITY_IMPLICIT_NETWORK, table,
 574                         fwmark.intValue, mask.intValue);
 575 }
 576
 577 // A rule to enable split tunnel VPNs.
 578 //
 579 // If a packet with a VPN's netId doesn't find a route in the VPN's routing table, it's allowed to
 580 // go over the default network, provided it wasn't explicitly restricted to the VPN and has the
 581 // permissions required by the default network.
 582 WARN_UNUSED_RESULT int modifyVpnFallthroughRule(uint16_t action, unsigned vpnNetId,
 583                                                 const char* physicalInterface,
 584                                                 Permission permission) {
 585     uint32_t table = getRouteTableForInterface(physicalInterface);
 586     if (table == RT_TABLE_UNSPEC) {
 587         return -ESRCH;
 588     }
 589
 590     Fwmark fwmark;
 591     Fwmark mask;
 592
 593     fwmark.netId = vpnNetId;
 594     mask.netId = FWMARK_NET_ID_MASK;
 595
 596     fwmark.explicitlySelected = false;
 597     mask.explicitlySelected = true;
 598
 599     fwmark.permission = permission;
 600     mask.permission = permission;
 601
 602     return modifyIpRule(action, RULE_PRIORITY_VPN_FALLTHROUGH, table, fwmark.intValue,
 603                         mask.intValue);
 604 }
 605
 606 // Add rules to allow legacy routes added through the requestRouteToHost() API.
 607 WARN_UNUSED_RESULT int addLegacyRouteRules() {
 608     Fwmark fwmark;
 609     Fwmark mask;
 610
 611     fwmark.explicitlySelected = false;
 612     mask.explicitlySelected = true;
 613
 614     // Rules to allow legacy routes to override the default network.
 615     if (int ret = modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_LEGACY_SYSTEM, ROUTE_TABLE_LEGACY_SYSTEM,
 616                                fwmark.intValue, mask.intValue)) {
 617         return ret;
 618     }
 619     if (int ret = modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_LEGACY_NETWORK,
 620                                ROUTE_TABLE_LEGACY_NETWORK, fwmark.intValue, mask.intValue)) {
 621         return ret;
 622     }
 623
 624     fwmark.permission = PERMISSION_SYSTEM;
 625     mask.permission = PERMISSION_SYSTEM;
 626
 627     // A rule to allow legacy routes from system apps to override VPNs.
 628     return modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_VPN_OVERRIDE_SYSTEM, ROUTE_TABLE_LEGACY_SYSTEM,
 629                         fwmark.intValue, mask.intValue);
 630 }
 631
 632 // Add rules to lookup the local network when specified explicitly or otherwise.
 633 WARN_UNUSED_RESULT int addLocalNetworkRules(unsigned localNetId) {
 634     if (int ret = modifyExplicitNetworkRule(localNetId, ROUTE_TABLE_LOCAL_NETWORK, PERMISSION_NONE,
 635                                             INVALID_UID, INVALID_UID, ACTION_ADD)) {
 636         return ret;
 637     }
 638
 639     Fwmark fwmark;
 640     Fwmark mask;
 641
 642     fwmark.explicitlySelected = false;
 643     mask.explicitlySelected = true;
 644
 645     return modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_LOCAL_NETWORK, ROUTE_TABLE_LOCAL_NETWORK,
 646                         fwmark.intValue, mask.intValue);
 647 }
 648
 649 // Add a new rule to look up the 'main' table, with the same selectors as the "default network"
 650 // rule, but with a lower priority. We will never create routes in the main table; it should only be
 651 // used for directly-connected routes implicitly created by the kernel when adding IP addresses.
 652 // This is necessary, for example, when adding a route through a directly-connected gateway: in
 653 // order to add the route, there must already be a directly-connected route that covers the gateway.
 654 WARN_UNUSED_RESULT int addDirectlyConnectedRule() {
 655     Fwmark fwmark;
 656     Fwmark mask;
 657
 658     fwmark.netId = NETID_UNSET;
 659     mask.netId = FWMARK_NET_ID_MASK;
 660
 661     return modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_DIRECTLY_CONNECTED, RT_TABLE_MAIN,
 662                         fwmark.intValue, mask.intValue, IIF_NONE, OIF_NONE, UID_ROOT, UID_ROOT);
 663 }
 664
 665 // Add an explicit unreachable rule close to the end of the prioriy list to make it clear that
 666 // relying on the kernel-default "from all lookup main" rule at priority 32766 is not intended
 667 // behaviour. We do flush the kernel-default rules at startup, but having an explicit unreachable
 668 // rule will hopefully make things even clearer.
 669 WARN_UNUSED_RESULT int addUnreachableRule() {
 670     return modifyIpRule(RTM_NEWRULE, RULE_PRIORITY_UNREACHABLE, RT_TABLE_UNSPEC, MARK_UNSET,
 671                         MARK_UNSET);
 672 }
 673
 674 WARN_UNUSED_RESULT int modifyLocalNetwork(unsigned netId, const char* interface, bool add) {
 675     if (int ret = modifyIncomingPacketMark(netId, interface, PERMISSION_NONE, add)) {
 676         return ret;
 677     }
 678     return modifyOutputInterfaceRule(interface, ROUTE_TABLE_LOCAL_NETWORK, PERMISSION_NONE,
 679                                      INVALID_UID, INVALID_UID, add);
 680 }
 681
 682 WARN_UNUSED_RESULT int modifyPhysicalNetwork(unsigned netId, const char* interface,
 683                                              Permission permission, bool add) {
 684     uint32_t table = getRouteTableForInterface(interface);
 685     if (table == RT_TABLE_UNSPEC) {
 686         return -ESRCH;
 687     }
 688
 689     if (int ret = modifyIncomingPacketMark(netId, interface, permission, add)) {
 690         return ret;
 691     }
 692     if (int ret = modifyExplicitNetworkRule(netId, table, permission, INVALID_UID, INVALID_UID,
 693                                             add)) {
 694         return ret;
 695     }
 696     if (int ret = modifyOutputInterfaceRule(interface, table, permission, INVALID_UID, INVALID_UID,
 697                                             add)) {
 698         return ret;
 699     }
 700     return modifyImplicitNetworkRule(netId, table, permission, add);
 701 }
 702
 703 WARN_UNUSED_RESULT int modifyVirtualNetwork(unsigned netId, const char* interface,
 704                                             const UidRanges& uidRanges, bool secure, bool add,
 705                                             bool modifyNonUidBasedRules) {
 706     uint32_t table = getRouteTableForInterface(interface);
 707     if (table == RT_TABLE_UNSPEC) {
 708         return -ESRCH;
 709     }
 710
 711     for (const UidRanges::Range& range : uidRanges.getRanges()) {
 712         if (int ret = modifyVpnUidRangeRule(table, range.first, range.second, secure, add)) {
 713             return ret;
 714         }
 715         if (int ret = modifyExplicitNetworkRule(netId, table, PERMISSION_NONE, range.first,
 716                                                 range.second, add)) {
 717             return ret;
 718         }
 719         if (int ret = modifyOutputInterfaceRule(interface, table, PERMISSION_NONE, range.first,
 720                                                 range.second, add)) {
 721             return ret;
 722         }
 723     }
 724
 725     if (modifyNonUidBasedRules) {
 726         if (int ret = modifyIncomingPacketMark(netId, interface, PERMISSION_NONE, add)) {
 727             return ret;
 728         }
 729         if (int ret = modifyVpnOutputToLocalRule(interface, add)) {
 730             return ret;
 731         }
 732         if (int ret = modifyVpnSystemPermissionRule(netId, table, secure, add)) {
 733             return ret;
 734         }
 735         return modifyExplicitNetworkRule(netId, table, PERMISSION_NONE, UID_ROOT, UID_ROOT, add);
 736     }
 737
 738     return 0;
 739 }
 740
 741 WARN_UNUSED_RESULT int modifyDefaultNetwork(uint16_t action, const char* interface,
 742                                             Permission permission) {
 743     uint32_t table = getRouteTableForInterface(interface);
 744     if (table == RT_TABLE_UNSPEC) {
 745         return -ESRCH;
 746     }
 747
 748     Fwmark fwmark;
 749     Fwmark mask;
 750
 751     fwmark.netId = NETID_UNSET;
 752     mask.netId = FWMARK_NET_ID_MASK;
 753
 754     fwmark.permission = permission;
 755     mask.permission = permission;
 756
 757     return modifyIpRule(action, RULE_PRIORITY_DEFAULT_NETWORK, table, fwmark.intValue,
 758                         mask.intValue);
 759 }
 760
 761 WARN_UNUSED_RESULT int modifyTetheredNetwork(uint16_t action, const char* inputInterface,
 762                                              const char* outputInterface) {
 763     uint32_t table = getRouteTableForInterface(outputInterface);
 764     if (table == RT_TABLE_UNSPEC) {
 765         return -ESRCH;
 766     }
 767
 768     return modifyIpRule(action, RULE_PRIORITY_TETHERING, table, MARK_UNSET, MARK_UNSET,
 769                         inputInterface, OIF_NONE, INVALID_UID, INVALID_UID);
 770 }
 771
 772 // Returns 0 on success or negative errno on failure.
 773 WARN_UNUSED_RESULT int flushRules() {
 774     for (size_t i = 0; i < ARRAY_SIZE(IP_VERSIONS); ++i) {
 775         const char* argv[] = {
 776             IP_PATH,
 777             IP_VERSIONS[i],
 778             "rule",
 779             "flush",
 780         };
 781         if (android_fork_execvp(ARRAY_SIZE(argv), const_cast<char**>(argv), NULL, false, false)) {
 782             ALOGE("failed to flush rules");
 783             return -EREMOTEIO;
 784         }
 785     }
 786     return 0;
 787 }
 788
 789 // Adds or removes an IPv4 or IPv6 route to the specified table and, if it's a directly-connected
 790 // route, to the main table as well.
 791 // Returns 0 on success or negative errno on failure.
 792 WARN_UNUSED_RESULT int modifyRoute(uint16_t action, const char* interface, const char* destination,
 793                                    const char* nexthop, RouteController::TableType tableType) {
 794     uint32_t table;
 795     switch (tableType) {
 796         case RouteController::INTERFACE: {
 797             table = getRouteTableForInterface(interface);
 798             if (table == RT_TABLE_UNSPEC) {
 799                 return -ESRCH;
 800             }
 801             break;
 802         }
 803         case RouteController::LOCAL_NETWORK: {
 804             table = ROUTE_TABLE_LOCAL_NETWORK;
 805             break;
 806         }
 807         case RouteController::LEGACY_NETWORK: {
 808             table = ROUTE_TABLE_LEGACY_NETWORK;
 809             break;
 810         }
 811         case RouteController::LEGACY_SYSTEM: {
 812             table = ROUTE_TABLE_LEGACY_SYSTEM;
 813             break;
 814         }
 815     }
 816
 817     int ret = modifyIpRoute(action, table, interface, destination, nexthop);
 818     // Trying to add a route that already exists shouldn't cause an error.
 819     if (ret && !(action == RTM_NEWROUTE && ret == -EEXIST)) {
 820         return ret;
 821     }
 822
 823     return 0;
 824 }
 825
 826 // Returns 0 on success or negative errno on failure.
 827 WARN_UNUSED_RESULT int flushRoutes(const char* interface) {
 828     uint32_t table = getRouteTableForInterface(interface);
 829     if (table == RT_TABLE_UNSPEC) {
 830         return -ESRCH;
 831     }
 832
 833     char tableString[UINT32_STRLEN];
 834     snprintf(tableString, sizeof(tableString), "%u", table);
 835
 836     int ret = 0;
 837     for (size_t i = 0; i < ARRAY_SIZE(IP_VERSIONS); ++i) {
 838         const char* argv[] = {
 839             IP_PATH,
 840             IP_VERSIONS[i],
 841             "route",
 842             "flush",
 843             "table",
 844             tableString,
 845         };
 846
 847         // A flush works by dumping routes and deleting each route as it's returned, and it can
 848         // fail if something else deletes the route between the dump and the delete. This can
 849         // happen, for example, if an interface goes down while we're trying to flush its routes.
 850         // So try multiple times and only return an error if the last attempt fails.
 851         //
 852         // TODO: replace this with our own netlink code.
 853         unsigned attempts = 0;
 854         int err;
 855         do {
 856             err = android_fork_execvp(ARRAY_SIZE(argv), const_cast<char**>(argv),
 857                                       NULL, false, false);
 858             ++attempts;
 859         } while (err != 0 && attempts < ROUTE_FLUSH_ATTEMPTS);
 860         if (err) {
 861             ALOGE("failed to flush %s routes in table %s after %d attempts",
 862                   IP_VERSIONS[i], tableString, attempts);
 863             ret = -EREMOTEIO;
 864         }
 865     }
 866
 867     // If we failed to flush routes, the caller may elect to keep this interface around, so keep
 868     // track of its name.
 869     if (!ret) {
 870         interfaceToTable.erase(interface);
 871     }
 872
 873     return ret;
 874 }
 875
 876 }  // namespace
 877
 878 int RouteController::Init(unsigned localNetId) {
 879     if (int ret = flushRules()) {
 880         return ret;
 881     }
 882     if (int ret = addLegacyRouteRules()) {
 883         return ret;
 884     }
 885     if (int ret = addLocalNetworkRules(localNetId)) {
 886         return ret;
 887     }
 888     if (int ret = addDirectlyConnectedRule()) {
 889         return ret;
 890     }
 891     if (int ret = addUnreachableRule()) {
 892         return ret;
 893     }
 894     updateTableNamesFile();
 895     return 0;
 896 }
 897
 898 int RouteController::addInterfaceToLocalNetwork(unsigned netId, const char* interface) {
 899     return modifyLocalNetwork(netId, interface, ACTION_ADD);
 900 }
 901
 902 int RouteController::removeInterfaceFromLocalNetwork(unsigned netId, const char* interface) {
 903     return modifyLocalNetwork(netId, interface, ACTION_DEL);
 904 }
 905
 906 int RouteController::addInterfaceToPhysicalNetwork(unsigned netId, const char* interface,
 907                                                    Permission permission) {
 908     if (int ret = modifyPhysicalNetwork(netId, interface, permission, ACTION_ADD)) {
 909         return ret;
 910     }
 911     updateTableNamesFile();
 912     return 0;
 913 }
 914
 915 int RouteController::removeInterfaceFromPhysicalNetwork(unsigned netId, const char* interface,
 916                                                         Permission permission) {
 917     if (int ret = modifyPhysicalNetwork(netId, interface, permission, ACTION_DEL)) {
 918         return ret;
 919     }
 920     if (int ret = flushRoutes(interface)) {
 921         return ret;
 922     }
 923     updateTableNamesFile();
 924     return 0;
 925 }
 926
 927 int RouteController::addInterfaceToVirtualNetwork(unsigned netId, const char* interface,
 928                                                   bool secure, const UidRanges& uidRanges) {
 929     if (int ret = modifyVirtualNetwork(netId, interface, uidRanges, secure, ACTION_ADD,
 930                                        MODIFY_NON_UID_BASED_RULES)) {
 931         return ret;
 932     }
 933     updateTableNamesFile();
 934     return 0;
 935 }
 936
 937 int RouteController::removeInterfaceFromVirtualNetwork(unsigned netId, const char* interface,
 938                                                        bool secure, const UidRanges& uidRanges) {
 939     if (int ret = modifyVirtualNetwork(netId, interface, uidRanges, secure, ACTION_DEL,
 940                                        MODIFY_NON_UID_BASED_RULES)) {
 941         return ret;
 942     }
 943     if (int ret = flushRoutes(interface)) {
 944         return ret;
 945     }
 946     updateTableNamesFile();
 947     return 0;
 948 }
 949
 950 int RouteController::modifyPhysicalNetworkPermission(unsigned netId, const char* interface,
 951                                                      Permission oldPermission,
 952                                                      Permission newPermission) {
 953     // Add the new rules before deleting the old ones, to avoid race conditions.
 954     if (int ret = modifyPhysicalNetwork(netId, interface, newPermission, ACTION_ADD)) {
 955         return ret;
 956     }
 957     return modifyPhysicalNetwork(netId, interface, oldPermission, ACTION_DEL);
 958 }
 959
 960 int RouteController::addUsersToVirtualNetwork(unsigned netId, const char* interface, bool secure,
 961                                               const UidRanges& uidRanges) {
 962     return modifyVirtualNetwork(netId, interface, uidRanges, secure, ACTION_ADD,
 963                                 !MODIFY_NON_UID_BASED_RULES);
 964 }
 965
 966 int RouteController::removeUsersFromVirtualNetwork(unsigned netId, const char* interface,
 967                                                    bool secure, const UidRanges& uidRanges) {
 968     return modifyVirtualNetwork(netId, interface, uidRanges, secure, ACTION_DEL,
 969                                 !MODIFY_NON_UID_BASED_RULES);
 970 }
 971
 972 int RouteController::addInterfaceToDefaultNetwork(const char* interface, Permission permission) {
 973     return modifyDefaultNetwork(RTM_NEWRULE, interface, permission);
 974 }
 975
 976 int RouteController::removeInterfaceFromDefaultNetwork(const char* interface,
 977                                                        Permission permission) {
 978     return modifyDefaultNetwork(RTM_DELRULE, interface, permission);
 979 }
 980
 981 int RouteController::addRoute(const char* interface, const char* destination, const char* nexthop,
 982                               TableType tableType) {
 983     return modifyRoute(RTM_NEWROUTE, interface, destination, nexthop, tableType);
 984 }
 985
 986 int RouteController::removeRoute(const char* interface, const char* destination,
 987                                  const char* nexthop, TableType tableType) {
 988     return modifyRoute(RTM_DELROUTE, interface, destination, nexthop, tableType);
 989 }
 990
 991 int RouteController::enableTethering(const char* inputInterface, const char* outputInterface) {
 992     return modifyTetheredNetwork(RTM_NEWRULE, inputInterface, outputInterface);
 993 }
 994
 995 int RouteController::disableTethering(const char* inputInterface, const char* outputInterface) {
 996     return modifyTetheredNetwork(RTM_DELRULE, inputInterface, outputInterface);
 997 }
 998
 999 int RouteController::addVirtualNetworkFallthrough(unsigned vpnNetId, const char* physicalInterface,
1000                                                   Permission permission) {
1001     return modifyVpnFallthroughRule(RTM_NEWRULE, vpnNetId, physicalInterface, permission);
1002 }
1003
1004 int RouteController::removeVirtualNetworkFallthrough(unsigned vpnNetId,
1005                                                      const char* physicalInterface,
1006                                                      Permission permission) {
1007     return modifyVpnFallthroughRule(RTM_DELRULE, vpnNetId, physicalInterface, permission);
1008 }