OSDN Git Service

net: piggy back on the memory barrier in bql when waking queues
authorJakub Kicinski <kuba@kernel.org>
Fri, 7 Apr 2023 01:25:36 +0000 (18:25 -0700)
committerJakub Kicinski <kuba@kernel.org>
Tue, 11 Apr 2023 00:56:18 +0000 (17:56 -0700)
commit301f227fc860624d37ba5dae9da57dcf371268db
treed63448425584a016acf0c88d6adea460ac85b6a6
parent08a096780d9239e69909c48f4b1fcd99c860b2ef
net: piggy back on the memory barrier in bql when waking queues

Drivers call netdev_tx_completed_queue() right before
netif_txq_maybe_wake(). If BQL is enabled netdev_tx_completed_queue()
should issue a memory barrier, so we can depend on that separating
the stop check from the consumer index update, instead of adding
another barrier in netif_txq_maybe_wake().

This matters more than the barriers on the xmit path, because
the wake condition is almost always true. So we issue the
consumer side barrier often.

Wrap netdev_tx_completed_queue() in a local helper to issue
the barrier even if BQL is disabled. Keep the same semantics
as netdev_tx_completed_queue() (barrier only if bytes != 0)
to make it clear that the barrier is conditional.

Plus since macro gets pkt/byte counts as arguments now -
we can skip waking if there were no packets completed.

Signed-off-by: Jakub Kicinski <kuba@kernel.org>
drivers/net/ethernet/broadcom/bnxt/bnxt.c
drivers/net/ethernet/intel/ixgbe/ixgbe_main.c
include/linux/netdevice.h
include/net/netdev_queues.h