toolbar/precog/monitor/monitor.go

   1 package monitor
   2
   3 import (
   4         "fmt"
   5         "os"
   6         "os/user"
   7         "strings"
   8         "sync"
   9
  10         "github.com/jinzhu/gorm"
  11         log "github.com/sirupsen/logrus"
  12
  13         vaporCfg "github.com/vapor/config"
  14         "github.com/vapor/crypto/ed25519/chainkd"
  15         dbm "github.com/vapor/database/leveldb"
  16         "github.com/vapor/errors"
  17         "github.com/vapor/event"
  18         "github.com/vapor/netsync/chainmgr"
  19         "github.com/vapor/netsync/consensusmgr"
  20         "github.com/vapor/netsync/peers"
  21         "github.com/vapor/p2p"
  22         "github.com/vapor/p2p/discover/dht"
  23         "github.com/vapor/p2p/discover/mdns"
  24         "github.com/vapor/p2p/signlib"
  25         "github.com/vapor/test/mock"
  26         "github.com/vapor/toolbar/precog/config"
  27 )
  28
  29 type monitor struct {
  30         *sync.RWMutex
  31         cfg     *config.Config
  32         db      *gorm.DB
  33         nodeCfg *vaporCfg.Config
  34         sw      *p2p.Switch
  35         privKey chainkd.XPrv
  36         chain   *mock.Chain
  37         txPool  *mock.Mempool
  38         // discvMap maps a node's public key to the node itself
  39         discvMap       map[string]*dht.Node
  40         dialCh         chan struct{}
  41         checkStatusCh  chan struct{}
  42         bestHeightSeen uint64
  43         peers          *peers.PeerSet
  44 }
  45
  46 func NewMonitor(cfg *config.Config, db *gorm.DB) *monitor {
  47         dbPath, err := makePath()
  48         if err != nil {
  49                 log.WithFields(log.Fields{"err": err}).Fatal("makePath")
  50         }
  51
  52         nodeCfg := &vaporCfg.Config{
  53                 BaseConfig: vaporCfg.DefaultBaseConfig(),
  54                 P2P:        vaporCfg.DefaultP2PConfig(),
  55                 Federation: vaporCfg.DefaultFederationConfig(),
  56         }
  57         nodeCfg.DBPath = dbPath
  58         nodeCfg.ChainID = "mainnet"
  59         privKey, err := signlib.NewPrivKey()
  60         if err != nil {
  61                 log.WithFields(log.Fields{"err": err}).Fatal("NewPrivKey")
  62         }
  63
  64         chain, txPool, err := mockChainAndPool()
  65         if err != nil {
  66                 log.WithFields(log.Fields{"err": err}).Fatal("mockChainAndPool")
  67         }
  68
  69         return &monitor{
  70                 RWMutex:        &sync.RWMutex{},
  71                 cfg:            cfg,
  72                 db:             db,
  73                 nodeCfg:        nodeCfg,
  74                 privKey:        privKey.(chainkd.XPrv),
  75                 chain:          chain,
  76                 txPool:         txPool,
  77                 discvMap:       make(map[string]*dht.Node),
  78                 dialCh:         make(chan struct{}, 1),
  79                 checkStatusCh:  make(chan struct{}, 1),
  80                 bestHeightSeen: uint64(0),
  81         }
  82 }
  83
  84 func makePath() (string, error) {
  85         usr, err := user.Current()
  86         if err != nil {
  87                 return "", err
  88         }
  89
  90         dataPath := usr.HomeDir + "/.vapor/precog"
  91         if err := os.MkdirAll(dataPath, os.ModePerm); err != nil {
  92                 return "", err
  93         }
  94
  95         return dataPath, nil
  96 }
  97
  98 func (m *monitor) Run() {
  99         var seeds []string
 100         for _, node := range m.cfg.Nodes {
 101                 seeds = append(seeds, fmt.Sprintf("%s:%d", node.IP, node.Port))
 102                 if err := m.upSertNode(&node); err != nil {
 103                         log.WithFields(log.Fields{"node": node, "err": err}).Error("upSertNode")
 104                 }
 105         }
 106         m.nodeCfg.P2P.Seeds = strings.Join(seeds, ",")
 107         if err := m.makeSwitch(); err != nil {
 108                 log.WithFields(log.Fields{"err": err}).Fatal("makeSwitch")
 109         }
 110
 111         m.dialCh <- struct{}{}
 112         go m.discoveryRoutine()
 113         go m.connectNodesRoutine()
 114         go m.checkStatusRoutine()
 115 }
 116
 117 func (m *monitor) makeSwitch() error {
 118         l, listenAddr := p2p.GetListener(m.nodeCfg.P2P)
 119         discv, err := dht.NewDiscover(m.nodeCfg, m.privKey, l.ExternalAddress().Port, m.cfg.NetworkID)
 120         if err != nil {
 121                 return err
 122         }
 123
 124         // no need for lanDiscv, but passing &mdns.LANDiscover{} will cause NilPointer
 125         lanDiscv := mdns.NewLANDiscover(mdns.NewProtocol(), int(l.ExternalAddress().Port))
 126         m.sw, err = p2p.NewSwitch(m.nodeCfg, discv, lanDiscv, l, m.privKey, listenAddr, m.cfg.NetworkID)
 127         if err != nil {
 128                 return err
 129         }
 130
 131         m.peers = peers.NewPeerSet(m.sw)
 132         if err := m.prepareReactors(m.peers); err != nil {
 133                 return errors.Wrap(err, "prepareReactors")
 134         }
 135
 136         return nil
 137 }
 138
 139 func (m *monitor) prepareReactors(peers *peers.PeerSet) error {
 140         dispatcher := event.NewDispatcher()
 141         // add ConsensusReactor for consensusChannel
 142         _ = consensusmgr.NewManager(m.sw, m.chain, peers, dispatcher)
 143         fastSyncDB := dbm.NewDB("fastsync", m.nodeCfg.DBBackend, m.nodeCfg.DBDir())
 144         // add ProtocolReactor to handle msgs
 145         if _, err := chainmgr.NewManager(m.nodeCfg, m.sw, m.chain, m.txPool, dispatcher, peers, fastSyncDB); err != nil {
 146                 return err
 147         }
 148
 149         for label, reactor := range m.sw.GetReactors() {
 150                 log.WithFields(log.Fields{"label": label, "reactor": reactor}).Debug("start reactor")
 151                 if _, err := reactor.Start(); err != nil {
 152                         return nil
 153                 }
 154         }
 155
 156         m.sw.GetSecurity().RegisterFilter(m.sw.GetNodeInfo())
 157         m.sw.GetSecurity().RegisterFilter(m.sw.GetPeers())
 158         return m.sw.GetSecurity().Start()
 159 }
 160
 161 func (m *monitor) checkStatusRoutine() {
 162         for range m.checkStatusCh {
 163                 for _, peer := range m.sw.GetPeers().List() {
 164                         peer.Start()
 165                         m.peers.AddPeer(peer)
 166                 }
 167                 log.WithFields(log.Fields{"num": len(m.sw.GetPeers().List()), "peers": m.sw.GetPeers().List()}).Info("connected peers")
 168
 169                 for _, peer := range m.sw.GetPeers().List() {
 170                         p := m.peers.GetPeer(peer.ID())
 171                         if p == nil {
 172                                 continue
 173                         }
 174
 175                         if err := p.SendStatus(m.chain.BestBlockHeader(), m.chain.LastIrreversibleHeader()); err != nil {
 176                                 log.WithFields(log.Fields{"peer": p, "err": err}).Error("SendStatus")
 177                                 m.peers.RemovePeer(p.ID())
 178                         }
 179                 }
 180
 181                 for _, peerInfo := range m.peers.GetPeerInfos() {
 182                         if peerInfo.Height > m.bestHeightSeen {
 183                                 m.bestHeightSeen = peerInfo.Height
 184                         }
 185                 }
 186                 log.WithFields(log.Fields{"bestHeight": m.bestHeightSeen}).Info("peersInfo")
 187                 m.processPeerInfos(m.peers.GetPeerInfos())
 188
 189                 for _, peer := range m.sw.GetPeers().List() {
 190                         p := m.peers.GetPeer(peer.ID())
 191                         if p == nil {
 192                                 continue
 193                         }
 194
 195                         m.peers.RemovePeer(p.ID())
 196                 }
 197                 log.Info("Disonnect all peers.")
 198
 199                 m.Unlock()
 200                 m.dialCh <- struct{}{}
 201         }
 202 }