toolbar/precog/monitor/monitor.go

   1 package monitor
   2
   3 import (
   4         "fmt"
   5         "os"
   6         "os/user"
   7         "strings"
   8         "sync"
   9
  10         "github.com/jinzhu/gorm"
  11         log "github.com/sirupsen/logrus"
  12
  13         vaporCfg "github.com/vapor/config"
  14         "github.com/vapor/crypto/ed25519/chainkd"
  15         dbm "github.com/vapor/database/leveldb"
  16         "github.com/vapor/event"
  17         "github.com/vapor/netsync/chainmgr"
  18         "github.com/vapor/netsync/consensusmgr"
  19         "github.com/vapor/netsync/peers"
  20         "github.com/vapor/p2p"
  21         "github.com/vapor/p2p/discover/dht"
  22         "github.com/vapor/p2p/discover/mdns"
  23         "github.com/vapor/p2p/signlib"
  24         "github.com/vapor/test/mock"
  25         "github.com/vapor/toolbar/precog/config"
  26 )
  27
  28 type monitor struct {
  29         *sync.RWMutex
  30         cfg     *config.Config
  31         db      *gorm.DB
  32         nodeCfg *vaporCfg.Config
  33         sw      *p2p.Switch
  34         privKey chainkd.XPrv
  35         chain   *mock.Chain
  36         txPool  *mock.Mempool
  37         // discvMap maps a node's public key to the node itself
  38         discvMap       map[string]*dht.Node
  39         dialCh         chan struct{}
  40         checkStatusCh  chan struct{}
  41         bestHeightSeen uint64
  42 }
  43
  44 func NewMonitor(cfg *config.Config, db *gorm.DB) *monitor {
  45         dbPath, err := makePath()
  46         if err != nil {
  47                 log.WithFields(log.Fields{"err": err}).Fatal("makePath")
  48         }
  49
  50         nodeCfg := &vaporCfg.Config{
  51                 BaseConfig: vaporCfg.DefaultBaseConfig(),
  52                 P2P:        vaporCfg.DefaultP2PConfig(),
  53                 Federation: vaporCfg.DefaultFederationConfig(),
  54         }
  55         nodeCfg.DBPath = dbPath
  56         nodeCfg.ChainID = "mainnet"
  57         privKey, err := signlib.NewPrivKey()
  58         if err != nil {
  59                 log.WithFields(log.Fields{"err": err}).Fatal("NewPrivKey")
  60         }
  61
  62         chain, txPool, err := mockChainAndPool()
  63         if err != nil {
  64                 log.WithFields(log.Fields{"err": err}).Fatal("mockChainAndPool")
  65         }
  66
  67         return &monitor{
  68                 RWMutex:        &sync.RWMutex{},
  69                 cfg:            cfg,
  70                 db:             db,
  71                 nodeCfg:        nodeCfg,
  72                 privKey:        privKey.(chainkd.XPrv),
  73                 chain:          chain,
  74                 txPool:         txPool,
  75                 discvMap:       make(map[string]*dht.Node),
  76                 dialCh:         make(chan struct{}, 1),
  77                 checkStatusCh:  make(chan struct{}, 1),
  78                 bestHeightSeen: uint64(0),
  79         }
  80 }
  81
  82 func makePath() (string, error) {
  83         usr, err := user.Current()
  84         if err != nil {
  85                 return "", err
  86         }
  87
  88         dataPath := usr.HomeDir + "/.vapor/precog"
  89         if err := os.MkdirAll(dataPath, os.ModePerm); err != nil {
  90                 return "", err
  91         }
  92
  93         return dataPath, nil
  94 }
  95
  96 func (m *monitor) Run() {
  97         var seeds []string
  98         for _, node := range m.cfg.Nodes {
  99                 seeds = append(seeds, fmt.Sprintf("%s:%d", node.IP, node.Port))
 100                 if err := m.upSertNode(&node); err != nil {
 101                         log.WithFields(log.Fields{
 102                                 "node": node,
 103                                 "err":  err,
 104                         }).Error("upSertNode")
 105                 }
 106         }
 107         m.nodeCfg.P2P.Seeds = strings.Join(seeds, ",")
 108         if err := m.makeSwitch(); err != nil {
 109                 log.WithFields(log.Fields{"err": err}).Fatal("makeSwitch")
 110         }
 111
 112         m.dialCh <- struct{}{}
 113         go m.discoveryRoutine()
 114         go m.connectNodesRoutine()
 115         go m.checkStatusRoutine()
 116 }
 117
 118 func (m *monitor) makeSwitch() error {
 119         l, listenAddr := p2p.GetListener(m.nodeCfg.P2P)
 120         discv, err := dht.NewDiscover(m.nodeCfg, m.privKey, l.ExternalAddress().Port, m.cfg.NetworkID)
 121         if err != nil {
 122                 return err
 123         }
 124
 125         // no need for lanDiscv, but passing &mdns.LANDiscover{} will cause NilPointer
 126         lanDiscv := mdns.NewLANDiscover(mdns.NewProtocol(), int(l.ExternalAddress().Port))
 127         m.sw, err = p2p.NewSwitch(m.nodeCfg, discv, lanDiscv, l, m.privKey, listenAddr, m.cfg.NetworkID)
 128         if err != nil {
 129                 return err
 130         }
 131
 132         return nil
 133 }
 134
 135 func (m *monitor) prepareReactors(peers *peers.PeerSet) error {
 136         dispatcher := event.NewDispatcher()
 137         // add ConsensusReactor for consensusChannel
 138         _ = consensusmgr.NewManager(m.sw, m.chain, peers, dispatcher)
 139         fastSyncDB := dbm.NewDB("fastsync", m.nodeCfg.DBBackend, m.nodeCfg.DBDir())
 140         // add ProtocolReactor to handle msgs
 141         if _, err := chainmgr.NewManager(m.nodeCfg, m.sw, m.chain, m.txPool, dispatcher, peers, fastSyncDB); err != nil {
 142                 return err
 143         }
 144
 145         for label, reactor := range m.sw.GetReactors() {
 146                 log.WithFields(log.Fields{
 147                         "label":   label,
 148                         "reactor": reactor,
 149                 }).Debug("start reactor")
 150                 if _, err := reactor.Start(); err != nil {
 151                         return nil
 152                 }
 153         }
 154
 155         m.sw.GetSecurity().RegisterFilter(m.sw.GetNodeInfo())
 156         m.sw.GetSecurity().RegisterFilter(m.sw.GetPeers())
 157         return m.sw.GetSecurity().Start()
 158 }
 159
 160 func (m *monitor) checkStatusRoutine() {
 161         peers := peers.NewPeerSet(m.sw)
 162         if err := m.prepareReactors(peers); err != nil {
 163                 log.WithFields(log.Fields{"err": err}).Fatal("prepareReactors")
 164         }
 165
 166         for range m.checkStatusCh {
 167                 for _, peer := range m.sw.GetPeers().List() {
 168                         peer.Start()
 169                         peers.AddPeer(peer)
 170                 }
 171                 log.WithFields(log.Fields{
 172                         "num":   len(m.sw.GetPeers().List()),
 173                         "peers": m.sw.GetPeers().List(),
 174                 }).Info("connected peers")
 175
 176                 for _, peer := range m.sw.GetPeers().List() {
 177                         p := peers.GetPeer(peer.ID())
 178                         if p == nil {
 179                                 continue
 180                         }
 181
 182                         if err := p.(m.chain.BestBlockHeader(), m.chain.LastIrreversibleHeader()); err != nil {
 183                                 log.WithFields(log.Fields{
 184                                         "peer": p,
 185                                         "err": err,
 186                                         }).Error("SendStatus")
 187                                 peers.RemovePeer(p.ID())
 188                         }
 189                 }
 190
 191                 for _, peerInfo := range peers.GetPeerInfos() {
 192                         if peerInfo.Height > m.bestHeightSeen {
 193                                 m.bestHeightSeen = peerInfo.Height
 194                         }
 195                 }
 196                 log.Info("bestHeight: ", m.bestHeightSeen)
 197                 m.processPeerInfos(peers.GetPeerInfos())
 198
 199                 for _, peer := range m.sw.GetPeers().List() {
 200                         p := peers.GetPeer(peer.ID())
 201                         if p == nil {
 202                                 continue
 203                         }
 204
 205                         peers.RemovePeer(p.ID())
 206                 }
 207                 log.Info("Disonnect all peers.")
 208
 209                 m.Unlock()
 210                 m.dialCh <- struct{}{}
 211         }
 212 }