toolbar/precog/monitor/monitor.go

   1 package monitor
   2
   3 import (
   4         "fmt"
   5         "io/ioutil"
   6         "os"
   7         "os/user"
   8         "strings"
   9         "time"
  10
  11         "github.com/jinzhu/gorm"
  12         log "github.com/sirupsen/logrus"
  13
  14         vaporCfg "github.com/vapor/config"
  15         "github.com/vapor/crypto/ed25519/chainkd"
  16         dbm "github.com/vapor/database/leveldb"
  17         "github.com/vapor/event"
  18         "github.com/vapor/netsync/chainmgr"
  19         "github.com/vapor/netsync/consensusmgr"
  20         "github.com/vapor/p2p"
  21         // msgs "github.com/vapor/netsync/messages"
  22         "github.com/vapor/netsync/peers"
  23         "github.com/vapor/p2p/discover/dht"
  24         "github.com/vapor/p2p/discover/mdns"
  25         "github.com/vapor/p2p/signlib"
  26         "github.com/vapor/test/mock"
  27         "github.com/vapor/toolbar/precog/config"
  28 )
  29
  30 type monitor struct {
  31         cfg     *config.Config
  32         db      *gorm.DB
  33         nodeCfg *vaporCfg.Config
  34         sw      *p2p.Switch
  35         discvCh chan *dht.Node
  36         privKey chainkd.XPrv
  37         chain   *mock.Chain
  38         txPool  *mock.Mempool
  39 }
  40
  41 // TODO: set myself as SPV?
  42 func NewMonitor(cfg *config.Config, db *gorm.DB) *monitor {
  43         //TODO: for test
  44         cfg.CheckFreqSeconds = 10
  45
  46         dbPath, err := makePath()
  47         if err != nil {
  48                 log.Fatal(err)
  49         }
  50
  51         nodeCfg := &vaporCfg.Config{
  52                 BaseConfig: vaporCfg.DefaultBaseConfig(),
  53                 P2P:        vaporCfg.DefaultP2PConfig(),
  54                 Federation: vaporCfg.DefaultFederationConfig(),
  55         }
  56         nodeCfg.DBPath = dbPath
  57         nodeCfg.ChainID = "mainnet"
  58         discvCh := make(chan *dht.Node)
  59         privKey, err := signlib.NewPrivKey()
  60         if err != nil {
  61                 log.Fatal(err)
  62         }
  63
  64         chain, txPool, err := mockChainAndPool()
  65         if err != nil {
  66                 log.Fatal(err)
  67         }
  68
  69         return &monitor{
  70                 cfg:     cfg,
  71                 db:      db,
  72                 nodeCfg: nodeCfg,
  73                 discvCh: discvCh,
  74                 privKey: privKey.(chainkd.XPrv),
  75                 chain:   chain,
  76                 txPool:  txPool,
  77         }
  78 }
  79
  80 func makePath() (string, error) {
  81         usr, err := user.Current()
  82         if err != nil {
  83                 return "", err
  84         }
  85
  86         dataPath := usr.HomeDir + "/.precog"
  87         if err := os.MkdirAll(dataPath, os.ModePerm); err != nil {
  88                 return "", err
  89         }
  90
  91         tmpDir, err := ioutil.TempDir(dataPath, "")
  92         if err != nil {
  93                 return "", err
  94         }
  95
  96         return tmpDir, nil
  97 }
  98
  99 func (m *monitor) Run() {
 100         defer os.RemoveAll(m.nodeCfg.DBPath)
 101
 102         var seeds []string
 103         for _, node := range m.cfg.Nodes {
 104                 seeds = append(seeds, fmt.Sprintf("%s:%d", node.Host, node.Port))
 105                 if err := m.upSertNode(&node); err != nil {
 106                         log.Error(err)
 107                 }
 108         }
 109         m.nodeCfg.P2P.Seeds = strings.Join(seeds, ",")
 110         if err := m.makeSwitch(); err != nil {
 111                 log.Fatal(err)
 112         }
 113
 114         go m.discoveryRoutine()
 115         go m.collectDiscoveredNodes()
 116         go m.connectNodesRoutine()
 117         go m.checkStatusRoutine()
 118 }
 119
 120 func (m *monitor) makeSwitch() error {
 121         l, listenAddr := p2p.GetListener(m.nodeCfg.P2P)
 122         discv, err := dht.NewDiscover(m.nodeCfg, m.privKey, l.ExternalAddress().Port, m.cfg.NetworkID)
 123         if err != nil {
 124                 return err
 125         }
 126
 127         // no need for lanDiscv, but passing &mdns.LANDiscover{} will cause NilPointer
 128         lanDiscv := mdns.NewLANDiscover(mdns.NewProtocol(), int(l.ExternalAddress().Port))
 129         sw, err := p2p.NewSwitch(m.nodeCfg, discv, lanDiscv, l, m.privKey, listenAddr, m.cfg.NetworkID)
 130         if err != nil {
 131                 return err
 132         }
 133
 134         m.sw = sw
 135         return nil
 136 }
 137
 138 func (m *monitor) prepareReactors(peers *peers.PeerSet) error {
 139         dispatcher := event.NewDispatcher()
 140         // add ConsensusReactor for consensusChannel
 141         _ = consensusmgr.NewManager(m.sw, m.chain, peers, dispatcher)
 142         fastSyncDB := dbm.NewDB("fastsync", m.nodeCfg.DBBackend, m.nodeCfg.DBDir())
 143         // add ProtocolReactor to handle msgs
 144         _, err := chainmgr.NewManager(m.nodeCfg, m.sw, m.chain, m.txPool, dispatcher, peers, fastSyncDB)
 145         if err != nil {
 146                 return err
 147         }
 148
 149         for label, reactor := range m.sw.GetReactors() {
 150                 log.Debug("start reactor: (%s:%v)", label, reactor)
 151                 if _, err := reactor.Start(); err != nil {
 152                         return nil
 153                 }
 154         }
 155
 156         m.sw.GetSecurity().RegisterFilter(m.sw.GetNodeInfo())
 157         m.sw.GetSecurity().RegisterFilter(m.sw.GetPeers())
 158
 159         return m.sw.GetSecurity().Start()
 160 }
 161
 162 // TODO:
 163 // 现象是，时间区间过小时，  会一直有 dial ，但是不能 send业务层 msg
 164 // 还不确定是不是死锁，时间调大一点比如10s 就可以正确运行
 165 // 想法，自己再另外加锁，或者找到锁住的真正原因
 166 func (m *monitor) checkStatusRoutine() {
 167         peers := peers.NewPeerSet(m.sw)
 168         if err := m.prepareReactors(peers); err != nil {
 169                 log.Fatal(err)
 170         }
 171
 172         protocolReactor, ok := m.sw.GetReactors()["PROTOCOL"]
 173         if !ok {
 174                 log.Fatal("protocolReactor not found")
 175         }
 176
 177         bestHeight := uint64(0)
 178         ticker := time.NewTicker(time.Duration(m.cfg.CheckFreqSeconds) * time.Second)
 179         for range ticker.C {
 180                 log.Info("m.sw.GetPeers().List()", m.sw.GetPeers().List())
 181
 182                 for _, peer := range m.sw.GetPeers().List() {
 183                         peer.Start()
 184                         protocolReactor.AddPeer(peer)
 185                 }
 186
 187                 for _, peer := range m.sw.GetPeers().List() {
 188                         p := peers.GetPeer(peer.ID())
 189                         if p == nil {
 190                                 continue
 191                         }
 192
 193                         if err := p.SendStatus(m.chain.BestBlockHeader(), m.chain.LastIrreversibleHeader()); err != nil {
 194                                 peers.RemovePeer(p.ID())
 195                         }
 196                 }
 197
 198                 for _, peerInfo := range peers.GetPeerInfos() {
 199                         if peerInfo.Height > bestHeight {
 200                                 bestHeight = peerInfo.Height
 201                         }
 202
 203                         m.savePeerInfo(peerInfo)
 204                 }
 205                 log.Info("bestHeight", bestHeight)
 206
 207                 for _, peer := range m.sw.GetPeers().List() {
 208                         p := peers.GetPeer(peer.ID())
 209                         if p == nil {
 210                                 continue
 211                         }
 212
 213                         peers.RemovePeer(p.ID())
 214                 }
 215
 216                 // TODO:
 217                 // msg := struct{ msgs.BlockchainMessage }{&msgs.GetBlockMessage{Height: bestHeight + 1}}
 218                 // for _, peer := range m.sw.GetPeers().List() {
 219                 //      peers.SendMsg(peer.ID(), msgs.BlockchainChannel, msg)
 220                 // }
 221         }
 222 }