toolbar/precog/monitor/monitor.go

   1 package monitor
   2
   3 import (
   4         "fmt"
   5         "io/ioutil"
   6         "os"
   7         "os/user"
   8         "strings"
   9         "sync/atomic"
  10         "time"
  11
  12         "github.com/jinzhu/gorm"
  13         log "github.com/sirupsen/logrus"
  14
  15         vaporCfg "github.com/vapor/config"
  16         "github.com/vapor/crypto/ed25519/chainkd"
  17         dbm "github.com/vapor/database/leveldb"
  18         "github.com/vapor/event"
  19         "github.com/vapor/netsync/chainmgr"
  20         "github.com/vapor/netsync/consensusmgr"
  21         "github.com/vapor/p2p"
  22         // msgs "github.com/vapor/netsync/messages"
  23         "github.com/vapor/netsync/peers"
  24         "github.com/vapor/p2p/discover/dht"
  25         "github.com/vapor/p2p/discover/mdns"
  26         "github.com/vapor/p2p/signlib"
  27         "github.com/vapor/test/mock"
  28         "github.com/vapor/toolbar/precog/config"
  29 )
  30
  31 type monitor struct {
  32         cfg       *config.Config
  33         db        *gorm.DB
  34         nodeCfg   *vaporCfg.Config
  35         sw        *p2p.Switch
  36         discvCh   chan *dht.Node
  37         privKey   chainkd.XPrv
  38         chain     *mock.Chain
  39         txPool    *mock.Mempool
  40         connected uint32
  41 }
  42
  43 // TODO: set myself as SPV?
  44 func NewMonitor(cfg *config.Config, db *gorm.DB) *monitor {
  45         //TODO: for test
  46         cfg.CheckFreqSeconds = 30
  47
  48         dbPath, err := makePath()
  49         if err != nil {
  50                 log.Fatal(err)
  51         }
  52
  53         nodeCfg := &vaporCfg.Config{
  54                 BaseConfig: vaporCfg.DefaultBaseConfig(),
  55                 P2P:        vaporCfg.DefaultP2PConfig(),
  56                 Federation: vaporCfg.DefaultFederationConfig(),
  57         }
  58         nodeCfg.DBPath = dbPath
  59         nodeCfg.ChainID = "mainnet"
  60         discvCh := make(chan *dht.Node)
  61         privKey, err := signlib.NewPrivKey()
  62         if err != nil {
  63                 log.Fatal(err)
  64         }
  65
  66         chain, txPool, err := mockChainAndPool()
  67         if err != nil {
  68                 log.Fatal(err)
  69         }
  70
  71         return &monitor{
  72                 cfg:     cfg,
  73                 db:      db,
  74                 nodeCfg: nodeCfg,
  75                 discvCh: discvCh,
  76                 privKey: privKey.(chainkd.XPrv),
  77                 chain:   chain,
  78                 txPool:  txPool,
  79         }
  80 }
  81
  82 func makePath() (string, error) {
  83         usr, err := user.Current()
  84         if err != nil {
  85                 return "", err
  86         }
  87
  88         dataPath := usr.HomeDir + "/.precog"
  89         if err := os.MkdirAll(dataPath, os.ModePerm); err != nil {
  90                 return "", err
  91         }
  92
  93         tmpDir, err := ioutil.TempDir(dataPath, "")
  94         if err != nil {
  95                 return "", err
  96         }
  97
  98         return tmpDir, nil
  99 }
 100
 101 func (m *monitor) Run() {
 102         defer os.RemoveAll(m.nodeCfg.DBPath)
 103
 104         var seeds []string
 105         for _, node := range m.cfg.Nodes {
 106                 seeds = append(seeds, fmt.Sprintf("%s:%d", node.Host, node.Port))
 107                 if err := m.upSertNode(&node); err != nil {
 108                         log.Error(err)
 109                 }
 110         }
 111         m.nodeCfg.P2P.Seeds = strings.Join(seeds, ",")
 112         if err := m.makeSwitch(); err != nil {
 113                 log.Fatal(err)
 114         }
 115
 116         go m.discoveryRoutine()
 117         go m.collectDiscoveredNodes()
 118         go m.connectNodesRoutine()
 119         go m.checkStatusRoutine()
 120 }
 121
 122 func (m *monitor) makeSwitch() error {
 123         l, listenAddr := p2p.GetListener(m.nodeCfg.P2P)
 124         discv, err := dht.NewDiscover(m.nodeCfg, m.privKey, l.ExternalAddress().Port, m.cfg.NetworkID)
 125         if err != nil {
 126                 return err
 127         }
 128
 129         // no need for lanDiscv, but passing &mdns.LANDiscover{} will cause NilPointer
 130         lanDiscv := mdns.NewLANDiscover(mdns.NewProtocol(), int(l.ExternalAddress().Port))
 131         sw, err := p2p.NewSwitch(m.nodeCfg, discv, lanDiscv, l, m.privKey, listenAddr, m.cfg.NetworkID)
 132         if err != nil {
 133                 return err
 134         }
 135
 136         m.sw = sw
 137         return nil
 138 }
 139
 140 func (m *monitor) prepareReactors(peers *peers.PeerSet) error {
 141         dispatcher := event.NewDispatcher()
 142         // add ConsensusReactor for consensusChannel
 143         _ = consensusmgr.NewManager(m.sw, m.chain, peers, dispatcher)
 144         fastSyncDB := dbm.NewDB("fastsync", m.nodeCfg.DBBackend, m.nodeCfg.DBDir())
 145         // add ProtocolReactor to handle msgs
 146         _, err := chainmgr.NewManager(m.nodeCfg, m.sw, m.chain, m.txPool, dispatcher, peers, fastSyncDB)
 147         if err != nil {
 148                 return err
 149         }
 150
 151         for label, reactor := range m.sw.GetReactors() {
 152                 log.Debug("start reactor: (%s:%v)", label, reactor)
 153                 if _, err := reactor.Start(); err != nil {
 154                         return nil
 155                 }
 156         }
 157
 158         m.sw.GetSecurity().RegisterFilter(m.sw.GetNodeInfo())
 159         m.sw.GetSecurity().RegisterFilter(m.sw.GetPeers())
 160
 161         return m.sw.GetSecurity().Start()
 162 }
 163
 164 // TODO:
 165 // 现象是，时间区间过小时，  会一直有 dial ，但是不能 send业务层 msg
 166 // 还不确定是不是死锁，时间调大一点比如15s 就可以正确运行
 167 // 想法，自己再另外加锁，或者找到锁住的真正原因
 168 func (m *monitor) checkStatusRoutine() {
 169         peers := peers.NewPeerSet(m.sw)
 170         if err := m.prepareReactors(peers); err != nil {
 171                 log.Fatal(err)
 172         }
 173
 174         protocolReactor, ok := m.sw.GetReactors()["PROTOCOL"]
 175         if !ok {
 176                 log.Fatal("protocolReactor not found")
 177         }
 178
 179         bestHeight := uint64(0)
 180         ticker := time.NewTicker(time.Duration(m.cfg.CheckFreqSeconds) * time.Second)
 181         for range ticker.C {
 182                 for !m.isConnected() {
 183                         time.Sleep(1 * time.Second)
 184                 }
 185                 log.Info("connected peers: ", m.sw.GetPeers().List())
 186
 187                 for _, peer := range m.sw.GetPeers().List() {
 188                         peer.Start()
 189                         protocolReactor.AddPeer(peer)
 190                 }
 191
 192                 for _, peer := range m.sw.GetPeers().List() {
 193                         p := peers.GetPeer(peer.ID())
 194                         if p == nil {
 195                                 continue
 196                         }
 197
 198                         if err := p.SendStatus(m.chain.BestBlockHeader(), m.chain.LastIrreversibleHeader()); err != nil {
 199                                 peers.RemovePeer(p.ID())
 200                         }
 201                 }
 202
 203                 for _, peerInfo := range peers.GetPeerInfos() {
 204                         if peerInfo.Height > bestHeight {
 205                                 bestHeight = peerInfo.Height
 206                         }
 207
 208                         m.savePeerInfo(peerInfo)
 209                 }
 210                 log.Info("bestHeight: ", bestHeight)
 211
 212                 // TODO:
 213                 // msg := struct{ msgs.BlockchainMessage }{&msgs.GetBlockMessage{Height: bestHeight + 1}}
 214                 // for _, peer := range m.sw.GetPeers().List() {
 215                 //      peers.SendMsg(peer.ID(), msgs.BlockchainChannel, msg)
 216                 // }
 217
 218                 for _, peer := range m.sw.GetPeers().List() {
 219                         p := peers.GetPeer(peer.ID())
 220                         if p == nil {
 221                                 continue
 222                         }
 223
 224                         peers.RemovePeer(p.ID())
 225                 }
 226
 227                 m.setDisonnected()
 228                 log.Info("Disonnect all peers.")
 229         }
 230 }
 231
 232 func (m *monitor) isConnected() bool {
 233         atomic.LoadUint32(&m.connected)
 234         return m.connected == uint32(1)
 235 }
 236
 237 func (m *monitor) setConnected() {
 238         atomic.StoreUint32(&m.connected, 1)
 239 }
 240
 241 func (m *monitor) setDisonnected() {
 242         atomic.StoreUint32(&m.connected, 0)
 243 }