protocol/block.go

   1 package protocol
   2
   3 import (
   4         log "github.com/sirupsen/logrus"
   5
   6         "github.com/vapor/config"
   7         "github.com/vapor/errors"
   8         "github.com/vapor/event"
   9         "github.com/vapor/protocol/bc"
  10         "github.com/vapor/protocol/bc/types"
  11         "github.com/vapor/protocol/state"
  12         "github.com/vapor/protocol/validation"
  13 )
  14
  15 var (
  16         // ErrBadBlock is returned when a block is invalid.
  17         ErrBadBlock = errors.New("invalid block")
  18         // ErrBadStateRoot is returned when the computed assets merkle root
  19         // disagrees with the one declared in a block header.
  20         ErrBadStateRoot = errors.New("invalid state merkle root")
  21 )
  22
  23 // BlockExist check is a block in chain or orphan
  24 func (c *Chain) BlockExist(hash *bc.Hash) bool {
  25         if _, err := c.store.GetBlockHeader(hash); err == nil {
  26                 return true
  27         }
  28         return c.orphanManage.BlockExist(hash)
  29 }
  30
  31 // GetBlockByHash return a block by given hash
  32 func (c *Chain) GetBlockByHash(hash *bc.Hash) (*types.Block, error) {
  33         return c.store.GetBlock(hash)
  34 }
  35
  36 // GetBlockByHeight return a block by given height
  37 func (c *Chain) GetBlockByHeight(height uint64) (*types.Block, error) {
  38         hash, err := c.store.GetMainChainHash(height)
  39         if err != nil {
  40                 return nil, errors.Wrap(err, "can't find block in given height")
  41         }
  42         return c.store.GetBlock(hash)
  43 }
  44
  45 // GetHeaderByHash return a block header by given hash
  46 func (c *Chain) GetHeaderByHash(hash *bc.Hash) (*types.BlockHeader, error) {
  47         return c.store.GetBlockHeader(hash)
  48 }
  49
  50 // GetHeaderByHeight return a block header by given height
  51 func (c *Chain) GetHeaderByHeight(height uint64) (*types.BlockHeader, error) {
  52         hash, err := c.store.GetMainChainHash(height)
  53         if err != nil {
  54                 return nil, errors.Wrap(err, "can't find block header in given height")
  55         }
  56         return c.store.GetBlockHeader(hash)
  57 }
  58
  59 func (c *Chain) calcReorganizeChain(beginAttach *types.BlockHeader, beginDetach *types.BlockHeader) ([]*types.BlockHeader, []*types.BlockHeader, error) {
  60         var err error
  61         var attachBlockHeaders []*types.BlockHeader
  62         var detachBlockHeaders []*types.BlockHeader
  63
  64         for attachBlockHeader, detachBlockHeader := beginAttach, beginDetach; detachBlockHeader.Hash() != attachBlockHeader.Hash(); {
  65                 var attachRollback, detachRollBack bool
  66                 if attachRollback = attachBlockHeader.Height >= detachBlockHeader.Height; attachRollback {
  67                         attachBlockHeaders = append([]*types.BlockHeader{attachBlockHeader}, attachBlockHeaders...)
  68                 }
  69
  70                 if detachRollBack = attachBlockHeader.Height <= detachBlockHeader.Height; detachRollBack {
  71                         detachBlockHeaders = append(detachBlockHeaders, detachBlockHeader)
  72                 }
  73
  74                 if attachRollback {
  75                         attachBlockHeader, err = c.store.GetBlockHeader(&attachBlockHeader.PreviousBlockHash)
  76                         if err != nil {
  77                                 return nil, nil, err
  78                         }
  79                 }
  80
  81                 if detachRollBack {
  82                         detachBlockHeader, err = c.store.GetBlockHeader(&detachBlockHeader.PreviousBlockHash)
  83                         if err != nil {
  84                                 return nil, nil, err
  85                         }
  86                 }
  87         }
  88         return attachBlockHeaders, detachBlockHeaders, nil
  89 }
  90
  91 func (c *Chain) connectBlock(block *types.Block) (err error) {
  92         bcBlock := types.MapBlock(block)
  93         if bcBlock.TransactionStatus, err = c.store.GetTransactionStatus(&bcBlock.ID); err != nil {
  94                 return err
  95         }
  96
  97         utxoView := state.NewUtxoViewpoint()
  98         if err := c.store.GetTransactionsUtxo(utxoView, bcBlock.Transactions); err != nil {
  99                 return err
 100         }
 101         if err := utxoView.ApplyBlock(bcBlock, bcBlock.TransactionStatus); err != nil {
 102                 return err
 103         }
 104
 105         consensusResult, err := c.getBestConsensusResult()
 106         if err != nil {
 107                 return err
 108         }
 109         if err := consensusResult.ApplyBlock(block); err != nil {
 110                 return err
 111         }
 112
 113         for _, p := range c.subProtocols {
 114                 if err := p.ApplyBlock(block); err != nil {
 115                         return errors.Wrap(err, p.Name(), "sub protocol connect block")
 116                 }
 117         }
 118
 119         irrBlockHeader := c.lastIrrBlockHeader
 120         if c.isIrreversible(&block.BlockHeader) && block.Height > irrBlockHeader.Height {
 121                 irrBlockHeader = &block.BlockHeader
 122         }
 123
 124         if err := c.setState(&block.BlockHeader, irrBlockHeader, []*types.BlockHeader{&block.BlockHeader}, utxoView, []*state.ConsensusResult{consensusResult}); err != nil {
 125                 return err
 126         }
 127
 128         for _, tx := range block.Transactions {
 129                 c.txPool.RemoveTransaction(&tx.Tx.ID)
 130         }
 131         return nil
 132 }
 133
 134 func (c *Chain) reorganizeChain(blockHeader *types.BlockHeader) error {
 135         attachBlockHeaders, detachBlockHeaders, err := c.calcReorganizeChain(blockHeader, c.bestBlockHeader)
 136         if err != nil {
 137                 return err
 138         }
 139
 140         utxoView := state.NewUtxoViewpoint()
 141         consensusResults := []*state.ConsensusResult{}
 142         consensusResult, err := c.getBestConsensusResult()
 143         if err != nil {
 144                 return err
 145         }
 146
 147         txsToRestore := map[bc.Hash]*types.Tx{}
 148         for _, detachBlockHeader := range detachBlockHeaders {
 149                 detachHash := detachBlockHeader.Hash()
 150                 b, err := c.store.GetBlock(&detachHash)
 151                 if err != nil {
 152                         return err
 153                 }
 154
 155                 detachBlock := types.MapBlock(b)
 156                 if err := c.store.GetTransactionsUtxo(utxoView, detachBlock.Transactions); err != nil {
 157                         return err
 158                 }
 159
 160                 txStatus, err := c.GetTransactionStatus(&detachBlock.ID)
 161                 if err != nil {
 162                         return err
 163                 }
 164
 165                 if err := utxoView.DetachBlock(detachBlock, txStatus); err != nil {
 166                         return err
 167                 }
 168
 169                 if err := consensusResult.DetachBlock(b); err != nil {
 170                         return err
 171                 }
 172
 173                 for _, p := range c.subProtocols {
 174                         if err := p.DetachBlock(b); err != nil {
 175                                 return errors.Wrap(err, p.Name(), "sub protocol detach block")
 176                         }
 177                 }
 178
 179                 for _, tx := range b.Transactions {
 180                         txsToRestore[tx.ID] = tx
 181                 }
 182
 183                 blockHash := blockHeader.Hash()
 184                 log.WithFields(log.Fields{"module": logModule, "height": blockHeader.Height, "hash": blockHash.String()}).Debug("detach from mainchain")
 185         }
 186
 187         txsToRemove := map[bc.Hash]*types.Tx{}
 188         irrBlockHeader := c.lastIrrBlockHeader
 189         for _, attachBlockHeader := range attachBlockHeaders {
 190                 attachHash := attachBlockHeader.Hash()
 191                 b, err := c.store.GetBlock(&attachHash)
 192                 if err != nil {
 193                         return err
 194                 }
 195
 196                 attachBlock := types.MapBlock(b)
 197                 if err := c.store.GetTransactionsUtxo(utxoView, attachBlock.Transactions); err != nil {
 198                         return err
 199                 }
 200
 201                 txStatus, err := c.GetTransactionStatus(&attachBlock.ID)
 202                 if err != nil {
 203                         return err
 204                 }
 205
 206                 if err := utxoView.ApplyBlock(attachBlock, txStatus); err != nil {
 207                         return err
 208                 }
 209
 210                 if err := consensusResult.ApplyBlock(b); err != nil {
 211                         return err
 212                 }
 213
 214                 for _, p := range c.subProtocols {
 215                         if err := p.ApplyBlock(b); err != nil {
 216                                 return errors.Wrap(err, p.Name(), "sub protocol attach block")
 217                         }
 218                 }
 219
 220                 if consensusResult.IsFinalize() {
 221                         consensusResults = append(consensusResults, consensusResult.Fork())
 222                 }
 223
 224                 if c.isIrreversible(attachBlockHeader) && attachBlockHeader.Height > irrBlockHeader.Height {
 225                         irrBlockHeader = attachBlockHeader
 226                 }
 227
 228                 for _, tx := range b.Transactions {
 229                         if _, ok := txsToRestore[tx.ID]; !ok {
 230                                 txsToRemove[tx.ID] = tx
 231                         } else {
 232                                 delete(txsToRestore, tx.ID)
 233                         }
 234                 }
 235
 236                 blockHash := blockHeader.Hash()
 237                 log.WithFields(log.Fields{"module": logModule, "height": blockHeader.Height, "hash": blockHash.String()}).Debug("attach from mainchain")
 238         }
 239
 240         if len(detachBlockHeaders) > 0 &&
 241                 detachBlockHeaders[len(detachBlockHeaders)-1].Height <= c.lastIrrBlockHeader.Height &&
 242                 irrBlockHeader.Height <= c.lastIrrBlockHeader.Height {
 243                 return errors.New("rollback block below the height of irreversible block")
 244         }
 245
 246         consensusResults = append(consensusResults, consensusResult.Fork())
 247         if err := c.setState(blockHeader, irrBlockHeader, attachBlockHeaders, utxoView, consensusResults); err != nil {
 248                 return err
 249         }
 250
 251         for txHash := range txsToRemove {
 252                 c.txPool.RemoveTransaction(&txHash)
 253         }
 254
 255         for _, tx := range txsToRestore {
 256                 // the number of restored Tx should be very small or most of time ZERO
 257                 // Error returned from validation is ignored, tx could still be lost if validation fails.
 258                 // TODO: adjust tx timestamp so that it won't starve in pool.
 259                 if _, err := c.validateTx(tx, blockHeader); err != nil {
 260                         log.WithFields(log.Fields{"module": logModule, "tx_id": tx.Tx.ID.String(), "error": err}).Info("restore tx fail")
 261                 }
 262         }
 263
 264         if len(txsToRestore) > 0 {
 265                 log.WithFields(log.Fields{"module": logModule, "num": len(txsToRestore)}).Debug("restore txs back to pool")
 266         }
 267         return nil
 268 }
 269
 270 // SaveBlock will validate and save block into storage
 271 func (c *Chain) saveBlock(block *types.Block) error {
 272         if err := c.validateSign(block); err != nil {
 273                 return errors.Sub(ErrBadBlock, err)
 274         }
 275
 276         parent, err := c.store.GetBlockHeader(&block.PreviousBlockHash)
 277         if err != nil {
 278                 return err
 279         }
 280
 281         consensusResult, err := c.GetConsensusResultByHash(&block.PreviousBlockHash)
 282         if err != nil {
 283                 return err
 284         }
 285
 286         rewards, err := consensusResult.GetCoinbaseRewards(parent.Height)
 287         if err != nil {
 288                 return err
 289         }
 290
 291         bcBlock := types.MapBlock(block)
 292         if err := validation.ValidateBlock(bcBlock, parent, rewards); err != nil {
 293                 return errors.Sub(ErrBadBlock, err)
 294         }
 295
 296         signature, err := c.SignBlock(block)
 297         if err != nil {
 298                 return errors.Sub(ErrBadBlock, err)
 299         }
 300
 301         for _, p := range c.subProtocols {
 302                 if err := p.ValidateBlock(block, bcBlock.TransactionStatus.GetVerifyStatus()); err != nil {
 303                         return errors.Wrap(err, "sub protocol save block")
 304                 }
 305         }
 306
 307         if err := c.store.SaveBlock(block, bcBlock.TransactionStatus); err != nil {
 308                 return err
 309         }
 310         c.orphanManage.Delete(&bcBlock.ID)
 311
 312         if len(signature) != 0 {
 313                 xPub := config.CommonConfig.PrivateKey().XPub()
 314                 if err := c.eventDispatcher.Post(event.BlockSignatureEvent{BlockHash: block.Hash(), Signature: signature, XPub: xPub[:]}); err != nil {
 315                         return err
 316                 }
 317         }
 318         return nil
 319 }
 320
 321 func (c *Chain) saveSubBlock(block *types.Block) *types.Block {
 322         blockHash := block.Hash()
 323         prevOrphans, ok := c.orphanManage.GetPrevOrphans(&blockHash)
 324         if !ok {
 325                 return block
 326         }
 327
 328         bestBlock := block
 329         for _, prevOrphan := range prevOrphans {
 330                 orphanBlock, ok := c.orphanManage.Get(prevOrphan)
 331                 if !ok {
 332                         log.WithFields(log.Fields{"module": logModule, "hash": prevOrphan.String()}).Warning("saveSubBlock fail to get block from orphanManage")
 333                         continue
 334                 }
 335                 if err := c.saveBlock(orphanBlock); err != nil {
 336                         log.WithFields(log.Fields{"module": logModule, "hash": prevOrphan.String(), "height": orphanBlock.Height}).Warning("saveSubBlock fail to save block")
 337                         continue
 338                 }
 339
 340                 if subBestBlock := c.saveSubBlock(orphanBlock); subBestBlock.Height > bestBlock.Height {
 341                         bestBlock = subBestBlock
 342                 }
 343         }
 344         return bestBlock
 345 }
 346
 347 type processBlockResponse struct {
 348         isOrphan bool
 349         err      error
 350 }
 351
 352 type processBlockMsg struct {
 353         block *types.Block
 354         reply chan processBlockResponse
 355 }
 356
 357 // ProcessBlock is the entry for chain update
 358 func (c *Chain) ProcessBlock(block *types.Block) (bool, error) {
 359         reply := make(chan processBlockResponse, 1)
 360         c.processBlockCh <- &processBlockMsg{block: block, reply: reply}
 361         response := <-reply
 362         return response.isOrphan, response.err
 363 }
 364
 365 func (c *Chain) blockProcesser() {
 366         for msg := range c.processBlockCh {
 367                 isOrphan, err := c.processBlock(msg.block)
 368                 msg.reply <- processBlockResponse{isOrphan: isOrphan, err: err}
 369         }
 370 }
 371
 372 // ProcessBlock is the entry for handle block insert
 373 func (c *Chain) processBlock(block *types.Block) (bool, error) {
 374         blockHash := block.Hash()
 375         if c.BlockExist(&blockHash) {
 376                 log.WithFields(log.Fields{"module": logModule, "hash": blockHash.String(), "height": block.Height}).Debug("block has been processed")
 377                 return c.orphanManage.BlockExist(&blockHash), nil
 378         }
 379
 380         c.markTransactions(block.Transactions...)
 381
 382         if _, err := c.store.GetBlockHeader(&block.PreviousBlockHash); err != nil {
 383                 c.orphanManage.Add(block)
 384                 return true, nil
 385         }
 386
 387         if err := c.saveBlock(block); err != nil {
 388                 return false, err
 389         }
 390
 391         bestBlock := c.saveSubBlock(block)
 392         bestBlockHeader := &bestBlock.BlockHeader
 393
 394         c.cond.L.Lock()
 395         defer c.cond.L.Unlock()
 396         if bestBlockHeader.PreviousBlockHash == c.bestBlockHeader.Hash() {
 397                 log.WithFields(log.Fields{"module": logModule}).Debug("append block to the end of mainchain")
 398                 return false, c.connectBlock(bestBlock)
 399         }
 400
 401         if bestBlockHeader.Height > c.bestBlockHeader.Height {
 402                 log.WithFields(log.Fields{"module": logModule}).Debug("start to reorganize chain")
 403                 return false, c.reorganizeChain(bestBlockHeader)
 404         }
 405         return false, nil
 406 }