html2wiki/sfmag_fetch.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3
   4 import fetch_sfjpmag
   5 import sys
   6 import os.path
   7
   8 usage = "%s <url_list> <output_dir>" % sys.argv[0]
   9
  10 try:
  11     urllist = sys.argv[1]
  12     output_dir = sys.argv[2]
  13 except IndexError:
  14     sys.exit(usage)
  15
  16 if not os.path.isdir(output_dir):
  17     sys.exit(usage)
  18
  19 try:
  20     f = open(urllist, "r")
  21 except IOError:
  22     sys.exit(usage)
  23
  24 for url in f:
  25     if url[0] == "#":
  26         continue
  27
  28     url = url.strip()
  29     fetch_sfjpmag.fetch(url, output_dir)
  30