not to use sys.defaultencoding() (alpha.)

git-svn-id: svn+ssh://svn.sourceforge.jp/svnroot/rec10@260 4e526526-5e11-4fc0-8910-f8fd03428081

diff --git a/rec10/trunk/src/auto_rec.py b/rec10/trunk/src/auto_rec.py
index f15ff84..469c544 100644 (file)
--- a/rec10/trunk/src/auto_rec.py
+++ b/rec10/trunk/src/auto_rec.py
@@ -61,8 +61,8 @@ def calc_key(chtxt,title,desc):
 
     """
     kyoukai=800
-    title=" "+title+" "
-    desc=" "+desc+" "
+    title=u" "+title+u" "
+    desc=u" "+desc+u" "
     str1=title*2+desc+title*2##タイトルは重視したいので幾度か足す。
     noun=n_gram.get_noun_quad_gram(str1)#nounは辞書のキーに文字を、中身に出現回数を書いたもの。
     tnum=1

diff --git a/rec10/trunk/src/chdata.py b/rec10/trunk/src/chdata.py
index 8d2110c..d07cbeb 100644 (file)
--- a/rec10/trunk/src/chdata.py
+++ b/rec10/trunk/src/chdata.py
@@ -6,7 +6,7 @@ import rec10d
 #CS放送では複数のチャンネルを指定する必要があるためチャンネル名をテキストデータで持っておき(chtxt)、必要に応じて変換する
 #ontvはepgデータなどで指定されている名前
 #ここの設定は愛知県の設定(+CS放送スカパーe2 +BS)
-rec10d.rec10db.new_epg_ch()
+
 def chadd(bctype, ontv, chtxt, ch, csch):#すべて文字列
     """
     ChannelDBに指定したデータを追加する
@@ -21,67 +21,71 @@ def chadd(bctype, ontv, chtxt, ch, csch):#すべて文字列
     uch = unicode(ch)
     ucsch = unicode(csch)
     rec10d.rec10db.add_epg_ch(ubct, uontv, uchtxt, uch, ucsch, u"2009-04-01 00:00:00")
-    
-#チャンネルの設定
-#chadd('放送種別','ontvコード(ontvのサイトなどで調べられる)','略称(何でもよい)','チャンネル(物理チャンネル)','CS放送の場合の内訳')
 
-#地上波の設定　東京都(筆者は東京で受信していないため正しいかどうか分かりません)
-#chadd('te27', '0031.ontvjapan.com', 'nhk-s',   '27', '0')
-#chadd('te26', '0041.ontvjapan.com', 'nhk-k',   '26', '0')
-#chadd('te25', '0004.ontvjapan.com', 'nittere', '25', '0')
-#chadd('te22', '0005.ontvjapan.com', 'tbs',     '22', '0')
-#chadd('te21', '0006.ontvjapan.com', 'fuji',    '21', '0')
-#chadd('te24', '0007.ontvjapan.com', 'asahi',   '24', '0')
-#chadd('te23', '0008.ontvjapan.com', 'tokyo',   '23', '0')
-##chadd('te', '0009.ontvjapan.com', 'tvk',     '', '0')
-##chadd('te', '0010.ontvjapan.com', 'chiba',   '', '0')
-##chadd('te', '0011.ontvjapan.com', 'gunma',   '', '0')
-##chadd('te', '0012.ontvjapan.com', 'tama',    '', '0')
-#chadd('te28', '0013.ontvjapan.com', 'housou',  '28', '0')
-#chadd('te20', '0016.ontvjapan.com', 'mxtv',    '20', '0')
-##chadd('te', '0018.ontvjapan.com', 'tochigi', '', '0')
-#地上波の設定　愛知県向け
-chadd('te13', '0442.ontvjapan.com', 'nhk-k', '13', '0')
-chadd('te20', '0432.ontvjapan.com', 'nhk-s', '20', '0')
-chadd('te22', '0404.ontvjapan.com', 'me-tere', '22', '0')
-chadd('te18', '0405.ontvjapan.com', 'cbc', '18', '0')
-chadd('te21', '0406.ontvjapan.com', 'toukai', '21', '0')
-chadd('te19', '0407.ontvjapan.com', 'chukyo', '19', '0')
-chadd('te23', '0420.ontvjapan.com', 'aichi', '23', '0')
-chadd('te27', '0417.ontvjapan.com', 'mie', '27', '0')
+def new_chdata():
+    rec10d.rec10db.new_epg_ch()
+    #チャンネルの設定
+    #chadd('放送種別','ontvコード(ontvのサイトなどで調べられる)','略称(何でもよい)','チャンネル(物理チャンネル)','CS放送の場合の内訳')
+
+    #地上波の設定　東京都(筆者は東京で受信していないため正しいかどうか分かりません)
+    #chadd('te27', '0031.ontvjapan.com', 'nhk-s',   '27', '0')
+    #chadd('te26', '0041.ontvjapan.com', 'nhk-k',   '26', '0')
+    #chadd('te25', '0004.ontvjapan.com', 'nittere', '25', '0')
+    #chadd('te22', '0005.ontvjapan.com', 'tbs',     '22', '0')
+    #chadd('te21', '0006.ontvjapan.com', 'fuji',    '21', '0')
+    #chadd('te24', '0007.ontvjapan.com', 'asahi',   '24', '0')
+    #chadd('te23', '0008.ontvjapan.com', 'tokyo',   '23', '0')
+    ##chadd('te', '0009.ontvjapan.com', 'tvk',     '', '0')
+    ##chadd('te', '0010.ontvjapan.com', 'chiba',   '', '0')
+    ##chadd('te', '0011.ontvjapan.com', 'gunma',   '', '0')
+    ##chadd('te', '0012.ontvjapan.com', 'tama',    '', '0')
+    #chadd('te28', '0013.ontvjapan.com', 'housou',  '28', '0')
+    #chadd('te20', '0016.ontvjapan.com', 'mxtv',    '20', '0')
+    ##chadd('te', '0018.ontvjapan.com', 'tochigi', '', '0')
+    #地上波の設定　愛知県向け
+    chadd('te13', '0442.ontvjapan.com', 'nhk-k', '13', '0')
+    chadd('te20', '0432.ontvjapan.com', 'nhk-s', '20', '0')
+    chadd('te22', '0404.ontvjapan.com', 'me-tere', '22', '0')
+    chadd('te18', '0405.ontvjapan.com', 'cbc', '18', '0')
+    chadd('te21', '0406.ontvjapan.com', 'toukai', '21', '0')
+    chadd('te19', '0407.ontvjapan.com', 'chukyo', '19', '0')
+    chadd('te23', '0420.ontvjapan.com', 'aichi', '23', '0')
+    chadd('te27', '0417.ontvjapan.com', 'mie', '27', '0')
 
 
 
-#CS放送(スカパーe2)主に基本パックには言ってるものを中心に
-chadd('cs1', '1204.ontvjapan.com', 'natiogeo', 'CS6', '343')
-chadd('cs1', '1070.ontvjapan.com', 'bbc', 'CS12', '353')
-chadd('cs1', '1069.ontvjapan.com', 'cnn', 'CS12', '354')
-chadd('cs1', '1045.ontvjapan.com', 'kids', 'CS22', '330')
-chadd('cs1', '1007.ontvjapan.com', 'movieplus', 'CS18', '240')
-chadd('cs1', '1016.ontvjapan.com', 'fox', 'CS4', '312')
-chadd('cs1', '1014.ontvjapan.com', 'axn', 'CS6', '311')
-chadd('cs1', '1201.ontvjapan.com', 'atx', 'CS16', '333')
-chadd('cs1', '1050.ontvjapan.com', 'hisch', 'CS16', '342')
-chadd('cs1', '1047.ontvjapan.com', 'animax', 'CS20', '332')
-chadd('cs1', '1062.ontvjapan.com', 'disch', 'CS20', '340')
-chadd('cs1', '1193.ontvjapan.com', 'anipla', 'CS20', '341')
-chadd('cs1', '1008.ontvjapan.com', 'neco', 'CS6', '223')
-chadd('cs1', '1015.ontvjapan.com', 'family', 'CS22', '293')
-chadd('cs1', '1213.ontvjapan.com', 'disney', 'CS4', '334')
-chadd('cs1', '1092.ontvjapan.com', 'teroasa', 'CS12', '303')
-chadd('cs1', '1073.ontvjapan.com', 'fuji-one', 'CS20', '307')
-chadd('cs1', '1072.ontvjapan.com', 'fuji-two', 'CS20', '308')
-chadd('cs1', '1009.ontvjapan.com', 'yo-ga', 'CS6', '224')
-chadd('cs2', '1217.ontvjapan.com', 'thecinema', 'CS10', '228')
-chadd('cs2', '1086.ontvjapan.com', 'nihoneiga', 'CS2', '239')
+    #CS放送(スカパーe2)主に基本パックには言ってるものを中心に
+    chadd('cs1', '1204.ontvjapan.com', 'natiogeo', 'CS6', '343')
+    chadd('cs1', '1070.ontvjapan.com', 'bbc', 'CS12', '353')
+    chadd('cs1', '1069.ontvjapan.com', 'cnn', 'CS12', '354')
+    chadd('cs1', '1045.ontvjapan.com', 'kids', 'CS22', '330')
+    chadd('cs1', '1007.ontvjapan.com', 'movieplus', 'CS18', '240')
+    chadd('cs1', '1016.ontvjapan.com', 'fox', 'CS4', '312')
+    chadd('cs1', '1014.ontvjapan.com', 'axn', 'CS6', '311')
+    chadd('cs1', '1201.ontvjapan.com', 'atx', 'CS16', '333')
+    chadd('cs1', '1050.ontvjapan.com', 'hisch', 'CS16', '342')
+    chadd('cs1', '1047.ontvjapan.com', 'animax', 'CS20', '332')
+    chadd('cs1', '1062.ontvjapan.com', 'disch', 'CS20', '340')
+    chadd('cs1', '1193.ontvjapan.com', 'anipla', 'CS20', '341')
+    chadd('cs1', '1008.ontvjapan.com', 'neco', 'CS6', '223')
+    chadd('cs1', '1015.ontvjapan.com', 'family', 'CS22', '293')
+    chadd('cs1', '1213.ontvjapan.com', 'disney', 'CS4', '334')
+    chadd('cs1', '1092.ontvjapan.com', 'teroasa', 'CS12', '303')
+    chadd('cs1', '1073.ontvjapan.com', 'fuji-one', 'CS20', '307')
+    chadd('cs1', '1072.ontvjapan.com', 'fuji-two', 'CS20', '308')
+    chadd('cs1', '1009.ontvjapan.com', 'yo-ga', 'CS6', '224')
+    chadd('cs2', '1217.ontvjapan.com', 'thecinema', 'CS10', '228')
+    chadd('cs2', '1086.ontvjapan.com', 'nihoneiga', 'CS2', '239')
 
-#bs放送の設定　全国共通のはず
-chadd('bs', '3001.ontvjapan.com', 'bs-nhk-1', '101', '0')
-chadd('bs', '3002.ontvjapan.com', 'bs-nhk-2', '102', '0')
-chadd('bs', '3003.ontvjapan.com', 'bs-nhk-hi', '103', '0')
-chadd('bs', '3004.ontvjapan.com', 'bs-nittere', '141', '0')
-chadd('bs', '3005.ontvjapan.com', 'bs-asahi', '151', '0')
-chadd('bs', '3006.ontvjapan.com', 'bs-tbs', '161', '0')
-chadd('bs', '3007.ontvjapan.com', 'bs-japan', '171', '0')
-chadd('bs', '3008.ontvjapan.com', 'bs-fuji', '181', '0')
-chadd('bs', '3013.ontvjapan.com', 'bs-11', '211', '0')
+    #bs放送の設定　全国共通のはず
+    chadd('bs', '3001.ontvjapan.com', 'bs-nhk-1', '101', '0')
+    chadd('bs', '3002.ontvjapan.com', 'bs-nhk-2', '102', '0')
+    chadd('bs', '3003.ontvjapan.com', 'bs-nhk-hi', '103', '0')
+    chadd('bs', '3004.ontvjapan.com', 'bs-nittere', '141', '0')
+    chadd('bs', '3005.ontvjapan.com', 'bs-asahi', '151', '0')
+    chadd('bs', '3006.ontvjapan.com', 'bs-tbs', '161', '0')
+    chadd('bs', '3007.ontvjapan.com', 'bs-japan', '171', '0')
+    chadd('bs', '3008.ontvjapan.com', 'bs-fuji', '181', '0')
+    chadd('bs', '3013.ontvjapan.com', 'bs-11', '211', '0')
+if __name__ == "__main__":
+    new_chdata()
\ No newline at end of file

diff --git a/rec10/trunk/src/dbMySQL.py b/rec10/trunk/src/dbMySQL.py
index 02ee346..2474c46 100644 (file)
--- a/rec10/trunk/src/dbMySQL.py
+++ b/rec10/trunk/src/dbMySQL.py
@@ -44,7 +44,6 @@ class DB_MySQL:
             ""
         self.close_db(db)
         self.new_epg_timeline("")
-        self.new_epg_ch()
         self.new_in_timeline_log()
         self.new_in_auto_bayes_key()
         self.new_in_auto_jbk_key()
@@ -66,6 +65,7 @@ class DB_MySQL:
     def new_epg_ch(self):
         db = self.connect_db()
         try:
+            db[1].execute('drop table epg_ch')
             db[1].execute('\
             CREATE TABLE epg_ch \
             (\

diff --git a/rec10/trunk/src/ts2epg.py b/rec10/trunk/src/ts2epg.py
index 44365ee..409a509 100644 (file)
--- a/rec10/trunk/src/ts2epg.py
+++ b/rec10/trunk/src/ts2epg.py
@@ -18,13 +18,13 @@ def write(pout, ch):
     print "ts2epg処理"
     bctype = chdb.chsearch(ch)['bctype']
     print ch + ":" + bctype
-    timet = "90"
+    timet = "10"
     if re.search(u'cs', bctype):
         mode = "/CS"
-        timet = "180"
+        timet = "10"
     elif re.search(u'bs', bctype):
         mode = "/BS"
-        timet = "240"
+        timet = "10"
     else:
         mode = chdb.bctypesearch(u'te' + ch)['ontv']
     epgdump = configreader.getpath("epgdump")

diff --git a/rec10/trunk/src/xml2db.py b/rec10/trunk/src/xml2db.py
index d67101c..07a3e1c 100644 (file)
--- a/rec10/trunk/src/xml2db.py
+++ b/rec10/trunk/src/xml2db.py
@@ -51,9 +51,12 @@ def end_element(name):
     global flags, lastflag, xmldate, db, chlists, tvlists ,bayes,dtb
     if flags[name] == 1:
         if name == "channel":
-            ubctype = unicode(bctype)
-            uid = unicode(xmldate['channel:id'])
-            udn = unicode(xmldate['display-name'])
+            #ubctype = unicode(bctype)
+            #uid = unicode(xmldate['channel:id'])
+            #udn = unicode(xmldate['display-name'])
+            ubctype=bctype
+            uid=xmldate['channel:id']
+            udn=xmldate['display-name']
             #print uid
             bcsearch = None
             bs = chdb.ontvsearch(xmldate['channel:id'])
@@ -65,14 +68,25 @@ def end_element(name):
             xmldate['channel:id'] = ""
             xmldate['display-name'] = ""
         elif name == "programme":
-            ubctype = unicode(bctype)
-            uch = unicode(xmldate['programme:channel'])
-            ustart = unicode(xmldate['programme:start'].replace(" +0900", ""))
-            ustop = unicode(xmldate['programme:stop'].replace(" +0900", ""))
-            utitle = unicode(xmldate['title'].replace(",", "-"))
+            """
+            #ubctype = unicode(bctype)
+            #uch = unicode(xmldate['programme:channel'])
+            #ustart = unicode(xmldate['programme:start'].replace(" +0900", ""))
+            #ustop = unicode(xmldate['programme:stop'].replace(" +0900", ""))
+            ###utitle = unicode(xmldate['title'].replace(",", "-"))
             udesc = unicode(xmldate['desc'])
             ulongdesc = unicode(xmldate['longdesc'])
-            ucategory = unicode(xmldate['category'])
+            ucategory = unicode(xmldate['category'])"""
+            ubctype=bctype
+            uch=xmldate['programme:channel']
+            ustart=xmldate['programme:start'].replace(" +0900", "")
+            ustop=xmldate['programme:stop'].replace(" +0900", "")
+            utitle=xmldate['title'].replace(",", "-")
+            udesc = xmldate['desc']
+            ulongdesc = xmldate['longdesc']
+            ucategory = xmldate['category']
+
+            
             tch=chdb.ontvsearch(uch)
             if tch!=None:
                 if tch.get('bctype',"")==ubctype:
@@ -97,8 +111,8 @@ def end_element(name):
                 auto_rec.update_recall(ct,list[0],list[1],list[2])
                 auto_rec.update_recall("ALL",list[0],list[1],list[2])
             dtb=datetime.datetime.now()-dtb
-            print bctype + " epg取り出し終了"
-            print str(dtb.days * 24 * 60 * 60 + dtb.seconds)+"seconds taken for updating bayes-auto DB ."
+            print bctype + u" epg取り出し終了"
+            print str(dtb.days * 24 * 60 * 60 + dtb.seconds)+u"seconds taken for updating bayes-auto DB ."
     flags[name] = 0
 def char_data(data):
     global flags, lastflag, xmldate
@@ -106,11 +120,8 @@ def char_data(data):
     data = data.replace("  ", "")
     data = data.replace("\"", "")
     data = data.replace("\'", "")
-    try:
-        datat = zenhan.toHankaku_ABC123(data)
-    except:
-        datat = data
-    data = datat.encode('utf-8')
+    datat = zenhan.toHankaku_ABC123(data)
+    #data = datat.encode('utf-8')
     if xmldate.has_key(lastflag):
         if xmldate[lastflag] != data:
             xmldate[lastflag] += data