Changeset 1719:6e8861564778 in orange-bioinformatics


Ignore:
Timestamp:
08/31/12 14:09:46 (20 months ago)
Author:
markotoplak
Branch:
default
Message:

Fixed update scripts for MeSH, GO, HomoloGene, NCBI_geneinfo, OMIM, PPI. Moved wget to Orange.utils.

Files:
11 edited

Legend:

Unmodified
Added
Removed
  • _bioinformatics/obiGeneMania.py

    r1636 r1719  
    445445        pass 
    446446 
    447  
    448 def copyfileobj(src, dst, buffer=2**10, content_len=None, progress=None): 
    449     count = 0 
    450     if content_len is None: 
    451         content_len = guess_size(src) or sys.maxint 
    452     while True: 
    453         data = src.read(buffer) 
    454         dst.write(data) 
    455         count += len(data) 
    456         if progress: 
    457             progress(100.0 * count / content_len) 
    458         if not data: 
    459             break 
    460              
    461              
    462 def wget(url, directory=".", dst_obj=None, progress=None): 
    463     """ 
    464     .. todo:: Move to Orange.misc 
    465      
    466     """ 
    467     stream = urllib2.urlopen(url) 
    468     length = stream.headers.get("content-length", None) 
    469     if length is None: 
    470         length = sys.maxint 
    471     else: 
    472         length = int(length) 
    473      
    474     basename = posixpath.basename(url) 
    475          
    476     if dst_obj is None: 
    477         dst_obj = open(os.path.join(directory, basename), "wb") 
    478      
    479     if progress == True: 
    480         from Orange.utils import ConsoleProgressBar 
    481         progress = ConsoleProgressBar("Downloading %r." % basename) 
    482         with finishing(progress): 
    483             copyfileobj(stream, dst_obj, buffer=2**10, content_len=length, 
    484                         progress=progress) 
    485     else: 
    486         copyfileobj(stream, dst_obj, buffer=2**10, content_len=length, 
    487                     progress=progress) 
     447from Orange.utils import wget 
    488448     
    489449from . import obiPPI 
  • _bioinformatics/obiGeneSets.py

    r1716 r1719  
    11""" 
    2 Getting genesets from KEGG and GO. 
    3  
    42Maintainer: Marko Toplak 
    53""" 
  • _bioinformatics/obiOMIM.py

    r1682 r1719  
    4747                os.mkdir(cls.DEFAULT_DATABASE_PATH) 
    4848            file = open(os.path.join(cls.DEFAULT_DATABASE_PATH, "morbidmap"), "wb") 
    49         elif type(file) in [str, unicode]: 
     49        elif isinstance(file, basestring): 
    5050            file = open(file, "wb") 
    5151        file.write(data) 
     52        file.close() 
    5253         
    5354    @classmethod 
  • _bioinformatics/obiPPI.py

    r1716 r1719  
    1313 
    1414from Orange.orng import orngServerFiles 
    15 from Orange.utils import ConsoleProgressBar, lru_cache 
     15from Orange.utils import ConsoleProgressBar, lru_cache, wget 
    1616 
    1717from . import obiTaxonomy 
     
    313313          
    314314        """ 
    315         # TODO: synonyms_interactor can contain multiple synonyms 
    316         # (should create an indexed table of synonyms) 
     315            # TODO: synonyms_interactor can contain multiple synonyms 
     316            # (should create an indexed table of synonyms) 
    317317        if taxid is None: 
    318318            cur = self.db.execute("""\ 
     
    355355        filepath = orngServerFiles.localpath("PPI", "BIOGRID-ALL.tab2") 
    356356        cls.init_db(filepath) 
    357         shutil.remove(filepath) 
     357        os.remove(filepath) 
    358358         
    359359    @classmethod 
     
    367367        headers = lineiter.next() # read the first line 
    368368         
    369         con = sqlite3.connect(os.path.join(dirname, "BIOGRID-ALL.sqlite")) 
     369        con = sqlite3.connect(os.path.join(dirname, BioGRID.SERVER_FILE)) 
    370370        con.execute("drop table if exists links") # Drop old table 
    371371        con.execute("drop table if exists proteins") # Drop old table 
     
    445445from collections import namedtuple 
    446446from functools import partial 
    447  
    448 from .obiGeneMania import wget, copyfileobj 
    449447 
    450448def chainiter(iterable): 
  • server_update/updateGO.py

    r1717 r1719  
    22##!contact=ales.erjavec@fri.uni-lj.si 
    33 
    4 import obiGO, obiTaxonomy, obiGene, obiGenomicsUpdate, orngEnviron, orngServerFiles 
     4from Orange.bio import obiGO, obiTaxonomy, obiGene, obiGenomicsUpdate 
     5 
     6import Orange.utils.environ as orngEnviron 
     7import Orange.utils.serverfiles as orngServerFiles 
    58import os, sys, shutil, urllib2, tarfile 
    69from getopt import getopt 
     
    1316from collections import defaultdict 
    1417 
    15 tmpDir = os.path.join(orngEnviron.bufferDir, "tmp_GO") 
     18tmpDir = os.path.join(orngEnviron.buffer_dir, "tmp_GO") 
    1619try: 
    1720    os.mkdir(tmpDir) 
     
    5861 
    5962updatedTaxonomy = defaultdict(set) 
    60 import obiTaxonomy 
    6163 
    6264for org in u.GetAvailableOrganisms(): 
  • server_update/updateHomoloGene.py

    r1717 r1719  
    22##!contact=ales.erjavec@fri.uni-lj.si 
    33 
    4 import obiHomoloGene 
    5 import orngServerFiles 
     4from Orange.bio import obiHomoloGene 
     5import Orange.utils.serverfiles as orngServerFiles 
    66 
    7 import orngEnviron 
     7import Orange.utils.environ as orngEnviron 
    88import os, sys 
    99import gzip, shutil 
     
    1616password = opt.get("-p", opt.get("--password", "password")) 
    1717 
    18 path = os.path.join(orngEnviron.bufferDir, "tmp_HomoloGene") 
     18path = os.path.join(orngEnviron.buffer_dir, "tmp_HomoloGene") 
    1919serverFiles = orngServerFiles.ServerFiles(username, password) 
    2020 
  • server_update/updateMeSH.py

    r1717 r1719  
    33 
    44from urllib import urlopen 
    5 import orngServerFiles 
     5import Orange.utils.serverfiles as orngServerFiles 
    66import os, sys 
    77 
     
    1414 
    1515 
    16 ontology = urlopen("ftp://nlmpubs.nlm.nih.gov/online/mesh/.asciimesh/d2008.bin") 
     16ontology = urlopen("ftp://nlmpubs.nlm.nih.gov/online/mesh/.asciimesh/d2012.bin") 
    1717size = int(ontology.info().getheader("Content-Length")) 
    1818rsize = 0 
  • server_update/updateNCBI_geneinfo.py

    r1717 r1719  
    11##interval:7 
    2 import obiGene, obiTaxonomy 
    3 import orngServerFiles, orngEnviron 
     2from Orange.bio import obiGene, obiTaxonomy 
     3import Orange.utils.serverfiles as orngServerFiles 
     4import Orange.utils.environ as orngEnviron 
    45import sys, os 
    56from gzip import GzipFile 
     
    89opt = dict(getopt(sys.argv[1:], "u:p:", ["user=", "password="])[0]) 
    910 
    10 tmpdir = os.path.join(orngEnviron.bufferDir, "tmp_NCBIGene_info") 
     11tmpdir = os.path.join(orngEnviron.buffer_dir, "tmp_NCBIGene_info") 
    1112try: 
    1213    os.mkdir(tmpdir) 
  • server_update/updateOMIM.py

    r1717 r1719  
    22##!contact=ales.erjavec@fri.uni-lj.si 
    33 
    4 import obiOMIM 
    5 import orngServerFiles 
     4from Orange.bio import obiOMIM 
     5import Orange.utils.serverfiles as orngServerFiles 
    66 
    77import orngEnviron 
  • server_update/updatePPI.py

    r1717 r1719  
    22##!contact=ales.erjavec@fri.uni-lj.si 
    33 
    4 import obiPPI, orngServerFiles 
     4from Orange.bio import obiPPI 
     5import Orange.utils.serverfiles as orngServerFiles 
    56import os, sys, shutil, urllib2, tarfile 
    67from getopt import getopt 
     
    1819    pass 
    1920 
    20 obiPPI.MIPS.download() 
    21  
    2221try: 
    2322    serverFiles.create_domain("PPI") 
    2423except Exception, ex: 
    2524    print ex 
    26 filename = orngServerFiles.localpath("PPI", "mppi.gz") 
    27 serverFiles.upload("PPI", "allppis.xml", filename, "MIPS Protein interactions", 
    28                    tags=["protein interaction", "MIPS", "#compression:gz", "#version:%i" % obiPPI.MIPS.VERSION] 
    29                    ) 
    30 serverFiles.unprotect("PPI", "allppis.xml")  
    3125 
    32 if False: ## download BIOGRID-ALL manually 
     26if True: 
     27    obiPPI.MIPS.download() 
     28 
     29    filename = orngServerFiles.localpath("PPI", "mppi.gz") 
     30    serverFiles.upload("PPI", "allppis.xml", filename, "MIPS Protein interactions", 
     31                       tags=["protein interaction", "MIPS", "#compression:gz", "#version:%i" % obiPPI.MIPS.VERSION] 
     32                       ) 
     33    serverFiles.unprotect("PPI", "allppis.xml")  
     34 
     35if True: 
     36    obiPPI.BioGRID.download_data("http://thebiogrid.org/downloads/archives/Release%20Archive/BIOGRID-3.1.91/BIOGRID-ALL-3.1.91.tab2.zip") #replace with the newest version 
     37 
     38    sfn = obiPPI.BioGRID.SERVER_FILE 
     39 
     40    filename = orngServerFiles.localpath("PPI", sfn) 
     41 
    3342    import gzip 
    34     filename = orngServerFiles.localpath("PPI", "BIOGRID-ALL.tab") 
    3543    gz = gzip.GzipFile(filename + ".gz", "wb") 
    3644    gz.write(open(filename, "rb").read()) 
    3745    gz.close() 
    38     serverFiles.upload("PPI", "BIOGRID-ALL.tab", filename + ".gz", title="BioGRID Protein interactions",  
    39                        tags=["protein interaction", "BioGrid", "#compression:gz", "#version:%i" % obiPPI.BioGRID.VERSION] 
    40                        ) 
    41     serverFiles.unprotect("PPI", "BIOGRID-ALL.tab") 
    4246 
     47    serverFiles.upload("PPI", sfn, filename + ".gz",  
     48        title="BioGRID Protein interactions",  
     49        tags=["protein interaction", "BioGrid", "#compression:gz", "#version:%s" % obiPPI.BioGRID.VERSION] 
     50        ) 
     51    serverFiles.unprotect("PPI", sfn) 
     52 
  • server_update/updatemiRNA.py

    r1717 r1719  
    1313import zipfile 
    1414 
    15 import obiTaxonomy as tax 
    16 import orngServerFiles 
    17 import orngEnviron 
     15import Orange.bio.obiTaxonomy as tax 
     16import Orange.utils.serverfiles as orngServerFiles 
     17import Orange.utils.environ as orngEnviron 
    1818 
    1919def fastprint(filename,mode,what): 
     
    2626def sendMail(subject): 
    2727     
     28    print "MAIL", subject 
    2829    toaddr = "rsberex@yahoo.it" 
    2930    fromaddr = "orange@fri.uni-lj.si"; 
     
    225226password = opt.get("-p", opt.get("--password", "password")) 
    226227 
    227 path = os.path.join(orngEnviron.bufferDir, "tmp_miRNA") 
     228path = os.path.join(orngEnviron.buffer_dir, "tmp_miRNA") 
    228229print 'path: ', path 
    229230 
Note: See TracChangeset for help on using the changeset viewer.