source: orange-bioinformatics/_bioinformatics/widgets/OWSetEnrichment.py @ 1872:5518b82614e3

Revision 1872:5518b82614e3, 28.1 KB checked in by markotoplak, 6 months ago (diff)

OWSetEnrichment: both p-value and FDR are shown. FDR is recomputed when selected gene sets are changed.

Line 
1"""<name>Gene Set Enrichment</name>
2<icon>icons/GeneSetEnrichment.svg</icon>
3"""
4
5from __future__ import absolute_import, with_statement
6
7import math
8from collections import defaultdict
9
10from Orange.orng import orngEnviron, orngServerFiles
11from Orange.orng.orngDataCaching import data_hints
12from Orange.OrangeWidgets import OWGUI
13from Orange.OrangeWidgets.OWGUI import LinkStyledItemDelegate, LinkRole
14from Orange.OrangeWidgets.OWGUI import BarItemDelegate
15from Orange.OrangeWidgets.OWWidget import *
16
17from .. import obiGene, obiGeneSets, obiProb, obiTaxonomy
18
19def gsname(geneset):
20    return geneset.name if geneset.name else geneset.id
21
22fmtp = lambda score: "%0.5f" % score if score > 10e-4 else "%0.1e" % score
23fmtpdet = lambda score: "%0.9f" % score if score > 10e-4 else "%0.5e" % score
24
25def _toPyObject(variant):
26    val = variant.toPyObject()
27    if isinstance(val, type(NotImplemented)): # PyQt 4.4 converts python int, floats ... to C types
28        qtype = variant.type()
29        if qtype == QVariant.Double:
30            val, ok = variant.toDouble()
31        elif qtype == QVariant.Int:
32            val, ok = variant.toInt()
33        elif qtype == QVariant.LongLong:
34            val, ok = variant.toLongLong()
35        elif qtype == QVariant.String:
36            val = variant.toString()
37    return val
38
39class MyTreeWidget(QTreeWidget):
40    def paintEvent(self, event):
41        QTreeWidget.paintEvent(self, event)
42        if getattr(self, "_userMessage", None):
43            painter = QPainter(self.viewport())
44            font = QFont(self.font())
45            font.setPointSize(15)
46            painter.setFont(font)
47            painter.drawText(self.viewport().geometry(), Qt.AlignCenter, self._userMessage)
48            painter.end()
49
50class MyTreeWidgetItem(QTreeWidgetItem):
51    def __lt__(self, other):
52        if not self.treeWidget():
53            return id(self) < id(other)
54        column = self.treeWidget().sortColumn()
55        if column in [4,5]:
56            lhs = _toPyObject(self.data(column, 42))
57            rhs = _toPyObject(other.data(column, 42))
58        else:
59            lhs = _toPyObject(self.data(column, Qt.DisplayRole))
60            rhs = _toPyObject(other.data(column, Qt.DisplayRole))
61        return lhs < rhs
62
63def name_or_none(id):
64    """Return organism name for ncbi taxid or None if not found.
65    """
66    try:
67        return obiTaxonomy.name(id)
68    except obiTaxonomy.UnknownSpeciesIdentifier:
69        return None
70
71class OWSetEnrichment(OWWidget):
72    settingsList = ["speciesIndex", "genesinrows", "geneattr", "categoriesCheckState", "useMinCountFilter", "useMaxPValFilter", "useMaxFDRFilter", "minClusterCount", "maxPValue", "maxFDR" ]
73    contextHandlers = {"":DomainContextHandler("", ["speciesIndex", "genesinrows", "geneattr", "categoriesCheckState"])}
74
75    def refreshHierarchy(self):
76        self.setHierarchy(*self.getHierarchy(taxid=self.taxid_list[self.speciesIndex]))
77
78    def __init__(self, parent=None, signalManager=None, name="Gene Set Enrichment Analysis", **kwargs):
79        OWWidget.__init__(self, parent, signalManager, name, **kwargs)
80        self.inputs = [("Data", ExampleTable, self.setData, Default), ("Reference", ExampleTable, self.setReference)]
81        self.outputs = [("Data subset", ExampleTable)]
82
83        self.speciesIndex = 0
84        self.genesinrows = False
85        self.geneattr = 0
86        self.geneMatcherSettings = [False, False, True, False]
87        self.useReferenceData = False
88        self.useMinCountFilter = True
89        self.useMaxPValFilter = True
90        self.useMaxFDRFilter = True
91        self.minClusterCount = 3
92        self.maxPValue = 0.01
93        self.maxFDR = 0.01
94
95        self.categoriesCheckState = {}
96
97        self.loadSettings()
98
99        if self.signalManager:
100            self.signalManager.freeze(self).push()
101        QTimer.singleShot(50, self.updateHierarchy)
102
103        box = OWGUI.widgetBox(self.controlArea, "Info")
104        self.infoBox = OWGUI.widgetLabel(box, "Info")
105        self.infoBox.setText("No data on input")
106
107        self.speciesComboBox = OWGUI.comboBox(self.controlArea, self,
108                      "speciesIndex", "Species",
109                      callback=lambda: (self.refreshHierarchy(), self.data and self.updateAnnotations()),
110                      debuggingEnabled=0)
111
112        box = OWGUI.widgetBox(self.controlArea, "Gene names")
113        self.geneAttrComboBox = OWGUI.comboBox(box, self, "geneattr",
114                                "Gene attribute",
115                                sendSelectedValue=0,
116                                callback=self.updateAnnotations)
117
118        cb = OWGUI.checkBox(box, self, "genesinrows", "Use attribute names",
119                            callback=lambda :self.data and self.updateAnnotations(),
120                            disables=[(-1, self.geneAttrComboBox)])
121        cb.makeConsistent()
122
123        OWGUI.button(box, self, "Gene matcher settings",
124                     callback=self.updateGeneMatcherSettings,
125                     tooltip="Open gene matching settings dialog",
126                     debuggingEnabled=0)
127
128        self.referenceRadioBox = OWGUI.radioButtonsInBox(self.controlArea,
129                    self, "useReferenceData", ["Entire genome", "Reference set (input)"],
130                    tooltips=["Use entire genome for reference",
131                              "Use genes from Referece Examples input signal as reference"],
132                    box="Reference", callback=self.updateAnnotations)
133
134        box = OWGUI.widgetBox(self.controlArea, "Gene Sets")
135        self.groupsWidget = QTreeWidget(self)
136        self.groupsWidget.setHeaderLabels(["Category"])
137        box.layout().addWidget(self.groupsWidget)
138
139        hLayout = QHBoxLayout()
140        hLayout.setSpacing(10)
141        hWidget = OWGUI.widgetBox(self.mainArea, orientation=hLayout)
142        sb, sbcb = OWGUI.spin(hWidget, self, "minClusterCount",
143                              0, 100, label="Genes",
144                              tooltip="Minimum gene count",
145                              callback=self.filterAnnotationsChartView,
146                              callbackOnReturn=True,
147                              checked="useMinCountFilter",
148                              checkCallback=self.filterAnnotationsChartView)
149
150        dsp, dspcb = OWGUI.doubleSpin(hWidget, self,
151                        "maxPValue", 0.0, 1.0, 0.0001,
152                        label="p-value",
153                        tooltip="Maximum p-value",
154                        callback=self.filterAnnotationsChartView,
155                        callbackOnReturn=True,
156                        checked="useMaxPValFilter",
157                        checkCallback=self.filterAnnotationsChartView)
158
159        dsfdr, dsfdrcb = OWGUI.doubleSpin(hWidget, self,
160                        "maxFDR", 0.0, 1.0, 0.0001,
161                        label="FDR",
162                        tooltip="Maximum False discovery rate",
163                        callback=self.filterAnnotationsChartView,
164                        callbackOnReturn=True,
165                        checked="useMaxFDRFilter",
166                        checkCallback=self.filterAnnotationsChartView)
167
168        from Orange.OrangeWidgets import OWGUIEx
169        self.filterLineEdit = OWGUIEx.QLineEditWithActions(self)
170        self.filterLineEdit.setPlaceholderText("Filter ...")
171        action = QAction(QIcon(os.path.join(orngEnviron.canvasDir,
172                        "icons", "delete_gray.png")), "Clear", self)
173
174        self.filterLineEdit.addAction(action, 0, Qt.AlignHCenter)
175        self.connect(action, SIGNAL("triggered()"), self.filterLineEdit.clear)
176
177        self.filterCompleter = QCompleter(self.filterLineEdit)
178        self.filterCompleter.setCaseSensitivity(Qt.CaseInsensitive)
179        self.filterLineEdit.setCompleter(self.filterCompleter)
180
181        hLayout.addWidget(self.filterLineEdit)
182        self.mainArea.layout().addWidget(hWidget)
183
184        self.connect(self.filterLineEdit, SIGNAL("textChanged(QString)"),
185                     self.filterAnnotationsChartView)
186
187        self.annotationsChartView = MyTreeWidget(self)
188        self.annotationsChartView.setHeaderLabels(["Category", "Term",
189                            "Count", "Reference count", "p-value", "FDR", "Enrichment"])
190        self.annotationsChartView.setAlternatingRowColors(True)
191        self.annotationsChartView.setSortingEnabled(True)
192        self.annotationsChartView.setSelectionMode(QAbstractItemView.ExtendedSelection)
193        self.annotationsChartView.setRootIsDecorated(False)
194        self.annotationsChartView.viewport().setMouseTracking(True)
195#        self.annotationsChartView.viewport().setAttribute(Qt.WA_Hover)
196        self.mainArea.layout().addWidget(self.annotationsChartView)
197
198        contextEventFilter = OWGUI.VisibleHeaderSectionContextEventFilter(self.annotationsChartView)
199        self.annotationsChartView.header().installEventFilter(contextEventFilter)
200
201        self.taxid_list = []
202
203        self.connect(self.groupsWidget, SIGNAL("itemClicked(QTreeWidgetItem *, int)"), self.subsetSelectionChanged)
204
205        OWGUI.button(self.controlArea, self, "Commit", callback=self.commit)
206
207        self.loadedGenematcher = "None"
208        self.referenceData = None
209        self.data = None
210
211        self.treeItems = []
212
213        self.resize(1024, 600)
214
215        self.connect(self, SIGNAL("widgetStateChanged(QString, int, QString)"), self.onStateChange)
216
217        self.updatingAnnotationsFlag = False
218
219    def updateHierarchy(self):
220        try:
221            self.progressBarInit()
222            with orngServerFiles.DownloadProgress.setredirect(self.progressBarSet):
223                all, local = obiGeneSets.list_all(), obiGeneSets.list_local()
224                organisms = set(obiTaxonomy.essential_taxids() + filter(None, [t[1] for t in all]))
225            self.progressBarFinished()
226
227            organism_names = map(name_or_none, organisms)
228            organisms = [taxid for taxid, name in zip(organisms, organism_names) \
229                         if name is not None]
230
231            self.taxid_list = list(organisms)
232            self.speciesComboBox.clear()
233            self.speciesComboBox.addItems([obiTaxonomy.name(id) for id in self.taxid_list])
234            self.genesets = all
235        finally:
236            if self.signalManager:
237                self.signalManager.freeze(self).pop() #setFreeze(self.signalManager.freezing - 1)
238
239    def setData(self, data=None):
240        self.data = data
241        self.error(0)
242        self.closeContext("")
243        self.geneAttrComboBox.clear()
244        self.groupsWidget.clear()
245        self.annotationsChartView.clear()
246
247        if not getattr(self,"taxid_list", None):
248            QTimer.singleShot(100, lambda data=data: self.setData(data))
249            return
250        if data:
251            self.geneAttrs = [attr for attr in data.domain.variables + data.domain.getmetas().values() \
252                              if attr.varType != orange.VarTypes.Continuous]
253
254            self.geneAttrComboBox.addItems([attr.name for attr in self.geneAttrs])
255            self.geneattr = min(self.geneattr, len(self.geneAttrs) - 1)
256
257            taxid = data_hints.get_hint(data, "taxid", "")
258            try:
259                self.speciesIndex = self.taxid_list.index(taxid)
260            except ValueError, ex:
261                pass
262            self.genesinrows = data_hints.get_hint(data, "genesinrows", self.genesinrows)
263
264            self.openContext("", data)
265       
266            self.refreshHierarchy()
267
268            self.loadedGenematcher = "None"
269            self.updateAnnotations()
270
271    def setReference(self, data=None):
272        self.referenceData = data
273        self.referenceRadioBox.setEnabled(bool(data))
274
275    def getHierarchy(self, taxid):
276        def recursive_dict():
277            return defaultdict(recursive_dict)
278        collection = recursive_dict()
279
280        def collect(col, hier):
281            if hier:
282                collect(col[hier[0]], hier[1:])
283
284        for hierarchy, t_id, _ in self.genesets:
285            collect(collection[t_id], hierarchy)
286
287        return (taxid, collection[taxid]), (None, collection[None])
288
289    def setHierarchy(self, hierarchy, hierarchy_noorg):
290        self.groupsWidgetItems = {}
291        def fill(col, parent, full=(), org=""):
292            for key, value in sorted(col.items()):
293                full_cat = full + (key,)
294                item = QTreeWidgetItem(parent, [key])
295                item.setFlags(item.flags() | Qt.ItemIsUserCheckable | Qt.ItemIsSelectable | Qt.ItemIsEnabled)
296                if value:
297                    item.setFlags(item.flags() | Qt.ItemIsTristate)
298
299                item.setData(0, Qt.CheckStateRole, QVariant(self.categoriesCheckState.get(full_cat, Qt.Checked)))
300                item.setExpanded(True)
301                item.category = full_cat
302                item.organism = org
303                self.groupsWidgetItems[full_cat] = item
304                fill(value, item, full_cat, org=org)
305
306        self.groupsWidget.clear()
307        fill(hierarchy[1], self.groupsWidget, org=hierarchy[0])
308        fill(hierarchy_noorg[1], self.groupsWidget, org=hierarchy_noorg[0])
309
310#    def updateCategoryCounts(self):
311#        for cat, item in self.groupWidgetItem:
312#            item.setData(1, QVariant(), Qt.DisplayRole)
313
314    def selectedCategories(self):
315        return [(key, org) for (key, org), check in self.getHierarchyCheckState().items() if check == Qt.Checked]
316
317    def getHierarchyCheckState(self):
318        def collect(item, full=()):
319            checked = item.checkState(0)
320            name = str(item.data(0, Qt.DisplayRole).toString())
321            full_cat = full + (name,)
322            result = [((full_cat, item.organism), checked)]
323            for i in range(item.childCount()):
324                result.extend(collect(item.child(i), full_cat))
325            return result
326
327        items = [self.groupsWidget.topLevelItem(i) for i in range(self.groupsWidget.topLevelItemCount())]
328        states = reduce(list.__add__, [collect(item) for item in items], [])
329        return dict(states)
330
331    def subsetSelectionChanged(self, item, column):
332        self.categoriesCheckState = self.getHierarchyCheckState()
333        categories = self.selectedCategories()
334       
335        if not set(categories) <= set(self.currentAnnotatedCategories):
336            self.updateAnnotations()
337        else:
338            self.filterAnnotationsChartView()
339       
340
341    def updateGeneMatcherSettings(self):
342        from .OWGOEnrichmentAnalysis import GeneMatcherDialog
343        dialog = GeneMatcherDialog(self, defaults=self.geneMatcherSettings, enabled=[True] * 4, modal=True)
344        if dialog.exec_():
345            self.geneMatcherSettings = [getattr(dialog, item[0]) for item in dialog.items]
346            self.loadedGenematcher = "None"
347            if self.data:
348                self.updateAnnotations()
349
350    def updateGenematcher(self):
351        taxid = self.taxid_list[self.speciesIndex]
352        if taxid != self.loadedGenematcher:
353            self.progressBarInit()
354            call = self.asyncCall(obiGene.matcher, name="Gene Matcher", blocking=True, thread=self.thread())
355            call.connect(call, SIGNAL("progressChanged(float)"), self.progressBarSet)
356            with orngServerFiles.DownloadProgress.setredirect(call.emitProgressChanged):
357#            with orngServerFiles.DownloadProgress.setredirect(self.progressBarSet):
358                matchers = [obiGene.GMGO, obiGene.GMKEGG, obiGene.GMNCBI, obiGene.GMAffy]
359                if any(self.geneMatcherSettings):
360                    call.__call__([gm(taxid) for gm, use in zip(matchers, self.geneMatcherSettings) if use])
361                    self.genematcher = call.get_result()
362#                    self.genematcher = obiGene.matcher([gm(taxid) for gm, use in zip(matchers, self.geneMatcherSettings) if use])
363                else:
364                    self.genematcher = obiGene.GMDirect()
365#                self.genematcher.set_targets(self.referenceGenes())
366                self.loadedGenematcher = taxid
367            self.progressBarFinished()
368
369    def genesFromExampleTable(self, table):
370        if self.genesinrows:
371            genes = [attr.name for attr in table.domain.attributes]
372        else:
373            geneattr = self.geneAttrs[self.geneattr]
374            genes = [str(ex[geneattr]) for ex in table]
375        return genes
376
377    def clusterGenes(self):
378        return self.genesFromExampleTable(self.data)
379
380    def referenceGenes(self):
381        if self.referenceData and self.useReferenceData:
382            return self.genesFromExampleTable(self.referenceData)
383        else:
384            taxid = self.taxid_list[self.speciesIndex]
385            call = self.asyncCall(obiGene.NCBIGeneInfo, (taxid,), name="Load reference genes", blocking=True, thread=self.thread())
386            call.connect(call, SIGNAL("progressChanged(float)"), self.progressBarSet)
387            with orngServerFiles.DownloadProgress.setredirect(call.emitProgressChanged):
388                call.__call__()
389                return call.get_result()
390
391    def _cached_name_lookup(self, func, cache):
392        def f(name, cache=cache):
393            if name not in cache:
394                cache[name] = func(name)
395            return cache[name]
396        return f
397
398    def mapGeneNames(self, names, cache=None, passUnknown=False):
399        if cache is not None:
400            umatch = self._cached_name_lookup(self.genematcher.umatch, cache)
401        else:
402            umatch = self.genematcher.umatch
403        if passUnknown:
404            return [umatch(name) or name for name in names]
405#            return [(mapped_name or name, mapped_name is not None) for mapped_name, name in zip(mapped, names)]
406        return [n for n in [umatch(name) for name in names] if n is not None]
407
408    def enrichment(self, geneset, cluster, reference, pval=obiProb.Hypergeometric(), cache=None):
409        genes = set(self.mapGeneNames(geneset.genes, cache, passUnknown=False))
410
411        cmapped = genes.intersection(cluster)
412        rmapped = genes.intersection(reference)
413        return (cmapped, rmapped, pval.p_value(len(cmapped), len(reference), len(rmapped), len(cluster)), float(len(cmapped)) / (len(cluster) or 1) / (float(len(rmapped) or 1) / (len(reference) or 1))) # TODO: compute all statistics here
414
415    def updateAnnotations(self):
416        self.updatingAnnotationsFlag = True
417        self.annotationsChartView.clear()
418        self.error([0, 1])
419        if not self.genesinrows and len(self.geneAttrs) == 0:
420            self.error(0, "Input data contains no attributes with gene names")
421            return
422
423        self.updateGenematcher()
424
425        self.progressBarInit()
426        self.currentAnnotatedCategories = categories = self.selectedCategories()
427
428        ## Load collections in a worker thread
429        call = self.asyncCall(obiGeneSets.collections, categories, name="Loading collections", blocking=True, thread=self.thread())
430        call.connect(call, SIGNAL("progressChanged(float)"), self.progressBarSet)
431        with orngServerFiles.DownloadProgress.setredirect(call.emitProgressChanged):
432            call.__call__()
433            collections = list(call.get_result())
434
435#        with orngServerFiles.DownloadProgress.setredirect(self.progressBarSet):
436#            collections = list(obiGeneSets.collections(*categories))
437        clusterGenes, referenceGenes = self.clusterGenes(), self.referenceGenes()
438        cache = {}
439
440        self.genematcher.set_targets(referenceGenes)
441
442        countAll = len(set(clusterGenes))
443        infoText = "%i unique gene names on input\n" % countAll
444        referenceGenes = set(self.mapGeneNames(referenceGenes, cache, passUnknown=False))
445        self.progressBarSet(1)
446        clusterGenes = set(self.mapGeneNames(clusterGenes, cache, passUnknown=False))
447        self.progressBarSet(2)
448        infoText += "%i (%.1f) gene names matched" % (len(clusterGenes), 100.0 * len(clusterGenes) / countAll)
449        self.infoBox.setText(infoText)
450
451        results = []
452        from Orange.orng.orngMisc import progressBarMilestones
453
454        milestones = progressBarMilestones(len(collections), 100)
455        for i, geneset in enumerate(collections):
456            results.append((geneset, self.enrichment(geneset, clusterGenes, referenceGenes, cache=cache)))
457            if i in milestones:
458                self.progressBarSet(100.0 * i / len(collections))
459
460        self.annotationsChartView.clear()
461
462        maxCount = max([len(cm) for _, (cm, _, _, _) in results] + [1])
463        maxRefCount = max([len(rc) for _, (_, rc, _, _) in results] + [1])
464        countSpaces = int(math.ceil(math.log10(maxCount)))
465        refSpaces = int(math.ceil(math.log(maxRefCount)))
466        countFmt = "%"+str(countSpaces) + "s  (%.2f%%)"
467        refFmt = "%"+str(refSpaces) + "s  (%.2f%%)"
468
469        self.filterCompleter.setModel(None)
470        linkFont = QFont(self.annotationsChartView.viewOptions().font)
471        linkFont.setUnderline(True)
472        self.treeItems = []
473        for i, (geneset, (cmapped, rmapped, p_val, enrichment)) in enumerate(results):
474            if len(cmapped) > 0:
475                item = MyTreeWidgetItem(self.annotationsChartView, [" ".join(geneset.hierarchy), gsname(geneset)])
476                item.setData(2, Qt.DisplayRole, QVariant(countFmt % (len(cmapped), 100.0*len(cmapped)/countAll)))
477                item.setData(2, Qt.ToolTipRole, QVariant(len(cmapped))) # For filtering
478                item.setData(3, Qt.DisplayRole, QVariant(refFmt % (len(rmapped), 100.0*len(rmapped)/len(referenceGenes))))
479                item.setData(4, Qt.ToolTipRole, QVariant(fmtpdet(p_val)))
480                item.setData(4, Qt.DisplayRole, QVariant(fmtp(p_val)))
481                item.setData(4, 42, QVariant(p_val))
482                #column 5, FDR, is computed in filterAnnotationsChartView
483                item.setData(6, Qt.DisplayRole, QVariant(enrichment))
484                item.setData(6, Qt.ToolTipRole, QVariant("%.3f" % enrichment))
485                item.geneset= geneset
486                self.treeItems.append(item)
487                if geneset.link:
488                    item.setData(1, LinkRole, QVariant(geneset.link))
489                    item.setToolTip(1, geneset.link)
490                    item.setFont(1, linkFont)
491                    item.setForeground(1, QColor(Qt.blue))
492
493        if not self.treeItems:
494            self.warning(0, "No enriched sets found.")
495        else:
496            self.warning(0)
497
498        replace = lambda s:s.replace(",", " ").replace("(", " ").replace(")", " ")
499        self._completerModel = completerModel = QStringListModel(sorted(reduce(set.union, [[gsname(geneset)] + replace(gsname(geneset)).split() for geneset, (c, _, _, _) in results if c], set())))
500        self.filterCompleter.setModel(completerModel)
501
502        self.annotationsChartView.setItemDelegateForColumn(6, BarItemDelegate(self, scale=(0.0, max(t[1][3] for t in results))))
503        self.annotationsChartView.setItemDelegateForColumn(1, LinkStyledItemDelegate(self.annotationsChartView))
504
505        for i in range(self.annotationsChartView.columnCount()):
506            self.annotationsChartView.resizeColumnToContents(i)
507
508        self.annotationsChartView.setColumnWidth(1, min(self.annotationsChartView.columnWidth(1), 300))
509        self.progressBarFinished()
510        QTimer.singleShot(10, self.filterAnnotationsChartView)
511        self.updatingAnnotationsFlag = False
512
513    def filterAnnotationsChartView(self, filterString=""):
514        if self.updatingAnnotationsFlag:
515            return
516        categories = set(" ".join(cat) for cat, taxid in self.selectedCategories())
517
518   
519        filterString = str(self.filterLineEdit.text()).lower()
520
521        #hide categories
522        itemsHiddenCat = []
523        for item in self.treeItems:
524            item_cat = str(item.data(0, Qt.EditRole).toString())
525            geneset = gsname(item.geneset).lower()
526            hidden = item_cat not in categories
527            itemsHiddenCat.append(hidden)
528       
529        #compute FDR according the selected categories
530        pvals = [ _toPyObject(item.data(4, 42)) for item, hidden in zip(self.treeItems, itemsHiddenCat) if not hidden ]
531        fdrs = obiProb.FDR(pvals)
532
533        #update FDR for the selected collections and apply filtering rules
534        fdri = 0
535        itemsHidden = []
536        for item, hidden in zip(self.treeItems, itemsHiddenCat):
537            if not hidden:
538                fdr = fdrs[fdri]
539                fdri += 1
540
541                count, pval = _toPyObject(item.data(2, Qt.ToolTipRole)), _toPyObject(item.data(4, 42))
542
543                hidden = (self.useMinCountFilter and count < self.minClusterCount) or \
544                         (self.useMaxPValFilter and pval > self.maxPValue) or \
545                         (self.useMaxFDRFilter and fdr > self.maxFDR)
546               
547                if not hidden:
548                    item.setData(5, Qt.ToolTipRole, QVariant(fmtpdet(fdr)))
549                    item.setData(5, Qt.DisplayRole, QVariant(fmtp(fdr)))
550                    item.setData(5, 42, QVariant(fdr))
551
552            item.setHidden(hidden)
553            itemsHidden.append(hidden)
554               
555
556        if self.treeItems and all(itemsHidden):
557            self.information(0, "All sets were filtered out.")
558        else:
559            self.information(0)
560
561
562    def commit(self):
563        selected = self.annotationsChartView.selectedItems()
564        genesets = [item.geneset for item in selected]
565        cache = {}
566        mappedNames = set(self.mapGeneNames(reduce(set.union, [geneset.genes for geneset in genesets], set()), cache))
567        if self.genesinrows:
568            mapped = [attr for attr in self.data.domain.attributes if self.genematcher.umatch(attr.name) in mappedNames]
569            newdomain = orange.Domain(mapped, self.data.domain.classVar)
570            newdomain.addmetas(self.data.domain.getmetas())
571            data = orange.ExampleTable(newdomain, self.data)
572        else:
573            geneattr = self.geneAttrs[self.geneattr]
574            selected = [1 if self.genematcher.umatch(str(ex[geneattr])) in mappedNames else 0 for ex in self.data]
575            data = self.data.select(selected)
576
577#            if self.appendAnnotations:
578#                meta = orange.StringVariable("Annotations")
579#                data.domain.addmeta(orange.newmetaid(), meta)
580#                for ex in data:
581#                    geneattr = self.geneAttrs[self.geneattr]
582#                    gene = str(ex[geneattr])
583#                    annotations = getgene
584
585        self.send("Selected Examples", data)
586
587    def sendReport(self):
588        self.reportSettings("Settings", [("Organism", obiTaxonomy.name(self.taxid_list[self.speciesIndex]))])
589        self.reportSettings("Filter", [("Min cluster size", self.minClusterCount if self.useMinCountFilter else 0),
590                                       ("Max p-value", self.maxPValue if self.useMaxPValFilter else 1.0),
591                                       ("Max FDR", self.maxFDR if self.useMaxFDRFilter else 1.0)])
592
593        self.reportSubsection("Annotations")
594        self.reportRaw(reportItemView(self.annotationsChartView))
595
596    def onStateChange(self, stateType, id, text):
597        if stateType == "Warning" or stateType == "Info":
598            self.annotationsChartView._userMessage = text
599            self.annotationsChartView.viewport().update()
600
601
602def reportItemView(view):
603    model = view.model()
604    return reportItemModel(view, model)
605
606def reportItemModel(view, model, index=QModelIndex()):
607    if not index.isValid() or model.hasChildren(index):
608        columnCount, rowCount = model.columnCount(index), model.rowCount(index)
609        if not index.isValid():
610            text = '<table>\n<tr>' + ''.join('<th>%s</th>' % model.headerData(i, Qt.Horizontal, Qt.DisplayRole).toString() for i in range(columnCount)) +'</tr>\n'
611        else:
612#            variant = model.data(index, Qt.DisplayRole)
613#            text = '<table' + (' caption="%s"' % variant.toString() if variant.isValid() else '') + '>\n'
614            pass
615        text += ''.join('<tr>' + ''.join('<td>' + reportItemModel(view, model, model.index(row, column, index)) + '</td>' for column in range(columnCount)) + '</tr>\n' for row in range(rowCount) if not view.isRowHidden(row, index))
616        text += '</table>'
617        return text
618    else:
619        variant = model.data(index, Qt.DisplayRole)
620        return str(variant.toString()) if variant.isValid() else ""
621
622
623
624if __name__ == "__main__": 
625    import cProfile
626
627    app = QApplication(sys.argv)
628    w = OWSetEnrichment()
629    data = orange.ExampleTable("yeast-class-RPR.tab")
630    #data = orange.ExampleTable("/home/marko/Downloads/tmp.tab")
631#    data = orange.ExampleTable("../human")
632#    print cProfile.runctx("w.setData(data)", globals(), locals())
633    w.setData(data)
634    w.show()
635    app.exec_()
636    w.saveSettings()
637
638
Note: See TracBrowser for help on using the repository browser.