Urteil des BPatG vom 06.07.2010
BPatG: stand der technik, suchmaschine, computer, datenbank, form, index, stadt, patentanspruch, fig, verfügung
BPatG 154
08.05
BUNDESPATENTGERICHT
17 W (pat) 4/06
_______________
(Aktenzeichen)
Verkündet am
6. Juli 2010
…
B E S C H L U S S
In der Beschwerdesache
betreffend die Patentanmeldung 102 45 900.2-53
…
hat der 17. Senat (Technischer Beschwerdesenat) des Bundespatentgerichts auf
die mündliche Verhandlung vom 6. Juli 2010 unter Mitwirkung des Vorsitzenden
Richters Dipl.-Phys. Dr. Fritsch, des Richters Dipl.-Ing. Prasch sowie der Richterin-
nen Eder und Dipl.-Ing. Wickborn
- 2 -
beschlossen:
Die Beschwerde wird zurückgewiesen.
G r ü n d e :
I.
Die vorliegende Patentanmeldung 102 45 900.2-53 mit der Bezeichnung:
„Bildbasiertes Anfragesystem für Suchmaschinen für mobile Endgeräte
mit eingebauter Kamera“
ist am 30. September 2002 beim Deutschen Patent- und Markenamt eingereicht
worden. Sie wurde durch Beschluss der Prüfungsstelle für Klasse G 06 K des
Deutschen Patent- und Markenamts vom 1. September 2005 mit der Begründung
zurückgewiesen, der Gegenstand des Patentanspruchs 1 ergebe sich in nahelie-
gender Weise aus dem Stand der Technik.
Gegen diesen Beschluss ist die Beschwerde der Anmelderin gerichtet. Sie stellt
sinngemäß den Antrag,
den angefochtenen Beschluss aufzuheben und das nachgesuchte Patent
mit folgenden Unterlagen zu erteilen:
Gemäß Hauptantrag mit Patentansprüchen 1 - 6 vom 17. Juni 2010,
Beschreibung S. 1 - 7 vom 23. Juni 2004 und Abbildung 1 - 3 vom
14. Mai 2003,
- 3 -
gemäß Hilfsantrag mit Patentansprüchen 1 - 5, vom 17. Juni 2010, im
Übrigen wie Hauptantrag.
Der Patentanspruch 1 des Hauptantrags lautet mit einer denkbaren Gliederung
versehen:
„System zur bildbasierten Anfrage an Suchmaschinen (16) oder Daten-
banken, das für Mobiltelefone oder mobile Computer ausgelegt ist, die
eine eingebaute Kamera haben, mit
a)
einem Endgerät, wie einem Mobiltelefon oder einem mobilen Compu-
ter, mit eingebauter Kamera, welches an ein Datenfernübertragungs-
netz (13) angeschlossen ist,
b2) einem mit dem Datenfernübertragungsnetz (13) verbundenen Ser-
verrechner (17),
b´)
einem auf dem Serverrechner (17) ausgeführten Bildverarbeitungs-
system (14) mit einem Objekterkennungsprogramm, welches von
dem Endgerät erzeugte und über das Datenfernübertragungs-
netz (13) auf den Serverrechner (17) übertragene Bilder (12) analy-
siert, um in dem Bild ein Objekt zu erkennen,
b3) indem Merkmale in dem Bild (12) durch dem Objekt angepasste
Merkmalsdetektoren (22, 32), die anhand von Beispielbildern (21)
trainiert werden, aufgefunden werden,
b4) wobei Bilder (12), in denen ein Objekt erkannt wurde, mit symboli-
schen Indizes in Form von Klartext versehen werden,
- 4 -
c´)
einer Suchmaschine (16), welche die Indizes des Bildes (12) nutzt,
um Informationen (18) zu dem Objekt zu finden und zu dem Endge-
rät zurückzuschicken,
d´)
wobei das System Anbietern von Informationen ermöglicht, selbstän-
dig neue Einträge von Beispielbildern (21) in das Bildverarbeitungs-
system (14) vorzunehmen, um so die Abfrage ihrer Daten per Bild-
eingabe zu ermöglichen.“
Hinsichtlich der sich anschließenden Unteransprüche 2 bis 6 wird auf die Akte ver-
wiesen.
Der Patentanspruch 1 des Hilfsantrags mit einer an die Fassung des Hauptantrags
angepassten Gliederung lautet:
„System zur bildbasierten Anfrage an Suchmaschinen (16) oder Daten-
banken, das für Mobiltelefone oder mobile Computer ausgelegt ist, die
eine eingebaute Kamera haben,
f)
als Stadt- oder Museumsführer, bei dem Informationen gespeichert
sind zu Objekten, zu denen der Benutzer ein Bild aufgenommen hat,
mit
a)
einem Endgerät, wie einem Mobiltelefon oder einem mobilen Compu-
ter, mit eingebauter Kamera, welches an ein Datenfernübertragungs-
netz (13) angeschlossen ist,
b2) einem mit dem Datenfernübertragungsnetz (13) verbundenen Ser-
verrechner (17),
- 5 -
b´)
einem auf dem Serverrechner (17) ausgeführten Bildverarbeitungs-
system (14) mit einem Objekterkennungsprogramm, welches von
dem Endgerät erzeugte und über das Datenfernübertragungs-
netz (13) auf den Serverrechner (17) übertragene Bilder (12) analy-
siert,
b3) um in dem Bild ein Objekt zu erkennen, indem Merkmale in dem
Bild (12) durch dem Objekt angepasste Merkmalsdetektoren (22, 32),
die anhand von Beispielbildern (21) trainiert werden, aufgefunden
werden,
b4) wobei Bilder (12), in denen ein Objekt erkannt wurden, mit symboli-
schen Indizes in Form von Klartext versehen werden,
c´)
einer Suchmaschine (16), welche die Indizes des Bildes (12) nutzt,
um Informationen (18) zu dem Objekt zu finden und zu dem Endge-
rät zurückzuschicken,
d´)
wobei das System Anbietern von Informationen ermöglicht, selbstän-
dig neue Einträge von Beispielbildern (21) in das Bildverarbeitungs-
system (14) vorzunehmen, um so die Abfrage ihrer Daten per Bild-
eingabe zu ermöglichen,
e)
wobei mehrere unter verschiedenen Beleuchtungssituationen aufge-
nommene Beispielbilder (21) eines Objekts in das Bildverarbeitungs-
system (14) eingetragen werden können.“
Hinsichtlich der Unteransprüche 2 bis 5 wird auf die Akte verwiesen.
Der Anmeldung soll die Aufgabe zugrunde liegen, ein System zur bildbasierten
Anfrage an Suchmaschinen oder Datenbanken zu schaffen, das dem Benutzer
- 6 -
ermöglicht, auf Objekte an unterschiedlichen Standorten zuzugreifen und dabei
eine sehr große Sammlung gespeicherter Muster zu benutzen (S. 6 Abs. 1 der
Beschwerdebegründung, eingegangen am 19. April 2006).
Die Anmelderin vertritt in der Eingabe vom 17. Juni 2010 die Auffassungdie
Lehre des Patentanspruchs 1 des Hauptantrags sei aus keiner der im Verfahren
befindlichen Druckschriften D1 bis D6 zu entnehmen. Weder sei entnehmbar,
einen Index in Form von Klartext einem erkannten Bildobjekt zuzuordnen, der zur
automatischen Suche in einer Suchmaschine verwendet werde, da in D1 und D6
eine feste Zuordnung zwischen erkanntem Objekt und Information vorgesehen sei,
noch sei die nachträgliche Eintragung von Beispielbildern für die Objekterkennung
zur Weiterentwicklung des Bildverarbeitungssystems aus den Druckschriften ent-
nehmbar.
Der Patentanspruch 1 des Hilfsantrags beziehe sich auf den nachträglichen Aus-
bau eines als Stadt- oder Museumsführer ausgebildeten Anfragesystems mit Bei-
spielbildern, die unter verschiedenen Beleuchtungssituationen aufgenommen wor-
den seien.
II.
Die Beschwerde wurde frist- und formgerecht eingelegt und ist auch sonst zuläs-
sig. Sie ist jedoch nicht begründet, denn der Gegenstand des Patentanspruchs 1
in der Fassung des Hauptantrags und des Hilfsantrags beruht nicht auf einer erfin-
derischen Tätigkeit (§ 4 PatG).
1.
Die Anmeldung betrifft ein System zur bildbasierten Anfrage an Suchma-
schinen oder Datenbanken, das für Mobiltelefone oder mobile Computer mit ein-
gebauter Kamera ausgelegt ist.
- 7 -
In der Beschreibungseinleitung wird aufgeführt, dass Geräte mit Kameras und
Datenfernübertragungsnetzwerkanschluss wie z. B. Mobiltelefone verfügbar seien,
die ermöglichten, ein Bild oder eine kurze Bildsequenz per Datenfernübertragung
an einen Serverrechner zu schicken. Mit Verweis auf Ullman, Shimon: High-Level
Vision - Object Recognition and Visual Cognition. Massachusetts Institute of Tech-
nology, 3. Auflage 2000 und Buhmann, J. u. a.: Size and Distortion Invariant
Object Recognition by Hierarchical Graph Matching. In: Proceedings of the Inter-
national Joint Conference on Neural Networks, San Diego 1990, S. II-411 bis
II-416 seien moderne Verfahren der Bilderkennung bekannt, die die Erkennung
beliebiger Objekte zunehmend besser erlaubten. Bekannt seien auch Verfahren
zur automatischen Schriftzeichenerkennung, die beispielsweise beschrieben seien
in: Rice, S. u. a.: Optical Character Recognition - An Illustrated Guide to the
Frontier. Kluwer International Series in Engineering and Computer Science, SECS
502, 1999.
Nützlich sei ein System, das die Leistung eines Menschen, beim Sehen eines
Gegenstandes sofort aus dem Gedächtnis in Zusammenhang mit dem Gegen-
stand stehende Informationen abrufen zu können, nachbilde oder sogar erweitere
(Abs. [0001] bis [0004] der Offenlegungsschrift).
Als objektive Aufgabenstellung wird seitens des Senats angesehen, ein System
zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken zu schaffen, das
dem Benutzer Informationen zu einem von ihm fotografierten Objekt zur Verfü-
gung stellt.
Als Fachmann, der mit der Lösung einer solchen Aufgabenstellung betraut wird,
wird ein Entwicklungsingenieur für datenbankbezogene Anwendungen, speziell
bildbasierten Datenbankanwendungen, angesehen, der Grundlagenkenntnisse in
der Objekterkennung besitzt.
Im Lichte der Anmeldeunterlagen versteht ein solcher Fachmann die mit dem
Hauptantrag sowie in der Fassung des Hilfsantrags beanspruchte Lehre wie folgt:
- 8 -
Zur Lösung der Aufgabenstellung wird ein Bild (ggf. auch mehrere Bilder) als
Suchanfrage an einen Serverrechner mit Suchmaschine geschickt, um nähere
Informationen zu dem fotografierten Objekt auf diesem Bild (z. B. Eifelturm) zu
erhalten. Der Nutzer kann hierfür mit einem Endgerät mit eingebauter Kamera,
z. B. einem Mobiltelefon oder einem mobilen Computer, das interessierende
Objekt aufnehmen und das aufgenommene Bild als Anfrage über ein Datenfern-
übertragungsnetz an den Serverrechner senden, um die gewünschten Informa-
tionen zu erhalten. Der Serverrechner weist ein Bildverarbeitungssystem mit
einem Programm zur Objekterkennung auf, womit das empfangene Bild ausge-
wertet wird, um ihm bei Erkennung des fotografierten Objektes einen symboli-
schen Index in Klartext (z. B. den Namen „Eifelturm“) oder ggf. mehrere symboli-
sche Indizes in Klartext (z. B. den Namen „Kölner Dom“) zuzuordnen. Im Rahmen
der Objekterkennung werden Merkmale des fotografierten Objektes ermittelt und
mit Merkmalsdetektoren verglichen, die anhand von Beispielbildern, die vorab in
einer Trainingsphase im Rahmen der Modellbildung von Objekten des Bildverar-
beitungssystems trainiert wurden, aufgefunden werden. Der Fachmann liest mit,
dass das fotografierte Objekt mit dem dem entsprechenden Objektmodell zuge-
ordneten symbolischen Index versehen wird, wenn eine hinreichend gute Überein-
stimmung zwischen Merkmalen des fotografierten Objektes und Merkmalsdetekto-
ren eines Objektes aus der Datenbank des Bildverarbeitungssystems gefunden
wird.
In der Suchmaschine werden anhand des ermittelten Bildindexes bzw. der Indizes
zugehörige Informationen in einer Datenbank gesucht und diese gefundenen
Informationen an das Endgerät zurückgeschickt. Vom Informationsanbieter muss
eine Vielzahl von Bildern als Beispielbilder für die Objekterkennung in das Bildver-
arbeitungssystem zur laufenden Aktualisierung bzw. Erweiterung der Datenbasis
für den Trainingsdatensatz eingegeben werden, damit vom System eine Vielzahl
von Objekten erkannt werden können, um dem Nutzer eine komfortable bildba-
sierte Suchfunktion zu bieten.
- 9 -
Mit dem Hilfsantrag wird zusätzlich beansprucht, dass das System als Stadt- oder
Museumsführer dient und in diesem Rahmen Informationen zu fotografierten
Objekten zur Verfügung gestellt werden, und dass die Beispielbilder, die vorab in
einer Trainingsphase im Rahmen der Modellbildung der Objekte des Bildverarbei-
tungssystems verwendet werden, Bilder eines Objektes umfassen, bei denen das
Objekt unter verschiedenen Beleuchtungssituationen aufgenommen wurde
2.
Der Gegenstand des Patentanspruchs 1 in der Fassung des Hauptantrags
sowie in der Fassung des Hilfsantrags beruht nicht auf erfinderischer Tätigkeit.
Von besonderer Bedeutung für die Beurteilung der Patentfähigkeit der bean-
spruchten Gegenstände sind die im Prüfungsverfahren genannten, vorveröffent-
lichten Druckschriften
D1:
D6:
2.1
Der Gegenstand des Patentanspruchs 1 in der Fassung des Hauptantrags
D6
D6
gen auf der Basis von Bildern generiert werden und damit bildbasiert sind
(Abs. [0151], Fig. 1). Das System in D6 ist ausgelegt für mobile Endgeräte, wie
Mobiltelefone oder mobile Computer, die an ein Datenfernübertragungsnetz ange-
schlossen (Abs. [0083], [0088]) und mit einer Kamera verbunden sind, die im
bevorzugten Beispiel ein Brillensystem mit in einer Brille integrierten Kamera je
Auge ist, um das Gesichtsfeld zu fotografieren (Abs. [0135]). Die Bildaufnahme
kann aber gemäß Abs. [0003] auch anders erfolgen, woraus der Fachmann ent-
nimmt, dass statt des Brillensystems eine in das mobile Endgerät eingebaute
Merkmal a
- 10 -
Mit der Kamera wird ein Bild aufgenommen und im Endgerät zwischengespei-
chert. Das Bild kann direkt über das Netz gesendet werden zu dessen externer
Anzeige (Sp. 5 Z. 18-23, Abs. [0160], Fig. 14 b). In der Regel erfolgt jedoch eine
Bildverarbeitung mit Ermittlung von Objektmerkmalen zur Mustererkennung, d. h.
zur Objekterkennung, indem das aufgenommene Bild im Endgerät selbst analy-
siert wird (Abs. [0024], [0037], [0149], [0151]). Die Objekterkennung erfolgt dem-
teilweise Merkmale b´ und b3
dem Bild erkannt wurde, wird für das Bild als Ausgangssignal ein Informations-
schlüssel erzeugt (Anspruch 13), den der Fachmann als symbolischen Index bzw.
symbolische Indizes bezeichnen kann. Der Fachmann liest in Sp. 43 Z. 20-24
auch mit, dass dieser Informationsschlüssel in Klartext dargestellt wird, sonst
könnte der Nutzer nicht in Kenntnis des Informationsschlüssels interaktiv tätig wer-
Merkmal b4
tionen zu dem Objekt in einer externen Datenbank zu finden. Die gefundenen
Informationen werden zu dem Endgerät zurückgeschickt (Abs. [0038], Sp. 11
Z. 20-23, Abs. [0086]). Der Fachmann liest dabei ebenfalls mit, dass hierfür ein mit
dem Datenfernübertragungsnetz verbundener Serverrechner und eine Suchma-
Merkmale b2, c´
D6
einem erkannten Bildobjekt einen Index in Form von Klartext zuzuordnen, der zur
Suche in einer externen Datenbank verwendet wird, wobei keine feste Zuordnung
zwischen erkanntem Objekt und Information vorgesehen ist.
D6
allerdings nicht auf dem externen Serverrechner, sondern im Endgerät selbst vor-
genommen und damit das aufgenommene Bild nicht an den externen Serverrech-
ner mit Suchmaschine geschickt, sondern der bereits im Endgerät im Rahmen der
Objekterkennung ermittelte Informationsschlüssel wird zur Suche in der externen
Datenbank verwendet.
- 11 -
Die Möglichkeit, die Objekterkennung statt im Endgerät in einem externen Server-
D1
D1
banken zur Informationsbeschaffung über ein fotografiertes Objekt entnehmbar,
bei dem die Bildern von einem mit einer eingebauten Kamera versehenen Endge-
rät wie Mobiltelefonen oder PDA (mobilen Computern) aufgenommen wurden
(Abs. [0007], [0021], Anspruch 1). Das auf dem aufgenommen Bild gezeigte
Objekt wird entweder im Endgerät selbst erkannt oder das Bild wird über ein an
das Endgerät angeschlossenes Datenfernübertragungsnetz, z. B. Internet, an
einen mit diesem Netz verbundenen Netzwerkprozessor (Serverrechner) gesendet
Merkmale a, b2
dann eine Objekterkennung des empfangenen Bildobjektes mit einem als Bearbei-
Merkmal b´
schickt die Identität des erkannten Objektes an das Endgerät. Dem erkannten
Objekt sind in einem Speicher des Endgerätes zu diesem Objekt abgelegte Infor-
mationen zugeordnet (Sp. 1 Z. 38-40). Diese Informationen werden bei Erkennung
des Objektes abgerufen und dem Nutzer z. B. auf dem Display des Endgerätes
zur Verfügung gestellt (Abs. [0011], Anspruch 10). Auf einem Display wird aber
auch die Identität des erkannten Objektes im Klartext dargestellt, beispielsweise
„DVD-Player“ (Sp. 2 Z. 57 f. i. V. m. Abs. [0020], Sp. 3 Z. 36 f.). Der Fachmann
liest hierbei mit, dass die Identität des erkannten Objektes den symbolischen Bild-
indizes entspricht, zumal über sie auch eine Zuordnung der gespeichert vorliegen-
Merkmal b4
Informationen über ein erkanntes Objekt dynamisch aus dem Internet geladen
werden können (Anspruch 8, Sp. 2 Z. 49-52), was nur über eine Suchfunktion
möglich ist, entnimmt der Fachmann, dass eine ans Datenfernübertragungsnetz
angeschlossene Suchmaschine genutzt wird. Um diese zusätzlichen Informatio-
nen mit Hilfe der Suchmaschine zu erhalten, werden zwangsläufig auch die Indi-
zes des Bildes in Form von Klartext genutzt, um die gewünschte Information zu
dem erkannten Objekt im Netz zu finden und zu dem Endgerät zurückzuschicken
- 12 -
Merkmal c´
erkannten Bildobjekt zuzuordnen, der zur Suche in einer externen Datenbank ver-
wendet wird.
Der Aufbau der Datenbasis für die Objekterkennung in der Trainingsphase und die
Objekterkennung selbst erfolgen wie in der beanspruchten Lehre durch Aufnahme
mehrerer Beispielbilder, die Objekte in verschiedenen Aufnahmesituationen um-
fassen mit Referenzmusterbildung, bei der durch Erkennung von Merkmalen in
den Beispielbildern dem Objekt angepasste Merkmalsdetektoren in der Lern- bzw.
Trainingsphase ermittelt werden sowie die Überprüfung der aus dem empfange-
nen Bild ermittelten Merkmale in einer Bearbeitungseinheit mit den in der Lern-
bzw. Trainingsphase ermittelten Merkmalen eines Objektes (Sp. 1 Z. 34-38,
Merkmal b3
Es können auch dynamisch über die Internetverbindung Informationen zur Aktuali-
sierung der Modelle und Referenzmuster geladen werden (Abs. [0017] f., Sp. 3
Z. 50 f., Anspruch 7). Hierdurch wird eine laufende Aktualisierung des Bildverar-
Merkmal d´
D6
Objekterkennung nicht im Endgerät selbst, sondern im externen Serverrechner
vorzunehmen. Der Serverrechner kann dann anhand des durch Objekterkennung
zu dem Bild ermittelten Suchschlüssels, d. h. der Indizes des Bildes in Form von
D6
Fachmann wird auch eine Weiterentwicklung der Datenbank des für die Objekter-
D1
nachträgliche Eintragung von aus Beispielbildern gewonnenen Referenzmustern
bzw. Modellen für die Objekterkennung erfolgen kann bzw. durch Eintragung von
Beispielbildern, aus denen dann im Bildverarbeitungssystem selbst Referenzmus-
ter bzw. Modelle ermittelt werden.
Damit ist ein System mit allen Merkmalen des Patentanspruchs 1 des Hauptan-
D6
- 13 -
2.2
Der Gegenstand des Patentanspruchs 1 des Hilfsantrags beruht nicht auf
D6
Der Patentanspruch 1 des Hilfsantrags basiert auf dem Patentanspruch 1 des
Hauptantrags. Er unterscheidet sich von diesem durch die zusätzliche Aufnahme
des Merkmals f, wonach das System „als Stadt- oder Museumsführer, bei dem
Informationen gespeichert sind zu Objekten, zu denen der Benutzer ein Bild auf-
genommen hat“ ausgebildet ist, und des Merkmals e, wonach „mehrere unter ver-
schiedenen Beleuchtungssituationen aufgenommene Beispielbilder (21) eines Ob-
jekts in das Bildverarbeitungssystem (14) eingetragen werden können“.
D6
umsführer genutzt werden, bei dem Informationen gespeichert sind zu Objekten,
zu denen der Benutzer ein Bild aufgenommen hat (D6 Fig. 12 B - E, Abs. [0151];
Merkmal f
D1
Winkeln und Seiten aufgenommen wurde (Abs. [0016]). Dem Fachmann ist aus
seinem allgemeinen Fachwissen bekannt, dass ein Objekt bei der Merkmalsbil-
dung in verschiedenen Ausprägungen vorhanden sein muss, wozu neben den in
D1
Lichtverhältnisse gehören, wie dies auch in dem in der Beschreibungseinleitung
der Anmeldung zitierten Fachbuch Ullman, Shimon: High-Level Vision - Object
Recognition a. a. O. in Abschnitt 6.3 auf S. 163-165 ausführlich erläutert wird.
Merkmal e
Damit können die im Hilfsantrag zusätzlich aufgenommenen Merkmale die erfinde-
rische Tätigkeit nicht begründen.
3.
Der Gegenstand des Anspruchs 1 des Hauptantrags sowie des Hilfsantrags
ist somit nicht patentfähig. Mit dem Anspruch 1 des Hauptantrags sowie des Hilfs-
antrags fallen notwendigerweise auch die jeweils darauf rückbezogenen Unteran-
- 14 -
sprüche; zumal die Unteransprüche lediglich fachgemäße Ausgestaltungen bein-
halten und dafür auch keine erfinderische Besonderheit geltend gemacht wurde.
III.
Bei dieser Sachlage war die Beschwerde der Anmelderin gegen den Beschluss
der Prüfungsstelle G 06 K zurückzuweisen.
Dr. Fritsch
Prasch
Eder
Wickborn
Fa