[2000 強調べて正確なのは 400 だけ:image]
様々な iPhone「マップ」批判が噴出している。中でも Jason Matheson のテスト結果は強烈だ。
* * *
惨憺たるオンタリオ州のテスト
Jason Matheson がカナダのオンタリオ州について行なった iOS 6 マップのテストが注目を引いている。
mtonic.com: “How Accurate is Apple Maps in Canada’s Largest Province?” by Jason Matheson: n.d.
オンタリオ州に所在する 2000 強の地名を調べたところ、正確に見つかったのはたった 400 という惨憺たる結果だったというもの。[冒頭図表]
* * *
この Matheson のテスト結果をさらに分析、検討したのが Marco Tabini だ。
Vore: “Old Maps vs. New Maps” by Marco Tabini: 29 September 2012
同じオンタリオの住人で、 iOS 6 マップは「比較的良好」という感じを持っていた Tabini は、Matheson のテスト結果をより深く追求する。
* * *
地名を調べる仕掛け — Geolocation
Matheson のテストでは iOS Core Location フレームワークの geolocation クラスを利用している。この Core Location フレームワークは、地理的座標(terrestrial coordinates)を地名(place names)に変換するのに利用される。地球上の緯度経度座標に対し、一定の範囲内にある既知の地名を複数返す。あるいは、ひとつの地名に対し、それに適合する座標のセットを返す。
Matheson used a geolocation class in iOS’s Core Location framework that can be used to convert between terrestrial coordinates and place names. You can either give it the coordinates of a location on Earth and get back a number of known locations within a certain range of it, or provide a location name and get a list of coordinate pairs that match that name.
iOS 5.x では Core Location フレームワークはグーグルの API と抱き合わせ(piggyback)になっているが、iOS 6 ではすべてのデータをアップルが提供する。
Under iOS 5.x, the Core Location framework piggybacks on Google’s own APIs, but, in iOS 6, all the data is now provided by Apple.
Matheson のテストでは、オンタリオ州の地名のほとんど大部分を正しく認識できなかった。それ自体は大きな問題だが、必ずしも「その町が地図上から消えてしまった」ということではない。誰かの電話番号が電話帳に載っていないからといってその人物が実在しないということではないのと同じだ。
Matheson’s experiment shows that Apple fails to properly identify the vast majority of city names in Ontario. That is, indeed, a pretty big deal, but I want to point out that it doesn’t necessarily mean that “these towns don’t even appear on the map” anymore than not finding someone on a phone directory means that those people don’t exist.
この違いはとても重要だ。なぜなら Matheson のテストは地図自体の正確さをテストしたものではなく、地図のメタデータの正確さをテストしたものだからだ。
The difference is significant, because this experiment doesn’t test the accuracy of the maps themselves, but, rather, of the metadata associated with them.
* * *
何と何を比べるべきか
私は(Gruber も)Matheson のテストが最終結論を出していない点に注目する。Matheson は iOS 6 から得られた結果を既知のジオコード化地点(geocoded points)と比較してはいるが、肝心のグーグルに依拠して得られた iOS 5 のジオコード化地点とは比較していないのだ。
What struck me (and Gruber) about Matheson’s work is the fact that he didn’t take his research to the ultimate conclusion. He compares the results he receives from iOS 6 against known geocoded points, but—crucially—not against iOS 5, which relies on Google.
これこそが決定的に肝心な点だと思う。もしグーグルのデータからアップルのデータへ移行したことにみんなが不満を抱くのなら、同じサンプルで両者のどちらが優れているかを試す絶好のチャンスなのではないか。
To me, that’s the crucial test: If everyone is unhappy about the transition from Google- to Apple-provided data, this is a perfect opportunity to test how good both are based on a given sample.
Matheson が用いたのと同じデータを、手もとの iOS 5 デバイス[= iPhone 4]を使って、グーグルに依拠する iOS 5.1 API と比較してみた。
Since I had an iOS 5 device (an iPhone 4) handy, I decided to give it a go and scanned through the same list of city names that Matheson used, running each as a query against the Google-powered iOS 5.1 APIs.
* * *
Google API と比較すると
比較した結果[詳しくはこちら]の要点はつぎのとおり。
The results, available here as an Excel sheet, are, indeed quite interesting. Here are some highlights:
・アップルと異なり、グーグルはほとんどの場合必ず何らかの結果を出す。これはグーグル検索を使った経験とも一致するものだ。これは多分ユーザーを自らのサイトに惹き付け、広告収入を生み出し続けるためには、ゼロ回答より正確でない結果でもいいのだというグーグルの経験によるものではないか。
・Unlike Apple, Google almost always returns at least some results. This is in line with my experience with all Google search properties, and is likely due to the fact that Google has discovered that an incorrect result is better than no result at all when it comes to keeping people on their Websites and continue to generate ad revenue.
・しかしながら、グーグル API の結果中 784 はオンタリオ外のものだった。(ほとんどはカナダ国外で、中には中国のものすらあった。)それでも、Matheson の iOS 6 のテスト結果(688 例がゼロ回答)に比べればましだろう。
・Despite this fact, however, 784 of these results are outside Ontario (most, in fact, are outside of Canada—some as far away as China). This compares favourably to the 688 searches that returned no results in Matheson’s iOS 6 experiment.
・それ以外のものはどうか? 2,000 余の検索のうち約 900は、私が調べた既知の Geolocation の1キロ以内だった。いくつかははるか何百クリックも離れていた。この数字を Matheson と比較するのはむずかしい。「十分近い」という彼の定義がハッキリしないからだ。でもいくつかは彼のものと合致するのではないかと思う。
・What about the others? Of the 2,000-odd queries run, about 900 of them returned results that were within 1km of the known geolocation that I was searching for. Some others were off by hundreds of clicks. It’s hard for me to compare this number to Matheson’s (it depends on his definition of “close enough”), but hopefully he will chime in at some point.
* * *
堪え難いほどノスタルジアに駆られる存在
これらの結果から、検索エンジンのどちらかの(あるいは双方の)精度を上げることができないかという点に興味を持った。Geolocation の難しさは、人間が堪え難いほどノスタルジアに駆られる存在だということだ。特に共通の文化的背景を持つときがそうで、同じような地名を付けてしまい勝ちだ。ロンドン、グラスゴー、ハミルトンは北米に何ダースも存在する。トロントだって少数とはいえ存在する。同様にオンタリオは市の名前でも、州の名前でもあり得るし、文化によっては市と州の区別さえ異なる。
With these results in hand, I was curious whether the accuracy of either search engines (or both) could be improved. What makes geolocation so hard is that humans—particularly when they share a common cultural background—are insufferable nostalgia machines, and tend to name places the same way. There are dozens of Londons, Glasgows, Hamiltons, and even a handful of Torontos in North America, for example. By the same token, Ontario can be a city or a province—and different cultures will make the distinction between a city and a province in different ways.
* * *
情報が多ければ多いほど検索は容易か
これらすべてが相まって、地図情報の検索は間違いを起こしやすい。だから情報が多いほど検索エンジンは見つけるのが容易になるのだ。
All this conspires to making reverse geolookups easy to get wrong, which is why providing more information often helps search engines find places more easily.
この考えをテストするため、それぞれの質問の後に「カナダ」ということばをつけ加えてみた。これによって検索の幅が狭まるだろうと期待したのだ。
To test this theory, I simply added the word “Canada” at the end of each of the queries, in the hopes that this would provide additional context to help narrow down the searches.
その結果には失望した — ただし iOS 5 に関してだが。Google API の回答は州レベルでは 85% が合致した。(オンタリオの地名の 85% は認識できたということだ。)それでも本当の場所の1キロ内だったのは 900 程度だけだった。
And I wasn’t disappointed—but only as far as iOS 5 is concerned. The Google-powered API returns (Excel file) an 85 percent match at the provincial level (that is, it recognizes that a place is in Ontario 85 times out of a hundred), although still only 900 or so places are returned as being within 1km or so of the expected location.
iOS 6 の場合はもっとずっと悪かった。オンタリオの 65% しか合致しなかったからだ。しかも 37% にも及ぶ大多数については全くのゼロ回答だった。
On the surface, iOS 6 (Excel file) fares much worse, with only 65 percent of matches being reported in Ontario, and a large number of searches—a whopping 37 percent—returning no results at all.
* * *
話はこれで終わらない
しかし話はこれで終りではない。二つの検索エンジンがオンタリオ内に存在すると認識した結果の標準偏差を見れば、とても興味深いことが分かる。グーグルの 221 に対し、アップルのそれはたったの 78 だ。アップルの結果は正確なものに集中したトップヘビーで、目標からはるかに外れたものはほんの少ししかない。
This, however, doesn’t tell the whole story. If we look at the standard deviation in the sets of results that both engines identify as being in Ontario, there’s a very juicy bit of information to be had: Google’s is 221, while Apple’s is only 78—and the Apple results are top-heavy, with only a very tiny minority of locations reported as being far off the intended mark.
これは非常に重要な点だ。先きに触れたこととも一致する。グーグルはどんなに離れたものであれ結果を返そうとする。かくていくつかの結果は目標を何百キロも何千キロも離れたものになる。
This is very important, because it confirms what I mentioned above: That Google will return a result, any result, no matter how far fetched. Thus, some of the locations it returns are hundreds or thousands of kilometers off target.
これに対してアップルは、正確さを旨としているようだ。ピッタリの結果を返すか、さもなくばゼロ回答になる。
Apple, on the other hand, seems to be going for accuracy: either it returns a result that is spot-on, or it returns nothing.
* * *
3つの結論
データからみて次の3つのことがいえると思う。
As far as I can see, the data supports three conclusions:
1)我々のデータで見るかぎり、古いマップ(iOS 5)は新しいマップ(iOS 6)より必ずしも優れているわけではない。
1. Given our set of data, old Maps doesn’t fare that much better than new Maps.
2)検索結果を導く両社の対応には重要な違いがある。グーグルは何であれとにかく結果を返そうとする。一方アップルは何より正確さを重んずる。
2. There seems to be a significant difference in the way the two companies approach the task of returning search results, with Google doing whatever it takes to get any result out, while Apple seems to prefer accuracy above all.
3)つまるところ、このテストは地図の正確さを測るという意味ではあまり役に立たない。せいぜいいえるのは、アップルは正しい検索結果を出すが、目標が町全体という大きさになると特段役に立つ結果は出そうにない[?]ということだ。
3. In the end, this is not really a particularly useful test insofar as determining the accuracy of Maps. At best, we get to see how good Apple is as at finding things, but with targets as big as whole towns we’re unlikely to unearth any information that is really useful.
* * *
アップルにとっての問題点
このことから、アップルの抱える最大の問題点が浮上する。みんながアップル「マップ」の誤りを発見しようとする。誤りを見つけることが楽しみになってしまったからだ。これほど微に入り細を穿って Google Maps を分析したことがこれまであっただろうか。アップルによってみんなの期待値が高まったのだとすれば、この時点でもっと別な議論をしてもいいのではないか。
And this, more than anything else, outlines Apple’s biggest hurdle: people keep finding mistakes in Maps because looking for them has almost become a sport. When was the last time that you saw users analyzing Google Maps with this ridiculous level of detail? Had Apple set the public’s expectations better, we may be having a very different discussion at this point.
* * *
門外漢の筆者にはまだ理解できない部分が多々あるが、今回のアップル「マップ」騒動にはひとすじ縄ではいかない問題がありそうな気がする。
かつてアップルが Siri の検索エンジンに Wolfram Alpha を使ったことが思い起こされる。
「金の価格」を検索した結果がグーグルとアップルであまりに違ったことが今でも鮮やかに印象に残っている。
単に地図だけの問題に止まらず、検索そのものに深く根ざした問題があるのではないか・・・
いまひとつ分からないのが、ユーザーからのフィードバックを地図の正確さに反映させるメカニズムだ。
日本の地図だから、日本のローカライズの問題なのか、それ以上の問題があるのか・・・
★ →[原文を見る:Original Text]
コメントを残す