クロス表データを可視化すると世界が見える
Ｖ0.51
～クロス・データ・エクスプローラとしての
連環データ分析～
Data ComBine Analysis
Beyond
Cross Data Explorer
クロス表データを可視化すると世界が見える
～クロス・データ・エクスプローラとしての連環データ分析～
Data ComBine Analysis
Beyond
Cross Data Explorer
――――――――――――――――――――――――
2020年1月26日 第1版発行
c Data Cake Baker Corporation,
2020 Printed in Japan
著者 唐澤英安 小林稔 唐澤英長
URL: http://www.dcb.co.jp/
はじめに
◇ヒトは、仕事で社会とつながっている。
西欧では、仕事は罰として神がヒトに与えた主題であるとされている。一方、日本では、神が自らの体を投げ出してヒトに与えた恵みに関する感謝であるとされている。
神話が無かったとされる中国の古代の聖人は、仁をヒトがヒトを思いやり何かを成すとき守るべき最高の規範とし、その行動の様式が”礼”であるとしている。
しかし、ヒトが働いて恵みを得て、社会が豊かに進化するためには、仕事の分担とその集約の仕組とそのための仕事が必要で、そこからビジネスが現れたのではないか。
ビジネスは、仕事を通して、資源を貯め、それがまた新たな資源の獲得作用を増幅するために使われ、社会はより豊かになるための仕組でなくてはならない。
この資源の中には、物質やエネルギーのように経済財と言われ数えることができるGDP等の他に、見ることができずまだ計測法もない知識やその元になる情報やその元となるデータ等がある。
こうしたデータは、新しい時代の石油に喩えられたり、データ資本主義などとも言われる。つまり今までの経済財は使えば減る財であったが、データは、使っても減らないばかりでなく、逆に増えてさえする、新しい概念の経済資源となって、社会を加速度的に豊かにできる。
つまり、デジタル化がもたらしたデータ・インフォメーション・テクノロジ（DIT）とでも言うべきものは、イノベーションを常態化する技術なのである。
この本では、イノベーションの常態化時代に、仕事やビジネスが、社会をより豊かにするための、データ分析の考え方と方法を追求して行きたい。
それは、仕事を通じて、より社会を豊かさを進化するための資源を増幅するイノベーションを支援し、駆動する仕事である。
ビジネスや仕事においては、”礼に始まって礼で終わる”。ヒトとヒトの出会いの時は、どんな民族でも、”アイサツ”の礼から始まる。また、ヒトが何かの物事にアプローチする時にも、一定のアイサツが必要である。例えば、食べ物を口に入れたり、何かに近づいたりするときにも、まず、そっと指で触ったり臭いを嗅いだり、おそるおそる唇を近づけて見たりする。インターネットの世界では、これは、”プロトコル”と呼ばれる”儀式”である。
デジタル化社会において、ヒトがヒトや組織に出合う時にも、プロトコルが使われるように、ヒトが物事に出合うときにも、プロトコルが必要である。
◇ビジネスの道はすべて、データの山の中の仕事である
仕事はすべて、”あるべき物事”や、物事にたいする構え方や振舞い方などの”あるべき規範”にかかわることである。
あるべき物事やあるべき規範とは、関係する全てのヒトにとって最好適となるべく、利用できる最高の技術を持って常に進化し続けらなければならない。
こうしたあるべき規範を進化させる”標準化”という仕事は、データ分析の仕事と並んでイノベーションの基礎である。この標準化技術のためにもデータ分析は、欠くことができない。
ビジネスや仕事において、会話も大切であるが、記録はもっと本質的である。
記録された会話や、音声や、文字や、数値や、画像や、映像等は、すべてデータとして記録と再生が可能である。
こうした多様なタイプのデータが、手軽に大量に記録され再生される形式でデータ化される時代となった。これがデジタル化時代の特長の一つである。
また、こうしたデータの生まれた場所や、時間等の情景や背景や、それに関わった人や、組織や、文脈等の付属データもまた、データ化される。これがデジタル化時代のもう一つの特長である。
また、これらのデータのタイプは異なるが、時間と空間を超えて、人びとの間で共有できる。つまり安価に、大量に、蓄積でき、アクセスでき、通信できる。これもデジタル化時代のまた別な特長である。
さらにデジタル化の特長として、こうしたデータを、加工したり、編集したり、計算したり、可視化したり、モデル化して、操作できるようになったことで大きな意味を持つようになってきた。
そして、ある情況で、あるチャンスやリスクの到来を予測したり、その変更ニーズやその対応法を、考えることができるようになってきている。
こうしたデジタル化の恩恵は、コンピュータの発展もあるが、同時に、データ分析法の発展も大きい。
統計的多変量解析法や多次元データ分析法や、ディープラーニングを含むマシンラーニングや、これらにヒトの知見を組み込んだＡＩ等の発展がある。
そして、こうした各種のデータ分析法のソフトの出現がある。
この本では、こうした方法や新しい方法にも触れながら、なるべくわかりやすくデータ分析法を説明して行きたい。
◇問題とテーマの設定こそがヒトの最も大切な仕事である
一方、ビジネスや仕事は、人びとの間で、連携して進められるので、データによる目標や状況や、その進展やパフォーマンスの共有や、分担した作業の結果の引継ぎ等で、データのやり取りが、仕事のかなりの比重を占めることになってきた。つまり、データ処理が、仕事となり、ビジネスそのものになって来ているのである。
データを処理する仕事は、データ採る作業や、採ったデータをキレイニしたり整えたりするいわば料理で言えば、前処理や下ごしらえの作業も必要である。
ただ、こうした地味な仕事でも、取り組む問題やそのテーマを理解している必要がある。
問題やテーマは、神の与える主題（サブジェクト：Subject）ではないが、この本では,そのデータの主体をサブジェクトと呼ぶことにする。
問題やそのテーマの理解は、ＡＩにはできない。
問題からテーマを切出してきちんと捉えることが最も大切なヒトの仕事である。
◇問題を設定するには、視点を定めることが大切である。
目先の見える所だけでなく、もっと先まで、そのためには、過去に遡って見直してみると、視野を広げる可能性がある。あるべき姿やありたい姿のイメージを探索して、そこから逆に今の状態を見直すこことは、バックキャスティングと言われる。これは視点（ビューポイント）の設定の問題である。
時間的に、未来や過去を行き来きするだけてなく、視野を広くして、問題とすべき世界を大きくすることも大切である。
案外近視眼に陥るのは、目先の関係者につい目が向きがちである。一番大切な関係者の関係者にまで、広く全てのステークホルダまで考える必要がある。これは、視野（スコープ）の設定問題である。
またヒトは目先の制限が気になり、制限条件を頼りにし、その範囲での最適解を、問題の解として探す癖があることにも気を付ける必要がある。何時までにできること、予算の範囲でできること、今のチームだけでできること等などである。
これらの制限条件を一端なくして、問題とその解空間を広くして捉えなおす必要がある。
データ分析にとって、こうしたいわゆるより大きなグローバルな”グランド・スケープ”をしっかりイメージすることが、もっとも大切である。
これは、”良いデータと良い問題の設定法”の極意の一つであるが、最初からうまくは行かない。まずあるデータをきちんと整理し、可視化できる腕を上げる。これが、いわばデータ・パティシエの必要なスキルである。
これができれば、関係者の会話や議論が始まり、問題を捉えなおすことに繋がる。
データと問題を上手く捉えるスキルが身に着けば、それは、データ・パティシエとチームを組んで挑戦できるデータ・ソムリエと言っても良いのであろう。
データ・ソムリエは、素材のデータの立場に立ってその由来、またデータを処理したツールやデータ・パティシエの立場に立ってその工夫や料理のプロセスや熱等の進行具合、さらにそれを味わう人の立場に立って、好みに合わせワイン等の飲み物との組合せ等を調整する必要がある。
◇データと意味を考えてみる
物事やヒトの所作も、データとして記録し、表現できる。
個々の物事のリスト化されたサブジェクト・アイテムは、その生まれた経緯や背景や色や形などの性質によって区別できる。
この本では、この区別するための属性をアトリビュートと呼ぶことにする。各属性、各アトリビュートもまた区別されて、アトリビュート・アイテムとしてリスト化される。
個々のサブジェクト・アイテムが区別されるのは、アトリビュート・アイテムとの関係によってのみ可能となる。
物事や所作の属性との関係は、データで表現されるが、その特徴が、意味を持つ。
ヒトがそれに意味を感じるのは、ヒトの勝手か知れないが、ヒトは自分が何らかの所作にかられる特徴をもって意味を感じるものらしい。
意味とは、情況にヒトが反応する上で、そのきっかけを与えてくれるもデータの特徴であるとしよう。つまり、意味とは、ヒトが反応行動や反応所作を採るためのデータの特徴であり、特徴データである。
つまり、意味を持つデータは、ヒトに起こさせる特徴を持ったデータを、この本では、「情報」と呼ぶことにする。
◇ ものごとの特性を数値の属性でデータ化する
複数の属性を考える前に、今まで最も研究されてきた最も簡単な問題を考えてみよう。それは属性が単独で、かつ計量的属性データの特徴づけ問題である。
ヒトが、数値を理解するのは、歩き始めてつまずく石の大きさや目指すところまでの距離などの物理かも知れない。
これらは、リンゴやお菓子のような数えることができる数値で・・・これは計数値と呼ばれるが・・・その大きさの度合いは、指を折ることで、抽象的に示すことができる。
また食べ物を取られたり、分けたりするときに感じる欲望などとすると、社会人となるにつれて気になるマネーや損得の感情かも知れない。
数値的属性が、どのサブジェクト・アイテムでその平均値や最も出現する頻度が高いサブジェクト・アイテム群の数値はどの位か、また数値の最大値や最小値の範囲やバラツキなどが、分布の特徴となる。
通常こうした単独な属性のいわゆるバラツキは、自然に多い見慣れた状況であろう。従来、確率統計学では、1つの属性、それも量的な属性の確率分布を前提とした確率統計学の教科書ではほとんどのページが割かれてきた。しかし、現実にビジネスの世界では、一つの属性だけで何か判断したり、対応して済むとはほとんどない。
数値でも複数のアトリビュートを持つデータの場合は、多変量統計や多変量データ解析や多次元データ分析と呼ばれてきた。
この本では、すべて、こうした複数の属性を変数とする問題を扱う。
◇ 複数の質的属性を持つデータの特徴付け
ところで、特徴は、2つ以上の属性がかかわったとき、それらの単独な属性による特徴とそれらの組合せによる特徴とがある。
しかし、この組合せ効果によって、サブジェクト・アイテムの特徴が、こうした組合せの効果を把握することが、仕事やビジネスにとって大変多いきな意味を持ってくることが多い。
これを示すことが、この本で強調したい大きな目的である。
アトリビュートが質的でサブジェクト・アイテムと結ばれたクロス表データの場合は、様相が異なってくる。ましてアイテム数が増加すると、いわば主効果的な特徴の把握はもちろん、組合せ効果の特徴は、もっと困難となる。
従来、こうした議論は、あまり深く検討されてこなかったように思われる。
この本では、もっと実用的で実体的で、応用的な考え方と、データ処理プロセスについて、解説したい。
この本では、データから意味のある情報を採りだすことに重点をおく。
そして意味のある情報から、 あるヒトにとって意味のあるデータをより多くの人にとって役に立つ知識を獲得する作業としてのデータ分析の方法を理解する。
◇ まとまった物事の意味の理解
ビジネスや仕事では、ここの物事の集まりを、知りたい場合が多い。もちろん個別の事象を名前で区別する場合もあるが、あるまとまった物事・事象の全体を理解したいとき、全体をまず、分けて理解する．
あるまとまった全体は、カテゴリーとか母集団と呼ばれる。
そうしたまとまりは、幾つかのアイテムから構成されており、そのアイテムの持つ色や形や性質等の属性によって区別されることが多い．アイテムを分けるには属性が似た者同士を使って分類することになる．
何かを説明したい時、主題とそのあり様や動きを説明する。そのため一番簡単な文章は、3つの要素から成り立っている。いわゆる主語+関係語+説明語である。従って、言葉をデータとして一番簡単に記述する形は、この3点の構造を使う。
注目する事象である主語を、ここではサブジェクトといい、そのアイテムが持つ説明語をここではアトリビュートといい、属性と呼ぶことにする。
またこの本のもっとも特徴的な一つは、その元になるデータの形式を、”クロス表データ”とすることである。
クロス表には、ヒトが発しもしくは感じること、音声や文字や、数字や画像や映像やのほとんどすべてを、このクロス表のデータに表現でき、クロス表のモデルとして整理できるだけでなく、コンピュータの力を借りて、その特徴を情報に、役に立つ知識の創出に一歩を踏み出すことを可能にするからである。
◇全体の構成
この本は、全体を4篇の構成としたい。
序編では、クロス表データの役割や考え方や歴史や展望を説明する。また必要な言葉や表データの構成や仕組なども説明する。
1篇は、1枚のクロス表データの同時布置・同時クラスタリング分析法
ここでは、1枚だけのクロス表データを、その表側アイテムと表頭アイテムを、1つの多次元空間に同時に布置し、同時にクラスタする場合を扱う。
ものごとの事象や、そのあり様ややり様等の振る舞いについて、またその意味について考える。
この領域は、多変量統計学やテキスト・マイニングや機械学習などの一番典型的問題の領域であるが、いわゆる正解が無い、教師無しデータ構造の領域でもあり、今も盛んに研究され進化しつつあるが、基本的なデータ形式である。
ここでの特徴は、従来できなかった表側アイテムと表頭アイテムを同時布置し同時クラスタする方法を説明する。その具体的な技術コンセプトは、コンセプトを1元化尺度で配列し、意味をガイドし計算する、ＣＣチャート：Concept Compass Chart が主役を務めるだろう。
2篇は、サブジェクトを共有する複数の多連クロス表データの可視化分析法
ここでは、サブジェクトを共有する複数の多連クロス表データ（横に並んだ複数のクロス表を連と呼ぶ）を統合して、それぞれの表頭と表側アイテムを、1つの多次元空間に同時に布置し、同時にクラスタ分析するケースを扱う。
ビジネスや仕事の世界で扱う、物事やヒトや組織の作法は、”言葉”で表現され、そのパフォーマンスは、”数値”で測られ要約される。いわばの”言葉”がクイーンとすいれば、キングは”数値”である。ビジネスでは、見かけは数値のキングがプロセスのマイルストーンの達成度等のパフォーマンスを示したり要約するが、その背景は、ことばでしか説明ができない。言葉のガイドで、数値の上下や安定性の方向性が判る。両者がメインキャストを演じることになる。
また、数値と数値の関係は古くから解析学や代数学として高度に研究がされてきたが、ここでは、数値の連続性について一端その鎖を解き話して、数値のセグメント同士の相関関係だけに注目する。それは、数値が言葉と同等な形で、相関関係を議論したいからである。
言葉と言葉の関係性は、古来、神話や物語等文学の世界であった。しかし、意味は、ものごとやプロセスの関係性の特長から生まれる。インターネットでハイパーリンクが言葉に張り付いて、意味が計算できるようになってきた。
こうして、ここでは、質と量の関係、つまり、質と質、質と量、量と量の関係と、それらの意味を取り扱う。
3篇は、サブジェクトとアトリビュートを共有する多連多段クロス表の分析
ここでは、サブジェクトを共有する複数（多連）で、アトリビュートを共有する複数（多段）なクロス表を統合して、それぞれの表頭と表側アイテムを、1つの多次元空間に同時に布置し、同時にクラスタ分析するケースを扱う。
多くのビジネスでは、何らかのサービス要素の提供者と、その受容者と、その仲介者の異なった3者が登場する。それぞれが異なった価値観や機能を持ち、異なった物事の認識や所作を持っている。
ここでは、3体問題が、主題となる。3体問題は、ものごとやプロセスのダイナミズムの根源の形態である。それが、存在する真の姿であり、ダイナミックに安定したパターンである。
ここでは、2体のマッチグに、仲介する第3の項が介在する、ＭＭマップが、主役となるであろう。
1篇から3篇までは、5章で構成する。全体が15章立てとなる計画。4編では、イノベーションに必要な4つのフェーズを概説する。
各章を、20ページで、なるべく絵や表を入れ、文字だけなら20,000文字くらいでまとめたい。全体で6編、各7章で計42章となる。
発行は、毎月2回、偶数の隔週で、1年間で、24回位でトライしたい。この計算通り行けば、2年間で完成となる。
ちょっと大変！ フォロワーの叱咤激励を期待して、がんばってみよう！
目次
序編 ビジネスはすべてイノベーション
1◇ ビジネスは仕事のあり方とやり方のイノベーションである
2◇ 全てのビジネスは、クロス表で始まりクロス表で終わる
3◇ 全ての仕事は、データとテキストの読み書きソロバン
4◇ 物事や所作を知るということ
5◇ 物事や所作は、3項関係で表現できる
6◇ クロス表は、ヒトの形と似た成り立ちである
7◇ 物事や所作の言葉を、データ化し操作できるモデル化
8◇ 物事や所作の言葉を、データ化しクロス表で整理する
11◇ 物事や所作を全てクロス表で表現し計算したい
9◇ 物事や所作の意味を可視化したい
10◇ 物事や所作の意味を計算したい
12◇ 物事や所作の意味を考える
5章 ビジネスの3の要素とソサエティ5.0
13◇ マネー5.0
14◇ タイム5.0
15◇ データ5.0
2編 サブジェクトを共有する複数の多連クロス表データの可視化分析法
1章 量属性と質属性の関係性
2章 量属性と量属性の関係性
3章 質属性と質属性の関係性
4章 量属性と言葉の意味の関係性・・・NSP+OPQ
5章
3編 サブジェクトとアトリビュートを共有する多連多段クロス表の分析
1章 言葉+機能+数値・・・QFD
2章 機能別+プロトタイプ+リビングラボ
3章
4章
5章
4編イノベーションにおけるビジネス・インテリジェンス
1章 桃太郎伝説に見るイノベーションの5段階
2章 井深大のイノベーションのマネジメント技法
3章 目的工学によるイノベーション・テーマ創発
4章 集合知メカニズムによるイノベーションシナリオ
5章
5編従来型多変量・多次元データ分析の概説
1章 主成分分析
2章 多重対応分析
3章 クラスタ分析
4章 多重回帰分析
5章 潜在構造分析
6章 テキスト・マイニング
7章 ディープラーニングと機械学習
8章 ＡＩとＢＩと
6編データとテキストのフュージョン・マイニング
1章 管理とマネジメント
2章 マネジメントと標準化
3章 3体型オペレーション組織
4章 グローバル・ランドスケープと問題デザイン
5章 美と神話の構造
おわりに
序編 ビジネスはすべてイノベーション
1章 ビジネスと仕事は、物事と所作のデータが全て
2章 物事はモノとデキゴト、所作はアリ方とヤリ方
3章 物事や所作をデータ化し表現しモデル化する
4章 物事の意味はあるべき所作に関わっている
1編 1枚のクロス表データの同時布置・同時クラスタリング分析法
1章 はじめに
2章連環度が計量値のケース
3章連環度が計数値のケース
4章
5章
2編 サブジェクトを共有する複数の多連クロス表データの可視化分析法
1章
2章
3章
4章
5章連環度が[1,0]で属性アイテムが多いテキストマイニング
3編 サブジェクトとアトリビュートを共有する多連多段クロス表の分析
1章
2章
3章
4章
5章
4編 データの準備
1章 データの整理と前処理
2章 データの中心化、標準化、基準化
3章
4章 データの変換
5編 イノベーションにおけるビジネス・インテリジェンス
1章桃太郎伝説に見るイノベーションの5段階
2章井深大のイノベーションのマネジメント技法
3章目的工学によるイノベーション・テーマ創発
4章集合知メカニズムによるイノベーションシナリオ
5章
6編 従来型多変量・多次元データ分析の概説
1章主成分分析
2章多重対応分析
3章クラスタ分析
4章多重回帰分析
5章潜在構造分析
6章テキスト・マイニング
7章ディープラーニングと機械学習
8章ＡＩとＢＩと
7編 データとテキストのフュージョン・マイニング
1章管理とマネジメント
2章マネジメントと標準化
3章3体型オペレーション組織
4章グローバル・ランドスケープと問題デザイン
5章美と神話の構造
おわりに