データクレンジング、という言葉自体はあまり聞き慣れない言葉ですよね。データは、事実や資料を表す用語として、日常生活においてもよく使用されます。一方、クレンジングとは、女性がお化粧を落としてきれいにすることや、そのための化粧品を指しています。つまり、データクレンジングとは、「データを整理し、きれいにすること」です。
とはいえ、実際にデータクレンジングを行うにはどうすれば良いのか？について知りたいかもしれません。そこで今回は、データ分析前に知っておくべき、データクレンジングの基本やメリットについて解説します。
まずはこのデータクレンジングとはどういうことなのか、AI（人工知能）の世界でなぜ必要になるのか説明しましょう。
データクレンジングって何か
![データを揃えるイメージ]()
データクレンジングとはデータクリーニングとも呼ばれますが、あらかじめ定められた一定の基準やルールに基づいて、一項目ずつデータを調べて適切な状態に編集、統合、補正などしていく処理や作業のことを指します。例えば正式名称と通称、俗称が入り混じったデータや、回答者によって粒度の異なるデータを一定の基準にもとづいて修正することです。
特にAI（人工知能）を使用して蓄積されたデータを分析、活用する場合、同じ意味を表しているにも関わらず、表記が微妙に異なっていると同一とみなされない場合があります。よりその状態がわかるのは、複数の情報ソースからデータを集めた場合や、データを入力する人が異なる場合です。そのままでは、AI（人工知能）を用いたデータ分析に適しませんし、結果がバラバラになってしまいますよね。
そこでデータクレンジングによって、データを一定の基準に従って整理し、出力結果が統一されるようにします。
データクレンジングが必要な理由
![システムのイメージ]()
データクレンジングは、あらかじめ定められた基準やルールに基づいて一項目ずつデータを調べて適切な状態に編集、統合、補正などを行います。つまり、もしデータクレンジングがなされていないと、データを検索してもヒットしない、重複して抽出されるなどの事象が発生する可能性も。これが、データクレンジングが必要な理由です。
例えば、AI（人工知能）を活用した顧客管理システムを導入するとしましょう。顧客データの管理、見込顧客データの入手に力を入れたとしても、 書式が統一されていない、重複している、セグメントに必要な情報が欠落、不足しているなど、 データの品質が低いと正確な顧客データ分析が行えません。
また、住所移転や企業の統合、倒産、休業など環境の変化に伴いデータは常に変化しますよね。企業名が、略称名で登録されていたり、誤記があったり、法人格の有り無しなどのデータの表記ゆれも存在します。そのようなデータをそのまま使用したとしても、品質の低いシステムが構築されることになってしまいます。
そのため、より精度の高い結果を得るためには、データクレンジングが必要です。
データクレンジングのメリット
![業務効率化のイメージ]()
次に、データクレンジングのメリットについて考えましょう。
データクレンジングのメリットは、業務効率化につながることでしょう。というのも、企業がデータクレンジングを行う主な目的としては、自社の顧客管理システムにおける各種データの形式を統一、整理し、顧客管理作業の効率を高めることだからです。
そして、データの最適化は企業全体の生産性も向上します。近年は、新規顧客の獲得が難しくなり、多くの企業は既存顧客の収益向上に力点を置くようになりました。その場合、顧客にしっかりとフォローアップをするためのフォーマット化された顧客データが必要になります。また、労働時間を適正化するためにも、データの逐次修正といった無駄な作業を減らして労働生産性を向上したいというニーズがあります。そういった企業のパフォーマンスの向上にも、データクレンジング技術が役立つでしょう。
しかし、データクレンジングを行うことで、日ごろの入力ミスや誤表記によって生じたデータの不備の修正や標準化処理を施し、貴重な顧客データの精度を高めることができます。
ただし、学習データは単に量が多ければ良いというものではありません。不適切な学習データをそのまま与えると、それが悪影響となって検出精度が低下してしまうため、データクレンジングは非常に重要なのです。
データクレンジングのデメリット
![コストのイメージ]()
データクレンジングにもデメリットがあります。それをこの章では、解説しましょう。
データクレンジングのデメリットは、作業コストがかかるという点です。AI（人工知能）を用いたデータ分析を行うにあたって、大容量で多種多様なデータをデータベースにすべて蓄積し、加工することは、データベースのライセンスコストやストレージコストがかかります。実際に、大量のデータを保管するために設けられるデータウェアハウスを構築する場合、70～80%がデータ収集や加工といったデータクレンジングに費やされるとのこと。
そこで、データクレンジング処理の手間を軽減してくれる新たな手法であるELT処理が登場しました。しかし、このELT処理も、データベースの中で変換、加工処理を行うためデータベースへの負荷が大きくなるデメリットがあります。そのため、ELT処理を行う場合は、実行する時間帯を選んだり、実行後は不要な一時領域を消すなどしましょう。
データクレンジングの方法
![Excelのイメージ]()
それでは、データクレンジングの具体的な方法について解説します。
まず、これまで運用してきたWordやExcelなどのファイルや、CSVやXMLファイル、あるいはログファイルなどのさまざま形式のファイルを整理・整形するために、いったんデータベースに取り込みます。一つのデータベースにまとめることで、これまで把握できていなかったデータ同士の関連性など、新しい発見が得られるようにもなります。これまで別々の場所で個別に管理していたデータは、相互の関係性が希薄であり、なんの処置も施さずに統合してしまうと、大きな不具合が生じてしまったり、データの質が著しく低下したりすることも。
次に、取り込んだデータは、一定の基準にしたがって整形しましょう。例えば、複数登録されてしまっている同一企業名を一つの企業名に統一したり、個人名を姓名に分離、あるいは旧町名や合併前の表記になっている旧住所を新住所へ変更したりといった細かいクレンジング処理を加えます。特に、数値情報は全角表記だと数値として認識できず計算ができないため、必ず数値として変換し直します。また、同一のテーブル項目の結合や、その後のデータ分析に適したかたちに分割するなどの処理を施します。これによってさまざまなデータ分析が可能になり、データ運用のスピードや精度が向上するでしょう。
最後に、クレンジング処理を施したデータは、販促活動や受注活動に活用できるようにするために、一定のルールのもとで抽出し、リスト化します。データはすでに一元化されていますから、そのまま必要に応じて販促活動や顧客フォロー用のリストとして活用できます。
データクレンジングの注意点
![チェックのイメージ]()
最後に、データクレンジングの注意点について説明します。
データクレンジングをする前には、必ずデータをチェックすることをおすすめします。顧客データを始め、重複してデータが作られることは珍しくありません。システムや業務運用で、こうした重複データを取り除くべきですが、十分行われてないことが多々あります。このため、新システムに移行する際には、重複データを取り除きましょう。
とはいえ、どれを正のデータとして採用するか機械的に識別できればよいですが、実データ項目を眺めて人手で判断が必要なことが多いでしょう。また、このデータの判別においては、どちらかが100%正しいのではなく、どちらも中途半端に正しい場合があります。こうなるとデータを眺めながら正しいものを作るしかありません。
さらに、データをマスターとして子データが紐付いていることにも注意が必要です。データのメタデータ、いわゆるデータそのものの情報を確認する必要があります。データ分析を行っている企業の大半は、外部企業からデータ分析を依頼されていることが多いです。従って、具体的に個々のデータを見ていくことと並行して、そのデータが本当に正しいのか否か、という判断をしましょう。
![まとめ]()
さて今回は、AI（人工知能）を活用したデータ解析を行う上で必須となる、データクレンジングについて解説しました。
データクレンジングとは、ある一定の基準に従ってデータを整理することです。もしデータクレンジングがなされていないと、データを検索してもヒットしない、重複して抽出されるなどの弊害が発生します。データクレンジングを行うことによって、各種データの形式を統一、整理し、精度を向上させるだけではなく、生産性も向上させられます。
しかし、データ収集や加工には作業コストがかかるデメリットがあります。この対策としては、マクロやスクリプトを使用して自動化することで作業コストを軽減できます。
データクレンジングは、以下の順番で行いましょう。
- データをいったんデータベースに取り込む
- 取り込んだデータを一定の基準にしたがって整形
- クレンジング処理を施したデータを一定のルールのもとで抽出し、リスト化
データクレンジングは、AI（人工知能）を扱うなら必須と言えるででしょう。データクレンジングをしっかり行うことによって、今後、AI（人工知能）を用いたシステムやサービスが、非常に安定した品質の高いものになることは間違いありません。
