Category Archives: Chinese

本チュートリアルは、 データベース・デジタルライブラリーChinese Text Project（中国哲学書電子化計画）における「テキスト・ツールズ」プラグインの主な機能について、参考となるタスクやケースを提示し、紹介します。 [本チュートリアルのオンライン版はこちら： https://dsturgeon.net/texttools-ja（日本語）、https://dsturgeon.net/texttools（英語）] 1 初期セットアップ 過去にChinese Text Projectを使用した経験のない場合、チュートリアルの「ctext.orgへの実践的な説明」を参照し、ctext.orgにおけるアカウントの設定、プラグインのインストールを行ってください。 あなたのアカウントを使用し、ログインしてください。 APIキーを取得している場合、ctext.orgアカウントの設定画面にて、APIキーを保存してください。もしくは、あなたの機関がctext.orgを購読している場合、大学の説明に従って、使用してください。その際、大学のローカルネットワークを使用するか、大学が提供しているVPNを経由してアクセスしてください。 「テキスト・ツールズ」のプラグインをインストールしてください（インストールリンク）。この作業は1回のみです。 これらのステップを完了した後、ctext.orgにおけるテキストもしくはテキストの章を開くことで、テキスト・ツールズのプラグインにアクセスするリンクが現れます。 始めましょう テキスト・ツールズプログラムは、数多くのページ（N-gramやRegexと呼ばれます）を含んでいます。これらのページは、各頁の上部にあるリンクを使うことで、切り替えることができます。各頁は、以下に記載するツールのどれかに該当しています。ただし、基本的な使用方法と各ツールのオプションを説明しているHelp pageは除きます。これらのツールは、テキスト分析及びデータの単純な可視化を可能とします。 テキスト分析のツールは、ctext.orgからAPI経由でテキストを直接読み取るか、他の場所からテキストをツールにコピーすることもできます。ctext.orgプラグインを使用してツールを開く場合、テキストは自動に読み込まれ、表示されます。追加のテキストをctextから読み込む場合、テキスト（もしくは章）のURNをテキスト・ツールズのウィンドウボックスにある「Fetch text by URN」という名のボックスにコピーし、Fetch（フェッチ）をクリックしてください。テキストが読み込まれた後、内容は、タイトルとともに表示されます。より多くのテキストを追加する場合、「Save/add another text」をクリックし、先ほどの手順を繰り返してください。現在選択されたテキストの一覧は、ウィンドウの上部に表示されます。 N-grams N-gramは、一連の連続したnのテキスト項目（文字や単語）であり、nは固定小数点整数です（例えば、n=1, n=3など）。「テキスト項目」は、通常、用語（単語）や文字であり、特に、中国語において、文字は単語と比べ、より頻繁に使用されます。その背景には、中国のテキストを正確かつ自動的に、一連の独立した単語に分割することが難しいからです。例えば、「學而時習之不亦說乎」という一文には、以下3つの文字によるgramsが含まれています（すなわち、全く同じの3つの文字が特殊な順序で配置されています）：「學而時」、「而時習」、「時習之」、「習之不」、「之不亦」、「不亦說」、「亦說乎」。 テキスト・ツールズのN-gramに関する機能は、n-gramsの文字という形式に基づいて、様々な中国テキストにおける単語の使用を概観することができます。 実践： ctext から2〜3のテキストを選び、1 gramsの計算を試みてください。「Value of n」は、1で設定してください。よりよく傾向を可視化するため、Chartのリンクを使用し、生データの棒グラフを描いてください。この作業を正規化した場合と、しない場合、両方で試してください。 この作業を2及び3 gramsで繰り返してください。 上記で選んだテキストの長さがおおよそ同じである場合、もう2つ、長さ、もしくはスタイルにおいて大いに異なるテキスト（『道德經』や『紅樓夢』）を選び、正規化する場合と、しない場合に分け、どのように結果が変化するのか、実演してみてください。 ワードクラウドは、もう一つの可視化の手段であり、その基になるデータは、ラベルの大きさがそれらの発生頻度に比例して異なるテキストによって描かれています（もしくは、より多い場合、それらの対数の頻度に比例します）。通常、ワードクラウドは、文字や単語を使用した単一のテキストや結合したコーパスによって構築されていますが、一般的に同じ原理は、自然とn-grams（および通常の表現）、複数のテキストにも広がるとされています。テキスト・ツールズでは、複数のテキストを可視化することで、データ内の一つ一つの確かなテキストを異なる色で表示します。これは、正規化においても同じ事がいえます：異なるテキストが長さによって正規化されていない場合、テキストが長くなることでラベルは自然と大きくなります。 実践： 単一のテキストおよび2つもしくはより多くのテキストの為のワードクラウドを作成してください。ワードクラウドタブの設定の中にある「Use log scale」に基づいて実験してみてください。その作業によって、なぜ対数スケールがより頻繁にワードクラウドに使用されるか理解して頂けると思います。 2 … Continue reading →

Thanks to the help of Professor Nagasaki Kiyonori, I am thrilled to be holding this hands-on workshop covering usage of the Chinese Text Project and Text Tools in Tokyo this December. Details follow: Digital Research Tools for Pre-modern Chinese Texts … Continue reading →

Interactive workshop 9:00am-12:00pm, November 18, 2017, held in B129, Northwest Building, 52 Oxford St., Cambridge, MA 02138 [Download slides] Digital methods offer increasingly powerful tools to aid in the study and analysis of historical written works, both through exploratory techniques … Continue reading →

Abstract Text reuse in early Chinese transmitted texts is extensive and widespread, often reflecting complex textual histories involving repeated transcription, compilation, and editing spanning many centuries and involving the work of multiple authors and editors. In this study, a fully … Continue reading →

Published in the Proceedings of the 30th International Florida Artificial Intelligence Research Society Conference (FLAIRS-30), 2017. Abstract Many mainstream OCR techniques involve training a character recognition model using labeled exemplary images of each individual character to be recognized. For modern … Continue reading →