コンピュータ上で簡単なメモを取るときに、Markdownフォーマットは便利で広く使われています。しかし、多数の図を含むような場合は、ホワイトボードや紙を使うほうが簡単だと私たちは感じています。

また、私たちはよく研究のミーティングなどでホワイトボード活用しています。ホワイトボードの内容から議事録を作成する際に、ただの画像ではなく、 Markdown フォーマットにしておけば検索や編集が楽に行えて便利です。そのためには、ホワイトボードに書かれている文章を文字に起こし、図は画像として保存する必要があります。この作業に時間がかかるのでなんとか効率化できないかと考え、画像から自動でMarkdownファイルを作成するツールを作ることにしました。

ノートやホワイトボードなどの画像を、テキストと図を含む Markdown ファイルに変換します。

ノートやホワイトボードに書き込んだ内容を撮影し、その画像を本製品でMarkdown化することができます。これによって、ノートやホワイトボードの内容をPCで管理したいときに、自分でまとめ直す手間を軽減することができます。さらに、Markdownで管理できるため、後から編集や検索が簡単に行えます。

現段階では文章と図しかMarkdownにすることがでず、変換されたファイルでは表も図として扱われています。また、１つの図が複数の図として分割されてしまったり、識別の精度の向上も必要です。

そこで、今後は

• 識別精度の向上
• テキストや図の配置アルゴリズムの改善
• 箇条書きを識別子適切なフォーマットで埋め込む
• 表を表として識別し適切なフォーマットで埋め込む
• 数式を識別し Latex 形式で埋め込む

などを行い、高機能で便利なアプリにしていきたいです。

なし

• Web サーバ
  • Ruby
  • Sinatra
  • Milligram CSS フレームワーク
• 変換スクリプト
  • Python3.6
  • OpenCV3
  • PyOCR
  • Tesseract OCR

なし

• 画像から抽出された文章と画像を適切な位置に配置し、Markdownファイルを作成するシステム (ファイル):
  1. OCRを用いて入力画像から文字領域とその内容を取得する
  2. 文字領域を背景色で塗りつぶすことで入力画像から文字を削除する
  3. 文字が削除された画像をOpenCVで輪郭抽出を行い、図領域を推測する
  4. 推測した図領域を切り取り、図画像として保存する
  5. 上記過程で取得した情報を基に、文章と図を適切な位置に埋め込み、Markdownファイルを作成する