AI導入・DX・データ活用のフィールドノート

AI導入の「で、うちはどうする?」に条件つきで答える。

AIやデータ活用を進めたい担当者と、その実装を任されたエンジニアのためのノートです。 「何ができるか」の先にある、どの条件なら採用してよいか、動かしてからどこで困るかを、1記事1つの問いで整理します。

  • うちの条件でも採用していい?
  • 動かし始めてから、どこで困る?
  • 費用と手間は、どこで増える?

仕事の課題から探す

新しい記事

すべての記事 →
  • 検証記録

    CSVの文字コードと改行が混ざったとき、Pythonの標準の読み込みで何が起きるか

    問い
    取引先から届くCSVは、文字コードや改行の作り方がファイルごとに違うことがあります。Pythonの標準の方法で読んだとき、エラーで止まって気づける場合と、止まらずに中身が変わってしまう場合があると聞きました。実際に何が起きるのか確かめたいです。
    結論
    CSVをPythonの標準の方法で読むと、問題があってもエラーで止まらず、中身が変わったまま読み終わる場合が多いことが分かりました。文字コードを取り違えると名前が別の文字や空文字になり、引用符の閉じ忘れでは後ろの行が飲み込まれました。止まるかどうかは問題の種類によって違うため、読み込みの前後で件数や中身を確かめる備えが要ります。
    データをつなぐ・整える
  • 設計・実装

    公開求人のどの記述から、AI導入の担当範囲(企画・実装・運用)を読み取るか

    問い
    AIを導入する仕事に移りたい。求人を見ても、その仕事が導入を考える仕事なのか、仕組みを作る仕事なのか、使い始めたあとを支える仕事なのか分からない。求人のどの部分を見れば、自分が担当する範囲が読み取れるか。
    結論
    AI導入の仕事の担当範囲は、肩書きではなく、仕事内容に書かれた「何をするか」と、その結果「何ができるか」から読み取ります。課題の整理や導入の進め方を決める記述があれば企画寄り、データや仕組みを作る記述があれば実装寄り、使い始めた後の改善や見守りの記述があれば運用寄りです。1つの求人が複数の範囲にまたがることもあるので、範囲ごとに記述があるかを分けて確認します。
    役割とキャリアを考える
  • 設計・実装

    Slackの週報を自動で要約したとき、決定事項の抜け漏れをどう評価するか

    問い
    Slack の会話から週報の下書きを自動で作るようにした。要約は自然に読めるが、その週に決まったことが抜けていないか不安がある。抜け漏れをどうやって確かめればよいか。
    結論
    週報の出来は、文章の読みやすさではなく、その週に決まったことが全部入っているかで評価します。そのためには、人が作った「その週の決定事項の一覧」を先に用意し、自動で作った週報と1件ずつ突き合わせて、拾えなかったものと、決まっていないのに書かれたものを分けて数えます。一度測って終わりにせず、使うモデルや会話の形が変わるたびに、同じ一覧で測り直せるようにしておくことが要点です。
    運用して評価する
  • 検証記録

    元文書を消したら、LangChainの検索索引はどうなるか

    問い
    社内文書をもとに、質問へ回答する検索の仕組み(RAG)を作っている。元の文書が削除されたり書き換わったりしたとき、検索側の索引は自動で追随するのか。文書の取り込み方を決める設定ごとに、索引に何が残るのかを確かめたい。
    結論
    元文書を消したことを検索の索引に反映できたのは、後片付けの設定(cleanup)が full のときだけでした。ただし full は、渡されなかった文書をすべて索引から消すため、取り込みが途中で止まると索引が空になることがあります。ほかの設定では、書き換えた文書の古い版は消えても、消した文書そのものは索引に残りました。
    AIを業務に組み込む
  • 比較・選定

    日次のCSV連携は、Python+AWSで作るか、マネージドな自動化ツールで持つか

    問い
    基幹システムや取引先から届くCSVを、毎日決まった時刻に取り込んでS3やDWHへ渡している。今は手作業や古いスクリプトで回しているが、この先もPython+AWSで自作し続けるか、WorkatoやDataSpiderのようなマネージドな自動化ツールに寄せるかで迷っている。何が選定の分かれ目になるか。
    結論
    分かれ目は料金の絶対額ではなく、連携先の種類、変更の頻度と直す人、連携の本数の3つです。連携先がファイルとAWS内で閉じ、変更が少なく、Pythonを書ける担当者が続くなら、Python+AWSは実行料金がほぼ無料枠の範囲で持てます。SaaSやオンプレミスが混ざり、仕様変更が頻繁で、直す人が情シス兼任なら、月額費用がかかってもマネージド側が総工数で安くなります。
    データをつなぐ・整える