LLM Mavericks初年度を振り返ってみる

こんにちは！LLM Mavericksの阪上です。

生成AI活用を加速するため昨年5月に結成したLLM Mavericksですが、時間が経つのは早いもので、先日成果発表会を実施し、2023年度の活動を締めくくりました。

本記事ではLLM Mavericks活動全体を振り返っていきたいと思います。

社内環境の整備

まずは社員に生成AIに触れてもらう、体験してもらうことを目的として社内限定の安全な環境を準備しました。
Slack AIチャットボットとWeb AIチャットボット、2つのインターフェースで展開しています。
直近ではWeb AIチャットボットに「ナレッジポータル」のデータを取り込んで社内情報を元に回答を生成する機能も追加しました。

社内で構築した際のナレッジをサービスとして昇華する取り組みとして、ビジネス企画と連携して「Enterprise向け 生成AI導入支援サービス」の立ち上げにも繋がっています。
こちらは短納期での導入を実現するために弊社環境をIaC（Infrastructure as Code）でコード化、テンプレート化を行うなどの取り組みも実施しました。

アウトプット

活動の中で得た知見を対外的にアピールすることもミッションの一つでした。

Qiita

Qiitaへの技術ブログ投稿はメンバーのProactiveな取り組みの結果、約35件にものぼりました。
特筆すべきはこの活動への参加を契機に、初めて技術ブログを書いという方もいらっしゃったことです。
アウトプットははじめの一歩がなかなか踏み出しにくいものですが、LLM Mavericksの活動がその後押しをできたことは素直に嬉しいですね。

LLM Mavericks以外にも弊社のQiita Organizationsには日々様々な投稿がありますので是非チェックお願いします！
https://qiita.com/organizations/saison-technology

イベントへの登壇

ありがたいことに弊社主催のイベントや、外部のイベントにも声をかけていただき、10件もの登壇機会を頂きました。
これらの活動によって社外に弊社の活動がアピールでき、実際のお客様への支援案件にも繋がっています。
引き続き社内外問わずアウトプットは継続していきます！

JAWS DAYS 2024

データマネジメント2024

チーム活動

各チームの活動についてはここで深くは触れませんが、現場での業務と兼任にもかかわらず主体的に取り組んでくれたメンバーには感謝の気持ちでいっぱいです。

一部抜粋させていただくと、、
・HULFTのマニュアルやFAQのデータをRAGで読み込ませ、HULFT認定資格を7割超える正答率で合格できるレベルまでチューニングしたり
・チャンク分割やベクトル化の様々な手法を研究し、それをAWS上で実装する方法を見出したり
など、それぞれが非常にユニークで今後弊社ビジネスの種になるような取り組みが多くありました。

今期も継続して活動するチームも既に決まっています。
より具体的に社内で活用したり、お客様に価値を提供できる形に昇華させていくことがリーダーのミッションであると肝に銘じて推進していきます。

1年やって見えてきた課題

一方で大小さまざまな課題も見えてきました。分かりやすいところで言うとLLMをビジネス活用する際のガバナンス問題が挙げられます。
生成AI市場のトレンドでもあり、弊社も取り組んでいる社内情報を活用したRAGアプリケーションの限界を表しているとも言えます。
不正確なデータソースを参照した生成AIがもっともらしい嘘の情報を回答して、利用者が意図せぬオペレーションをしてしまったり、他社の権利を侵害してしまったりといった様々なリスクが潜んでいます。

生成AIに頼り切るような仕事の仕方をせず、生成AIのアウトプットは必ず人間がファクトチェックをする。
これらを前提に、できうるプロンプトエンジニアリングやRAGのチューニングで精度向上を図っていく、といったAIとの上手な付き合い方はが求められています。

この課題に対するアクションとしては継続的な啓蒙活動と利用者リテラシーを向上していく他ありません。
その一環として弊社では「生成AI活用ガイドライン」が規定されていたり、全社員向けのトレーニングも実施しました。

組織の運営的な目線で言えば、チーム間のコラボレーションが少なかったり、弊社製品とのミックスができていなかったりと細かい課題もありますので、今期は改善に取り組んでいきます。

結局どうだったのか

私個人としては初めてのバーチャル組織運営ということもあり反省する点も数多くありますが、楽しく活動ができましたし、一定の成果も得られたと思っています。
（今期は私自身もっと手を動かしていきたい、、）

何度も言いますがチームメンバーの主体性、Proactiveな取り組みには本当に助けられました。
そんなメンバー達にも活動を振り返ってもらいましたので感想を一部紹介します。
・楽しかった/ワクワクしながら取り組めた
・最新技術のスピード感を肌で感じられた
・全ての課題が生成AIで解決できるわけではないが、選択肢として考えられるようになった
・プロンプトエンジニアリングは簡単に取り組めるので非エンジニア部門でも積極的に活用していきたい

さいごに

ここまで読んでいただき、ありがとうございました。
LLM Mavericksは今期も活動していきます！
今期取り組んでいきたいテーマとしては
・社内情報検索の機能追加、データソース拡充
・社内活用状況の把握、ログの分析、活用
・ChatDDPのリリースとエンハンス
・Azure、OpenAI以外の基盤、モデルの選択肢追加
・プロンプトテンプレートの公開
・HULFTファミリー製品とのミックス
・ビジネス化
などなどたくさんあります！

では次回、第2期LLM Mavericks始動編でお会いしましょう！！