From Pilot to Practice: Enterprise AI's Hardest Problems Aren't Technical

Four enterprise AI leaders from banking, insurance, asset servicing and consumer goods agree: getting AI from pilot to production is less about models than about problems worth solving, data worth trusting, and people willing to change.

When moderator Jackie Caraballo, VP of Data and Analytics at Commonwealth Financial Network, asked the room to raise their hands, the picture was familiar. Most had run AI pilots. Fewer had production deployments, and fewer still had AI woven into workflows across the enterprise. Closing that gap was the panel's brief.

Caraballo was candid about her own position. Commonwealth, a broker-dealer and RIA serving financial advisors, already runs pilots and production workflows with embedded AI; its current work is making data assets AI-ready so it can scale. She was joined by Dave Murray, Head of AI & Data at Welch's; Sam McElhinney, Head of AI Products and Platforms at Unum; Randy Yanoshak, Vice President of Enterprise Applications at PeoplesBank; and Nisheeth Chaudhary of State Street, who leads work on emerging technologies and AI governance.

Start with the problem, not the pilot

Pilots are meant to prove value quickly, yet many never get further. For McElhinney, the reason is usually that value was never defined. At Unum, value is the gap between the problem a customer experiences and what the solution delivers, and that gap has to be tied to something the business tracks: operating cost, revenue or retention.

The surprise, he said, is how poorly organisations often understand their own business-as-usual. Human and rules-based processes are typically audited on a small sample. So Unum sometimes builds AI scaffolding around a problem before solving it, simply to measure it properly.

The results can be sobering. A process believed to run at 85% accuracy may turn out to be markedly worse once every interaction is examined. That changes both the value story and the organisation's tolerance for risk, and it gives an AI initiative the financial headroom it needs to keep investing.

Build versus buy is now a question of partnership

Chaudhary argued that mature businesses have largely moved past the binary of build versus buy. Capabilities that differentiate a firm from its competitors are worth building. Commoditised capabilities, from development resources to models, can simply be bought.

What AI has changed is the time horizon. Enterprise software used to be bought on multi-year commitments; now a buyer has to ask whether a system will still be competitive in six months. At State Street, he said, the planning horizon for these partnerships has shrunk from roughly 18 months to six.

That puts a premium on adaptability, both in vendors and inside the firm. Partners must be willing to work on shorter terms and be re-evaluated, and buyers need sharper analysis of how durable each vendor will be. He used an enterprise copilot rollout as an example: an 18-month deployment plan assumes the tool is still the right one at the end. The harder question is whether the organisation, and its people, could swap it out in six months.

Data readiness begins with people

AI is only as good as the data and platforms beneath it, and Yanoshak's experience at PeoplesBank shows how far some organisations have to travel. He joined the western Massachusetts bank after many years at Fidelity and inherited infrastructure that needed significant modernisation. Much of the bank's data sat with outside providers; he described roughly 20 third-party vendors who kept their data locked away.

Yet his starting point was not technology. When he arrived, the bank's AI policy was effectively not to use it. The first year went into people and process: showing staff that AI offered real value and was not simply something to fear.

Only once that demand existed did the technology gaps become the priority. For a smaller, regulated bank, he said, the effort has been demanding but eye-opening, and it has forced the organisation to confront data problems before rushing into use cases.

Governance that removes friction, literacy that fits the learner

State Street's approach to responsible AI has come in two stages. When generative AI arrived in 2024, the firm could have rewritten its established software development, architecture and risk processes from scratch, which would have been slow. Instead it set up a dedicated review panel for generative AI use cases, running alongside existing processes. It is now in stage two: updating those standard processes so they absorb AI governance directly. The goal, Chaudhary said, is to remove friction so teams can focus on the work itself.

On literacy, his key lesson was that employees are not at the same level. Some are already building agents in their personal time, and forcing them through basic training frustrates them. State Street's answer is a baseline set by managers, who rate their team members' AI skills and assign each a learning path through a supporting system.

The firm also built an AI literacy maturity model with different paths for different roles, so a developer's journey differs from that of someone in compliance or marketing. Literacy is expensive, Chaudhary warned, and organisations need to raise maturity where it matters most in the shortest time.

Adoption grows from the ground up

Murray has seen what does not work. Welch's first tried a top-down rollout, and it fell flat. The second attempt took a different route: employees had to attend an onboarding session to get access to the enterprise tool, and at the end they were told to go home and try it on something personal.

His own example was bedtime stories. His children would invent characters as outlandish as they liked, and AI would help turn them into a story. Employees who first used the tool for personal tasks adopted it at much higher rates, he found. That opened the door to conversations about using AI as a thought partner and personal assistant, and adoption then snowballed as colleagues came asking how others were using it.

Where the value shows up

Murray's example of measurable value came from a problem every consumer packaged goods company shares: staying ahead of food trends. Social listening once meant scraping text from posts. Image recognition now lets Welch's analyse the food photos people post and identify the ingredients in them.

The Dubai chocolate craze illustrates why that matters. As the trend spread, people were folding it into smoothie bowls and all kinds of other dishes. Breaking those images into components revealed a steady rise in pistachio as a flavour, something text-based analysis would have missed because people rarely name the ingredient they enjoy. Spotting a trend around six months before it peaks, Murray said, means a product can reach shelves as the trend arrives rather than after it.

He also pushes teams to remember that generative AI is only one part of the toolkit. Machine learning, rules-based systems and RPA all count as AI, and are often more predictable and cheaper than an agent. Employees hear alarming AI stories at home every day, he noted, and companies lack an equally loud internal voice explaining what AI means for their own work.

What they would do differently

Asked for one lesson from their transformations, the panelists converged on realism. Murray would set expectations more carefully, especially with executives. AI can handle tasks; tasks chain into processes, and processes into roles. But each added step compounds the odds of failure, much like a billiards shot that must strike several balls in sequence.

McElhinney warned against what he called agent hypnosis, the belief that an agent can simply do everything. Few jobs consist of one repeated action; each step needs to be governed, measured and observed differently. He also urged humility about dependency. A company that replaces call-centre staff with a model provider's agents has not removed headcount so much as borrowed it, while giving up a workforce that took years to hire and train.

Yanoshak's lesson was change management. People worry about their jobs, and leaders need to acknowledge that fear with empathy while showing how the technology can help them.

Chaudhary closed with a warning about cost. Leaders are urging employees to use enterprise chatbots and tracking prompt counts to justify subscriptions. As vendors shift to consumption pricing, those same employees will be told to choose cheaper models and save tokens. That mixed message, he said, is coming soon, and most of AI's hardest problems are change-management problems, not technical ones.

Caraballo's summary captured the session: empathy and change management are what make AI stick. The technology may be advancing fast, but scaling it still depends on people feeling comfortable with change, the one thing every organisation can count on.